Skip to content

Latest commit

 

History

History
14 lines (9 loc) · 1.79 KB

File metadata and controls

14 lines (9 loc) · 1.79 KB

Discussion over paper: "Patch-based 3D Natural Scene Generation from a Single Example"

Questions

Q1: 这篇工作对SDF依赖性高吗(看到你们的补充材料里有一个树的例子,这种对象提取准确的SDF是很难的吧),如果有一个大概的SDF或者使用一个大概的几何表示作为代理有可能吗(比如把一堆树叶或者一堆草看成一个整体)

Answer from Author: 我们实际用的TSDF。SDF作为一个几何的特征,表达能力肯定是越精细越好,但是用大概的几何作为代理(甚至直接用occupancy)也能在一些场景有不错的结果。我们辅助材料里面展示是极端情况下的failure case,仔细挑还是可以的。 至于草地,你可以看一看我们的视频,有这个展示,草地的几个是糊成一团的,但是结果也还合理。

Q2: patch-based是怎么保证相对位置的合理的,比如会不会把地板的patch合成到天上去了

Answer from Author: 也是非常好的问题。在图像生成任务中也有类似的情况,我们是在实验过程中遇到过这个情况, 确实不能完全解决(你可以看视频中有一个绿色石块场景其实也有一些漂浮的地板)。 总的来说,我们可以在coarse阶段,通过patch内部的空间关系获得整体的layout,比如地面上面肯定是空气。论文中有一句话,coarse阶段是整体的布局,fine阶段是局部细节调整。而整体布局的匹配大体不会出错。 其次在实现过程中,有一些trick通过缓解这个问题。这个比较细节了,比如随机噪声的引入方式以及场景外部空间的处理。 最后也可以关注一下单样本图像生成的工作(SinGAN, GPNN),他们也有一些解释,我们的工作也受到他们的很大启发。