VALSE 论文速览 第107期：Codebook Helps Implicit 3D Representations

论文题目：CoCo-INR: Coordinates Are NOT Lonely--Codebook Prior Helps Implicit Neural 3D Representations

作者列表：Fukun Yin (复旦大学),Wen Liu (腾讯), Zilong Huang (腾讯),Pei Cheng (腾讯),Tao Chen (复旦大学),Gang YU (腾讯)

B站观看网址：

https://www.bilibili.com/video/BV1DL411Q75k/

论文摘要：

隐式神经表示 (Implicit Neural Representation, INR) 在表面或场景重建和新视图合成方面取得了优异的成果。然而，现有的方法，如Neural Radiance Field (NeRF)，及其变体 Unisurf、NeuS、VolSDF，通常需要密集的输入视图 (约 50-150个)才能获得不错的结果。为了解决对海量校准图像的过度依赖，我们探索将先验信息注入到基于坐标的网络中，丰富基于坐标的特征表示，并引入一个新的基于坐标的模型，CoCo-INR。该方法的核心是两个注意力模块：Codebook码本注意力和Coordinates坐标注意力。在先验信息的帮助下，我们的方法可以比现有的方法在使用更少的校准图像的情况下渲染出更逼真的 3D 视图。在DTU、BlendedMVS和H3DS三个数据集上都表现出了良好的鲁棒性和细节保存能力。

论文信息：

[1] Fukun Yin, Wen Liu, Zilong Huang, Pei Cheng, Tao Chen and Gang YU. Coordinates Are NOT Lonely - Codebook Prior Helps Implicit Neural 3D Representations [C]//Thirty-Sixth Conference on Neural Information Processing Systems, 2022.

论文链接：

[https://arxiv.org/abs/2210.11170]

代码链接：

[https://github.com/fukunyin/CoCo-NeRF]

视频讲者简介：

尹富坤，复旦大学博士生，在CVPR、NeurIPS、T-CSVT等国际高水平会议或期刊发表多篇论文，博士期间主要研究方向是三维场景表示与生成。

特别鸣谢本次论文速览主要组织者：

月度轮值AC：胡鹏 (四川大学)、林迪 (天津大学)