VALSE 论文速览 第150期：Neural Biplane Representation

论文题目：

Neural Biplane Representation for BTF Rendering and Acquisition

作者列表：

樊家辉 (南京理工大学)，王贝贝 (南京理工大学)，Miloš Hašan (Adobe Research)，杨健 (南京理工大学)，闫令琪 (加州大学圣芭芭拉分校)

B站观看网址：

https://www.bilibili.com/video/BV1HC4y1H7gN/

论文摘要：

Bidirectional Texture Functions (BTFs) are able to represent complex materials with greater generality than traditional analytical models. This holds true for both measured real materials and synthetic ones. Recent advancements in neural BTF representations have significantly reduced storage costs, making them more practical for use in rendering. These representations typically combine spatial feature (latent) textures with neural decoders that handle angular dimensions per spatial location. However, these models have yet to combine fast compression and inference, accuracy, and generality. In this paper, we propose a biplane representation for BTFs, which uses a feature texture in the half-vector domain as well as the spatial domain. This allows the learned representation to encode high-frequency details in both the spatial and angular domains. Our decoder is small yet general, meaning it is trained once and fixed. Additionally, we optionally combine this representation with a neural offset module for parallax and masking effects. Our model can represent a broad range of BTFs and has fast compression and inference due to its lightweight architecture. Furthermore, it enables a simple way to capture BTF data. By taking about 20 cell phone photos with a collocated camera and flash, our model can plausibly recover the entire BTF, despite never observing function values with differing view and light directions. We demonstrate the effectiveness of our model in the acquisition of many measured materials, including challenging materials such as fabrics.

论文信息：

[1] Neural Biplane Representation for BTF Rendering and Acquisition. Jiahui Fan, Beibei Wang, Miloš Hašan, Jian Yang and Ling-Qi Yan. Proceedings of SIGGRAPH 2023. 

视频讲者简介：

樊家辉，男，1998年生。现于南京理工大学计算机科学与工程学院攻读博士学位，导师为杨健教授和王贝贝教授。研究方向为真实感渲染中的材质表达与神经网络，具体内容包含复杂材质的神经网络表达、微表面模型理论和闪亮微结构的高效渲染。相关研究工作发表在SIGGRAPH、IEEE TVCG等国际顶级会议、期刊上。曾获2022年GAMES最佳海报奖、2022年Style3D图形学奖学金等荣誉奖项。

个人主页：

https://whois-jiahui.fun

特别鸣谢本次论文速览主要组织者：

月度轮值AC：郭青 (新加坡科技研究局)

季度轮值AC：张磊 (重庆大学)