VALSE Webinar 25-15期 总第386期 迈向三维世界的奇点：AI驱动的3D内容生成 ...

报告嘉宾：曹炎培 (VAST)

报告题目：AI原生的3D内容创作

报告嘉宾：许岚 (上海科技大学)

报告题目：关于三维生成的一些思考

报告嘉宾：邓誉 (微软亚洲研究院)

报告题目：基于结构化潜变量的大规模多功能3D资产生成

Panel议题：

1. 在3D步入大模型的当下，计算资源不足的同学还能做什么有意思的工作？

2. 三维生成研究中，有哪些被忽略但很重要的问题？

3. 评估3D生成结果的好坏还有哪些新思路？

4. 现阶段基本都是图生3D，文生3D的效果很差。是否意味着后续3D生成都是以图像为条件？或者文生3D在目前数据质量有限的前提下，还有什么破局之法？

5. 3D生成“卷”到现在这个阶段，还有什么值得挖掘的方向？

6. 3D生成如何与真实世界场景结合，形成更落地的应用？

Panel嘉宾：

曹炎培 (VAST)、许岚 (上海科技大学)、邓誉 (微软亚洲研究院)、杨蛟龙 (微软亚洲研究院)、韩晓光 (香港中文大学深圳)

报告嘉宾：曹炎培 (VAST)

报告时间：2025年5月28日 (星期三)晚上20:00 (北京时间)

报告题目：AI原生的3D内容创作

报告人简介：

曹炎培，VAST首席科学家，专注于计算机图形学与3D生成式AI的前沿技术研发及产业应用。2013和2018年分别于清华大学计算机系获学士和博士学位。其研究成果曾获Pacific Graphics最佳论文奖和SIGGRAPH Asia最佳论文提名奖。他积极推动技术共享，发起并领导的多个3D AI开源项目在GitHub累计获星超15K，曾获 2023年度CCF优秀图形开源项目奖。学术服务方面，他担任SIGGRAPH Asia、NeurIPS等会议的技术论文委员会成员或领域主席。此前曾任Owlii CTO (后被快手收购)、快手Y-tech高级研究员、腾讯AI Lab和PCG ARC Lab专家研究员。

个人主页：

https://yanpei.me/

报告摘要：

本次分享将介绍VAST在AI原生的3D内容创作方面的最新研究进展，该系列研究致力于简化创作流程，能够将单张图像或草图等输入转化为高保真、带绑定且带纹理的3D数字资产。我们将首先介绍基于扩散模型的基础模型 (TripoSG、TripoSF和TEXGen)方面的进展。随后，将介绍一系列专为关键下游任务设计、能够有效利用或补充基础模型生成能力的专用模块：从单张图像生成高保真3D场景 (MIDI)、即插即用并通用的一致性多视图生成 (MV-Adapter)，以及部件感知的3D生成与处理 (HoloPart)。此外，报告还将分享VAST在自动化骨骼绑定领域的创新方法——UniRig。分享内容将涵盖这些模型的底层网络架构、条件控制机制以及训练策略；同时，将通过实例展示其在生成质量、对输入条件的对齐度以及模型泛化能力等方面的提升和效果。这些研究中的关键代码和模型均已开源，期望能为相关领域的研究人员和开发者提供支持，共同促进3D AI技术的进步与应用。

报告嘉宾：许岚 (上海科技大学)

报告时间：2025年5月28日 (星期三)晚上20:30 (北京时间)

报告题目：关于三维生成的一些思考

报告人简介：

许岚博士，上海科技大学信息科学与技术学院助理教授、研究员、博士生导师，MARS实验室主任。他的研究方向聚焦于计算机视觉、计算机图形学和计算摄像学，致力于光场智能重建理论与技术，重点关注动静态场景重建与生成、体积视频、神经渲染、人物交互动作分析等等方向。近年来，他率团队研制了系列光场装置，相关研究成果被 ACM TOG、IEEE IJCV、IEEE TPAMI、SIGGRAPH、SIGGRAPH Asia 和 CVPR 等顶级期刊与会议收录，并在 SIGGRAPH 2024 获两项最佳论文奖荣誉提名。

个人主页：

http://xu-lan.com/

报告摘要：

多模态生成式人工智能的发展，为高质量的动静态场景重建、渲染和生成都带来新突破，并且有望服务于未来的元宇宙或者人机交互应用。本次报告结合过去一年课题组在这些方面的科研进展，重点分享关于三维生成技术在组合、理解和交互方面的一些新思路，并且分析未来发展的问题和方向。

报告嘉宾：邓誉 (微软亚洲研究院)

报告时间：2025年5月28日 (星期三)晚上21:00 (北京时间)

报告题目：基于结构化潜变量的大规模多功能3D资产生成

报告人简介：

邓誉，微软亚洲研究院空间智能组高级研究员，研究方向为三维生成、神经网络渲染、具身智能等。2017和2022年分别于清华大学物理系和高等研究院获学士和博士学位，师从沈向洋教授。毕业后曾于小冰公司担任研究员，主导研究以人为主的AIGC。至今在CVPR、ICCV、NeurIPS等顶级计算机视觉、人工智能会议中发表论文十余篇，数次获得Oral和Spotlight奖项。相关论文谷歌学术引用2100余次，开源成果在GitHub获超过10K stars。

个人主页：

https://yudeng.github.io/

报告摘要：

我们提出一种用于多功能和高质量3D资产创建的新型3D生成方法。其核心是一个统一的结构化潜变量表示，允许解码到不同的输出格式，如辐射场、3D高斯和网格。SLAT结合稀疏的3D体素与从强大的视觉基础模型中提取的密集多视图视觉特征，全面捕捉结构 (几何)和纹理 (外观)信息，同时在解码过程中保持灵活性。我们采用了与SLAT适配的校正流变换器 (Rectified Flow Transformers)作为3D生成模型，并在包含50万个多样化物体的大规模3D资产数据集上训练了多达20亿参数的模型。我们的模型在文本或图像条件下生成的高质量3D资产显著超越了过去以及近期同等规模的方法。同时，我们的方法具备以前的方法所不具备的灵活输出格式选择和局部3D编辑能力。

Panel嘉宾：杨蛟龙 (微软亚洲研究院)

嘉宾简介：

杨蛟龙，微软亚洲研究院首席研究员、研究经理，研究方向为三维计算机视觉、AI内容生成。2016于澳大利亚国立大学与北京理工大学获得双授博士学位后加入微软亚洲研究院，以第一作者或所指导学生为第一作者在CVPR/ICCV/ECCV/SIGGRAPH/NeurIPS/TPAMI等顶级计算机视觉与图形学会议和期刊发表论文40余篇，Google Scholar引用7000余次，多次担任CVPR/ICCV/ECCV等会议领域主席，现任顶级期刊IJCV编委。数项技术成功转化到微软产品中供广泛用户使用。获IEEE VR/TVCG 2022最佳论文奖与2025最佳论文提名奖、2017年中国图形图像协会优秀博士论文奖 (全国4篇)。

个人主页：

https://jlyang.org/

Panel嘉宾：韩晓光 (香港中文大学深圳)

嘉宾简介：

韩晓光博士，现任香港中文大学 (深圳)理工学院助理教授。他于2017年获得香港大学计算机科学专业博士学位。其研究方向包括计算机视觉和计算机图形学等，在该方向著名国际期刊和会议已发表论文100余篇，包括顶级会议和期刊SIGGRAPH (Asia), CVPR, ICCV, ECCV, NeurIPS, ACM TOG, IEEE TPAMI等。他曾获得吴文俊人工智能优秀青年奖，广东省杰出青年基金资助，香港中文大学 (深圳)青年科研奖。担任CVPR、ICCV、ECCV、NeurIPS等领域主席，Siggraph Asia 程序委员，同时也是IEEE TVCG 以及 Computer&Graphics 的编委。他的工作曾两次获得CCF图形开源数据集奖，曾两次入选CVPR最佳论文列表。

个人主页：

https://gaplab.cuhk.edu.cn/

主持人：盛律 (北京航空航天大学)

主持人简介：

盛律，博导，北京航空航天大学“卓越百人”特别副研究员 (副教授)，入选2024年斯坦福前2%顶尖科学家榜单、小米青年学者、北航青年拔尖计划。CCF-CV/CSIG-3DV/MV专委会执行委员，VALSE执行领域主席。2011年获浙江大学学士学位，2017年获香港中文大学博士学位。同年加入香港中文大学MMLab从事博士后研究。2019年入职北京航空航天大学软件学院。主要研究方向为三维视觉、多模态大模型和具身智能。在TPAMI/IJCV/TIP以及CVPR/ICCV/ECCV等重要国际期刊和会议发表论文60余篇，Google Scholar显示被引用数超6700次。现任ACM Computing Surveys副编，CVPR，ACM MM和ECCV领域主席。主持或参与多项国家自然科学基金、科技部重点研发计划和省部级重点研发计划项目。

个人主页：

https://lucassheng.github.io

特别鸣谢本次Webinar主要组织者：

主办AC：盛律 (北京航空航天大学)