VALSE Webinar 24-33期 总第368期 数字人脸生成：二维方法与三维方法 ...

报告嘉宾：朱昊 (南京大学)

报告题目：360度可渲染的三维头部生成模型

报告嘉宾：郭建珠 (快手)

报告题目：Efficient Portrait Animation with Precise Control

报告嘉宾：朱昊 (南京大学)

报告时间：2024年11月27日 (星期三)晚上20:00 (北京时间)

报告题目：360度可渲染的三维头部生成模型

报告人简介：

朱昊于南京大学获得学士和博士学位，现为南京大学智能科学与技术学院助理教授、姑苏青年教授、博导，共同指导南京大学三维视觉实验室（NJU-3DV），同时也是计算成像实验室（CITE）的一员，从事三维视觉和人工智能方向的研究。近年来聚焦数字人三维重建、生成与驱动技术，发表三十余篇学术论文，包括TPAMI、CVPR、AAAI、ECCV、SIGGRAPH等，代表工作包括FaceScape系列和MoFaNeRF系列。入选第八届中国科协青年人才托举工程、腾讯犀牛鸟专项研究计划，获得IEEE CAS杰出青年作者奖、江苏省双创博士、南京大学博士生校长特别奖等荣誉。

个人主页：

http://zhuhao.cc/home

报告摘要：

高效构建三维头部模型是一项拥有极高应用价值而颇具挑战的课题，在影视制作、元宇宙、数字人等领域展现出巨大应用潜力。早期的研究利用海量的二维图像来学习三维面部生成模型，尽管这些模型具有较高的外貌泛化性，其生成结果的三维几何结构并不可靠，无法实现360°全视角渲染，限制了其在虚拟现实、游戏开发等需求全方位三维交互场景的应用。为解决这一问题，我们探索了另一条三维头部生成模型的构建思路，即从数量有限的三维头部数据集中学习一个原生的360°可自由渲染的三维头部生成模型。研究围绕三个重点问题展开：1）如何高效表征三维头部模型？2）如何在参数空间解耦头部的运动、外貌和外形，实现可驱动模型的生成？3）如何扩展头部生成模型的外貌泛化性，以支持单视图重建、外貌编辑等下游任务？我们希望所提出的模型和数据集能够启发新思路下的三维头部生成模型研究，为这一研究方向注入新的灵感与活力。

参考文献：

[1] Yuxiao He, Yiyu Zhuang, Yanwen Wang, Yao Yao, Siyu Zhu, Xiaoyu Li, Qi Zhang, Xun Cao, Hao Zhu. Head360: Learning a Parametric 3D Full-Head for Free-View Synthesis in 360°, European Conference on Computer Vision (ECCV), 2024

[2] Yiyu Zhuang, Yuxiao He, Jiawei Zhang, Yanwen Wang, Jiahe Zhu, Yao Yao, Siyu Zhu, Xun Cao, Hao Zhu. Towards Native Generative Model for 3D Head Avatar, arXiv, 2024

报告嘉宾：郭建珠 (快手)

报告时间：2024年11月27日 (星期三)晚上20:30 (北京时间)

报告题目：Efficient Portrait Animation with Precise Control

报告人简介：

郭建珠，快手视觉生成与互动中心（KwaiVGI）高级研究员，负责的相关算法在快手多个业务方向取得了落地，目前专注于人像视频生成与互动方向。2016年本科毕业于东南大学，2021年博士毕业于中科院自动化所，期间研究方向为人脸&视觉。发表论文引用1200余次。开源项目在GitHub上获得2W星，如LivePortrait 、3DDFA、3DDFA-V2。

个人主页：

https://guojianzhu.com

报告摘要：

LivePortrait synthesizes lifelike videos from a single image or video, driven by motion from audio, images, videos or manual inputs. Built on an implicit-keypoint framework, it achieves superior efficiency, controllability, and generalization. Key improvements and contributions include scaled training with 69M frames, an improved architecture, refined motion transformation, and compact keypoint-based stitching and retargeting modules. LivePortrait delivers high-quality results at 12.8ms per frame on an RTX 4090, outperforming contemporary diffusion-based methods in both quality and speed. LivePortrait has garnered significant recognition in the open-source community, with over 13,000 stars on GitHub within just four months. This report will also highlight LivePortrait's development and growth in the open-source community (e.g., GitHub, HuggingFace), acknowledging the invaluable contributions of developers and collaborators, as well as its diverse industry applications and potential for innovative content production.

参考文献：

[1] Jianzhu Guo, Dingyun Zhang, Xiaoqiang Liu, Zhizhou Zhong, Yuan Zhang, Pengfei Wan, and Di Zhang. "LivePortrait: Efficient portrait animation with stitching and retargeting control." arXiv preprint arXiv:2407.03168 (2024).

[2] https://github.com/KwaiVGI/LivePortrait

主持人：朱翔昱 (中国科学院自动化研究所)

主持人简介：

朱翔昱，中国科学院自动化研究所副研究员，从事生物特征识别、数字人、三维重建等方向的理论研究与应用。国际模式识别协会（IAPR）生物特征青年学者奖（YBIA）获得者（两年一次，每次从全球范围内评选40岁以下学者一名）。任CCF:A类期刊T-IFS Associate Editor。共发表论文80余篇，发表文章的Google Scholar总引用次数为9600余次。获得三次国际竞赛冠军以及四项最佳论文及提名奖。授权国家发明专利12项。入选IEEE Senior Member，百度学术全球华人AI青年学者榜单（全球25人），受到腾讯犀牛鸟基金支持。获2021中国电子学会科技进步二等奖、中国图象图形学学会优秀博士论文提名奖。提出的人脸三维建模方法在被PyTorch官方Twitter报道，开源代码在Github上收获6000余星。

个人主页：

https://xiangyuzhu-open.github.io/homepage/

特别鸣谢本次Webinar主要组织者：

主办AC：朱翔昱 (中国科学院自动化研究所)