VALSE 论文速览第11期：GeoSim: 自动驾驶中高清逼真的相机仿真

2021-9-3 11:56| 发布者: 程一-计算所| 查看: 1119| 评论: 0

摘要: 为了使得视觉与学习领域相关从业者快速及时地了解领域的最新发展动态和前沿技术进展，VALSE最新推出了《论文速览》栏目，将在每周二和周五各发布一篇顶会顶刊论文的录制视频，对单个前沿工作进行细致讲解。本期VALSE ...

为了使得视觉与学习领域相关从业者快速及时地了解领域的最新发展动态和前沿技术进展，VALSE最新推出了《论文速览》栏目，将在每周二和周五各发布一篇顶会顶刊论文的录制视频，对单个前沿工作进行细致讲解。本期VALSE论文速览选取了来自Uber ATG、多伦多大学、斯坦福大学和麻省理工大学作者共同完成的自动驾驶的相机仿真方面的工作。该工作在王申龙助理教授和Raquel Urtasun教授等指导下完成，并由陈云录制视频。

论文题目：GeoSim: 自动驾驶中高清逼真的相机仿真

作者列表：陈云 (ATG研究员), Frieda Rong (斯坦福PhD, ATG研究员), Shivam Duggal (ATG研究员), 王申龙 (ATG研究员&多伦多大学PhD), 严欣辰 (ATG研究员), Sivabalan Manivasagam (ATG研究员&多伦多大学PhD), 薛尚捷 (ATG Intern&MIT Master), Ersin Yumer (ATG研究员), Raquel Urtasun (ATG首席科学家&多伦多大学教授)）

B站观看网址：

https://www.bilibili.com/video/BV1Rq4y1K7PG/

论文摘要：

自动驾驶相机仿真的目标是生成指定视角的图片，可以用来测试和训练自动驾驶系统。然而这个任务目前还没有很好的解决方案：使用3D引擎渲染的图片不够逼真，使用2D GAN生成的图片难以进行3D控制。在这篇工作中，我们处理的是相机仿真中一个重要的子任务-动态物体仿真：给定一个背景视频, 将运动的物体插入到视频中。我们结合了图形学和神经网络的方法, 提出了GeoSim：先利用无人车采集的数据三维重建出动态物体, 而后将重建的物体插入到视频之中。GeoSim最大程度的利用已知的3D信息，生成的视频取得了大幅领先的视觉逼真度，并可扩展到大规模的自动驾驶应用场景。

论文信息：

[1] Chen, Yun, et al. "GeoSim: Realistic Video Simulation via Geometry-Aware Composition for Self-Driving." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021.

论文链接：

[https://arxiv.org/abs/2101.06543]

项目主页：

[https://tmux.top/publication/geosim]

视频讲者简介：

陈云，曾任职于Uber无人车团队，现任waabi.ai研究员, 多伦多大学2021级博士生，主要从事自动驾驶与3D计算机视觉等研究。

个人主页：

https://tmux.top

特别鸣谢本次论文速览主要组织者：

月度轮值AC：沈为 (上海交通大学)、赵恒爽 (牛津大学)

季度责任AC：王兴刚 (华中科技大学)

活动参与方式