VALSE 论文速览 第86期：通用统一多模态预训练模型OFA

论文题目：OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework

作者列表：王鹏 (阿里巴巴达摩院)、杨安 (阿里巴巴达摩院)、门睿 (阿里巴巴达摩院)、林俊旸 (阿里巴巴达摩院)、白帅 (阿里巴巴达摩院)、李智康 (阿里巴巴达摩院)、马坚鑫 (阿里巴巴达摩院)、周畅 (阿里巴巴达摩院)、周靖人 (阿里巴巴达摩院)、杨红霞 (阿里巴巴达摩院)

B站观看网址：

https://www.bilibili.com/video/BV1FV4y1H7Zn/

论文摘要：

在本项工作中，我们希望实现多模态预训练的统一范式以打破任务和模态特定设计的桎梏。我们提出了OFA模型，一个任务和模态无关的统一框架，实现了多任务的支持。OFA利用一个简单的序列到序列学习框架实现了多模态和单模态的多任务统一，包括图像生成、视觉定位、图像描述、图像分类、语言模型等。同时，OFA在预训练和微调阶段均使用了基于指引的学习模式，并且不需要在下游任务中实现任务特定的模型层。相比当前依赖超大规模数据的近期SOTA模型，OFA仅使用2000万公开图文数据进行预训练。尽管训练数据规模较小且方法直接简单，OFA在一系列的多模态任务取得SOTA表现，并且在文本和图像的单模态任务取得了极具竞争力的表现。我们的分析还发现OFA能够有效地迁移到未知的任务和未知的领域中。

论文信息：

[1] Wang, P., Yang, A., Men, R., Lin, J., Bai, S., Li, Z., Yang, H. (2022). OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework. ICML 2022L.

论文链接：

[https://arxiv.org/abs/2202.03052]

代码链接：

[https://github.com/OFA-Sys/OFA]

视频讲者简介：

林俊旸，现任阿里巴巴达摩院智能计算实验室算法专家，2019年毕业于北京大学。目前主要研究领域包括自然语言处理及多模态表征学习，侧重于多模态预训练及其应用，曾在自然语言处理、机器学习等领域以第一作者和共同作者的身份在多个顶级会议，包括ACL、KDD、EMNLP、NeurIPS、ICML等发表30余篇论文，引用量近1200。当前负责开源项目OFA，在多项多模态任务取得SOTA表现，Github stars近700；曾打造全球最大规模的十万亿参数多模态预训练模型M6及 M6服务化平台，服务集团内50余个业务场景，包括但不限于服装设计、自动文案生成、搜索推荐、自动驾驶等，致力于推动预训练大模型的商业化落地及普惠AI的发展。

特别鸣谢本次论文速览主要组织者：

月度轮值AC：王智慧 (大连理工大学)、杨旭 (西安电子科技大学)

季度责任AC：魏秀参 (南京理工大学)