VALSE

VALSE 首页 活动通知 查看内容

VALSE 论文速览 第86期:通用统一多模态预训练模型OFA

2022-7-20 17:17| 发布者: 程一-计算所| 查看: 130| 评论: 0

摘要: 为了使得视觉与学习领域相关从业者快速及时地了解领域的最新发展动态和前沿技术进展,VALSE最新推出了《论文速览》栏目,将在每周发布一至两篇顶会顶刊论文的录制视频,对单个前沿工作进行细致讲解。本期VALSE论文速 ...

为了使得视觉与学习领域相关从业者快速及时地了解领域的最新发展动态和前沿技术进展,VALSE最新推出了《论文速览》栏目,将在每周发布一至两篇顶会顶刊论文的录制视频,对单个前沿工作进行细致讲解。本期VALSE论文速览选取了来自阿里巴巴达摩院的多模态预训练方面的工作。该工作由论文作者林俊旸录制。


论文题目:OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework

作者列表:王鹏 (阿里巴巴达摩院)、杨安 (阿里巴巴达摩院)、门睿 (阿里巴巴达摩院)、林俊旸 (阿里巴巴达摩院)、白帅 (阿里巴巴达摩院)、李智康 (阿里巴巴达摩院)、马坚鑫 (阿里巴巴达摩院)、周畅 (阿里巴巴达摩院)、周靖人 (阿里巴巴达摩院)、杨红霞 (阿里巴巴达摩院)

B站观看网址:

https://www.bilibili.com/video/BV1FV4y1H7Zn/


论文摘要:

在本项工作中,我们希望实现多模态预训练的统一范式以打破任务和模态特定设计的桎梏。我们提出了OFA模型,一个任务和模态无关的统一框架,实现了多任务的支持。OFA利用一个简单的序列到序列学习框架实现了多模态和单模态的多任务统一,包括图像生成、视觉定位、图像描述、图像分类、语言模型等。同时,OFA在预训练和微调阶段均使用了基于指引的学习模式,并且不需要在下游任务中实现任务特定的模型层。相比当前依赖超大规模数据的近期SOTA模型,OFA仅使用2000万公开图文数据进行预训练。尽管训练数据规模较小且方法直接简单,OFA在一系列的多模态任务取得SOTA表现,并且在文本和图像的单模态任务取得了极具竞争力的表现。我们的分析还发现OFA能够有效地迁移到未知的任务和未知的领域中。


论文信息:

[1] Wang, P., Yang, A., Men, R., Lin, J., Bai, S., Li, Z., Yang, H. (2022). OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework. ICML 2022L.


论文链接:

[https://arxiv.org/abs/2202.03052]


代码链接:

[https://github.com/OFA-Sys/OFA]


视频讲者简介:

林俊旸,现任阿里巴巴达摩院智能计算实验室算法专家,2019年毕业于北京大学。目前主要研究领域包括自然语言处理及多模态表征学习,侧重于多模态预训练及其应用,曾在自然语言处理、机器学习等领域以第一作者和共同作者的身份在多个顶级会议,包括ACL、KDD、EMNLP、NeurIPS、ICML等发表30余篇论文,引用量近1200。当前负责开源项目OFA,在多项多模态任务取得SOTA表现,Github stars近700;曾打造全球最大规模的十万亿参数多模态预训练模型M6及 M6服务化平台,服务集团内50余个业务场景,包括但不限于服装设计、自动文案生成、搜索推荐、自动驾驶等,致力于推动预训练大模型的商业化落地及普惠AI的发展。



特别鸣谢本次论文速览主要组织者:

月度轮值AC:王智慧 (大连理工大学)、杨旭 (西安电子科技大学)

季度责任AC:魏秀参 (南京理工大学)


活动参与方式

1、VALSE每周举行的Webinar活动依托B站直播平台进行,欢迎在B站搜索VALSE_Webinar关注我们!

直播地址:

https://live.bilibili.com/22300737;

历史视频观看地址:

https://space.bilibili.com/562085182/ 


2、VALSE Webinar活动通常每周三晚上20:00进行,但偶尔会因为讲者时区问题略有调整,为方便您参加活动,请关注VALSE微信公众号:valse_wechat 或加入VALSE QQ R群,群号:137634472);


*注:申请加入VALSE QQ群时需验证姓名、单位和身份缺一不可。入群后,请实名,姓名身份单位。身份:学校及科研单位人员T;企业研发I;博士D;硕士M。


3、VALSE微信公众号一般会在每周四发布下一周Webinar报告的通知。


4您也可以通过访问VALSE主页:http://valser.org/ 直接查看Webinar活动信息。Webinar报告的PPT(经讲者允许后),会在VALSE官网每期报告通知的最下方更新。

小黑屋|手机版|Archiver|Vision And Learning SEminar

GMT+8, 2022-8-13 12:17 , Processed in 0.014742 second(s), 14 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

返回顶部