VALSE 论文速览 第31期：面向弱监督实例级别商品检索的多模态预训练 ... ...

论文题目：Product1M: Towards Weakly Supervised Instance-Level Product Retrieval via Cross-Modal Pretraining

作者列表：詹巽霖 (中山大学)，吴洋鑫 (中山大学)，董晓 (中山大学)，魏云超 (北京交通大学)，卢旻龙 (阿里巴巴)，张亦驰 (阿里巴巴)，徐航 (华为诺亚方舟)，梁小丹 (中山大学)

B站观看网址：

https://www.bilibili.com/video/BV19M4y1P76Y/

论文摘要：

当前大部分商品检索方法只针对单模态数据进行有监督的商品检索，但对于大量弱标注的多模态商品数据，这些方法难以适应当前的应用场景。该文探索此类问题并提出了一种新型的商品检索任务，即在大规模弱标注的细粒度商品中如何有效进行实例级的多模态商品检索。为促进该问题的进一步的探索，本文提出了一个大规模的多模态实例数据集Product1M，该数据集包含100多万对图文信息，并将商品样本分为两种类型—单品及组合品，同时具有细粒度、复杂组合及混淆关系等诸多现实场景中的典型特点。此外，本文提出了一个基于多模态对比学习的有效模型CAPTURE，通过一个混合的Transformer自监督地学习多模态数据间的潜在关系。该模型通过遮掩任务及跨模态对比学习产生一个具有区分度的实例特征用于商品检索任务，与其他多模态预训练方法相比，其效果都有较大提升。该论文已被ICCV 2021收录。

论文信息：

[1]Xunlin Zhan, Yangxin Wu, Xiao Dong, Yunchao Wei, Minlong Lu, Yichi Zhang, Hang Xu,  and Xiaodan Liang. "Product1M: Towards Weakly Supervised Instance-Level Product Retrieval via Cross-Modal Pretraining" In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pp. 11782-11791. virtual, October 2021.

论文链接：

[https://arxiv.org/abs/2107.14572]

代码链接：

[https://github.com/zhanxlin/Product1M]

视频讲者简介：

詹巽霖，中山大学硕士生，导师是梁小丹副教授，研究方向为多模态预训练，商品检索等。

特别鸣谢本次论文速览主要组织者：

月度轮值AC：张正 (哈尔滨工业大学(深圳))、李爽 (北京理工大学)

季度责任AC：许永超 (武汉大学)