VALSE 论文速览 第82期：基于因果表征学习的领域泛化方法

论文题目：Causality Inspired Representation Learning for Domain Generalization

作者列表：吕芳蕊 (北京理工大学)，梁健 (阿里巴巴集团)，李爽 (北京理工大学，通讯作者)，臧斌 (北京理工大学)，刘驰 (北京理工大学)，王子腾 (北京理工大学)，刘迪 (阿里巴巴集团)

B站观看网址：

https://www.bilibili.com/video/BV113411w7U5/

论文摘要：

领域泛化本质上是一个分布外泛化问题，旨在将从多个源领域学习到的知识泛化到不可见的目标领域上。现有的主流方法利用统计模型来建模数据和标签之间的依赖关系，试图学习域不变的表征。然而，统计模型只是对现实的浅层描述，因为它们只要求建模统计依赖性，而不是内在的因果机制。当统计相关性随目标域的数据分布变化而变化时，统计模型很有可能会泛化失败。因此，本文引入了一个通用的结构化因果模型来形式化领域泛化问题。具体而言，假设每个输入都是由因果变量 (与标签的关系在各个领域中是不变的)和非因果变量 (与类别无关)混合构成的，并且只有前者因果地影响数据类别。本文的目标是从输入数据中提取出因果因素，重建域不变的因果机制。然而，由于因果/非因果变量是不可观测的，直接进行因果推断在实际中十分具有挑战性， 因此本文通过学习具有因果变量性质的表征来模拟因果变量。本文总结并强调理想的因果变量应满足三个基本属性：与非因果变量分离、因果变量间相互独立，以及包含全部的因果信息。在此基础上，本文提出了因果启发的表征学习算法，该算法强制表征满足上述因果变量的属性，并利用因果表征模拟因果变量，从而重建因果机制，提高模型的泛化性能。大量在公开数据集 (如Digit-DG, PACS, Office-home)上的实验结果验证了本文方法的有效性。

论文信息：

[1] Fangrui Lv, Jian Liang, Shuang Li*, Bin Zang, Chi Harold Liu, Ziteng Wang and Di Liu. Causality Inspired Representation Learning for Domain Generalization. CVPR 2022 (Oral).

论文链接：

[https://openaccess.thecvf.com/content/CVPR2022/papers/Lv_Causality_Inspired_Representation_Learning_for_Domain_Generalization_CVPR_2022_paper.pdf]

代码链接：

[https://github.com/BIT-DA/CIRL]

视频讲者简介：

吕芳蕊，北京理工大学硕士。研究方向为深度学习与迁移学习，目前专注于领域自适应和领域泛化，在CCF-A类国际高水平会议 AAAI/ ICCV/ NeurIPS/ CVPR上发表多篇论文。

特别鸣谢本次论文速览主要组织者：

月度轮值AC：赵文达 (大连理工大学)、任文琦 (中山大学)

季度责任AC：魏秀参 (南京理工大学)