VALSE Webinar 25-14期 总第385期 表面之下—内隐的情感状态识别

报告嘉宾：李晓白 (浙江大学)

报告题目：多模态信息在非典型性情绪识别中的效用探索

报告嘉宾：宗源 (东南大学)

报告题目：基于低强度适配特征学习的微表情识别方法及其在测谎应用中的初步探索

Panel议题：

1. 如何科学界定内隐情感与显性情感的边界？内隐情感是否具有独特的生理或行为信号 (如皮肤电反应、微表情时序特征)？如何构建涵盖压抑、伪装、潜意识情感的理论框架以指导计算模型设计？

2. 微表情/微姿态 (如手指蜷缩)在不同个体、不同文化中是否具有一致的情感映射？如何解决数据偏差问题 (如亚洲人群压抑情感的高比例)？是否需要构建个体、文化适配的动态评估指标？

3. 因内隐数据标注成本极高 (需心理学专家标注压抑情感)，如何利用小样本学习/无监督学习缓解数据稀缺问题？

4. 在当前大模型时代，微表情识别领域是否能够借助大模型的力量开辟新的研究思路，从而突破现有的挑战？

5. 针对微表情识别这一典型的小规模数据领域，我们是否有可能构建专门的微表情大模型？在此过程中，是选择从头开始预训练，还是对已有的大模型进行微调更为可行？

6. 微表情识别技术在测谎等隐藏意图理解的实际应用中还有多远的距离？我们如何才能更好地突破这一瓶颈，实现微表情识别技术真正的落地应用？

报告嘉宾：李晓白 (浙江大学)

报告时间：2025年5月21日 (星期三)晚上20:00 (北京时间)

报告题目：多模态信息在非典型性情绪识别中的效用探索

报告人简介：

李晓白，浙江大学百人计划研究员，博导，浙江省千人。本科毕业于北京大学，硕士毕业于中科院大学，博士毕业于芬兰奥卢大学。获得芬兰科学院博后奖金，2020年至2023年4月在芬兰奥卢大学担任tenure track助理教授，获奥卢大学2019最具科学领导力的青年学者奖。2023年加入浙江大学网络空间安全学院，兼任奥卢大学客座教授。研究领域包括机器视觉、机器学习、情感计算、生物识别等。具体方向有微表情识别、基于视频的远程生理信号测量、生物特征识别、人脸活体检测、对抗攻击和伪造检测、多模态情感识别和内容生成等等。发表期刊和会议文章70余篇，包括高水平期刊和会议文章如IEEE TPAMI、TAC、SPM、PIEEE、IJCV、ICCV、CVPR等十余篇，谷歌学术检索H指数41，总引用9200，入选2022至2024年全球2%高被引学者。担任IEEE-TCSVT、IEEE-TMM、CVIU等期刊副编辑。关于微表情的研究被麻省理工科技评论报道，远程心率测量文章获IEEE芬兰区2020年最佳学生论文奖，rPPG身份认证文章获评IJCB2024最佳论文提名奖。

个人主页：

https://xiaobaili-uhai.github.io/

报告摘要：

相较于其它识别任务情绪识别具有其特殊的挑战，其中一个主要挑战来自于人的行为复杂性。早期的情绪识别关注面部表情识别，前提假设是高兴、悲伤等每类典型情绪对应一个表情原型。但此类情绪识别在实际应用中帮助有限，日常交流场景中的情绪多在更细微和隐晦的层面体现，融合其它的行为、生理反应信息或能实现更准确、细粒度的识别和理解。本次报告汇报课题组近期在融合多模态信息融合用于非典型情绪识别的一些探索，期待各位老师和同学的反馈指正。

参考文献：

[1] Computational Analysis of Stress, Depression and Engagement in Mental Health: A Survey， arXiv 2025（https://arxiv.org/abs/2403.08824）

[2] Gaze-GZ: Generalized Gaze Estimation with Multi-scale Gaze Zone Prediction. ICASSP 2025.

[3] Behavior-prompted Learning with Tree Attention for Advanced Facial Action Unit Detection. IJCNN, 2025

[4] Multimodal Interpretable Depression Analysis Using Visual, Physiological, Audio and Textual Data. WACV, 2025

[5] Cross-Cultural Nuances of Micro-Expressions and Action Units: A Comparative Study. ICMEW, 2025

[6] Contrast-Phys+: Unsupervised and Weakly-supervised Video-based Remote Physiological Measurement via Spatiotemporal Contrast. TPAMI, 2024

[7] TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals. CVPRW, 2024

[8] Analyzing Participants' Engagement during Online Meetings Using Unsupervised Remote Photoplethysmography with Behavioral Features. CVPRW, 2024

[9] Estimating Stress in Online Meetings by Remote Physiological Signal and Behavioral Features, UbiComp 2022

报告嘉宾：宗源 (东南大学)

报告时间：2025年5月21日 (星期三)晚上20:30 (北京时间)

报告题目：基于低强度适配特征学习的微表情识别方法及其在测谎应用中的初步探索

报告人简介：

宗源，博士，副教授，博士生导师，东南大学“至善青年学者”，入选第九届中国科协“青年人才托举工程”。2018年12月毕业于东南大学生物医学工程专业，获工学博士学位；2019年1月留校任教，担任生物科学与医学工程学院讲师；2022年4月破格晋升副教授。主要研究领域为情感计算与医学人工智能，特别关注面部表情/微表情分析、语音情感识别、多模态情绪行为分析及其在精神障碍辅助诊断的应用研究。以一作/通讯身份在IEEE汇刊、CCF A类会议以及语音信号处理领域权威期刊和会议Speech Communication/ICASSP/INTERSPEECH上发表学术论文20余篇；论文Google Scholar总引用5100余次 (H-index: 34)；主持国家自然科学基金 (面上、青年)、航空科学基金等国家/省部级项目4项；获东南大学优秀博士学位论文、南京市留学人员科技创新项目择优资助等荣誉和奖励。近年来，带领团队获得国际权威情感识别挑战赛冠军3项、亚军3项。

个人主页：

https://aip.seu.edu.cn/yzong/

报告摘要：

微表情是一种独特的动态面部表情，通常在个体试图掩饰真实情感时出现。因此，准确识别微表情在多个领域，如测谎，具有重要的潜在应用价值。然而，与常规动态面部表情相比，微表情的持续时间更短且运动强度极低，使得其识别过程极具挑战性。在本报告中，我们将首先梳理当前微表情识别研究的代表性进展；随后，介绍我们课题组近年来在构建适配低强度面部肌肉运动的微表情识别方法方面的系列研究工作；最后，分享我们近期在结合面部表情/微表情线索进行非接触式谎言识别方面的初步探索。希望通过这些内容，能够与大家共同思考对微表情识别技术落地过程中存在的瓶颈及其实现路径。

参考文献：

[1] Mengting Wei, Xingxun Jiang, Wenming Zheng(*), Yuan Zong(*), and Cheng Lu. CMNet: Contrastive Magnification Network for Micro-Expression Recognition. AAAI, 2023.

[2] Jie Zhu, Yuan Zong(*), Jingang Shi, Cheng Lu, Hongli Chang, and Wenming Zheng(*). Learning to Rank Onset-Occurring-Offset Representations for Micro-Expression Recognition. IEEE Transactions on Affective Computing, 2025. DOI: 10.1109/TAFFC.2025.3566113

[3] Feifan Wang, Yuan Zong(*), Jie Zhu, Mengting Wei, Xiaolin Xu, Cheng Lu, Wenming Zheng(*). Progressively Learning from Macro-Expressions for Micro-Expression Recognition. IEEE ICASSP, 2024.

[4] 徐啸林, 郑文明, 连海伦, 李溯南, 刘佳腾, 刘安邦, 路成, 宗源, 梁宗保. 基于中文对话的多模态谎言检测数据集. 中国图象图形学报, 2024. DOI: 10.11834/jig.240571

[5] Zhaoyang Li, Cheng Lu, Xiaolin Xu, Kaifei Zhang, Yujia Gu, Banghua Li, Yuan Zong(*), and Wenming Zheng(*). Enhancing Task-Specific Feature Learning with LLMs for Multimodal Emotion and Intent Joint Understanding. IEEE ICASSP, 2025.

[6] Xiaolin Xu, Cheng Lu, Zhaoyang Li, Yuyun Liu, Yinghao Ma, Jiahao Luo, Yuan Zong(*), and Wenming Zheng(*). Reliable Learning From LLM Features for Multimodal Emotion and Intent Joint Understanding. IEEE ICASSP, 2025.

主持人：赵思成 (清华大学)

主持人简介：

赵思成，清华大学副研究员，国家级青年人才，ACM/IEEE/CCF/CSIG高级会员，哈尔滨工业大学博士，加州大学伯克利分校和哥伦比亚大学博士后。研究方向为情感计算、多媒体分析、多模态大模型等。发表IEEE/ACM汇刊、CCF推荐A类论文60余篇，谷歌学术引用10000余次，H指数为53。担任CSIG情感计算与理解专委会秘书长、IEEE TIP/IEEE TAFFC等国际期刊编委、IEEE TFS/ACM TOMM等国际期刊首席客座编委、NeurIPS/ICML/CVPR/ECCV/ACM MM/AAAI/IJCAI等国际会议领域主席或资深程序委员。主持国家重点研发计划课题、国家自然科学基金专项课题、CCF-滴滴盖亚学者科研基金等项目。获得CSIG自然科学二等奖、中国电子学会科技进步一等奖、CSIG优秀博士论文奖、ACM SIGMM中国新星奖、多媒体建模旗舰会议MMM 2015最佳论文Runner-up奖等奖励，入选AI 2000人工智能全球最具影响力学者榜单和全球前2%顶尖科学家榜单。

个人主页：

https://sites.google.com/view/schzhao

特别鸣谢本次Webinar主要组织者：

主办AC：赵思成 (清华大学)