VALSE 2025专题论坛 | 多模态学习助力智慧医疗：从科研到落地

VALSE 2025专题论坛 | 多模态学习助力智慧医疗：从科研到落地

广东.珠海 2025年6月6-8日

当今时代，随着人工智能技术的飞速发展，多模态学习已成为智慧医疗领域的重要推动力之一。多模态学习技术不仅能够整合多源医疗数据 (如医学影像、文本、基因组数据、电子健康记录等)，帮助医疗行业实现智能化和精细化发展，更能为医生和患者提供更精准、高效的诊断和治疗支持。本次研讨会汇聚来自学术界、工业界及临床一线的多位知名专家，共同分享他们在智慧医疗领域的最新研究进展。研讨内容将围绕人工智能，尤其是多模态学习技术在医疗中的创新应用与未来发展方向，深入探讨其向真实临床场景的有效转化，旨在推动医疗人工智能实现关键突破与落地应用。

谢雨彤 穆罕默德·本·扎耶德人工智能大学

谢雨彤，穆罕默德·本·扎耶德人工智能大学 (MBZUAI)助理教授，2022-2024年在澳大利亚阿德莱德大学机器学习研究所任博士后研究员。研究方向为医疗人工智能，重点关注于有限标注下医学数据的高效分析和解读，多模态医学数据分析。迄今为止，在 IEEE-TPAMI、IJCV、CVPR、MICCAI等中科院一区顶级期刊和领域顶级会议发表50余篇论文，4篇入选ESI高被引，谷歌学术总引用5900余次。曾获中国图象图形学学会优秀博士学位论文奖、陕西省自然科学优秀学术论文奖等，2022-2024连续三年入选斯坦福大学全球前2%顶尖科学家榜单。2023-2025连续三年担任领域顶级会议MICCAI的领域主席，并担任VALSE 2025 Tutorial主席，VALSE 2024 & 2025执行领域主席和医学影像青年论坛 (MICS)委员会委员。

雷柏英 深圳大学

雷柏英，国家级青年人才，深圳大学特聘教授，西安电子科技大学客座教授，博士生导师，获新加坡南洋理工大学博士学位。主要研究方向为医学图像处理和人工智能。在IEEE TPAMI、 TMI等以第一/通讯作者 (含共同)发表SCI论文100余篇 (9篇ESI高被引，1篇热点论文)。谷歌学术总引用超万次，H指数58。主持国家自然科学基金联合基金重点1项，面上2项等项目20余项 (含国家级7项)。现任IEEE TNNLS、TCYB、TMI、JBHI、Medical Image Analysis等10种SCI期刊编委。IEEE BISP、BIIP、BSP等技术委员会委员，医学图像顶级学术会议MICCAI领域主席 (2021-2023)。IEEE 广州分部WIE主席，人工智能A类会议AAAI、IJCAI程序委员会委员，IEEE EMBS杰出讲师，入选2024年ScholarGPS的近5年全球0.05%高引学者榜单和“全球前2%顶尖科学家” (2020-2023)和终身影响力榜单 (2023)，获 “强国青年科学家”提名 (2022，全国共40人)，CSIG石青云女科学家奖 (2022)。

夏勇 西北工业大学

夏勇，西北工业大学长聘教授、博士生导师、空天地海一体化大数据应用技术国家工程实验室成员，研究方向为医学影像智能计算，近5年在本领域顶级期刊JAMA Network Open、Radiology、IEEE-TPAMI/TMI/TIP/JBHI、IJCV、MedIA和顶级会议NeurIPS、CVPR、ECCV、AAAI、IJCAI、MICCAI发表论文80余篇，谷歌引用1.6万余次 (H-Index = 60)，现为中国体视学学会理事、中国计算机学会数字医学分会常委、中国抗癌协会肿瘤影像专业委员会人工智能学组副组长。个人主页：https://teacher.nwpu.edu.cn/yongxia.html

演讲嘉宾：沈定刚 上海科技大学/上海联影智能医疗科技有限公司

报告题目：生成式人工智能与疾病诊疗

报告摘要：本报告探讨了多模态医疗大模型的研究与应用，以及对医疗领域的影响。首先介绍传统医疗影像AI的核心应用，包括成像、全身器官及靶区分割、疾病诊断等。接着，介绍医疗大模型的研发策略，提出通过借鉴通用大模型的方法，构建具备医疗专业性的大模型；例如，通过影像、文本和视频数据的融合，为复杂医疗场景提升诊疗和决策 (包括智能勾画、精准诊断和报告生成)。此外，还介绍在手术室全景建模、实时术中导航、术后报告生成等场景中的应用，实现操作流程的智能化。

专家简介：沈定刚，上海科技大学教授、生物医学工程学院创始院长，联影智能联席CEO，IEEE/AIMBE/IAPR/MICCAI/ISMRM/IAMBE Fellow，美国The Academy for Radiology & Biomedical Imaging Research杰出研究者奖，2024 IEEE EMBS 技术成就奖。曾任美国 UNC-Chapel Hill 终身教授、冠名杰出教授，宾夕法尼亚大学 (UPenn) 助理教授，约翰霍普金斯大学 (Johns Hopkins University) 讲师。世界上最早开展医学影像人工智能研究的科学家之一，并最先将深度学习应用于医学影像。发表论文1500余篇，H-index 156，引用10万余次。三个国际期刊高级编辑 (Senior Editor)，六个国际期刊主编/副主编/编委。

演讲嘉宾：王珊珊 中科院深圳先进院

报告题目：多模态可泛化医学影像人工智能基础模型研究

报告摘要：当前，医学多模态智能系统面临数据异质性高、标注数据稀缺以及模型泛化能力不足等关键挑战。尽管现有多模态学习方法在一定程度上实现了不同类型医学数据的融合，但在实际应用中仍存在融合效果不理想、模型对新场景适应性差等问题。本报告聚焦于医学多模态联合表征学习的泛化性研究，重点探索结合自监督学习与对比学习的预训练策略，充分挖掘大规模无标注医学数据的潜力，增强模型对不同模态间关联的理解能力及其跨领域迁移能力。通过减少对人工标注数据的依赖，有望显著提升模型在不同医院、设备和人群中的泛化表现。本研究将应用于多个实际场景，包括鲁棒性与稳定性兼具的快速磁共振成像、肺部文本-图像跨模态理解，以及面向开放环境的多部位、多模态、多尺度对齐与Zero-shot自适应学习等。

专家简介：王珊珊，中国科学院深圳先进技术研究院研究员、博士生导师，国家优青，2021-2024入选Elsevier和斯坦福 “全球前2%顶尖科学家”榜单。长期从事人工智能、快速医学成像、放射组学与多模态分析等研究，在Nature子刊、IEEE Trans等发表高质量论文。在人工智能快速医学成像与成像物理引导的小样本学习技术做出开创性工作，曾受邀在第31届国际医学磁共振年会给大会主题冠名报告 (入选率约1/6000，英国伦敦)及美国第10届GRC活体磁共振给大会主题报告 (美国安多弗)。核心技术转让两家医疗公司，装机超千台，含多款磁共振与低剂量CT设备。曾荣获吴文俊人工智能技术发明一等奖 (1/6)、OCSMRM杰出研究奖 (1/1)、广东省技术发明与科技进步一等奖 (2/10)、广东省青年科技奖 (1/1)等；先后主持科技部2030新一代人工智能重大课题、NSFC联合基金重等国家级项目6项；担任SCI学术期刊的副主编/编委 (如IEEE Transactions on Medical Imaging, IEEE Transactions on Computational Imaging, Magnetic Resonance in Medicine, Pattern Recognition、Biomedical Signal Processing and Control等)。

演讲嘉宾：陈浩 香港科技大学

报告题目：大模型赋能智慧医疗：挑战和未来

报告摘要：人工智能大模型极大地提高了视觉计算和自然语言处理等诸多领域的识别性能。尽管在上述领域取得了突破，其在医疗多模态大模型的分析与应用仍有待探索，尤其针对基准模型构建和多模态异构数据融合分析等。本次报告将分享我们在医疗多模态大模型研发与应用等方面的最新进展，以及在疾病诊断、疗效预测和预后等方面的应用和挑战。实验室主页：https://smartlab.cse.ust.hk/

专家简介：陈浩，香港科技大学计算机科学与工程系，化学与生物工程系和生命科学部助理教授，医工交叉联合创新中心主任，研究兴趣包括大模型医疗，计算病理，多模态数据融合，医学图像分析，可解释深度学习，计算机辅助微无创诊疗等。在Nature Biomedical Engineering、Nature  Communications、Lancet Digital Health、Nature Machine Intelligence、MICCAI、IEEE-TMI、MIA、CVPR、ICCV等顶级期刊和会议发表论文200余篇 (谷歌学术引用32600余次，h-index 75)，连续入选斯坦福大学全球排名前2%科学家名单，科睿唯安全球高被引科学家等。曾获得2023年亚洲青年科学家、国家教育部优秀成果二等奖、北京市科技进步一等奖、2019年人工智能医学影像顶级会议MICCAI青年科学家影响力奖等奖项，担任包括IEEE TMI、TNNLS、J-BHI和CMIG等期刊编委，担任ICLR、CVPR、ACM MM、MICCAI等多个国际会议的领域主席和程序委员，曾带领团队获得15余项国际医学图像分析的挑战赛冠军。

演讲嘉宾：隋尧 北京大学

报告题目：神经成像质量与效率：面向临床的优化

报告摘要：传统神经成像方法受限于成像质量与成像效率的矛盾，严重影响临床新技术转化与应用。得益于近年来人工智能技术的快速发展，成像质量与效率的平衡与优化也随之迎来了新的契机。通过整合智能技术与成像方法创新，高效且临床切实可行的神经成像方法得以成功实现。本报告介绍以真实临床场景应用为导向的面向结构与功能的智能神经成像新技术新方法。

专家简介：隋尧，北京大学助理教授、博士生导师，健康医疗大数据国家研究院、医学技术研究院、人工智能研究院副研究员。博士毕业于清华大学电子工程系，图像处理专业。曾于哈佛大学医学院放射学系任教研系列讲师、哈佛大学附属波士顿儿童医院计算放射学实验室任研究科学家。现任国际医学图像计算与计算机辅助干预会议MICCAI领域主席、国际生物医学成像会议ISBI大会报告主席、国际人工智能会议AAAI资深组委会成员。研究工作聚焦于人工智能与医学成像的交叉领域，发表研究论文50余篇，其中一作20余篇。

演讲嘉宾：张亚琴 中山大学附属第五医院

报告题目：人工智能助力乳腺疾病影像解读

报告摘要：人工智能辅助乳腺影像分析是基于医学影像诊断流程，结合深度学习与生成对抗网络等前沿技术，旨在实现乳腺疾病的早期精准筛查与个体化诊断。本报告聚焦人工智能在乳腺疾病影像分析中的应用，围绕《健康中国2030》规划纲要及两癌筛查的总目标，重点介绍了团队在人工智能在合成乳腺高分辨率图像、自动分割、乳腺疾病良恶性分类及乳腺癌淋巴血管侵犯预测等领域的研究进展，强调了其可解释性和临床转化前景，助力乳腺影像智能诊断的发展。

专家简介：张亚琴，中山大学附属第五医院影像医学部主任兼放射科主任，博士生导师、博士后合作导师。在BMJ等权威期刊共发表学术论文50余篇；获广东省科技进步一等奖、二等奖各1项及华夏医学科技奖；主持及参与该领域国家级课题多项，参编多项指南及专著。创立人工智能创新工作室6年并担任珠海市劳模创新联盟领衔人，积极推动AI与影像组学在常见肿瘤等重大疾病早筛与疗效评估中的临床转化。担任中华医学会放射学分会、广东省医学会等多项学术委员会委员，并担任RSNA、ER通讯会员及CJAR等多个期刊编委。

演讲嘉宾：张建鹏 阿里巴巴达摩院/浙江大学

报告题目：基于视觉语言预训练的开放场景医学影像理解

报告摘要：AI在帮助放射科医生提高医学图像解释和诊断的效率和准确性方面显示出巨大的潜力。然而，一个通用的人工智能模型需要大规模的数据和全面的注释，这在医疗环境中通常是不切实际的。本次报告将介绍我们最近在开放场景医学影像理解方面的研究工作，重点关注视觉语言预训练方向，分析当前医学影像分析领域所面临的挑战，并介绍一些初步探索工作。

专家简介：张建鹏，阿里巴巴达摩院算法专家、浙江大学博士后研究员。主持浙江省博后择优资助项目，获2024年度中国图像图形学会优博，连续三年入选全球前2%科学家榜单。研究方向为肿瘤早筛、多模态大模型，近五年在IEEE-TPAMI/TMI、MedIA、ICLR、CVPR、ICCV、ECCV、MICCAI等本领域顶级期刊/会议发表论文30余篇，谷歌学术被引用5000余次。担任MICCAI 2024、2025领域主席，以及IEEETPAMI/TMI/CVPR/MICCAI等十余个国际期刊和会议的评审人。

Panel嘉宾：

沈定刚 (上海科技大学/上海联影智能医疗科技有限公司)、王珊珊 (中科院深圳先进院)、陈浩 (香港科技大学)、隋尧 (北京大学)、张亚琴 (中山大学附属第五医院)、张建鹏 (阿里巴巴达摩院/浙江大学)、夏勇 (西北工业大学)