VALSE Webinar 2024-22期 总第357期 多模态医学图像处理及医学大模型的发展近况 ...

报告嘉宾：陈浩 (香港科技大学)

报告题目：多模态计算病理基准模型：挑战和未来

报告嘉宾：沈为 (上海交通大学)

报告题目：基于辐射场的内窥镜手术场景三维高效重建

报告嘉宾：王连生 (厦门大学)

报告题目：病理数据的多模态分析

报告嘉宾：陈浩 (香港科技大学)

报告时间：2024年8月14日 (星期三)晚上20:00 (北京时间)

报告题目：多模态计算病理基准模型：挑战和未来

报告人简介：

陈浩，香港科技大学计算机科学与工程系和化学与生物工程系助理教授，研究兴趣包括计算病理，多模态数据融合，医学图像分析，可解释深度学习等。他领导的人工智能医疗实验室（SmartLab），专注于可信人工智能技术在医疗领域的前沿研究与转化应用。陈教授于2017年获得香港中文大学博士学位。在MICCAI、IEEE-TMI、MIA、CVPR、ICCV、AAAI、IJCAI、Radiology、LancetDigital Health、Nature Machine Intelligence、Nature  Communications等顶级期刊和会议发表论文100余篇（谷歌学术引用26000余次，h-index64），连续入选斯坦福大学全球排名前2%科学家名单。此外，陈教授还具有丰富的工业研究和产业转化经验，拥有二十余项人工智能和图像分析方面专利。曾获得2023年亚洲青年科学家、国家教育部高等学校科学研究优秀成果二等奖、北京市科技进步一等奖、2019年人工智能医学影像顶级会议MICCAI青年科学家影响力奖、Elsevier-MICCAI最佳论文奖、医学影像与增强现实会议最佳论文奖、福布斯中国30岁以下30位精英等奖项，担任包括IEEE TNNLS、J-BHI、CMIG和MedicalPhysics等期刊编委，担任2024 ACM MM、MICCAI 2021-2023、MIDL 2022-2024、CVPR 2024等多个人工智能与医学影像分析国际会议的领域主席和程序委员，曾带领团队获得15余项国际医学图像分析的挑战赛冠军。

个人主页：

https://cse.hkust.edu.hk/~jhc/

报告摘要：

人工智能基准模型极大地提高了视觉计算和自然语言处理等诸多领域的识别性能。尽管在上述领域取得了突破，其在多模态计算病理中的分析与应用仍有待探索，尤其针对计算病理基准模型构建和多模态异构数据融合等。本次报告将分享我们在面向癌症精准诊疗的计算病理基准模型研发和多模态数据融合方面的最新进展，以及在癌症诊断、疗效预测和预后等方面的应用和挑战。

参考文献：

[1] Xu, Y., et al. Multimodal Knowledge-enhanced Whole-slide Pathology Foundation Model. arXiv, 2024.

[2] Ma, J., et al. Towards A Generalizable Pathology Foundation Model via Unified Knowledge Distillation. arXiv, 2024.

[3] Zhang, Y., et al. Prototypical Information Bottlenecking and Disentangling for Multimodal Cancer Survival Prediction. ICLR, 2024.

[4] Xu, Y., et al. Multimodal Optimal Transport-based Co-Attention Transformer with Global Structure Consistency for Survival Prediction. ICCV, 2023.

[5] He, Y., et al. Foundation Model for Advancing Healthcare: Challenges, Opportunities, and Future Directions. arXiv, 2024.

报告嘉宾：沈为 (上海交通大学)

报告时间：2024年8月14日 (星期三)晚上20:30 (北京时间)

报告题目：基于辐射场的内窥镜手术场景三维高效重建

报告人简介：

沈为，上海交通大学教授，博士生导师，国家优青，上海市海外高层次引进人才。研究方向为计算机视觉和医学影像处理，发表IEEE TPAMI、IEEE TIP、IEEE TMI、NeurIPS、CVPR、ICCV等人工智能相关领域顶级期刊和会议50多篇，谷歌学术引用1万多次。担任NeurIPS 2023/2024、CVPR 2022/2023、ACCV 2022领域主席、SCI一区期刊Pattern Recognition编委、上海市计算机学会计算机视觉专委副主任。代表性工作获得MICCAI 2023青年科学家奖。

个人主页：

https://shenwei1231.github.io/

报告摘要：

内窥镜手术因其微创性和低感染风险，成为许多常见疾病的首选治疗方法。本次报告介绍报告人团队在内窥镜手术场景三维高效重建上的探索：首先介绍报告人团队基于神经辐射场的高效组织动态三维重建技术，通过设计神经正交特征平面作为内窥镜手术中动态组织的三维表征，从而显著加速动态组织重建及渲染；然后介绍报告人团队结合同步定位与建图及高斯泼溅的高效术中重建系统，能够在手术过程中实时定位内窥镜镜头并重建手术场景，同时提供实时高质量新视角渲染。期望通过这些探索，能够突破内窥镜镜头动作幅度受限、视野狭窄等限制，为外科医生的培训和术中辅助提供助力。

参考文献：

[1] Chen Yang, Kailing Wang, Yuehao Wang, Qi Dou, Xiaokang Yang, Wei Shen. Efficient Deformable Tissue Reconstruction via Orthogonal Neural Plane. IEEE Trans. Medical Imaging, 2024.

[2] Kailing Wang, Chen Yang, Yuehao Wang, Sikuang Li, Yan Wang, Qi Dou, Xiaokang Yang, Wei Shen. EndoGSLAM: Real-Time Dense Reconstruction and Tracking in Endoscopic Surgeries using Gaussian Splatting. MICCAI, 2024.

[3] Chen Yang, Kailing Wang, Yuehao Wang, Xiaokang Yang, Wei Shen. Neural LerPlane Representations for Fast 4D Reconstruction of Deformable Tissues. MICCAI, 2023.

报告嘉宾：王连生 (厦门大学)

报告时间：2024年8月14日 (星期三)晚上21:00 (北京时间)

报告题目：病理数据的多模态分析

报告人简介：

王连生，毕业于香港中文大学，现为厦门大学信息学院教授、博士生导师，厦门大学医学院消化病学系双聘教授、博士生导师，数字福建健康医疗大数据研究所副所长，厦门大学医学人工智能研究院负责人，福建省医学会放射学分会AI学组副组长，MICS副主席，MICS2024主席。长期从事医学影像处理研究，主持和参与多项科研项目，包括国家自然科学基金仪器专项、科技部科技创新2030、国家重点研发项目、国家自然科学基金面上和青年项目等，发表包括NatureMachine Intelligence、Nature Communications、IEEE Transactions on Medical Imaging、MedicalImage Analysis 、人工智能顶会CVPR/AAAI等相关研究论文120余篇，获得腾讯犀牛鸟科研奖、福建省科技进步二等奖、2023年厦门大学田昭武交叉学科奖一等奖，带领团队先后11次在国际医学影像比赛中获得冠军。

报告摘要：

应用人工智能技术对病理数据进行分析，已经取得了显著进展。以病理数据为基础，整合临床信息、基因组学数据、影像学资料及生物标志物等多维度临床医疗信息，探索多模态数据在提升疾病诊断准确性、个性化治疗方案设计及病情进展评估等方面的潜力与挑战，将为精准医疗发展提供新视角。

参考文献：

[1] Shared-specific Feature Learning with Bottleneck Fusion Transformer for Multi-modal Whole Slide Image Analysis, TMI

[2] Hybrid Graph Convolutional Network with Online Masked Autoencoder for Robust Multimodal Cancer Survival Prediction, TMI

主持人：李镇 (香港中文大学(深圳))

主持人简介：

李镇博士现任香港中文大学 (深圳)理工学院助理教授， 未来智联网络研究院助理院长，校长青年学者。李镇博士获得香港大学计算机科学博士学位(2014-2018年)，他还于2018年在芝加哥大学担任访问学者。李镇博士荣获2023年吴文俊人工智能优秀青年，2021年中国科协第七届青年托举人才，2023CVPRHOI4D竞赛第一名，2022年SemanticKITTI语义分割竞赛第一名，2023年IROS 最佳论文Finalist，ICCV2021 Urban3D竞赛第二名，CASP12接触图预测全球冠军等。李镇博士还获得了来自于国家、省市级以及工业界的科研项目。李镇博士领导了港中深的DeepBit Lab（https://mypage.cuhk.edu.cn/academics/lizhen/ ），其主要的研究方向是3D视觉解析及应用 (包括但不限于点云解析，多模态联合解析)，深度学习等基础理论算法研究，并致力于将2D/3D人工智能算法推广应用于交叉学科，自动驾驶，工业视觉等场景中，在该方向著名国际期刊和会议发表论文60余篇，包括顶级期刊Cell Systems,Nature Communications, T-PAMI, TMI, TVCG，TNNLS等，以及顶级会议CVPR, ICCV, ECCV,NeurIPS, ICLR，IROS，ACM MM，AAAI, IJCAI, MICCAI等。李镇博士担任IEEE Transactions onMobile Computing、IROS副编以及众多顶刊顶会的审稿人，李镇博士还是广东院士联合会脑科学与类脑智能专委委员，VALSE、MICS、中国图象图形学学会机器视觉专委会，3DV专委会等学术组织的委员。

个人主页：

https://mypage.cuhk.edu.cn/academics/lizhen/

特别鸣谢本次Webinar主要组织者：

主办AC：李镇 (香港中文大学(深圳))