VALSE › 首页 ›活动通知 › 查看内容

VALSE Webinar 20231011-27期总第327期医疗基础模型（上）

2023-10-8 11:34| 发布者: 程一-计算所| 查看: 691| 评论: 0

摘要: 报告嘉宾：郭翌 (复旦大学)报告题目：智能超声大模型研究及其临床应用报告嘉宾：朱闻韬 (之江实验室，浙江大学)报告题目：病理图像大模型研究与应用报告嘉宾：劳琪成 (北京邮电大学)报告题目：医疗基础大模型初探报 ...

报告嘉宾：郭翌 (复旦大学)

报告题目：智能超声大模型研究及其临床应用

报告嘉宾：朱闻韬 (之江实验室，浙江大学)

报告题目：病理图像大模型研究与应用

报告嘉宾：劳琪成 (北京邮电大学)

报告题目：医疗基础大模型初探

报告嘉宾：王德泉 (上海人工智能实验室、上海交通大学)

报告题目：借助医学文本提升基础模型在病理图像识别任务的迁移应用

报告嘉宾：王国泰 (电子科技大学)

报告题目：MIS-FM: 基于大规模自监督预训练模型的 3D 医学图像分割

报告嘉宾：何军军 (上海人工智能实验室)

报告题目：STU-Net: 大规模有监督预训练赋能的可规模化与可迁移的医学图像分割模型

报告嘉宾：郭翌 (复旦大学)

报告时间：2023年10月11日 (星期三)晚上20:00 (北京时间)

报告题目：智能超声大模型研究及其临床应用

报告人简介：

郭翌，复旦大学信息学院教授，博士生导师，双一流建设办公室副主任，国家高层次人才青年项目入选者。从事基于人工智能的超声成像、影像分析和国产装备研究。主持国家自然科学面上及青年基金和上海市科委青年科技英才扬帆计划，参与科技部重点研发计划、基金重大仪器专项、重点项目等研究工作。以第一或通讯作者发表80余篇高水平论文，获得上海市自然科学奖、优秀发明选拔赛金奖、高交会优秀产品奖等。

报告摘要：

医学超声成像具有安全无创、实时快速的特点，广泛应用于疾病筛查中。对超声图像进行人工智能分析诊断是智慧医疗研究的一个重要部分。然而，受限于低成像质量、低分辨率的特性，建立图像分析模型需要大量数据和模型优化技巧，这使得针对特定组织疾病快速开发高准确性、高灵敏性的诊断系统难以实现。近两年，基于已有数据建立大规模模型并通过微调或提示工程快速用于下游任务成为了深度学习领域一种流行且高效的开发范式。本次报告将介绍本课题组在医学超声大模型上所做的工作。我们构建了百万级超声影像大数据库，建立的大模型可以高效准确的提取超声图像特征，并有效提高在下游任务上的模型性能，且可以灵活地与现有的学习框架进行结合。

报告嘉宾：朱闻韬 (之江实验室，浙江大学)

报告时间：2023年10月11日 (星期三)晚上20:20 (北京时间)

报告题目：病理图像大模型研究与应用

报告人简介：

朱闻韬，清华大学学士，南加州大学博士，国家级海外青年人才。现任之江实验室混合增强智能研究中心副主任、研究员，浙江大学光电学院博士生导师，浙江省药监局特聘专家等。主要研究医学成像技术及临床应用。获2021世界人工智能大会“长三角人工智能十大杰出人物”、北美核医学年会Arthur Weis Award等荣誉。

报告摘要：

在自然语言处理领域取得巨大成功之后，大模型已迅速拓展到图像和视频信号的处理，也为病理图像处理带来了新的机遇与挑战。报告将首先介绍数字病理图像处理近年的进展，以及深度学习技术的应用；然后介绍报告人团队在病理图像大模型方面的初步探索和实践；最后将结合实践经验，浅谈大模型赋能病理图像处理的未来方向。

参考文献：

[1] Yuanfeng Wu, Shaojie Li, Zhiqiang Du, and Wentao Zhu, “BROW: Better featuRes fOr Whole slide image based on self-distillation,” arXiv preprint arXiv:2309.08259 (2023).

报告嘉宾：劳琪成 (北京邮电大学)

报告时间：2023年10月11日 (星期三)晚上20:40 (北京时间)

报告题目：医疗基础大模型初探

报告人简介：

劳琪成，北京邮电大学特聘研究员, 博士生导师。曾在加拿大蒙特利尔MILA实验室 (Montreal Institute for Learning Algorithms)从事博士后工作。主要研究方向为深度学习、计算机视觉及其在医学影像分析的应用。主要研究成果在ICCV，ICML，ICLR，AAAI，MICCAI，IEEE TNNLS，IEEE TMI，IEEE JBHI，Medical Image Analysis等国际知名期刊和会议上发表。

报告摘要：

大模型的迅猛发展为医疗人工智能带来了新的发展机遇和研究挑战。目前基于大模型的超强泛化能力，在计算机视觉和自然语言处理等任务上取得了突破性进展，然而医学数据模态多样、图像特征差异巨大等问题，使得现阶段通用大模型在医学图像分析方面难以取得令人满意的性能。因此，如何借助预训练大模型如视觉语言大模型强大的通用感知和泛化能力，应对医疗场景中样本数量少、标注成本高等痛点，成为新的研究热点之一。本次报告将基于本实验室在医疗基础大模型的研究工作，介绍融合专家提示的少样本病灶检测方法，和超声图像专用的预训练大模型等系列算法，并进一步探讨适用于医疗多场景的基础大模型开发和研究。

参考文献：

[1] Ziyuan Qin, Huahui Yi, Qicheng Lao, and Kang Li, “Medical Image Understanding with Pre-trained Vision Language Models: A Comprehensive Study,” in Proceeding of International Conference on Learning Representations (ICLR 2023), Kigali, Rwanda, May 2023.

[2] Miaotian Guo, Huahui Yi, Ziyuan Qin, Haiying Wang, Aidong Meng, and Qicheng Lao, “Multiple Prompt Fusion for Zero-Shot Lesion Detection Using Vision-Language Models,” in Proceeding of International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI 2023), Vancouver, Canada, October 2023.

[3] Qingbo Kang, Jun Gao, Kang Li, and Qicheng Lao, “Deblurring Masked Autoencoder is Better Recipe for Ultrasound Image Recognition,” in Proceeding of International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI 2023), Vancouver, Canada, October 2023.

报告嘉宾：王德泉 (上海人工智能实验室、上海交通大学)

报告时间：2023年10月11日 (星期三)晚上21:00 (北京时间)

报告题目：借助医学文本提升基础模型在病理图像识别任务的迁移应用

报告人简介：

王德泉，上海交通大学助理教授、博士生导师，上海人工智能实验室青年科学家。2016年于复旦大学获计算机学士学位，2022年于加州大学伯克利分校 (University of California, Berkeley)获计算机博士学位，师从 Trevor Darrell 教授。研究方向为计算机视觉、机器学习、机器人，研究工作发表在 CVPR、ICCV、ICLR、ICML、ICRA 等国际顶级会议，据 Google Scholar 统计，过去五年二十余篇论文被引用 7500 余次。

个人主页：

https://dequan.wang

报告摘要：

近年来，计算机视觉与自然语言处理的交叉领域在多模态临床数据分析方面取得了重要突破。尽管有所成就，智能化处理病理图像数据集仍受制于生物医学文本注释的缺乏。因此，本报告将探讨如何利用医学文本知识提升病理图像识别的基础模型在下游医疗领域的迁移应用，深入研究医学文本知识如何指导更高效的图像诊断。本文强调了文本知识在提高病理图像识别准确性方面的重要性，并展示了一个创新的跨模态分析框架，为未来病理图像分析的深入研究奠定了基础。首先，我们将分析病理图像识别中的现有挑战，并阐述文本知识在此过程中的关键作用。其次，我们将详细介绍最近提出的一种特征联合嵌入方法，该方法通过连接图像与文本特征空间，挖掘基于自然图像和文本预训练的基础模型的迁移潜力，从而提升病理图像分类的准确性。此外，本报告还展示了该迁移方法在胃肿瘤病理图像数据集上的应用，实现了优异的性能。通过一系列全面的实验和深入的分析，本研究不仅加深了我们对如何利用领域内文本知识提升病理图像分类效率的理解，还为医疗影像分析领域开辟了新的、富有挑战性的研究途径。

参考文献：

[1] Yunkun Zhang, Jin Gao, Mu Zhou, Xiaosong Wang, Yu Qiao, Shaoting Zhang, and Dequan Wang, “Text-guided Foundation Model Adaptation for Pathological Image Classification,” in Proceeding of International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI 2023), Vancouver, Canada, October 2023.

报告嘉宾：王国泰 (电子科技大学)

报告时间：2023年10月11日 (星期三)晚上21:20 (北京时间)

报告题目：MIS-FM: 基于大规模自监督预训练模型的 3D 医学图像分割

报告人简介：

王国泰，电子科技大学副教授。2011年取得上海交通大学生物医学工程和智能科学与技术双学位，2018年取得伦敦大学学院 (UCL)博士学位，2020年入选四川省海外高层次人才。主要从事医学图像计算、人工智能与计算机视觉方面的研究,在领域顶级期刊及会议 IEEE TPAMI、IEEE TMI、Medical Image Analysis, NeuroImage、MICCAI、AAAI 等发表高水平论文50余篇，谷歌学术引用量7900余次， 6篇论文入选ESI高被引,2篇论文入选 TMI 最受欢迎论文。指导学生多次在 MICCAI 的医学图像分割挑战赛中获得国际冠军。被 IEEE TMI 评为杰出审稿人，多次担任 MICCAI 和 ISBI Area Chair，担任 Medical Image Analysis 客座编辑。

个人主页：

https://faculty.uestc.edu.cn/wangguotai/zh_CN/index.htm

报告摘要：

报告人将介绍针对三维医学图像分割开发的一个大规模自监督预训练模型。首先，现有的自监督预训练任务 (如对比学习、图像重建等)与下游分割任务不统一，我们提出一种新的基于图像区域融合系数预测的自监督学习方法，将预训练过程表达为无需人工标注的一个分割任务，使其学习到的特征与下游分割任务所需的特征更匹配。其次，提出一种新的分割模型 PCT-Net,采用并行的卷积和 Transformer 结构，有效进行局部和全局特征融合。最后，现有的三维医学图像预训练数据集的大小通常不超过5千，我们在一个11万量级的三维 CT 图像数据集上采用所提出的自监督学习方法训练了 PCT-Net，在多种下游任务如 CT 和磁共振图像中多种正常器官和病灶的分割中均展现出明显的性能提升。

参考文献：

[1] Guotai Wang, Jianghao Wu, Xiangde Luo, Xinglong Liu, Kang Li, and Shaoting Zhang, “MIS-FM: 3D Medical Image Segmentation using Foundation Models Pretrained on a Large-Scale Unannotated Dataset,” arXiv preprint arXiv:2306.16925 (2023).

报告嘉宾：何军军 (上海人工智能实验室)

报告时间：2023年10月11日 (星期三)晚上21:40 (北京时间)

报告题目：STU-Net: 大规模有监督预训练赋能的可规模化与可迁移的医学图像分割模型

报告人简介：

何军军，现任上海人工智能实验室青年研究员，博士毕业于上海交通大学。主要研究方向为计算机视觉和医疗人工智能，目前聚焦于医疗基础模型和通用模型的研究，包括数据、模型、评测和工具等的构建。他曾作为主要成员参与开源项目 MMSegmentation 的开发和维护，该项目 github star 6.3k，谷歌学术引用440余次；在 CVPR、ICCV、ECCV、MICCAI、ISBI、TPAMI等国际会议和期刊上发表论文10余篇，谷歌学术引用1900余次；荣获 ODIR19 眼底多疾病智能诊断比赛冠军，autoPET22 PET-CT 多模态全身病灶分割比赛冠军，FLARE22 腹部多器官快速分割比赛冠军，AMOS22 腹部多器官比赛 CT 单模态分割季军、CT-MRI 多模态分割亚军。

个人主页：

https://scholar.google.com/citations?user=Z4LgebkAAAAJ&hl=zh-CN

报告摘要：

大规模预训练极大地推动了以深度学习为代表的人工智能领域的变革。尽管如此，当前医学图像分割的前沿模型规模仍相对较小，通常只有数千万的参数，并且通常没有经过预训练。因此，我们提出了一种可扩展且具有良好迁移能力的 U-Net 模型 STU-Net，其参数规模范围从1400万到14亿。首先，我们在大规模数据集 TotalSegmentator 上预训练不同大小的 STU-Net，发现更大的模型具有更强的性能，这意味着在医学图像分割领域，大规模模型有着巨大的潜力；其次，我们评测了不同大小的模型在14个下游数据集上直接推理的泛化性能，结果表明较大的模型具有较好的泛化性能；此外，我们在3个下游数据集不同场景评测了不同大小模型的迁移能力，包括不同的图像模态和分割任务，结果表明我们的预训练模型具有较好的跨模态和跨任务的迁移能力。代码和预训练模型已开源。

参考文献：

[1] Ziyan Huang, Haoyu Wang, Zhongying Deng, Jin Ye, Yanzhou Su, Hui Sun, Junjun He, Yun Gu, Lixu Gu, Shaoting Zhang, and Yu Qiao, “STU-Net: Scalable and Transferable Medical Image Segmentation Models Empowered by Large-Scale Supervised Pre-training,” arXiv preprint arXiv:2304.06716 (2023).

主持人：欧阳万里 (上海人工智能实验室)

主持人简介：

欧阳万里，上海人工智能实验室教授，领军科学家，负责科学智能方向。原悉尼大学电气与信息工程学院研究主任。长期从事人工智能领域的研究，其团队在ImageNet和COCO大规模检测竞赛中获多项第一。入选「人工智能全球2000位最具影响力学者榜」计算机视觉领域前100名学者。曾被评为澳大利亚计算机科学领导者奖 (Computer Science in Australia Leader Award)，澳大利亚研究委员会未来学者杰出青年人才计划 (ARC Future Fellow，同年澳大利亚信息学部仅5人入选)和悉尼大学杰出科研校长奖。两篇文章入选paperdigest CVPR/ ICCV最有影响力的文章。科研成果已转化为百余项专利，在智能移动设备、智慧城市、医疗、交通等领域产业化。获ICCV最佳审稿人，担任人工智能领域顶级期刊TPAMI和IJCV副编，CVPR 2023资深领域主席，CVPR 2021、ICCV 2021领域主席。

特别鸣谢本次Webinar主要组织者：

主办AC：欧阳万里 (上海人工智能实验室)

协办AC：陈浩 (香港科技大学)

活动参与方式

1、VALSE每周举行的Webinar活动依托B站直播平台进行，欢迎在B站搜索VALSE_Webinar关注我们！

直播地址：

https://live.bilibili.com/22300737；

历史视频观看地址：

https://space.bilibili.com/562085182/

2、VALSE Webinar活动通常每周三晚上20:00进行，但偶尔会因为讲者时区问题略有调整，为方便您参加活动，请关注VALSE微信公众号：valse_wechat 或加入VALSE QQ S群，群号：317920537）；

*注：申请加入VALSE QQ群时需验证姓名、单位和身份，缺一不可。入群后，请实名，姓名身份单位。身份：学校及科研单位人员T；企业研发I；博士D；硕士M。

3、VALSE微信公众号一般会在每周四发布下一周Webinar报告的通知。