VALSE Webinar 20231018-28期 总第328期 医疗基础模型（下）

报告嘉宾：张少霆 (上海人工智能实验室)

报告题目：医疗场景中的基础模型-通才或专才

报告嘉宾：张晓凡 (上海人工智能实验室、上海交通大学)

报告题目：医疗领域大语言模型的训练及应用

报告嘉宾：王潚崧 (上海人工智能实验室)

报告题目：医学基础模型分类任务的基准数据集与 NeurIPS 2023挑战赛

报告嘉宾：窦琪 (香港中文大学)

报告题目：Endo-FM: 内镜视频图像分析基础模型

报告嘉宾：周玉昆 (伦敦大学学院、Moorfields眼科医院)

报告题目：眼科视网膜基础模型RETFound

Panel议题：

1. 请您讲述一下医疗通才模型和专才模型，哪个才是未来的发展道路？

2. 大模型对医疗影像分析的好处和坏处分别是什么？

3. 在大模型的加持下，您看好哪些医疗场景？

4. 除了大模型之外，您最看好哪个技术对医疗影像分析的发展？

5. 您认为学生最需要的技能点有哪些？

Panel嘉宾：

张少霆 (上海人工智能实验室)、张晓凡 (上海人工智能实验室、上海交通大学)、窦琪 (香港中文大学)、王潚崧 (上海人工智能实验室)、周玉昆 (伦敦大学学院/Moorfields眼科医院)、赵剑飞 (NEJM 医学前沿)

报告嘉宾：张少霆 (上海人工智能实验室)

报告时间：2023年10月18日 (星期三)晚上20:00 (北京时间)

报告题目：医疗场景中的基础模型-通才或专才

报告人简介：

张少霆，现担任商汤科技研究院执行院长、上海人工智能实验室智慧医疗中心主任及领军科学家。其本硕博分别毕业于浙江大学、上海交通大学、美国罗格斯大学，此后于美国北卡罗莱纳大学夏洛特分校计算机系担任教职至终身副教授。他的研究课题得到了包括NSF在内的多项重要基金数百万美元的资助，其论文成果多次获得领域内顶级会议的青年科学家奖和最佳论文奖、美国橡树岭大学联合会青年教授奖等。他在 Lancet Digital Health、Nature Machine Intelligence、Nature Communications、TPAMI、MedIA、TMI等顶级期刊上以第一作者或通讯作者发表文章四十余篇，总引用14,000余次，H-Index 58，并入选美国斯坦福大学发布的全球前2%顶尖科学家“终身科学影响力排行榜”。

个人主页：

https://scholar.google.com/citations?hl=zh-CN&user=oiBMWK4AAAAJ

报告摘要：

围绕现有医疗人工智能难以覆盖长尾疾病、标注成本高、知识可迁移能力弱等瓶颈问题，介绍基于跨模态、跨中心、跨病种大规模数据的通用医疗人工智能基模型的研究，实现在视觉、语言、多模态以及新药开发等方向的部分成果。

参考文献：

[1] Shaoting Zhang, Dimitris Metaxas, “On the Challenges and Perspectives of Foundation Models for Medical Image Analysis,” arXiv preprint arXiv:2306.05705 (2023).

[2] https://github.com/openmedlab

报告嘉宾：张晓凡 (上海人工智能实验室、上海交通大学)

报告时间：2023年10月18日 (星期三)晚上20:35 (北京时间)

报告题目：医疗领域大语言模型的训练及应用

报告人简介：

张晓凡现任上海交通大学电院清源研究院长聘教轨副教授，博士生导师。北京航空航天大学学士，美国北卡罗莱纳大学夏洛特分校博士学位。曾任京东硅谷研究院计算机视觉研究员、商汤科技北美智慧医疗实验室高级研究员。2021年6月加入上海交通大学清源研究院。研究领域：医学图像、文本分析，多模态决策。在国际顶级期刊及会议如MedIA、TMI、CVPR、ACL、MICCAI等发表多篇论文。Google Scholar近五年引用千余次。申报美国专利3项。

个人主页：

https://zhangxiaofan101.github.io

报告摘要：

结合医学知识与海量数据的医疗领域大语言模型能为医疗领域提供一个高效、可靠、易用的智能辅助工具。我们开发的大语言模型PULSE已在OpenMEDLab发布。它的训练是基于包含21.5M数据样本的指令微调数据集，以及由医学专家为模型生成的多个回答进行排序的强化学习数据集。为降低大模型高昂的推理成本，我们使用了多种量化和部署优化技术。目前，我们正在针对下游应用开发长程记忆、知识库检索、智能体调度等插件。另外，基于PULSE我们还开发了与X-ray图像模型结合的多模态会话功能、针对SARS-COV-2文献微调的版本，以及病例结构化、术语归一化等特定应用。

参考文献：

[1] https://github.com/openmedlab/PULSE

报告嘉宾：王潚崧 (上海人工智能实验室)

报告时间：2023年10月18日 (星期三)晚上20:55 (北京时间)

报告题目：医学基础模型分类任务的基准数据集与 NeurIPS 2023挑战赛

报告人简介：

王潚崧博士现任上海人工智能实验室副研究员并兼任上海交通大学博士生导师。王潚崧于2012年英国布里斯托大学获得计算机视觉方向的博士学位 。之后专注于医疗图像和文本分析相关工作超过 10年时间，在学术界和工业界累积了丰富的科研和产品开发经验。期间共发表期刊和会议论文 30 余篇，合编医学图像分析相关专著 1 本 编写 2 部专著中的 4个章节，申请中国和美国专利20余项 8 项已授权，谷歌学术统计论文引用量超过 7000次 。王博士回国之前在美国国家卫生研究院 NIH 和美国英伟达 Nvidia 公司工作的 6 年时间内主导和参与一系列医疗大模型相关的科研和产品开发工作。其研究成果获得了多项国际学术奖项，包括2009 BMVC会议最佳工业论文，2016 年北美放射学会年 RSNA 会学员研究奖和 2019 MICCAI-GLMI 会议最佳论文奖等。

个人主页：

https://xiaosongwang.github.io/

报告嘉宾：窦琪 (香港中文大学)

报告时间：2023年10月18日 (星期三)晚上21:20 (北京时间)

报告题目：Endo-FM: 内镜视频图像分析基础模型

报告人简介：

窦琪，香港中文大学计算机科学与工程学院助理教授，研究方向为医学图像分析和手术机器人智能化。第一作者或通讯作者论文曾获 MedIA-MICCAI’17 最佳论文奖，IJCARS-MICCAI’21 最佳论文奖, IEEE ICRA 2021 医疗机器人最佳论文奖，MICCAI’22 青年科学家最佳论文奖。荣获2022年度国家教育部自然科学二等奖，2023年度 IEEE EMBS 青年学者成就奖。担任 IPCAI’23, MICCAI’22, MIDL’21 程序主席成员, IEEE TMI, MedIA 期刊副编。

个人主页：

https://www.cse.cuhk.edu.hk/~qdou/

报告摘要：

内镜视频图像在消化道疾病诊断和微创手术中应用广泛。本次报告将介绍我们在内镜视频图像大规模数据集上开发的基础模型 Endo-FM。该模型利用视频中的时空信息，通过自监督的方式使用全局和局部视图来预训练 Transformer 结构的基础模型。我们整理了9个领域内公开数据集和1个私有数据集，共有33K个视频段，约500万帧图像，涵盖 coloncope, laparoscope, gastroscope, 涉及不同器官和疾病类别。预训练的 Endo-FM 模型可通过微调应用于下游任务，我们测试了分类、分割和检测的情况，模型均表现良好。

参考文献：

[1] Zhao Wang, Chang Liu, Shaoting Zhang, and Qi Dou, “Foundation Model for Endoscopy Video Analysis via Large-scale Self-supervised Pre-train,” arXiv preprint arXiv:2306.16741 (2023).

报告嘉宾：周玉昆 (伦敦大学学院/Moorfields眼科医院)

报告时间：2023年10月18日 (星期三)晚上21:30 (北京时间)

报告题目：眼科视网膜基础模型RETFound

报告人简介：

周玉昆，伦敦大学学院 (UCL)和Moorfields眼科医院在读博士，研究方向为视网膜图片分析和大规模临床数据上的转换研究。2022年以第一作者发布基于深度学习的视网膜图像分析工具AutoMorph，是该领域首个开源的全自动化图片计算工具，相关应用发表于Jama Psychiatry和cell metabolism等期刊。2023年以第一作者兼通讯在Nature上发表RETFound，眼科领域的第一个大规模临床数据训练的基础模型，也是最早一批经过同行评议和多样实验验证的医学基础模型之一。相关研究被ScienMag, MedicalXpress, ScienceDaily等新闻社报道。

个人主页：

https://rmaphoh.github.io/

Panel嘉宾：赵剑飞 (NEJM 医学前沿)

嘉宾简介：

赵剑飞博士于2016年6月加入《NEJM医学前沿》创刊团队。作为该刊全职副主编，他负责杂志出版、学术会议以及临床研究培训等项目。赵博士亦是NEJM子刊NEJM AI的中国区编辑。此前，他在自然杂志社旗下《自然·通讯》杂志担任专职科学编辑，是自然杂志社首位落地中国的生命科学领域编辑，负责审阅来自全球的表观遗传学等专业投稿。作为跨学科的科学编辑，赵剑飞与中国生命科学和临床医学领域医生和科研人员建立了密切联系。赵剑飞本科毕业于北京大学，在美国俄勒冈大学获得博士学位，随后在美国国立癌症研究所从事博士后研究，专注于表观遗传因素对基因表达调控的影响；他曾在《新英格兰医学杂志》编辑部接受临床研究论文发表和审稿培训。

主持人：卢策吾 (上海交通大学)

主持人简介：

卢策吾，上海交通大学教授，博士生导师，2016年获海外高层次青年引进人才，2018年被《麻省理工科技评论》评为35位35岁以下中国科技精英 (MIT TR35)，2019年获求是杰出青年学者，2020年获上海市科技进步特等奖 (第三完成人)，2022年获教育部青年科学奖，IROS最佳论文之一 (6/3579)，2023年获机器人顶会RSS最佳系统论文提名奖 (共四项)，科学探索奖。以通讯作者或第一作者在《自然》，《自然·机器智能》，TPAMI等高水平期刊和会议发表论文100多篇；担任Sicence正刊，Nature子刊，Cell子刊等期刊审稿人，NeurIPS，CVPR，ICCV ，ECCV，IROS ，ICRA领域主席。研究兴趣包括具身智能，计算机视觉。

特别鸣谢本次Webinar主要组织者：

主办AC：卢策吾 (上海交通大学)

协办AC：陈浩 (香港科技大学)