18-34期VALSE Webinar会后总结
西北工业大学夏勇教授2018年10月31日VALSE Webinar 成功举办。夏勇，男，西北工业大学教授、博导，分别于2001、2004和2007年从西北工业大学计算机学院获得学士、硕士和博士学位；2007年1月起，在悉尼大学信息技术学院生物医学与多媒体技术（BMIT）实验室开展博士后研究；2013年底回到西北工业大学计算机学院工作，现为西工大计算机学院多学科交叉计算研究中心执行主任；现主持国家自然基金面上项目两项，发表学术论文百余篇；担任中国计算机学会青工委委员、中国图象图形学学会视觉大数据专委会常委、中国体视学学会图像分析分会常委、陕西省抗癌协会肿瘤影像专业委员会青年委员会常委及智慧医疗组指导委员会主任委员等；并担任MICCAI-MCV15/16、MICCAI-DLMIA17/18、MICCAI-BIA18、ISBI 2017、ACM MM2018等多个国际会议的TCP或Session Chair。
夏勇教授Webinar的题目为：医学影像小数据深度学习。
在报告中，夏勇教授针对医学影像分析问题中数据量有限，无法发挥深度学习潜能的问题，介绍了六种应对的经验，包括使用：（1）并联或串联的深度集成学习、（2）与传统方法相结合的深度学习、（3）与领域先验知识相结合的深度学习、（4）深度对抗学习、（5）深度协同学习（Synergic Deep Learning）和（6）深度注意力学习，并以解决乳腺癌病理图像诊断、视网膜图像中血管分割、皮肤病诊断、肺结节良恶性诊断和基于X光胸片的14种肺部疾病诊断等问题为例，展示了上述策略在使用深度学习进行医学影像小数据分析时的性能。
问答部分：
问题1：TMME的学习方法和Mask R-CNN的方式区别?回答：TMME和Mask R-CNN这两种模型还是有些不一样的。Mask R-CNN模型可以检测目标，还可以对目标做分割；而TMME模型的主要任务是分类，可以看成是三个分类网络的集成，即分别从三个角度（纹理、形状和整体）提取图像信息，然后综合利用这些信息做分类。
问题2：SSAC可不可以认为是一种多视角的数据扩充？回答：SSAC模型本身的特点是同时使用有和没有良恶性类别标签的肺结节数据进行半监督学习，模型的输入是二维的图像块。我们在SSAC模型的基础上，还运用了多视角基于知识的协作学习（Multi-View Knowledge-Based Collaborative Learning, MV-KBC），进而想模型推广为MK-SSAC模型。这个模型使用了一种多视角的数据扩充，即在水平位、冠状位、矢状位和六个对角位分别提取图像块，在每一种视角的图像块上，像TMME模型一样，分别用三个SSAC模型从三个角度（纹理、形状和整体）提取图像信息。这样一来，我们总共使用了九个视角下的27个模型，共同进行分类决策。
问题3：以医学影像（核磁、CT等）为序列影像，是否可以直接使用3D-CNN的方式实现检测和分割？回答：是的，而且像3D DenseNet和3D UNet这样的3D-CNN模型往往都能取得不错的效果。需要注意的是待处理影像的层厚，如果层厚很大（例如在水平截面上的空间解析度是1.0*1.0 mm2，而层厚是5mm），使用3D-CNN模型的效果也许就不好了。
问题4：是否研究过数据规模的影响？回答：对于大部分医学影像分析问题而言，目前可以使用的数据量在训练深度学习模型的时候都偏小，这也解释了很多时候使用外部训练数据可以进一步提高模型的效果。我们曾经研究过进一步减少训练数据量对模型性能的影响。一如预测，当训练数据进一步减小的时候，深度模型会更早陷入过拟合，从而使其性能随训练数据的减少快速下降。相对而言，如果结合使用深度模型学习的特征和传统方法提取的特征，则性能的下降会变得比较温和。这显示，当因为训练数减少，深度模型过拟合的时候，传统方法提取的特征会起到一定的性能补偿作用（Jianpeng Zhang et al., IEEE-JBHI, 22(5), 2018）。
问题5：Attention Branch与Self Attention的对比？回答：我们认为，很多分类网络本身就可以学习到attention map，利用这种Self Attention相比在模型中使用独立的Attention Branch可以降低模型的参数规模，而且我们在皮肤病诊断数据上的实验结果显示，利用这种Self Attention可以得到更准确的attention map，特别是在目标区域较小的时候。
问题6：半监督学习模型在医学影像的应用?回答：我相信半监督学习在医学影像分析中的会有很好的应用。这是因为，医学影像数据量小的原因有二：数据获取困难和数据标注困难。很多时候，比起数据获取，恐怕数据标注是更困难的。如果可以使用没有标注的数据学习，则可能减少对数据标注的依赖，或者进一步提高图像分析的性能。例如，我们以阿里天池肺结节检测竞赛的数据做为未标注良恶性的数据，以LIDC-IDRC数据库做为有标记良恶性的数据，通过使用我们构造的MK-SSAC模型同时从这两个数据库上学习，取得了比仅从LIDC-IDRC数据库上学习更好的分类性能。
问题7：对于小数据集医学影像的特征提取问题?回答：针对医学影像的特征提取问题，目前还没有通用的特征提取方法，需要根据具体的成像模态和影像分析问题来提取特征。一般而言，推荐结合使用深度模型学习到的特征和根据领域知识设计的特征。
问题8：注意力模型的实验部分展示的注意力热图的获得?回答：注意力热图是用CAM (Class Activation Mapping)方法得到的。所展示的热力图是最后一个ARL模块产生的热力图。
录像视频在线观看地址：http://www.iqiyi.com/u/2289191062
PPT链接：http://vision.ouc.edu.cn/valse/slides/20181031/医学影像小数据深度学习-夏勇（西工大）.pdf
特别鸣谢本次Webinar主要组织者：VOOC责任委员：李策（兰州理工大学）
活动参与方式：1、VALSE Webinar活动依托在线直播平台进行，活动时讲者会上传PPT或共享屏幕，听众可以看到Slides，听到讲者的语音，并通过聊天功能与讲者交互；2、为参加活动，请关注VALSE微信公众号：valse_wechat 或加入VALSE QQ群（目前A、B、C、D、E、F、G群已满，除讲者等嘉宾外，只能申请加入VALSE H群，群号：701662399）；*注：申请加入VALSE QQ群时需验证姓名、单位和身份，缺一不可。入群后，请实名，姓名身份单位。身份：学校及科研单位人员T；企业研发I；博士D；硕士M。3、在活动开始前5分钟左右，讲者会开启直播，听众点击直播链接即可参加活动，支持安装Windows系统的电脑、MAC电脑、手机等设备；4、活动过程中，请不要说无关话语，以免影响活动正常进行；5、活动过程中，如出现听不到或看不到视频等问题，建议退出再重新进入，一般都能解决问题；6、建议务必在速度较快的网络上参加活动，优先采用有线网络连接；7、VALSE微信公众号会在每周一推送上一周Webinar报告的总结及视频（经讲者允许后），每周四发布下一周Webinar报告的通知及直播链接。
页:
[1]