基于人工智能的多功能乳腺癌诊断分析平台

哈尔滨工程大学2018级 控制科学与工程 5班

硕士学位研究生论文答辩材料

大工至善·大学至真

01

02

03

研究背景及现状

基于卷积神经网络的图像分类方法

乳腺超声数据集构建

04

基于迁移学习的乳腺癌和分子亚型诊断

05

联合BI-RADS评价的乳腺癌诊断方法

06

乳腺癌诊断结果可解释性分析

07

Web端多功能乳腺癌诊断分析平台

08

总结与展望

Part 01

研究背景及现状

1、乳腺癌的发病率极高

基于人工智能的 多功能 乳腺癌诊断 分析平台

2、临床诊断超声影像受主观性因素影响，工作量大

3、传统CAD系统依靠先验知识，需要大量的预处理特征提取工作，费时费力，诊断精度低

基于人工智能的 多功能 乳腺癌诊断 分析平台

3、BI-RADS的诊断有用性及不足

2、分子亚型和乳腺癌的相关性

1、乳腺癌诊断（图片，视频）

基于人工智能的 多功能 乳腺癌诊断 分析平台

1、人工智能的发展

2、AI医疗的应用

1、Chen 等人手工提取超声肿瘤的 5 个传统形态学特征，在 200 多张超声影像识别精度达到了 90%左右。

2、Cai等人，结合相位一致性和LBP特征的局部纹理描述符+SVM

3、Huang等人，分水岭+最小化能量函数+SVM

4、Menon等人的，主动轮廓法+纹理及形态特征+SVM

。。。。

方法-特征法

1、Han 等人进行了ROI 区域裁剪，改进后的 GoogleLeNet 网络中分类，结果AUC 大于 0.9，准确性为 90%，

2、Antropova 等人使用预先训练的 CNN 提取和融合低到中等维度的特征，与使用传统 CAD 方法计算的手工放射学特征进行融合。超声的 AUC 达到 0.90。

3、Xiao 等人提出采用深度迁移融合的方法来实现乳腺超声肿瘤识别，，准确率为89.44%，AUC 为 0.93。

4、Huang 等人利用肿瘤识别和分级两阶段网络对 BI-RADS 进行分类，各BI-RADS分级准确率分别达到 0.998、0.940、0.734、0.922 和 0.876。

5、Singh 等人先采用人工分割肿瘤，然后对图像数据增强，最后利用 GAN学习进行分割。后使用影像分类网络进行分类的准确率达到了 85%。

6、Byra 等人采用多种迁移学习技术开发分类器，并且引入了匹配层的概念，利用所提出的方法，得到的曲线下面积约 0.890。

7、Fujioka 等人利用 GoogLeNet 构建深度学习模型，CNN模型具有相同或更好的诊断性能(AUC=0.913、0.728-0.845)

。。。。。。。。

方法-深度学习

三星 Medison 公司

腾讯觅影

清华大学&北京人工智能研究院

芝加哥大学-QuantX

诊断平台

Part 02

基于卷积神经网络的图像分类方法

卷积神经网络是一种仿生神经网络，它的神经元连接方式是受到大脑视觉皮层启发得到的，同时卷积神经网络能够自动提取特征，代替传统算法中的手工特征设计，与其它图像分类算法相比更加准确和高效，通常被用于分析视觉图像。

卷积神经网络

输入层、隐含层和输出层，输入层是指图像数据源的输入，隐含层又包括卷积层、激励函数层、池化层和全连接层，输出层又指损失函数层。

卷积层特性：权值共享和稀疏连接，极大地降低了神经网络的参数量。

激励函数层：提高网络的非线性表达能力来协助表达复杂的图像特征。

池化层：降低特征图维度，减少参数量。

全连接层：将抽象的特征映射到样本标记空间。

卷积神经网络基本组成

可以用函数y=f(x,θ)来表示前馈神经网络，通过训练网络来不断地调整参数θ的值，来得到最优逼近函数。

前向传播中的数学表达：

​

​

参数更新是通过BP算法来进行更新的，其思想是利用前馈神经网络中输出值与标记值的误差，将其通过梯度下降法从后向前进行传播，利用链式求导更新每一层权重参数，经过多次迭代求出最优的权重值。

前馈神经网络

VGGNet是DeepMind 和牛津大学的相关人员合作开发，其在 2014 年大规模视觉竞赛上荣获第二名成绩 。VGGNet 特征提取网络是在 AlexNet 网络的基础上发展而来的一种新的特征提取网络。VGGNet的创新主要是采用更小的卷积核和步长。

基于卷积神经网络的图像分类算法介绍-VGGNet

ResNet模型创新的提出“Residual”模块，有效解决了梯度消失、模型网络深度等问题。该模型的每个 Residual模块可以计算目标输出到输入的变化，然后将其添加到输入以生成输出表示，从而可以有效地训练更深的网络模型。

基于卷积神经网络的图像分类算法介绍-ResNet

除了卷积层的纵向叠加外，Inception 网络还提出了 Inception 层。Inception 模块由大小不同的卷积核叠加而成，不仅增加网络的“宽度”，而且也增加了网络对尺度的适应性 。

2016 年，Szegedy 等人继续推出了 InceptionV3 网络，该网络在图像识别领域表现优异 。在自然图像的多分类任务中具有良好的性能。

基于卷积神经网络的图像分类算法介绍-InceptionV3

Xception 是 Google 继 InceptionV3 之后对 Inception 系列网络的一次重大改进。在该网络中，研究认为通道间的相关性和空间相关性应该分开处理，之后原来的 InceptionV3 网络中的普通卷积操作被分离卷积所（极致的 Inception 模块）取代。

基于卷积神经网络的图像分类算法介绍-Xception

Part 03

乳腺超声数据集构建

1. 进行乳腺超声影像的下载
2. 图像标注和图像的预处理
3. 数据集可视化存储和管理

1. 首先通过SQL程序语言对数据库里的数据进关键字查询，得出对应的地址信息；

2. 之后设计相关的下载软件，进行数据的寻址下载操作；

3. 最后结合以上两点进行数据下载工作。

数据下载

根据病历中的诊断信息和超声描述信息进行病灶位置的定位，根据病理信息中的结果进行病灶信息的定性。

这里我们采用了开源标注软件labelImg 进行标注 。

影像标注

影像修复采用 Telea(Telea 2004)等人提出的图像修补算法进行修复

影像修复

1. 在阈值控制窗口提供了几个按钮，可以实现对影像最简单的阈值分割；

2. 之后根据阈值按钮执行的结果，对于剩余修复的不是很好的影像进行手动修复。

影像修复

通过xls表格的方式统一的属性管理表

横轴是影像的 BI-RADS 分级标签，纵轴是乳腺癌影像的病理标签

恶性肿瘤中的分子亚型属性分布表

数据集的构成分析

Part 04

基于迁移学习的乳腺癌和分子亚型诊断

• C1 是用于 ImageNet 数据集分类的深度学习网络
• C2 是乳腺癌诊断分类网络
• C3 是乳腺癌分子亚型的预测网络
• NT 代表非迁移学习模型
• TI 代表迁移在 ImageNet 数据集进行预训练过的模型
• TU 代表对C2-TI 模型的参数迁移

模型设计

研究多重迁移学习对于分子亚型的预测有效性

• TP 是模型正确预测了一个恶性肿瘤
• TN 是模型正确预测了一个良性肿瘤
• FP 是模型错误地将一个良性肿瘤预测为恶性
• FN 是模型错误地将一个恶性肿瘤预测为良性
• 同时使用 曲线和 ROC 曲线下的面积(AUC)来评估模型的分类能力

评价指标

在非迁移学习模型中，表现最好的是 Xception 模型，其整体准确率达到了 84.93%，与 VGG16 模型的 80.99%相比，提高了 3.94%；在 AUC 指标上也是提高了 3.64，达到了0.9277。

实验结果与分析-乳腺癌诊断-非迁移学习

Xception 模型除了敏感度指标不是最佳，其它指标都是最优的

实验结果与分析-乳腺癌诊断-迁移学习

Xception 诊断模型经过迁移学习后，全部的评价指标都得到了提升：在准确率方面提高了 2.82%，在特异度方面提高了 7.63%，在综合指标 AUC 值提高了0.02.

实验结果与分析-乳腺癌诊断-对比结果

除了在 HR(+)的 Acc 指标未达到最佳，在其它指标中，C3-TU 模型都达到了最优。具体来说，总体平均准确率达到74.3%，比 C3-NT 模型提高了4.02%，比 C3-TI 模型提高了 3.22%。在 AUC 值方面，最好的结果是 0.8801，比 C3-NT 模型提高了 0.0326，比 C3-TI 模型提高了 0.0139。

实验结果与分析-分子亚型预测

比较平均 ROC 值，从图中我们可以看到，在三个模型中，表现最好的是 C3-TU 模型，达到了 AUC 值 0.8801；其次是C3-TI模型，AUC值达到了0.8662；表现最差的是C3-NT模型，AUC值为0.8475

实验结果与分析-分子亚型预测

Part 05

联合 BI-RADS 评价的乳腺癌诊断方法

多任务学习网络可以在仅使用一个网络结构的情况下，同时完成肿瘤的良恶性分类和 BI-RADS 分级任务。

BI-RADS特征解释性强促进模型之间的训练

减小单个模型训练过程中的过拟合现象。

多任务学习诊断模型设计

为BI-RADS 评估类别所转换的肿瘤良恶性概率

​

为多任务深度学习模型给出肿瘤的良恶性概率

联合诊断策略

多任务在整体准确率上提高了 1.55%，在其它的指标上也是提高了 2%左右。

AUC 值为 0.8357，提高了 0.0092，与人工阅片的差距进一步缩小。

实验结果与分析-BI-RADS 分级

多任务模型的准确率提高了 2.95%，达到了 90.70%。在敏感度、特异度等其它指标方面也提高了 2%-4%左右,在 AUC 值上提高了 0.0118。

实验结果与分析-乳腺肿瘤的良恶性分类

联合诊断准确率上达到了93.38%，相对于单个的多任务模型提高了2.68%，相对于单个的人工评估则是提高了7.46%。

AUC 值 为0.9820，比单独的多任务学习提高0.0225，比单独的Reader评估提高0.0346。

实验结果与分析-联合诊断

Part 06

乳腺癌诊断结果可解释性分析

1. 可视化卷积神经网络的中间输出：有助于理解卷积神经网络的连续层如何转换输入，也有助于初步了解卷积神经网络中每个滤波器的重要性。

2. 可视化卷积神经网络的滤波器：有助于理解卷积神经网络中滤波器容易接受的视觉模式或概念。

3. 可视化图像的类别激活热力图：有助于理解图像类别和位置之间的对应关系，还可定位图像中的对象。

介绍

在给定输入图像的情况下，卷积层的输出特征通过类别相对通道的梯度进行加权。同样可以以这样的角度去理解 Grad-CAM 算法：“每个通道对类别的重要程度”对“输入图像对不同通道的激活强度”进行特征图加权。进而得到输入对类别的激活图。

Grad-CAM首先计算卷积特征图 下的 的梯度 ,之后将特征图 的所有数值变量导数求和计算平均值。

Grad-CAM 方法

不同模型下的图像预测表现

模型在预测正确与否时所关注点的差异性

采用迁移学习算法和多任务学习算法的诊断模型在诊断结果上更具有可解释性，性能的提高在可解释性的热图上表现为定位肿瘤区域更为准确，关注有效特征更为精确。

实验结果与分析-良恶性分类

不同模型下的图像预测表现

模型在预测正确与否时所关注点的差异性

采用多重迁移学习的方法，结合了肿瘤良恶性分类任务的模型参数优点，识别时能够在肿瘤上更好的提取与分子亚型的类别相关图像特征，因此在整个的分子亚型的预测精度上得到了提升。

实验结果与分析-分子亚型预测

不同模型下的图像预测表现

模型在预测正确与否时所关注点的差异性

采用多任务学习算法的模型相对于单任务的迁移学习算法相比，由于结合了肿瘤良恶性诊断任务，在热图上模型可以对肿瘤定位更为准确，所以性能得到了提高。

实验结果与分析-BI-RADS分级

Part 07

Web 端多功能乳腺癌诊断分析平台

• Flask 模块实现模型与页面接口对接，控制整个 Web 端的页面链接流向。
• HTML 语言设计网页整体框架构造，并结合 CSS 语言对整体风格进行优化。
• javascript 语言构造网页端结构函数，实现按钮、上传文件等功能，并实现网页端与 Flask 端的数据传输，将模型得到的结果在网页端展示。

平台技术框架

1. 乳腺超声影像诊断与分析

主要包括肿瘤检测与分类、良恶性诊断、BI-RADS 分级、分子亚型的预测四大功能，并且提供可解释性的诊断结果。

2. 影像修复与标注

提供一个构建高质量超声影像数据集的工具包。

3. 病历上传

提供上传乳腺超声影像的功能。

平台功能

分为绘图区和修复结果区。实际操作时，可以在绘图区预先选择标记颜色，进行影像的修复粗处理，之后在绘图影像区进行手动交互式精细处理，完成标记去除，影像的修复工作。

影像修复与标注-影像修复

• 上传多个文件，可切换不同图片
• 生成与图片名一致的标注文件
• 图片拖拽、缩放、缩略图显示
• 标签管理：增、删、改、查
• 矩形标注工具、多边形标注工具
• 鼠标十字线，标签名显示控制
• 标注结果编辑修改、删除
• 操作管理历史记录

影像修复与标注-影像标注

支持视频和图像的上传，完成乳腺癌的诊断，诊断完成的视频和图片可以下载到本地分析

乳腺超声影像诊断与分析-肿瘤检测

上传影像，可以在结果区得到诊断热力图和预测结果表，通过选择蓝色按钮，切换预测结果对应的类别激活图，使得诊断结果更具可解释性。

乳腺超声影像诊断与分析-良恶性诊断

每个预测结果按钮进行预测类别激活图的切换，关注每个预测结果下模型关注图像的区域特征，更好理解模型的判断依据，避免误诊。

乳腺超声影像诊断与分析-BI-RADS分级

切换类别按钮，观察对应的类别激活图，分析各个类别对应的图像区域和特征，使得预测结果更具可解释性。

乳腺超声影像诊断与分析-分子亚型预测

病历上传模块，鼓励用户上传超声影像以及填写病历相关信息，帮助我们扩展地面真实数据集并推动我们未来的研究工作，以提高诊断工具的准确性。

乳腺超声影像诊断与分析-病历上传

Part 08

总结与展望

大规模超声影像数据集

基于人工智能的多功能乳腺癌诊断分析平台

乳腺癌诊断

Web端平台建设

影像修复软件

数据下载软件

多重迁移学习方法解决分子亚型预测问题

多任务学习方法解决良恶性和BI-RADS分级

可解释性方法解决预测结果解释性问题

数据集构建工具包

多功能诊断

病历上传

改进的yolov3解决肿瘤检测问题

1

2

3

总结

科研工作者

医院

社会大众

模型线上部署问题

无监督学习

多模态诊断研究

模型剪枝+优化

多余的无标签样本

其它成像和病例元数据

。。。。

。。。。

展望

1. 基于多任务学习的乳腺癌诊断方法. 《哈尔滨工程大学自动化学院2021年度学术会议》. 2020,12. 第二作者.
2. A Method for Localization and Classification of Breast Ultrasound Tumors. ICSI 2020(EI 会议). 2020,07. 第三作者.
3. Breast cancer diagnosis method based on multitask learning and BI-RADS assessments. CAIH 2020(EI会议). 2020,10. 第一作者（录用）.
4. Breast ultrasound image analysis based on transfer learning .CSAI 2020(EI会议). 2020,12. 第一作者（录用）.
5. Accuracy evaluation of breast cancer and molecular subtype diagnosis by ultrasound image deep learning model. Frontiers in Oncology. 2020,03. 第一作者（发表）.
6. Using Deep Learning to Screening for Hypertension in OCTA Image to Reduce the Risk of Serious Complications. Translational Vision Science & Technology. 第一作者（在审）.
7. 基于深度学习的乳腺超声肿瘤识别. 《首届“CCI 杯驼人医疗科技创新奖”》. 二等奖. 2019,09. 第一作者.
8. 一种海马-内嗅皮质系统启发的视觉概念表征理解模型. 《2019年国际大学生类脑计算大赛. 预赛二等奖. 2019,11. 第二作者.
9. 基于人工智能的多功能乳腺癌诊断分型平台. 《“华为杯”第二届中国研究生人工智能创新大赛》. 初赛参选. 2020,08. 队长.
10. 图像标记去除软件. 计算机软件著作权. 第一作者（申请中）.
11. 数据库数据自动下载软件. 计算机软件著作权. 第一作者（申请中）.

非常感谢老师们莅临指导！

THANKS!