1 引言

乳腺癌是全球女性死亡率最高的恶性肿瘤之一。目前,乳腺癌已成为一个关乎我国乃至全球女性健康的重大问题。2018年公布的统计结果显示,乳腺癌是发病率最高的癌症,约占新增病例总数的11.6%,占死亡病例总数的6.6%^[1]。《中国肿瘤登记年报》显示乳腺癌是中国女性癌症患者中最常见的癌症^[2]。近10年来,中国女性的乳腺癌发病率和死亡率迅速上升,是全世界平均发病率和死亡率的两倍^[3]。目前,乳腺X线摄影技术^[4]是诊断乳腺癌最可靠的方法,主要原因是乳腺X线图像分辨率高。然而,乳腺X线图像自身也存在一些缺陷,例如,病灶区域对比度不明显,而且小的肿块或钙化点受乳腺周围组织的影响可能会使医生出现视觉上的混乱,导致医生在读取乳腺X线图像过程中耗时耗力,诊断效率不高^[5],甚至可能出现漏诊误诊。

近年来,随着人工智能医疗技术的快速发展,利用计算机辅助诊断(CAD)技术检测疾病已成为时代的大趋势^[6]。很多研究人员利用CAD技术对乳腺图像进行了研究,并取得了相应的研究成果^[7-9]。然而,这些对乳腺病灶区域的研究均是基于传统的机器学习方法进行的,虽然取得了一定效果,但其检测精度与提取的特征密切相关,而特征的提取过程需要根据人群的特异性进行调整,因此很难推广。此外,以上针对乳腺病理图像进行分类的算法大都是在小型数据集上进行研究的,模型的泛化能力无法得到保证,不适用于对大型数据集进行图像识别。

基于深度学习的方法已被成功应用于医学成像中^[10-14],极大地提升了图像识别的准确率。文献[ 11]提出了Mask R-CNN网络,该网络使用预先训练好的卷积神经网络来抽取特征,有效地提升了识别精度。文献[ 12]提出了基于DenseNet和反卷积的DD-Net( DenseNet and deconvolution-based network)神经网络。DD-Net结合了DenseNet和反褶积的优点,采用快捷连接的方式将DenseNet和反褶积串联起来,加快了网络的训练速度。然而,Mask R-CNN网络的基准网络是残差网络,在提取特征时,精度不够高。针对这一问题,本文提出了一种新的网络——Mask R-CNN-II网络,并在MaskR-CNN-II网络中应用迁移学习算法,从病变图像中检测和分割乳腺肿瘤,以提高对肿瘤的检测精度,这对于辅助医生诊断具有积极意义。本文主要以乳腺癌的研究现状为背景,围绕乳腺X线图像预处理和深度学习算法,对乳腺癌的病灶区域进行了良恶性分类与检测研究。

2 乳腺图像的处理

2.1 乳腺图像预处理

本文采用的图像均取自山西医科大学第一医院,乳腺图像共计2048张,其中患病乳腺图像为1072张,正常乳腺图像为976张。数据库中所有的乳腺图像都已由专家进行了相应的标记,并将肿瘤划分为6个等级。图1所示为正常乳腺图像以及患病乳腺图像。

图 1. 正常乳腺图像以及患病乳腺图像。(a)正常乳腺图像; (b)患病乳腺图像

Fig. 1. Normal and diseased breast images. (a) Normal breast image; (b) diseased breast image

下载图片 查看所有图片

全数字化乳腺X线摄影机拍摄的图像具有较高的分辨率,且该摄影机的诊断工作台采用的是全分辨率模式,可以把图像的细节非常清晰地呈现出来。在检查过程中,可以获得左乳腺头(LCC)、左乳腺侧(LMLO)、右乳腺头(RCC)和右乳腺侧(RMLO)^[15]4种类型的乳腺X线图像,如图2所示。

图 2. 4种类型的乳腺图像。(a) LCC;(b) LMLO;(c) RCC;(d) RMLO

Fig. 2. Images of four types of breast. (a) LCC; (b) LMLO; (c) RCC; (d) RMLO

下载图片 查看所有图片

2.2 乳腺图像去背景

图3(a)是原始的乳腺X线图像。可以看出,在一张原始图像中,背景占了绝大部分,而乳腺只占一小部分。为了提高模型的准确率和特征利用率,本文对原始图像进行了批处理正则化的预处理操作,即去掉背景中的一些无用信息。将去背景后的图像数据输入到模型中进行训练,可以提高模型的收敛性。图3(b)是去背景^[16]后的乳腺X线图像。

图 3. 原始图像与去背景图像。(a)原始图像;(b)去背景图像

Fig. 3. Original image and image with background elimination. (a) Original image; (b) image with background elimination

下载图片 查看所有图片

2.3 病变区域数据集及图像融合

乳腺肿瘤的种类一共有6种,病变等级分别为2、3、4a、4b、4c、5,等级越高患有恶性肿瘤的可能性越大。6种病变等级如图4所示。

每一张乳腺图片都可能出现多处不同等级的病变区域,医生在诊断过程中根据病变等级最高的进行判断。在本文所使用的原始数据集的标定中,出现等级4c或5就被认定为恶性肿瘤。

为了更好地实现网络的迁移学习,本文先使用6种等级的肿瘤图片对网络进行预训练,之后再训练原始数据集。医生已在病变图像中标记出病变区域以及分类,所有图像中一共有1932处病灶区域,各等级病变区域的数量及其占病变总区域数量的比例如表1所示。

图 4. 病变等级。(a)等级2;(b)等级3;(c)等级4a;(d)等级4b;(e)等级4c;(f)等级5

Fig. 4. Lesion grade. (a) Lesion grade 2; (b) lesion grade 3; (c) lesion grade 4a; (d) lesion grade 4b; (e) lesion grade 4c; (f) lesion grade 5

下载图片 查看所有图片

在训练模型时,数据集不足会导致模型产生过拟合现象,降低模型的准确率。为了避免此现象的发生,本文使用图像融合^[17]的方法来扩大数据集。对于每一张病变图像,将病变区域数据与相应的健康区域进行融合,以获得大样本数据集。图5(a)是一个病变区域的图像,图5(b)是与之对应的健康区域的图像,图5(c)是融合后得到的图像。每一病变等级的图片都先后与9张同类型的健康乳腺图片的健康区域进行融合,因此,数据集增大至原来的10倍。随后通过随机裁剪的方式,使各病变等级图像的数量达到10000张。经过图像融合以及随机裁剪之后就得到了病变区域增强数据集。

图 5. 病变区域、健康区域的图像以及二者的融合图像。(a)病变区域的图像;(b)健康区域的图像;(c)融合图像

Fig. 5. Images of diseased and healthy areas and their fusion image. (a) Image of diseased area; (b) image of healthy area; (c) fusion image

下载图片 查看所有图片

3 网络改进

本文选取Mask R-CNN^[11]网络作为乳腺肿瘤检测的基本网络。Mask R-CNN是一种当前较为先进的目标检测网络,它包含两个分支,能够同时实现分类、回归及分割三项任务。该网络通过引入分割任务,有效提高了模型的检测性能;此外,该模型通过使用ROI Align层替代传统的ROI pooling层,有效克服了定位偏移的问题。下面分别介绍Mask R-CNN网络及其具体的改进方式。

3.1 Mask R-CNN网络

在医学图像识别中,选取正确的网络模型非常重要,对模型的要求是不仅要快还要准。因此,本文选取了不仅精度高而且速度快的Mask R-CNN网络,其具体结构如图6所示(ROI是region of interest的缩写,表示感兴趣区域)。

图 6. Mask R-CNN网络结构

Fig. 6. Mask R-CNN network structure

下载图片 查看所有图片

图中CNN表示基准网络,RPN代表生成建议窗口网络,ROI Align代表使用双线性插值得到与原图中ROI对应的特征图中的区域(保留坐标的对应关系),Mask branch代表分支网络。从网络结构中可以看出,Mask R-CNN网络最终通过两个分支输出结果,第一个分支输出背景和物体的分割结果,第二个分支输出分类和坐标结果。但是由于Mask R-CNN网络的基准网络是残差网络,在提取特征时,精度达不到要求,因此对Mask R-CNN的基准网络进行改进是非常有必要的。

3.2 改进Mask R-CNN网络

DenseNet神经网络模型不同于其他的卷积神经网络,其主要的特点是:1)采用了一种新的密集连接机制,即该模型当前的输入,不仅与前一层的输出有关联,还与之前所有的输出有关联。该模型将之前所有层的输出通过一定的方式组合在一起,然后输入到该层,这样做的目的主要是提高特征图的利用率,强化特征传播。2)由于每一层的特征图都得到了重复利用,所以每一层都利用了少量的卷积核进行特征提取,大幅减少了模型产生的参数量。

图7是DenseNet中的Dense Block示意图。DenseNet网络是由一个个Dense Block堆积而成的,具体结构如图8所示。

图 7. DenseNet中的Dense Block示意图

Fig. 7. Schematic of Dense Block in DenseNet

下载图片 查看所有图片

图 8. DenseNet结构示意图

Fig. 8. Schematic of DenseNet structure

下载图片 查看所有图片

DenseNet网络是Mask R-CNN网络的基准网络,但是DenseNet网络的卷积方式会造成很大浪费。而本文实验是在三块GPU(graphics processing unit)上运行的,使用的是分组卷积方式,在分组卷积中很难实现组与组之间的信息交流。所以本文使用Channel Shuffle卷积方式,目的是在减少DenseNet网络参数量的同时解决分组卷积方式中难以实现组与组之间信息交流的问题。Channel Shuffle卷积中的卷积方式与DenseNet网络的卷积方式并不相同。在DenseNet网络的卷积中,一组卷积核负责一组特征图,而在Channel Shuffle卷积中,则是一个卷积核负责一个特征图,这样就可以大大减少参数量。但这样会造成同一组数据之间信息的丢失,因此可以通过Shuffle操作来解决分组卷积中组内信息不交流以及组与组之间信息不交流的问题。

图9是Channel Shuffle示意图,其中input代表输入,GConv代表分组卷积层,feature代表特征图,output代表输出。图9(a)代表分组卷积,可以看出分组卷积各分组之间并没有信息交流。图9(b)是应用Shuffle的过程,可以看出各分组之间有了信息交流。图9(c)是应用Shuffle之后的效果,可以看到各分组之间都有其他分组的信息。将DenseNet网络中的卷积方式改变为Channel Shuffle卷积方式,得到改进网络——D-ShuffleNet网络,并将此网络作为Mask R-CNN网络的基准网络,进而得到本文的改进网络Mask R-CNN-II网络。

图 9. Channel Shuffle示意图。 (a)分组卷积; (b)应用Shuffle的过程; (c)应用Shuffle后的效果

Fig. 9. Schematic of Channel Shuffle. (a) Grouped convolution; (b) Shuffle process; (c) effect after applying Shuffle

下载图片 查看所有图片

4 实验仿真及结果分析

4.1 实验设置及评价指标

本文采用Pytorch框架进行实验,训练过程中使用Adam优化器,学习率设置为0.01。将图像数据集按照6∶2∶2的比例划分为训练集、测试集以及验证集,输入到网络中的乳腺X线图像的尺寸为224 pixel×224 pixel,batch size设为192,激活函数选择RELU函数。训练600个epoch,每组分组卷积核的大小为64,初始学习率设置为0.01,训练600个epoch,每隔100个epoch改变一次学习率。

本文选用mAP(mean average precision)^[18]作为评价标准对网络结果进行分析评价。mAP是平均精度均值,即k个类别的精确率的均值,计算公式为

αmAP=∑i=0k-1pkk,(1)

式中:p代表每个类别的平均精确率,用来评价每个类别的检测结果。mAP是目标检测算法中应用得最广泛的评价指标,其值越高,模型的分类性能就越好,其取值在0~1之间。以上的概念都可以从混淆矩阵的概念中引出。分类结果的混淆矩阵表如表2所示,其中:TP(true positive)表示模型将健康乳腺图像正确地识别为无肿瘤图像的数量,用符号表示为α_TP;FP(false positive)表示模型将患病乳腺图像错误地识别为健康乳腺图像的数量,用符号表示为α_FP;TN(true negative)表示模型将患病乳腺图像正确地识别为患病乳腺图像的数量,用符号表示为α_TN;FN(false positive)表示模型将健康乳腺图像错误地识别为患病乳腺图像的数量,用符号表示为α_FN。

Precision(P)和recall(R)分别指的是模型的准确率(也叫查准率)和召回率(也叫查全率),它们的表达式分别为

P=αTPαTP+αFN,(2)R=αTPαTP+αFP。(3)

4.2 实验仿真及对比分析

4.2.1 图像去背景对模型性能的影响

为了验证去背景的意义,本文将原始图像以及去背景后的图像分为正常区域图像和病变区域图像两类。在这里,本文利用D-ShuffleNet网络进行迁移学习,并按照4.1节中的设置对模型进行训练。通过实验得到的准确率和损失函数分别如图10和图11所示。

图 10. 原始数据集与去背景数据集的准确率曲线

Fig. 10. Accuracy curves of original data set and data set with background elimination

下载图片 查看所有图片

图 11. 原始数据集与去背景数据集的损失函数曲线

Fig. 11. Loss curves of original data set and data set with background elimination

下载图片 查看所有图片

在图10中可以很明显地看出细线一直处于粗线的上方,即去背景图像的模型准确率高于原始图像的模型准确率。在图11中,去背景图像的模型损失小于原始图像的模型损失。以上说明对原始图像进行去背景处理后,提高了模型的准确率,减小了模型的损失率。

4.2.2 网络模型对比分析

为了证明所提模型能够有效实现乳腺肿瘤的检测,本文将其与另外4种较为流行的网络模型进行了对比。本文按照4.1节中的设置进行了5组实验,并使用Xavier initialization对模型的参数进行初始化。第1组实验使用本文提出的Mask R-CNN-II网络进行训练,第2组实验使用原始的Mask R-CNN网络进行训练,第3组实现使用You Only Look Once(YOLO)-V3^[19]网络进行训练,第4组实验使用Single Shot MultiBox Detector(SSD)网络^[20]进行训练,第4组使用Faster R-CNN网络进行训练。

表3是5组模型训练后的实验结果,包括每一类的平均精确率以及mAP值。Mask R-CNN-II的mAP值最大,然后依次为Mask R-CNN模型、YOLO-V3模型、Faster R-CNN模型和SSD模型。通过表3可以看出,Mask R-CNN-II模型的训练效果最佳,检测精度最高。与Mask R-CNN-II相比,Mask R-CNN的效果要差,说明本文提出的D-ShuffleNet网络是成功的。YOLO-V3以及Faster R-CNN模型的性能都比Mask R-CNN差。可见,本文所提Mask R-CNN-II模型能够有效实现乳腺肿瘤的检测。

4.2.3 迁移学习对模型性能的影响

在模型训练中,迁移学习^[21]算法指的是利用神经网络模型训练一个其他的数据集,然后保留训练之后的网络参数,继续训练目标数据集。该算法具有加快训练速度和提高精度的作用。本文首先使用迁移学习的方式训练D-ShuffleNet网络。在模型训练收敛之后,保留模型参数,将训练之后的D-ShuffleNet网络作为Mask R-CNN-II网络的基准网络。本文按照4.1节中的设置对模型进行训练。实验过程使用了三块GPU,也就是分组卷积分为了三组。网络在预训练过程中的准确率和损失函数曲线如图12~13所示。

图 12. D-ShuffleNet网络在预训练过程中的准确率

Fig. 12. Accuracy of D-ShuffleNet network in pretraining

下载图片 查看所有图片

图 13. D-ShuffleNet网络在预训练过程中的损失函数

Fig. 13. Loss of D-ShuffleNet network in pretraining

下载图片 查看所有图片

此外,为了验证预训练对网络性能的影响,本文设置了另外两组对比实验。其中一组是使用原始的未经任何预处理的1160张病变区域数据集对模型进行预训练的模型,另一组是使用Xavier initialization进行参数初始化后的模型。之后本文按照4.1节的设置,使用经过预处理的病变区域图像对上述两组经过预训练的模型和一组没有经过预训练的模型进行实验。表4是三组模型训练后的实验结果,包括平均精确率以及mAP值。

表4中的Pre-T+Mask R-CNN-II表示经融合患病区域数据集预训练的模型,Pre+Mask R-CNN-II表示使用原始的未经过任何预处理的1160张病变区域图像预训练的模型,Mask R-CNN-II表示未经预训练的模型。通过表4可以看出,Pre-T+Mask R-CNN-II模型的训练效果最佳,Pre+Mask R-CNN-II模型的训练效果与Pre-T+Mask R-CNN-II模型的训练效果很接近,但仍有轻微的差距,说明本文提出的通过融合图像增加病变区域数据集数量的思路是正确的。与Pre-T+Mask R-CNN-II和Pre+Mask R-CNN-II模型的训练效果相比,Mask R-CNN-II模型的训练效果要差一些,说明迁移学习有助于模型性能的提升。

4.3 模型性能的评估

关于模型评估的标准,除了最常用的几种之外,受试者工作特征曲线(ROC曲线)也是用来评价模型分类器性能的重要标准,它主要表示的是模型分类器的真阳率(灵敏性)和假阳率之间的关系。ROC曲线经过(0,0)点,曲线下方的面积用AUC表示。AUC的数值越大,表示模型对乳腺X线图像良恶性分类的性能越好。理想模型的AUC值为1,表示模型的准确率达到了100%。ROC曲线能很好地反映模型的泛化性能,其下方的面积为AUC,AUC值越大说明模型的泛化能力越好。图14给出了此次实验中各模型的ROC曲线。

图 14. 各模型的ROC曲线

Fig. 14. ROC curves of each model

下载图片 查看所有图片

从图14可以看出,Pre-T+Mask R-CNN-II模型的ROC曲线一直处于最上方,且它下方的面积是最大的。可以看出,Pre-T+Mask R-CNN-II模型ROC曲线下方的面积最大,然后依次是Pre+Mask R-CNN-II模型、Mask R-CNN-II模型、Mask R-CNN模型、YOLO-V3模型、Faster R-CNN模型、SSD模型,上述模型ROC曲线下方的面积依次为0.942、0.935、0.916、0.902、0.893、0.882、0.877,与mAP评价体系得出的结果一致。这一结果说明本文改进的模型是非常成功的,本文提出的Pre-T+Mask R-CNN-II模型具有良好的泛化性能。

5 结论

本文通过结合DenseNet网络以及Channel Shuffle卷积方式,提出了一种新网络——D-ShuffleNet网络,进而提出了新的目标检测网络Mask R-CNN-II,并在Mask R-CNN-II网络中应用迁移学习算法对乳腺肿瘤目标进行检测研究。通过7组对比实验证明了本文所提Mask R-CNN-II网络相比其他网络的检测精度更高,同时通过实验验证了本文所使用的融合图像的思想以及迁移学习算法是有效的,最终提高了模型的准确率和识别率。然而,从实验结果中发现,虽然本文网络对6种等级乳腺肿瘤的识别准确率都有所提高,但是对于4a和4c这两种病变等级区域的识别率要明显低于对其他4种病变等级区域的识别准确率。所以,本文下一步将从各方面对网络进行研究,以提高网络的表达性能,同时提高模型对4a和4c病变等级区域的识别准确率。