CLP Researching 中国光学期刊网 光电汇 爱光学
激光与光电子学进展, 2020, 57 (22): 221021, 网络出版: 2020-11-12   

基于改进ResNeXt的乳腺癌组织病理学图像分类 下载： 1048次

Breast Cancer Histopathological Image Classification Based on Improved ResNeXt
Get PDF
Full Text
图表
论文大纲
Metrics
More
牛学猛 1吕晓琪 1,2,*谷宇 1,3张宝华 1张明 1,4任国印 1李菁 1
作者单位
1 内蒙古科技大学信息工程学院模式识别与智能图像处理重点实验室, 内蒙古 包头 014010
2 内蒙古工业大学信息工程学院, 内蒙古 呼和浩特 010051
3 上海大学计算机工程与科学学院, 上海 200444
4 大连海事大学信息科学技术学院, 辽宁 大连 116026
图像处理 组织病理图像 卷积神经网络 残差网络 八度卷积 异构卷积 image processing histopathological images convolution neural network residual network octave convolution heterogeneous convolution 
摘要
为实现对乳腺癌组织病理图像的准确自动分级,提出了一种改进的卷积神经网络,依次引入两种不同的卷积结构,以提高网络对病理图像的识别准确率。以深度残差网络(ResNeXt)为基础网络,用八度卷积(OctConv)替代传统卷积层,在特征提取阶段降低特征图中的冗余特征,提高了细节特征的提取效果;用异构卷积(HetConv)代替网络中的部分传统卷积层,以降低模型的训练参数。为了克服因数据样本较少出现的过拟合问题,采用一种基于图像分块思想的数据增强方法。实验结果表明,该网络在图像级别的四分类任务中准确率达到91.25%,表明所设计的网络模型具有较高的识别率和较好的实时性。
Abstract
In this paper, to achieve accurate automatic classification of breast cancer histopathological images, an improved convolutional neural network is proposed, and two different convolutional structures are introduced in order to improve the accuracy of histopathological image recognition by the network. Based on using deep residual network (ResNeXt) as basic network, octave convolution (OctConv) is used to replace the traditional convolutional layer to reduce the redundant features in the feature map during feature extraction stage and improve the effect of detailed feature extraction. Heterogeneous convolution (HetConv) is introduced to replace part of the traditional convolutional layers in the network, reducing model training parameters. To overcome the problem of over-fitting due to the small number of data samples, an effective data enhancement method based on the idea of image block is adopted. The experimental results demonstrate that the accuracy of the network on the four classification tasks of the network at the image level reaches 91.25%, indicating that the designed network model has a higher recognition rate and a better real-time performance.

1 引言

钼靶成像、核磁共振成像、X射线(X-ray)等技术,可对大量病理学图像做出准确的分期、分级,从而对乳腺癌进行诊断。相比人工诊断方法,计算机辅助诊断不仅可以提高诊断效率,还增加了客观性的判断,具有重要的临床应用价值。对组织病理图像的分类难点一方面在于细胞核重叠会影响单独细胞核的特征,导致有些核特征不明显,不便于用肉眼观察到,若染色不均匀,还会增加分类难度;另一方面,1张病理图像中可能包含多种类型的细胞核,这对判断整张图像处于哪一类有很大的影响。此外,目前公开的数据集都是小型数据集,对基于深度学习的分类方法具有很大的挑战。

Spanhol等[1]在BreaKHis数据集上,采用支持向量机(SVM)、随机森林等分类算法进行乳腺癌组织病理图像的分类,准确率为80%~85%;随后Spanhol等[2]在相同数据集上,用一种改进的AlexNet对组织病理图像进行分类,在图像水平级四分类任务中的准确率达到89.6%;Araújo等[3]提出了卷积神经网络(CNN)结合SVM(CNN+SVM)的方法并在2015乳腺癌分类挑战数据集上进行实验,得到四分类任务的准确率为77.8%;Golatkar等[4]采用Inception-v3网络的迁移学习,对400张均匀划分的四种类别图像进行预处理和补丁提取,采用多数表决决策在四分类任务中的准确率达到85%;Rakhlin等[5]采用多种深层神经网络结构和梯度提升树(LightGBM)分类器,在文献[ 4]使用的数据集上得到的四分类任务准确率为87.2%;Koné等[6]采用二叉树思想,首先对病理图像进行二分类,再对每一类进行更精细的二分类以达到四分类的目的,用提出的分层深度残差网络(ResNeXt)对三个不同的网络进行训练,得到四分类任务的准确率为99%;Nazeri等[7]提出了一种基于补丁的技术,由两个连续的CNN组成,在四类病理图像上的分类准确率为94%;Wang等[8]用SVM算法对68张乳腺癌组织病理图像的分类准确率为96.19%;Krizhevsky等[9]采用谷歌网络(GoogLeNet)进行迁移学习,在BreakHis数据集上的分类识别率为91%。上述部分方法的最终准确率因数据集和评价决策标准而不同,因此不具有可比性。

采用传统方法进行特征提取时,由于相近类间的细胞特征形态相似性较大,导致特征提取难度大、算法的准确率较低;传统的CNN虽然准确率较高,但也会带来较高的特征冗余,增加模型的计算量;迁移学习方法中卷积核的数量会影响对图像中特征的学习效果,且大多数训练网络比较单一,学到的特征权重不能很好地适用于组织病理图像特征的提取,导致识别率较低。针对上述问题,本文提出了一种更深、更有效的CNN,同时采用一种有效的数据增强方法,避免了数据量过少造成的过拟合现象,从而提高模型的分类准确率。

2 本文方法

CNN作为图像处理领域中一种高效的识别方法[9-12],有很多主流的CNN框架得到了广泛应用。相比传统的残差网络,实验采用的ResNeXt[13]模型计算量更少,训练精度更高;同时用八度卷积(OctConv)[14]代替传统卷积层,可以有效提取组织病理图像中的高频特征,降低低频特征的信息权重,有利于对相近类别的图像进行识别;此外,还引入异构卷积(HetConv)[15]降低训练参数并提高模型的分类准确率。

2.1 网络架构的组成

用OctConv替换传统卷积层,由于卷积核为1×1的卷积层具有升维或降维的作用,用OctConv替换后只会增加训练参数和训练时间,因此,只替换卷积核为3×3的卷积层。初始层OctConv中基础卷积层的卷积核采用HetConv,以减少训练参数,提高分类准确率。本网络的整体流程结构如图1所示,其中, Conv2d表示二维卷积。

图 1. 本算法的流程图

Fig. 1. Flow chart of our algorithm

下载图片 查看所有图片

2.1.1 初始层

初始层为32个卷积核大小为3×3、步长为1的卷积层,输入尺寸为256pixel×192pixel×3的张量,其中,3为通道数。然后进行批标准化(BN)[16],用线性整流函数(ReLU)[17]进行激活,实现初步的特征提取。

2.1.2 OctConv模块

图像中的高频部分含有大量的细节信息,低频部分则体现图像的大体信息,决定性信息较少。Chen等[14]用OctConv替代传统CNN中的卷积层,将特征图分为高频通道和低频通道,再将低频通道的特征图按比例缩减一半,即将特征图分为高频和低频两个部分,如图2所示。

图 2. OctConv过渡层的工作原理

Fig. 2. Working principle of OctConv transition layer

下载图片 查看所有图片

图2中,输入特征图X分为高频XH和低频XL,首先对高频部分进行由高频到高频的卷积操作,得到特征图YH→H。再将高频部分进行平均池化(AvgPooling),将特征图的尺寸降低一半,再经过卷积生成与低频通道数相同的特征图,得到最终的特征图YH→L。对低频部分进行由低频到低频的卷积操作,得到特征图YL→L。再将XL进行升采样(upsample)操作,得到与高频通道尺寸相同的特征图,再经过卷积得到最终的特征图YL→H。将YH→H和YL→H、YH→L和YL→L进行相加操作,得到高、低频特征图YH、YL,可表示为

YH=YH→H+YL→H,(1)

YL=YL→L+YH→L。(2)

相近种类的组织病理图像之间具有很多相同的特征,且很难提取各自的细节特征,因此,引入OctConv网络模块,以提高对高频信息的提取效率,降低冗余的低频信息,进而提高对相近种类的识别准确率。设计的OctConv结构包括初始层、过渡层和输出层。其中,初始层是单输入双输出,负责接收输入特征图。原始图像经过一层卷积核大小为3×3的卷积层输出高频特征图(XH),对原始图像进行平均池化后经过相同的卷积层输出低频特征图(XL)。低频通道数为Ffilters×α,高频通道数为1-Ffilters×α,其中,Ffilters为输入通道数,实验取64。为降低低频特征冗余,参数α的取值范围为0~0.5,且α为0.125的整数倍。经过对比实验,最终将α取为0.25;过渡层是双输入双输出,以XH、XL为输入,高频特征XH和低频特征XL再经过一层卷积层后分别进行下采样和上采样操作输出YH、YL;输出层是双输入单输出,输入为YH、YL,将过渡层的输出YL经一层卷积层后进行上采样,然后与YH经过一层卷积层后得到的特征图进行相加操作,得到该模块的输出特征图。

2.1.3 HetConv模块

与传统卷积结构不同,HetConv以一种新的滤波器思想作用在卷积层中。同构卷积包含卷积核大小相同的卷积层,如一层二维(2D)卷积包含256个大小为3×3的过滤器,如图3(a)所示。而HetConv将某一层传统卷积中Ffilters个卷积核分为Ffilters/P组,P为每组中卷积核的数量,每组卷积核中只有一个大小为3×3的卷积核,其余都是大小为1×1的卷积核,如图3(b)所示。这种由异构核构成的卷积能减少计算量及参数数量,同时还能保证训练的准确度。

图 3. 不同结构的卷积。(a)传统卷积;(b) HetConv

Fig. 3. Convolution with different structures. (a) Traditional convolution; (b) HetConv

下载图片 查看所有图片

设卷积输出特征图的尺寸为 DO×DO,输出通道数为N,卷积核的尺寸为K×K,卷积核尺寸为K×K的个数为Ffilters/P,其余卷积核的大小均为1×1,则每一层卷积的总计算量( Fall)为每个大小为K×K的卷积核计算量( FK)与1×1卷积核计算量( F1)之和,可表示为

FK=DO×DO×Ffilters×N×K×K,(3)

F1=DO×DO×N×1-1P×Ffilters,(4)

Fall=FK+F1。(5)

将初始层的卷积核设计为异构核形式,用根据HetConv原理设计的算法代替传统卷积核,以达到卷积核异构的目的。算法的流程如图4所示,其中,P≥2,每组中第一个卷积核的大小为3×3,其余P-1个卷积核的大小为1×1。实验中P取2的幂次方2和4,经多次实验对比,发现当P=2时,网络的效果最好。

图 4. HetConv算法的流程图

Fig. 4. Flow chart of HetConv algorithm

下载图片 查看所有图片

2.1.4 残差层

ResNeXt[18]是一个高度模块化的网络结构,实验设计的ResNeXt模块将卷积核为1×1和3×3的卷积层进行堆叠,由四个相同的结构并行输入共同输出,用卷积核为1×1的卷积层作为ResNeXt模块的最后一层,再用最后一层的输出与ResNeXt模块的输入进行add操作,最终形成一个完整的ResNeXt模块,如图5所示。本网络模型的主体部分由三个ResNeXt模块组成,输出滤波器的个数依次为64、128、256,后续实验均以该模型为基础进行改进。

图 5. ResNeXt模块的结构

Fig. 5. Structure of ResNeXt module

下载图片 查看所有图片

2.1.5 全局平均池化层

用全局平均池化 (GAP)层[19]替代传统的全连接层,GAP层后是一个包含512个节点的Dense层。Dense层可将上一层的输出特征转化为N×1的1维向量综合起来,获取的图像特征具有的高层含义。为避免过拟合,在Dense层后再加入一个Dropout层[20],经Softmax分类器输出。选用RAdam(Rectified Adam)优化器进行优化[21],一方面,实验数据集较小,相比Adam优化器,RAdam优化器可以省去预热的步骤[22];另一方面,RAdam优化器对学习率的鲁棒性较好,同时具有与Adam优化器相同的收敛速度,可以避免陷入局部最优解。

2.2 数据预处理

2.2.1 数据集

在Grand Chanllenge的BACH公开数据集[23]上进行实验,该数据集包括四类正常组织(Normal)、良性病变(Benign)、原位癌(InSitu)、浸润性癌(Invasive)经过H&E (Hematoxylin-Eosin)染色的乳房组织病理学显微镜图像,图像的尺寸为2048pixel×1536pixel,均为RGB(Red,Green,Blue)图像,每个像素覆盖0.42μm×0.42μm的组织。该数据集包含两位病理学家共同给出的注释,存在分歧的图像已经被丢弃。为使数据均匀,从每类图像中选取100张图像进行实验。

2.2.2 预处理

数据预处理[24-26]是图像处理中必不可少的步骤,由于选取的数据集样本数量有限,为防止模型训练过拟合,从每张图像中提取小斑块(patch),以增加数据集的样本数量,同时只保留具有细胞核的patch,丢弃无细胞核或细胞核数较少的patch。

由于细胞核的大小和形状及其周围的组织结构是分类的主要特征[27-31]。其中,正常组织经过H&E染色后细胞质区域较大,且有密集的成核簇;良性病变由多个相邻的核簇组成;原位癌表现为细胞核增大、核仁突出,但均在一个圆形的团簇中;浸润性癌打破了原位癌的团簇形式,癌细胞核扩散到附近区域且核密度较高,细胞核间排列杂乱。因此,实验提取尺寸为256 pixel×192 pixel的区域,可以很好的包含团簇的轮廓、细胞核及其周围结构。为了得到更全面的图像特征信息,每个patch需要覆盖提取图像50%的区域,即宽度上的步长Sweight为128pixel,高度上的步长Shight为96pixel,在宽度上能够提取的patch数为WT,在高度上能提取的patch数为HT,可表示为

WT=2048-256Sweight+1,(6)

HT=1536-192Shight+1,(7)

Tall=WT×HT,(8)

式中,Tall为从每张完整图像提取的patch。实验不使用所有的patch,仅保留核密度较高的patch,丢弃核密度稀疏的patch,保留与丢弃patch的标准参考文献[ 4],提取得到所有patch的标签与原始图像的标签保持一致。经H&E染色的病理学图像中细胞核的边缘特征不突出,因此,对所有patch进行对比度拉伸处理,使细胞核及其周围特征更明显,如图6所示。研究发现,对经过对比度拉伸的数据进行训练,得到的网络准确率比未经处理的数据高。

图 6. 验证集中Benign类的图像。(a)整张图像;(b)小斑块

Fig. 6. Image of the Benign class in the verification set. (a) Whole image; (b) small patches

下载图片 查看所有图片

2.2.2 多数投票原则

每张图像的任意patch经过Softmax分类器都会得到一个类别的输出,将对应类别数量加1。当该图像提取的所有patch中属于某一类的patch样本数相对较多时,将该图像判定为这一类,分类原理如图7所示。

图 7. 多数投票算法的原理

Fig. 7. Principle of the majority voting algorithm

下载图片 查看所有图片

3 实验结果与分析

3.1 实验环境

实验使用Python语言基于Keras框架进行编程,实验平台为DGX的Ubuntu系统NVIDIA v100。在CPU环境下进行数据预处理,在GPU上训练CNN模型以加快数据的并行计算,提高实验效率。

3.2 训练策略

将数据集每一类均匀地分为训练集(60%)、验证集(20%)和测试集(20%),将提取的patch作为最终的训练集、验证集和测试集。其中,训练集用于模型训练和参数学习;验证集用于验证模型,通过训练不断验证模型的泛化能力并自动微调参数,随时保存最佳模型;测试集用于测试模型的识别率以及泛化能力,训练时将所有训练数据打乱后再进行处理。

训练在四分类任务下进行,即正常、良性、原位癌和浸润性癌四类。训练策略:首先在原始ResNeXt中训练模型;再用OctConv替换ResNeXt中的3×3卷积层重新训练;最后用HetConv将初始层的传统卷积核替换后重新训练。前一模型训练得到的数据可为后一模型的优化提供有效的判断依据,并作为对比实验。

3.3 评价标准

实验结果的评价指标为patch的识别率和整张图像的识别率,patch的识别率 Ppatch可表示为

Ppatch=NrightNsum,(9)

式中, Nright为测试集中被识别正确的patch数量, Nsum为测试集的patch总数量。整张图像的识别率 I可表示为

I=NrpNall,(10)

式中, Nrp为测试集中被分类成功的图像的数量, Nall为测试集中的图像总数量。

3.4 实验结果与分析

用训练patch的准确率和对整张图像的分类准确率(测试集中每类图像的数量为20张)评价本网络模型的性能,且前者的准确率很大程度地影响了后者的准确率。在三种改进的网络中依次进行实验,达到依次递增的实验效果。分别以训练集的准确率(acc)和验证集的准确率(val_acc)、测试集整张图像的混淆矩阵分析实验结果。

3.4.1 ResNeXt

ResNeXt由包含32个滤波器的卷积层(输入层)、三个ResNeXt模块、GAP层、一个Dense层、一个Dropout层及Softmax分类器组成,整体结构如图1所示。当训练到第49轮时,模型性能的泛化能力最好,训练集的准确率达到90.97%,验证集的准确率达到71.92%(基于patch级别),如图8所示。二者的准确率相相差约19个百分点,这表明模型出现了严重的过拟合现象,还需进行改进。

图 8. ResNeXt模型的训练准确率和验证准确率

Fig. 8. Training accuracy and verification accuracy of the ResNeXt model

下载图片 查看所有图片

由于实验采用多数决策原则,因此验证集的准确率并不能表示整张图像的判别准确率,验证集的准确率基于patch级别,而图像级别的准确率由该张图像中所有patch的最多数类别决定,最终结果如表1所示,其中,行表示预测值,列表示真实值,得到最终的图像级别分类准确率为82.5%。可以看出,Invasive和Normal两个类别判断错误的图像相对较多,原因是正常图像和良性图像、原位癌和浸润性癌图像具有相似的特征,该模型没有学习到更深层次的特征。

表 1. ResNeXt模型的图像级混淆矩阵

Table 1. Image-level confusion matrix of ResNeXt

BenignInSituInvasiveNormal
Benign18113
InSitu11840
Invasive01141
Normal10116

查看所有表

图9为部分判断错误的图像,图9(a)属于Invasive类,但被误判为InSitu类;图9(b)属于InSitu类。可以发现,这两张图像的大致特征十分相似,基本不存在团簇,但图9(a)中的核密度大于图9(b);图9(c)也为InSitu类,被误判为Invasive类,原因是图9(c)在部分区域的核密度较大。这表明该网络对核密度的特征识别并不敏感,不能提取图像的细节特征。为提取更细节的特征,降低特征冗余,在模型中引入OctConv模块。

图 9. 部分判断错误的图像。 (a) Invasive; (b) InSitu1; (c) InSitu2

Fig. 9. Image of partially judged wrong. (a) Invasive; (b) InSitu1; (c) InSitu2

下载图片 查看所有图片

3.4.2 ResNeXt+OctConv模型

ResNeXt+OctConv模型以ResNeXt为基础,将其中的传统卷积替换为OctConv模块。OctConv模块能有效提取高频信息,适当弱化低频信息,该网络在验证集和训练集中的准确率如图10所示。可以看出,相比ResNeXt模型,ResNeXt+OctConv模型的准确率有很大的提升,最优模型在训练集中的准确率达到97.38%,在验证集中的准确率达到81.73%,两者相差约16个百分点,相比ResNeXt模型的泛化能力也有所提高,这表明patch的准确率影响着图像级别的识别结果。

图 10. ResNeXt +OctConv模型的训练准确率和验证准确率

Fig. 10. Training accuracy and verification accuracy of the ResNeXt+OctConv model

下载图片 查看所有图片

ResNeXt+OctConv模型的图像级别混淆矩阵如表2所示,可以发现,该模型在图像级别的准确率可以达到90%,且Invasive和Normal两个类别判断正确的图像数量有所提高,对与Benign类较相似的Normal类识别率提升较大,也提升了Invasive类的识别率,可成功识别图9(c),这表明OctConv模块能提取图像中更细节的特征。

表 2. ResNeXt+OctConv模型的图像级别混淆矩阵

Table 2. Image-level confusion matrix of ResNeXt+OctConv model

BenignInSituInvasiveNormal
Benign18101
InSitu11830
Invasive00170
Normal11019

查看所有表

Normal类识别错误的图像如图11所示,主要原因是该图像染色不均匀,使细胞核边缘特征模糊,测试过程中提取的特征不够明显。实验结果表明,OctConv对相近类别的识别有很强的鲁棒性。

图 11. Normal类的图像

Fig. 11. Image of the Normal class

下载图片 查看所有图片

3.4.3 ResNeXt+OctConv+HetConv模型

由于OctConv模块的特殊结构,用其替换原始的传统卷积,会大大增加训练参数的数量,使一个轮次的训练时间是ResNeXt模型的两倍左右。为了降低训练时间,引入HetConv模块,同时能够提高模型性能。该网络在ResNeXt+OctConv网络的基础上引入了HetConv(P=2)结构,替换初始层OctConv模块中的传统卷积层。该网络在验证集和训练集中的准确率如图12所示,可以看出,实验只对初始层引入了HetConv模块,减少了37632个训练参数,但训练准确率和验证准确率的拟合程度比ResNeXt+OctConv模型更好,且在前30轮中的曲线波动较小,最优模型处的训练准确率达到97.07%,验证集的准确率达到83.04%。ResNeXt+OctConv+HetConv模型的图像级别混淆矩阵如表3所示,该网络对图11的识别仍然发生错误,可能是图像染色造成的细胞核边缘模糊导致的。

图 12. ResNeXt+OctConv+HetConv模型的训练准确率和验证准确率

Fig. 12. Training accuracy and verification accuracy of the ResNeXt+OctConv+HetConv model

下载图片 查看所有图片

表 3. ResNeXt+OctConv+HetConv模型的图像级别混淆矩阵

Table 3. Image-level confusion matrix of ResNeXt +OctConv+HetConv model

BenignInSituInvasiveNormal
Benign18101
InSitu01820
Invasive00180
Normal21019

查看所有表

从表3中可以发现,ResNeXt+OctConv+HetConv模型在图像级别的最终准确率为91.25%。对比表2与表3可以看出,该模型在Invasive类上的识别准确率有所提升。最终在Normal类中只有1张被识别为Benign类,文献[ 4]的图像级别混淆矩阵如表4所示,与表4中的Normal类相比,该类被误判为Benign类的图像数明显减少。用两种方法的混淆矩阵计算各自类别的召回率(Recall)、精准率(Precision)以及最终的准确率(Accuracy),结果如表5。在所需预测的某类正样本中被预测为正确样本的数量用 TP表示,被预测为错误样本的数量用 FN表示;相反,在某类负样本中被预测为正确样本的数量用 TN表示,被预测为错误样本的数量用 FP表示。实验中每类为自己的正样本,其余类为负样本。

表 4. 文献[ 4]的图像级别混淆矩阵

Table 4. Image level confusion matrix of Ref. [4]

BenignInSituInvasiveNormal
Benign23114
InSitu12021
Invasive01220
Normal13020

查看所有表

召回率指在实际正样本中被预测为正样本的概率,可表示为

XRecall=XTPXTP+XFN。(11)

精准率指在所有被预测正样本中实际为正样本的概率,可表示为

XPrecision=XTPXTP+XFP。(12)

准确率指预测正确的结果占总样本数的概率,可表示为

XAccuracy=XTP+XTNXTP+XTN+XFP+XFN。(13)

表 5. 两种方法的召回率、精准率和准确率

Table 5. Recall,precision and accuracy of two methods unit: %

MethodRecallPrecisionAccuracy
OurmethodBenign90.0090.0091.25
InSitu90.0090.00
Invasive90.00100.00
Normal95.0086.36
Ref. [4]Benign92.0079.3185.00
InSitu80.0083.33
Invasive88.0095.65
Normal80.0083.33

查看所有表

召回率可以反映被正确判定正例占总正例的比重,从表5中可以看出,除Benign类外,本方法对其他类的准确率都明显高于迁移学习方法。这表明本方法可提取到能区分相近类的特征,且在降低模型训练参数的同时提高了模型的性能。此外,本方法通过离线训练好的模型,减少对测试集的实际测试时间,对测试集中80张尺寸为2048pixel×1536pixel的RGB图像,测试时间为562s,每张图像的测试时间为7.025s,实时性较好,可以满足实际应用中的需求。

HetConv结构中的参数P经过实验得出,当P=4时,是一个3×3和三个1×1的卷积核组成的结构,模型的泛化能力较弱。因此,选择P=2的HetConv结构。

3.4.4 实验结果对比

为了验证本方法的有效性,用相同数据集对比不同模型的四分类任务识别率,结果如表6所示。可以发现,实验得到的最终模型在patch级别的准确率(Patch-accuracy)和图像级别上的准确率(Image-accuracy)均高于文献[ 4]的迁移学习方法,且本方法对相近类别的识别率有较大的提升。

表 6. 不同模型的识别率

Table 6. Recognition rate of different models unit: %

MethodResNeXtResNeXt+OctConvResNeXt+OctConv+HetConv P=2(P=4)Ref.[4]
Patch-accuracy71.9281.7383.04(78.12)79.00
Image-accuracy82.5090.0091.25(88.75)85.00

查看所有表

表7为本方法与其他方法的四分类对比结果,其中,文献[ 1]中的传统机器学习方法使用了三种不同的机器学习算法,其人工特征的提取具有局限性,得到的最终准确率较低;文献[ 2]中的方法以AlexNet为基础进行改进,使用先进的纹理描述子,在同一数据集下的准确率有所提高;文献[ 3]中的方法结合CNN与SVM,在多分类任务中的准确率较低;文献[ 4]中的方法以Inception网络进行迁移学习,准确率也较低;文献[ 5]中的方法结合三种不同的CNN与LightGBM分类器,网络结构单一,不能提取图像的深层特征,在多分类任务中的识别率较低;文献[ 6]中的方法将一个四分类任务转化为简单的二分类任务,即利用二叉树思想逐步进行二分类以达到四分类的目的,识别率较高,但实验中需要人为干预用于训练和测试的三个模型,实时性较差。综上所述,人工特征提取会带来主观性和局限性,传统CNN会导致特征单一和特征冗余,在一定程度上影响识别率。而本方法使用改进的ResNeXt,其网络结构更深,能有效降低特征空间冗余,对相近类的识别率较高。

表 7. 不同方法得到的实验结果

Table 7. Experimental results obtained by different methods unit: %

MethodAccuracy
Traditional machine learning[1]80.00-85.00
AlexNet[2]89.60
CNN+SVM[3]77.80
Inception-Transfer learning[4]85.00
LightGBM[5]87.20
Hierarchical ResNeXt[6]99.00
The contestants (ICIAR2018)80.00-91.00
Our method91.25

查看所有表

4 结论

利用CNN对乳腺癌组织病理学图像进行自动分类,通过改进的深度CNN模型使网络具有更深的网络结构,在减少训练参数的同时提高分类准确率。在数据预处理部分采用对比度拉伸方法增加了图像中细胞核的可识别度,同时克服了因为数据量小导致的过拟合问题。实验结果表明,相比其他方法,本方法对四种类别的识别度均有提高,同时降低了提取特征的冗余情况,减少了冗余对识别的影响及计算消耗。此外,本方法对识别相近类别的细节特征更敏感,且具有较好的鲁棒性和实时性,在一定程度上可满足临床应用的需求。

参考文献

[1] Spanhol F A, Oliveira L S, Petitjean C, et al. A dataset for breast cancer histopathological image classification[J]. IEEE Transactions on Biomedical Engineering, 2016, 63(7): 1455-1462.

[2] Spanhol FA, Oliveira LS, PetitjeanC, et al. Breast cancer histopathological image classification using convolutional neural networks[C]//2016 International Joint Conference on Neural Networks (IJCNN), July 24-29, 2016, Vancouver, BC, Canada. New York: IEEE, 2016: 2560- 2567.

[3] Araújo T, Aresta G, Castro E, et al. Classification of breast cancer histology images using convolutional neural networks[J]. PLOS One, 2017, 12(6): e0177544.

[4] GolatkarA, AnandD, SethiA. Classification of breast cancer histology using deep learning[EB/OL]. [2020-03-23].https://arxiv.org/abs/1802. 08080.

[5] RakhlinA, ShvetsA, IglovikovV, et al. Deep convolutional neural networks for breast cancer histology image analysis[M] //Rakhlin A, Shvets A, Iglovikov V, et al. Image Analysis and Recognition. ICIAR 2018. Lecture Notes in Computer Science. Cham: Springer, 2018, 10882: 737- 744.

[6] KonéI, BoulmaneL. Hierarchical ResNeXt models for breast cancer histology image classification[M] //Campilho A, Karray F, ter Haar Romeny B. et al. Image Analysis and Recognition. ICIAR 2018. Lecture Notes in Computer Science. Cham: Springer, 2018, 10882: 796- 803.

[7] NazeriK, AminpourA, EbrahimiM. Two-stage convolutional neural network for breast cancer histology image classification[EB/OL]. [2020-03-21].https://arxiv.org/abs/1803. 04054.

[8] Wang Z H, You K Y, Xu J J, et al. Consensus design for continuous-time multi-agent systems with communication delay[J]. Journal of Systems Science and Complexity, 2014, 27(4): 701-711.

[9] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6): 84-90.

[10] Gu Y, Lu X Q, Yang L D, et al. Automatic lung nodule detection using a 3D deep convolutional neural network combined with a multi-scale prediction strategy in chest CTs[J]. Computers in Biology and Medicine, 2018, 103: 220-231.

[11] 孟婷, 刘宇航, 张凯昱. 一种基于增强卷积神经网络的病理图像诊断算法[J]. 激光与光电子学进展, 2019, 56(8): 081001.

    Meng T, Liu Y H, Zhang K Y. Algorithm for pathological image diagnosis based on boosting convolutional neural network[J]. Laser & Optoelectronics Progress, 2019, 56(8): 081001.

[12] 李素梅, 雷国庆, 范如. 基于双通道卷积神经网络的深度图超分辨研究[J]. 光学学报, 2018, 38(10): 1010002.

    Li S M, Lei G Q, Fan R. Depth map super-resolution based on two-channel convolutional neural network[J]. Acta Optica Sinica, 2018, 38(10): 1010002.

[13] Xie SN, GirshickR, DollárP, et al. Aggregated residual transformations for deep neural networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 21-26, 2017, Honolulu, HI, USA. New York: IEEE, 2017: 5987- 5995.

[14] Chen YP, Fan HQ, XuB, et al. Drop an octave: reducing spatial redundancy in convolutional neural networks with octave convolution[C]//2019 IEEE/CVF International Conference on Computer Vision (ICCV), October 27-November 2, 2019, Seoul, Korea (South). New York: IEEE, 2019: 3434- 3443.

[15] SinghP, Verma VK, RaiP, et al. HetConv: heterogeneous kernel-based convolutions for deep CNNs[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 15-20, 2019, Long Beach, CA, USA. New York: IEEE, 2019: 4830- 4839.

[16] IoffeS, SzegedyC. Batch normalization: accelerating deep network training by reducing internal covariate shift[EB/OL]. [2020-03-23].https://arxiv.org/abs/1502. 03167.

[17] Xu B, Wang N, Chen T, et al. Empirical evaluation of rectified activations in convolutional network[EB/OL]. [ 2020- 03- 22]. . http://arxiv.org/abs/1505.00853

[18] He KM, Zhang XY, Ren SQ, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 27-30, 2016, Las Vegas, NV, USA. New York: IEEE, 2016: 770- 778.

[19] LinM, ChenQ, Yan SC, et al. Network in network[EB/OL]. [2020-03-25].https://arxiv.org/abs/1312. 4400.

[20] Srivastava N. Improving neural networks with dropout[J]. University of Toronto, 2013, 53(9): 1689-1699.

[21] Liu L Y, Jiang H M, He P C, et al. On the variance of the adaptive learning rate and beyond[EB/OL]. [ 2020- 03- 25]. . http://arxiv.org/abs/1908.03265

[22] Kingma D, Ba J. Adam: a method for stochastic optimization[EB/OL]. [ 2020- 03- 25]. . http://arxiv.org/abs/1412.6980

[23] Aresta G, Araújo T, Kwok S, et al. BACH: grand challenge on breast cancer histology images[J]. Medical Image Analysis, 2019, 56: 122-139.

[24] Gu Y, Lu X Q, Zhang B H, et al. Automatic lung nodule detection using multi-scale dot nodule-enhancement filter and weighted support vector machines in chest computed tomography[J]. PLOS One, 2019, 14(1): e0210551.

[25] 郭琳琳, 李岳楠. 基于专家乘积系统的组织病理图像分类算法[J]. 激光与光电子学进展, 2018, 55(2): 021008.

    Guo L L, Li Y N. Histopathological image classification algorithm based on product of experts[J]. Laser & Optoelectronics Progress, 2018, 55(2): 021008.

[26] Khan S, Islam N, Jan Z, et al. A novel deep learning based framework for the detection and classification of breast cancer using transfer learning[J]. Pattern Recognition Letters, 2019, 125: 1-6.

[27] 谷宇, 吕晓琪, 吴凉, 等. 基于NSCT和CLAHE的乳腺钼靶X线图像微钙化点增强方法[J]. 光学技术, 2018, 44(1): 6-12.

    Gu Y, Lu X Q, Wu L, et al. A novel microcalcification enhancement method for digital mammogram images based on NSCT and CLAHE[J]. Optical Technique, 2018, 44(1): 6-12.

[28] GuptaV, BhavsarA. Breast cancer histopathological image classification: is magnification important?[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), July 21-26, 2017, Honolulu, HI, USA. New York: IEEE, 2017: 769- 776.

[29] Bardou D, Zhang K, Ahmad S M. Classification of breast cancer based on histology images using convolutional neural networks[J]. IEEE Access, 2018, 6: 24680-24693.

[30] 谷宇, 吕晓琪, 赵瑛, 等. 基于PSO-SVM的乳腺肿瘤辅助诊断研究[J]. 计算机仿真, 2015, 32(5): 344-349.

    Gu Y, Lü X Q, Zhao Y, et al. Research on computer-aided diagnosis of breast tumors based on PSO-SVM[J]. Computer Simulation, 2015, 32(5): 344-349.

[31] 何雪英, 韩忠义, 魏本征. 基于深度学习的乳腺癌病理图像自动分类[J]. 计算机工程与应用, 2018, 54(12): 121-125.

    He X Y, Han Z Y, Wei B Z. Breast cancer histopathological image auto-classification using deep learning[J]. Computer Engineering and Applications, 2018, 54(12): 121-125.

牛学猛, 吕晓琪, 谷宇, 张宝华, 张明, 任国印, 李菁. 基于改进ResNeXt的乳腺癌组织病理学图像分类[J]. 激光与光电子学进展, 2020, 57(22): 221021. Xuemeng Niu, Xiaoqi Lü, Yu Gu, Baohua Zhang, Ming Zhang, Guoyin Ren, Jing Li. Breast Cancer Histopathological Image Classification Based on Improved ResNeXt[J]. Laser & Optoelectronics Progress, 2020, 57(22): 221021.

点击上图查看本文图集
论文摘要 Full Text  图 & 表 补充材料 基本信息 知识挖掘 Metrics PDF全文参考文献 & 引文
本文已被 4 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文： TXT   |   EndNote

被引通知
PDF全文

相关论文

加载中...

相关资讯

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务，点击此处了解我们的隐私策略。 如您需继续使用本网站，请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!
快速查询 高级查询
最近搜索：
大家在搜： 人工智能     图像处理     光子 
热门搜索： 机器视觉     光通信     光纤传感器