基于空洞卷积的三维并行卷积神经网络脑肿瘤分割 
下载： 1279次
ing at the problem of large computation and complicated process of segmentation for whole tumor lesion in segmented magnetic resonance imaging (MRI) three-dimensional images, a fully automatic segmentation algorithm based on deep learning is proposed. A dual pathway three-dimensional convolutional neural network model is constructed on the dilated convolution path filled with jagged holes to extract multi-scale image blocks for training and capture large-scale spatial information. The shallow features are superimposed to the end of the network by using the identity mapping feature of dense connection. The swollen area, enhanced area, core area, and cystic area are segmented in the multi-modal MRI image. The model is segmented and tested in the BraTS 2018 dataset. The results show that the average Dice coefficients of the whole tumor area, core area and enhanced tumor area segmented by the model are about 0.90, 0.73 and 0.71, respectively, which is equal to the performance of the current algorithms and has a high degree of automation integration.
1 引言
脑肿瘤的定义为脑组织中细胞的快速非自然生长和爆发式细胞分裂[1],由于难以完全切除且手术风险较高,已成为致死率最高的癌症之一[2]。脑肿瘤图像分割一直是医学影像领域的研究热点,用计算机辅助诊断并合理设计手术切除预案,在临床上具有重要意义。
核磁共振成像(MRI)三维图像的分割算法有基于体素的分割[3]、基于区域的分割[4]和目前主流的基于卷积神经网络(CNN)的深度学习方法。由于在三维图像数据的模型训练中,计算机需要占用庞大的内存,最初的CNN通过读取MRI二维切片信息构建模型,如Pereira等[5]提出的结合多模态信息脑肿瘤分割算法;Havaei等[6]提出的级联CNN架构,分割肿瘤核心区的Dice系数约为0.79;Zhao等[7]提出了结合三个方向的二维全卷积神经网络模型,分割全肿瘤区的Dice系数约为0.83。虽然这类方法缩减了单次迭代的批处理尺寸,且分割的准确率高,但丢失了部分空间信息,与直接获取三维特征相比,在对胶质母细胞瘤(GBM)的检测中存在明显差距。为降低计算量,训练模型内部的可修正参数,获取MRI图像三维空间特征,de Brebisson等[8]提出了一种高复杂度并行网络,分别提取图像多尺度二维切片和小尺寸图像块的特征,并将二者进行融合。Brosch等[9]提出了一种深度卷积编码网络,省略提取图像块直接处理三维图像,但只能对单一模态进行处理。Urban等[10]构建了一种可将浅层特征映射到网络末端的密集连接网络,对每个体素执行分类,敏感性指数达到0.92;Kamnitsas等[11]在CNN后增加三维全连接条件随机场(CRF),有效消除孔隙,改善了边缘特性,在BraTS数据集中分割全肿瘤区的Dice系数约为0.90。
本文提出了一种用于分割脑肿瘤的端到端三维并行CNN模型。针对传统CNN结构中池化层造成的空间层级化信息丢失等问题,构建了一条三维空洞卷积[12]通路,在不增加运算量的前提下有效扩展了感受野范围;对卷积核进行改进,采用锯齿状空洞填充,避免了信息不连续等不利因素造成的影响;构建了改进的密集连接网络,解决了网络过深时由CNN反向传播特性造成的梯度爆炸等问题。实验结果表明,端到端网络模型简化了数据处理中的偏差场校正和CRF等步骤,提高了系统的自动化集成度,针对大数据的可扩展性较强。
2 基本原理
通过借鉴空洞卷积在语义分割方面的良好表现,结合密集连接网络聚合三维图像上下文信息并降低冗余计算量的特点。在采样阶段提取MRI多模态图像的三维多尺度图像块,分别输入两个通道进行训练,将浅层网络的低级特征映射到网络末端以构建多样性特征,完成信息互补,最后获得各级肿瘤的预测分割图。
2.1 数据预处理
每位患者的MRI通常有四个模态[13]:T1,T2,T1c和液体衰减反转恢复(FLAIR)。其中,T1图像表示纵向弛豫时间,脑灰质为低信号,白质为高信号,特点是脑组织与脑室周围区域的对比度差异较为明显[14];T2图像表示横向弛豫时间,反映了脑室各组织中含水量的对比关系,用于从脑肿瘤中分割出水肿区(即轻度感染区);T1c图像为T1图像的增强显影;FLAIR图像的特点是分离被脑脊液覆盖的肿瘤组织,如
图 1. BraTS 2018数据集的影像数据。(a) FLAIR;(b)金标准;(c)掩模[15-17]
Fig. 1. Image data of BraTS 2018 dataset. (a) FLAIR; (b) gold standard; (c) mask[15-17]
MRI采集图像过程中会产生背景噪声,造成部分图像模糊和局部区域不清晰等问题。背景噪声符合高斯噪声正态分布的特点,可对图像进行高斯滤波,提升图像质量。零均值离散函数高斯滤波器能有效保留图像的边缘特性,对神经网络的影响可以忽略不计,可表示为
式中,x为图像中体素的强度值,σ为其标准差,可通过控制σ调节图像滤波后的平滑效果。为加快梯度下降最优解的收敛速度,需要压缩灰度窗口,对图像做归一化处理,限定亮度值区间为[0,1]。然后从原始数据中提取颅骨剥离后的感兴趣区域(ROI),为每个图像制作相应的掩模(mask),以消除背景噪声的干扰。
2.2 构建空洞卷积通路
在采样阶段,对一个体素固定值邻域内的全分辨率图像进行采样,位于采样后图像块结构中心的体素就是该图像块的中心体素。得到三维CNN聚合图像中所有体素邻域内的上下文信息,将最后一层卷积输出的特征降维后,输入到全连接层,对中心体素按标签进行分类[18]。在当前卷积通路中,构建的网络类似于patch-wise[19]架构,数据输入网络执行预测之前,首先在图像中随机采样,获得尺寸为35×35×35的三维图像块,在输入层之前从图像数据中提取尺寸为37×37×37的三维图像块,经过预先设定参数和卷积核数量的多个连续卷积层后,分别获得尺寸为Cl×Cl×Cl的三维特征图,其中l∈[1,L]表示第l个卷积层。经梯度下降优化网络的权值和偏置值,使并行CNN模型能有效预测图像块的中心体素是健康的脑组织还是肿瘤组织。空洞卷积通路如
较大的三维图像块有利于网络获取更多的上下文信息,但也会增加计算负荷。因此设计了一种批量处理多尺度图像块的并行CNN结构,通过在卷积核中填充空洞,扩大空洞卷积通路最后一层卷积输出特征图中每个体素的感受野,使两个通路输入到全连接层的特征图尺寸相同,原理如
空洞卷积通路使用的卷积核尺寸为3×3×3,在经典的视觉几何组网络(VGGNet)验证实验中,多个小卷积核叠加后的效果与大尺寸卷积核的正则化结果相当,大幅度减少了参数量,使网络学习通用性强且具有表现力的特征空间速度更快[20]。在医学图像处理领域,传统的MRI三维图像分割算法,如U-Net[21]采用上采样和空间金字塔池化,通过池化增大感受野,用反卷积恢复图像尺寸。这类模型容易造成内部重要数据结构和空间层级化信息丢失,导致网络优化的研究进入瓶颈。为了解决该问题,空洞卷积在标准的卷积核滤波器中填充空洞,其卷积核结构如
图 4. 空洞卷积的卷积核。(a)标准卷积核;(b)填充率为1的空洞卷积;(c)填充率为3的空洞卷积
Fig. 4. Kernel of the dilated convolution. (a) Standard convolution kernel; (b) dilated convolution with filling rate of 1; (c) dilated convolution with filling rate of 3
空洞卷积可以完整保留内部数据的结构,避免下采样造成的信息丢失,但仍存在两个问题。1)网格状的卷积核会造成信息不连续[22],即在一个特征图中不是所有的体素都被一个滤波器计算,这对小目标的检测影响较大;2)填充空洞后的卷积核体积过大会携带冗余信息,造成不必要的内存占用。这类问题被定义为网格效应[23],针对MRI图像软组织对比度低、边界模糊的特点,构建了三维空洞卷积网络,设计了锯齿状卷积核,如
锯齿状卷积核的填充方式遵循
式中,λi为第i层的填充率,Ki为第i层的最大填充率,假设共有n层卷积,且Kn=λn。在空洞卷积网络中,λi较大时网络可以捕捉到大范围的上下文信息,λi较小时网络可以获取局部特征。每一次卷积过程中,单个锯齿状卷积核只能连接特征图中非零值所卷积的区域,保留特征图相邻体素间的部分有效信息。因此为每层空洞卷积配置了不同填充率的卷积核,在深度卷积网络中,经过循环训练构建肿瘤组织标签与图像中对应体素的非线性映射,一定程度上降低了网格效应产生的信息不连续的问题。相比固定填充率的空洞卷积网络,锯齿状的卷积核在同一尺寸特征图中的计算量较小。同时可以在MRI图像中获取肉眼容易忽略的有效信息,在硬件设备不断更新的环境下,基于空洞卷积的算法有更广阔的应用前景。
2.3 构建密集连接网络模型
DenseNet主要由密集连接模块和transition两类模块组成,如
在每个密集连接模块中,第i层卷积输出的特征图与该模块内的1至i-1层卷积输出的特征图叠加,且每次卷积后输出的特征图尺寸相同,可表示为
式中,X0为输入图像,Xi为第i层卷积输出的特征图,Hi为批标准化、激活函数和卷积等一系列函数运算。
将前一层卷积的特征图堆叠到后一层卷积,可以融合上下文信息和局部特征,但该过程中会对同一幅特征图执行多次运算,产生大量的冗余特征。而密集连接不是简单的特征堆叠,而是在每个模块内的卷积之前进行一次卷积核尺寸为1×1×1的卷积。由于特征重用导致后面卷积层的计算量过大[24],因此在每个密集连接模块内设计如
transition模块的结构如
密集连接脱离了通过加深网络层数和加宽网络结构提升网络性能的定式思维[25],从特征重用的角度考虑,通过旁路连接(bypass)[26],大幅减少网络训练所需的参数量,在一定程度上缓解了梯度爆炸和梯度消失问题。密集连接网络Dense-12的结构如
表 1. 密集连接网络Dense-12结构
Table 1. Structure of densely connected network Dense-12
|
3 实验结果与分析
为验证所提出的模型对胶质母细胞瘤的分割效果,在BraTS 2018挑战赛公开的标准化数据集中随机选取50位患者的MRI三维图像作为训练数据,选取30位患者的图像作为验证数据,分别提取ROI并制作相应的二值掩模,通过改变网络结构和网络深度优化网络模型,并与已有的几种优化算法结果进行对比。数据集中MRI四类模态图像的尺寸均为240 pixel×240 pixel×155 pixel,将专家手工标记的非肿瘤区域作为背景,分别用四种标签标记四类肿瘤组织对应的体素。硬件平台使用的服务器为DGX-1 GPU,软件环境为基于Tensorflow的神经网络框架,优化器用随机梯度下降(SGD)算法更新网络权重,并在神经网络训练过程中进行交叉验证,避免预训练模型过拟合。
3.1 评价指标
根据医学图像脑肿瘤分割领域的评测标准,用敏感性指数Xsensitivity、特异性指数Xspecificity和Dice系数XDice评估分割结果。敏感性指数是指在阳性检查结果中“真阳性”的百分率,敏感性越大,表明患者肿瘤组织被发现的概率越大。特异性指数是指在阴性检查结果中“真阴性”的百分率,即未被标记为肿瘤的区域内健康组织所占的比率,可以辅助医师分辨患者脑室中易被识别为肿瘤的健康组织。Dice系数表示模型预测肿瘤的结果与专家提供的“金标准”的相似度。可表示为
式中,XTP为正确预测的肿瘤体素数,XFN为未被检测的肿瘤体素数,XTN为正确预测的非肿瘤体素数,XFP预测为肿瘤组织的非肿瘤体素数。
3.2 实验结果
首先对没有级联空洞卷积通路的密集连接网络模型进行测试,用相同的预设参数在不同网络深度下训练100位患者数据,并在每批迭代过程结束后对保存的模型进行交叉验证,训练周期数为50,学习率(LR)为0.001,经测试得到模型的敏感性指数、特异性指数和平均Dice系数如
表 2. 不同深度CNN的对比
Table 2. Comparison of CNNs with different depths
|
从
图 9. 不同深度网络分割结果的平均Dice系数
Fig. 9. Average Dice coefficient of segmentation results of different deep networks
优化深度网络达到极限后,分割精度难以进一步提高,此时通过级联空洞卷积构成并行CNN并调整结构和采样方式。为避免随机采样造成的类别不平衡(class-imbalance)现象,在采样阶段需将这些图像按类平均取样,生成一批多尺度样本,然后用并行CNN进行处理。密集连接网络直接处理尺寸为373的全分辨率图像块,而空洞卷积对降采样的小图像块进行训练,两者中心像素所在位置相同,保持空间一致性。用SGD算法训练权值,改变网络的权重和偏置值,最大化数据的可能性,拟合局部最优解。最后通过最小化交叉熵收敛损失函数[28-31]。
并行CNN结合了密集连接和空洞卷积的特点,可以从不同尺度的图像中获取多样特征,拥有更丰富的空间信息,进一步优化CNN模型。并行CNN模型如
图 10. 空洞卷积结构及其分割结果的Dice系数。(a)结构图;(b)平均Dice系数
Fig. 10. Structure of dilated convolutions and Dice coefficients of its segmentation results. (a) Schematic diagram; (b) average Dice coefficients
将密集连接网络级联至填充了锯齿状卷积核的空洞卷积通路,构建三维并行CNN。选择BraTS 2018数据集中200位患者数据进行实验,优化后的模型在验证集数据中对全肿瘤区分割结果的平均Dice系数接近0.9,与BraTS 2018数据集排名前列的算法结果相当,其评估指数的变化曲线如
图 11. 脑肿瘤全分割结果评估指数。(a)平均准确率;(b)敏感性指数;(c)特异性指数;(d)平均Dice系数
Fig. 11. Evaluation index of brain tumor total segmentation results. (a)Average accuracy; (b) sensitivity index; (c) specificity index; (d) average Dice coefficient
并行CNN模型在输出端通过全连接层融合上下文信息,给体素分配预设的五类标签,包括背景、水肿区、非增强核心、增强核心和囊化核心。组合各类肿瘤组织可以得到胶质瘤的全概率分割图,如
图 12. 优化模型对肿瘤各类组织的可视化分割。(a)矢状图;(b)轴向视图;(c)冠状图
Fig. 12. Visual segmentation of tumor tissues by optimization model. (a) Sagittal images; (b) axial images; (c) coronal images
多模态脑肿瘤分割在线评估的结果如
表 3. 不同模型对各类肿瘤组织分割结果的对比
Table 3. Comparison of segmentation results of various tumor tissues by different models
| |||||||||||||||||||||||||||||||||||
4 结论
提出了一种结合空洞卷积的三维并行CNN脑肿瘤自动分割模型。对比了不同网络深度和卷积类型的CNN结构对肿瘤分割结果的影响,并研究了空洞卷积锯齿状卷积核保留MRI三维图像空间层级化信息的特性。通过构建一种新的双通道体系结构,捕获局部特征和全局上下文信息并进行建模,在BraTS 2018数据中得到的全肿瘤分割结果与专家手工分割的“金标准”接近。简化了复杂的手工标定ROI流程,使用端到端网络,增强了系统自动化集成度,为临床治疗中MRI三维图像脑肿瘤分割提供精准、快速、有效的计算机辅助手段。
[1] Işın A. Direko lu C, Şah M. Review of MRI-based brain tumor image segmentation using deep learning methods[J]. Procedia Computer Science, 2016, 102: 317-324.
[2] Gragert MN, Antonini TN, Kahalley LS. Neuropsychological late effects of radiotherapy for pediatric brain tumors[M] ∥Mahajan A, Paulino A, et al. Radiation Oncology for Pediatric CNS Tumors. Cham: Springer, 2018: 507- 535.
[3] Akter MK, Khan SM, AzadS, et al. Automated brain tumor segmentation from mri data based on exploration of histogram characteristics of the cancerous hemisphere[C]∥2017 IEEE Region 10 Humanitarian Technology Conference, December 21-23, 2017, Dhaka, Bangladesh. New York: IEEE, 2017: 815- 818.
[4] 李仁忠, 刘阳阳, 杨曼, 等. 基于改进的区域生长三维点云分割[J]. 激光与光电子学进展, 2018, 55(5): 051502.
[5] PereiraS, PintoA, AlvesV, et al. Deep convolutional neural networks for the segmentation of gliomas in multi-sequence MRI[M] ∥Crimi A, Menze B, Maier O. et al. Computer Vision-ECCV 2016. Lecture Notes in Computer Science. Cham: Springer, 2016, 9556: 131- 143.
[6] Havaei M, Davy A, Warde-Farley D, et al. Brain tumor segmentation with deep neural networks[J]. Medical Image Analysis, 2017, 35: 18-31.
[7] Zhao LY, Jia KB. Deep feature learning with discrimination mechanism for brain tumor segmentation and diagnosis[C]∥2015 International Conference on Intelligent Information Hiding and Multimedia Signal Processing, September 23-25, 2015, Adelaide, SA, Australia. New York: IEEE, 2015: 306- 309.
[8] de BrebissonA, MontanaG. Deep neural networks for anatomical brain segmentation[C]∥2015 IEEE Conference on Computer Vision and Pattern Recognition Workshops, June 7-12, 2015, Boston, MA, USA. New York: IEEE, 2015: 847- 850.
[9] BroschT, YooY, Tang L Y W, et al. Deep convolutional encoder networks for multiple sclerosis lesion segmentation[M] ∥Navab N, Hornegger J, Wells W, et al. Computer Vision-ECCV 2015. Lecture Notes in Computer Science. Cham: Springer, 2015, 9351: 3- 11.
[10] G.Urban, M.Bendszus, F.Hamprecht, et al. Multi-modal brain tumor segmentation using deep convolutional neural networks[EB/OL]. [2019-09-18].https:∥www.researchgate.net/publication/306204701_Multi-modal_brain_tumor_segmentation_using_deep_convolutional_neural_networks.
[11] Kamnitsas K, Ledig C. Newcombe V F J, et al. Efficient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation[J]. Medical Image Analysis, 2017, 36: 61-78.
[12] YuF, KoltunV. Multi-scale context aggregation by dilated convolutions[EB/OL]. [2019-09-23].https:∥arxiv.org/abs/1511. 07122
[13] 谷宇, 吕晓琪, 李菁, 等. 多模态3D卷积神经网络脑部胶质瘤分割方法[J]. 科学技术与工程, 2018, 18(7): 18-24.
Gu Y, Lü X Q, Li J, et al. Multimodal 3D convolutional neural networks for brain glioma segmentation[J]. Science Technology and Engineering, 2018, 18(7): 18-24.
[14] 任璐, 李锵, 关欣, 等. 改进的连续型最大流算法脑肿瘤磁核共振成像三维分割[J]. 激光与光电子学进展, 2018, 55(11): 111011.
[15] Lu Y S, Chen W F. Research of the multimodal brain-tumor segmentation algorithm[J]. Proceedings of SPIE, 2015, 9814: 98140I.
[16] Bakas S, Akbari H, Sotiras A, et al. Advancing the cancer genome atlas glioma MRI collections with expert segmentation labels and radiomic features[J]. Scientific Data, 2017, 4: 170117.
[17] BakasS, ReyesM, JakabA, et al. Identifying the best machine learning algorithms for brain tumor segmentation, progression assessment, and overall survival prediction in the BRATS challenge[EB/OL]. [2019-09-18].https:∥arxiv.org/abs/1811. 02629.
[18] Nguyen D, Jia X, Sher D, et al. 3D radiotherapy dose prediction on head and neck cancer patients with a hierarchically densely connected U-Net deep learning architecture[J]. Physics in Medicine & Biology, 2019, 64(6): 065020.
[19] Wang Y, Zu C, Ma Z Q, et al. Patch-wise label propagation for MR brain segmentation based on multi-atlas images[J]. Multimedia Systems, 2019, 25(2): 73-81.
[20] SimonyanK, ZissermanA. Very deep convolutional networks for large-scale image recognition[EB/OL]. [2019-09-29].https:∥arxiv.org/abs/1409. 1556.
[21] RonnebergerO, FischerP, BroxT. U-Net: convolutional networks for biomedical image segmentation[M] ∥Navab N, Hornegger J, Wells W, et al. Computer Vision-ECCV 2015. Lecture Notes in Computer Science. Cham: Springer, 2015, 9351: 234- 241.
[22] ChenL, PapandreouG, SchroffF, et al. Rethinking atrous convolution for semantic image segmentation[EB/OL]. [2019-09-28].https:∥arxiv.org/abs/1706. 05587.
[23] Wang PQ, Chen PF, YuanY, et al. Understanding convolution for semantic segmentation[C]∥2018 IEEE Winter Conference on Applications of Computer Vision, March 12-15, 2018, Lake Tahoe, NV. New York: IEEE, 2018, 1: 1451- 1460.
[24] LarssonG, MaireM, ShakhnarovichG. FractalNet: ultra-deep neural networks without residuals[EB/OL]. [2019-09-23].https:∥arxiv.org/abs/1605. 07648.
[25] Gu Y, Lu X Q, Yang L D, et al. Automatic lung nodule detection using a 3D deep convolutional neural network combined with a multi-scale prediction strategy in chest CTs[J]. Computers in Biology and Medicine, 2018, 103: 220-231.
[26] He KM, Zhang XY, Ren SQ, et al. Deep residual learning for image recognition[C]∥2016 IEEE Conference on Computer Vision and Pattern Recognition, June 27-30, 2016, Las Vegas, NV, USA. New York: IEEE, 2016: 770- 778.
[27] Gu Y, Lu X Q, Zhang B H, et al. Automatic lung nodule detection using multi-scale dot nodule-enhancement filter and weighted support vector machines in chest computed tomography[J]. PLOS ONE, 2019, 14(1): e0210551.
[28] 王得成, 陈向宁, 易辉, 等. 基于自适应联合双边滤波的深度图像空洞填充与优化算法[J]. 中国激光, 2019, 46(10): 1009002.
[29] 尚秋峰, 秦文婕, 胡雨婷. 基于Armijo线搜索的布里渊散射谱图像降噪算法[J]. 中国激光, 2019, 46(9): 0906002.
[30] 毕晓君, 周泽宇. 基于双通道GAN的高光谱图像分类算法[J]. 光学学报, 2019, 39(10): 1028002.
[31] 胡涛, 李卫华, 秦先祥. 基于多层深度特征融合的极化合成孔径雷达图像语义分割[J]. 中国激光, 2019, 46(2): 0210001.
[32] DongH, YangG, Liu FD, et al. Automatic brain tumor detection and segmentation using U-Net based fully convolutional networks[M] ∥Valdés Hernández M, González-Castro V, et al. Medical Image Understanding and Analysis. MIUA 2017. Communications in Computer and Information Science, Cham: Springer, 2017, 723: 506- 517.
[33] KermiA, MahmoudiI, Khadir MT. Deep convolutional neural networks using U-Net for automatic brain tumor segmentation in multimodal MRI volumes[M] ∥Crimi A, Bakas S, Kuijf H, et al. Computer Vision-ECCV 2019. Lecture Notes in Computer Science. Cham: Springer, 2019, 11384: 37- 48.
[34] Pereira S, Pinto A, Alves V, et al. Brain tumor segmentation using convolutional neural networks in MRI images[J]. IEEE Transactions on Medical Imaging, 2016, 35(5): 1240-1251.
[35] 褚晶辉, 李晓川, 张佳祺, 等. 一种基于级联卷积网络的三维脑肿瘤精细分割[J]. 激光与光电子学进展, 2019, 56(10): 101001.
冯博文, 吕晓琪, 谷宇, 李菁, 刘阳. 基于空洞卷积的三维并行卷积神经网络脑肿瘤分割[J]. 激光与光电子学进展, 2020, 57(14): 141009. Bowen Feng, Xiaoqi Lü, Yu Gu, Qing Li, Yang Liu. Three-Dimensional Parallel Convolution Neural Network Brain Tumor Segmentation Based on Dilated Convolution[J]. Laser & Optoelectronics Progress, 2020, 57(14): 141009.
PDF全文
