基于注意力U-Net的脑肿瘤磁共振图像分割

艾玲梅; 李天东; 廖福元; 石康珍

doi:doi:10.3788/LOP57.141030

激光与光电子学进展, 2020, 57 (14): 141030, 网络出版: 2020-07-28

基于注意力U-Net的脑肿瘤磁共振图像分割下载： 1772次

Magnetic Resonance Brain Tumor Image Segmentation Based on Attention U-Net

论文大纲

艾玲梅 ^1,*李天东 ^1,**廖福元 ²石康珍 ¹

作者单位

¹ 陕西师范大学计算机科学学院, 陕西西安 716000

² 西安工业大学电子信息工程学院, 陕西西安 716000

AI 词云图 AI语音精读 AI语音超短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

针对全卷积神经网络在图像分割中信息遗失、依赖固定权重导致分割精度低的问题,对U-Net结构进行改进并用于脑肿瘤磁共振(MR)图像的分割。在U-Net收缩路径上用注意力模块,将权重分布到不同尺寸的卷积层,有助于图像空间信息和上下文信息的利用;用残差紧密模块代替原有卷积层,能够提取更多的特征并促进网络收敛。基于BraTS(The Brain Tumor Image Segmentation Challenge)提供的脑肿瘤MR图像数据库,对提出的新模型进行验证,用Dice分数评估分割效果,获得肿瘤整体区域0.9056分、肿瘤核心区域0.7982分和肿瘤增强区域0.7861分的精度。由此表明本文提出的U-Net结构可提高MR图像分割的精度和效率。

Abstract

Herein, U-Net structure was improved to segment magnetic resonance (MR) images of brain tumors to address the loss of information in image segmentation in the full convolutional neural network and low segmentation accuracy caused by fixed weights. Based on the attention module in the U-Net contraction path, the weights were distributed to different size convolutional layers, which is beneficial to information usage for image space and context. Replacing the original convolution layer with the residual compact module can extract more features and promote network convergence. The brain tumor MR image database provided by BraTS (The Brain Tumor Image Segmentation Challenge) is used to validate the proposed new model and evaluate the segmentation effect using the Dice score. The accuracy of 0.9056, 0.7982, and 0.7861 was obtained in the total tumor region, core tumor region, and tumor enhancement, respectively, demonstrating that the proposed U-Net structure can enhance the accuracy and efficiency of MR image segmentation.

1 引言

神经胶质瘤是由于神经胶质细胞突变而产生的颅内原发性中枢神经系统肿瘤,其中几乎80%的恶性脑肿瘤是胶质瘤,恶性胶质瘤具有免疫逃逸能力,会使机体无法自然地对其产生特异性杀伤细胞和抗体,其中胶质母细胞瘤即使经过手术和放化疗,其生存时间也只有9.9个月^[1]。由于磁共振(Magnetic Resonance,MR)图像具有较高的软组织对比度和出色的功能成像能力,可以生成T1加权像(T1 weighted)、T1ce(Contrast enhanced T1-weighted)、T2加权像(T2 weighted)及FLAIR(Fluid Attenuated Inversion Recovery)等多参数MR图像来为脑肿瘤的描述提供准确的信息^[2]。医学界根据患者临床表现,结合MR图像对脑肿瘤分级,并对脑肿瘤患者进行手术治疗、放射治疗、化学治疗等综合治疗。MR扫描一次会得到大量不同模态的图像,分析、注释和分割图像的时间会影响对患者的诊断和治疗。因此,需要快速、准确的全自动方法用于脑肿瘤MR图像的分割,以为临床应用提供参考。

目前脑肿瘤MR图像分割方法分为三类:人工分割、半自动分割和自动分割。人工分割是在所有的肿瘤MR图像切片中手工勾画出肿瘤区域,人工分割的方法虽然准确,但是费时、费力且存在主观因素影响。半自动分割方法包括阈值分割^[3]、分水岭分割^[4]、区域分割^[5]等。半自动分割方法具有快速、简单的优点,但分割结果依赖于用户指定的参数和MR图像的预处理。

自动分割方法一般采用全卷积神经网络(FCN)、U-Net等,在脑肿瘤MR图像分割中取得了很大的进展。Zhang等^[6]利用原始脑MR图像作为训练样本,训练粗分割FCN模型得到肿瘤区域,再以肿瘤区域为训练样本进行FCN训练,精细分割肿瘤区域的内部结构,但是该过程中缺失了局部信息,得到的结果还是不够精细。Dong等^[7]使用U-Net对脑肿瘤MR图像进行分割,通过跳过连接拼接扩展路径和收缩路径的特征向量,取得了较好的结果。但是简单的图像特征拼接依赖固定权重,且信息会随着分层传播而遗失,分割精度不高。针对上述方法的不足之处,本文引入注意力机制对U-Net进行改进,提高了对肿瘤区域分割的准确度。

2 网络结构

传统的基于卷积神经网络(CNN)的图像分割方法利用多层卷积操作自动提取图像的多个层次特征,在卷积层后连接若干全连接层得到固定长度的特征向量,并作为图像分类的概率。Long等^[8]提出端对端的图像语义分割FCN方法,即把CNN最后的全连接层换成卷积层,用反卷积对卷积层提取的特征图进行上采样,使上采样图像尺寸恢复到与输入图像相同的尺寸,从而实现图像的分割,但是该方法只用到深层图像特征,分割精度低。图1(a)为FCN的结构示意图。Ronneberger等^[9]设计了由扩展路径和收缩路径组成的卷积自动编码器(U-Net),在收缩路径中通过跳过连接将编码器的低级特征图与解码器的高级特征图进行拼接,使网络同时学习浅层和深层特征来实现图像的分割,但是仍存在依赖固定权重和遗失信息的问题。图1(b)为U-Net的网络结构示意图。在神经网络设计时,增加网络层数可以提高网络的性能,但会因层数过多,出现梯度消失、过拟合的现象。通常情况下可以使用残差连接^[10]和密集连接^[11]来解决这些退化问题,在U-Net中用残差块代替原始卷积块,即Res-U-Net,优化了网络结构,但是对分割精度的提升效果不明显。图1(c)为Res-U-Net的网络结构示意图。为了提高分割结果的准确性, 本文提出了一种基于注意力机制的U-Net网络结构用于脑肿瘤MR图像的自动分割。网络架构如图1(d)所示。

图 1. 网络结构图。(a) FCN;(b) U-Net;(c) Res-U-Net;(d)本文改进的方法

Fig. 1. Network structure. (a) FCN; (b) U-Net; (c) Res-U-Net; (d) proposed method

下载图片查看所有图片

对神经网络的卷积模块进行设计时,残差连接通过将前后层特征相加实现了特征重用,结构如图2(a)所示,这一操作有助于训练过程中梯度的反向传播。密集连接通过拼接前面层特征发现新特征,结构如图2(b)所示,比残差连接参数少,性能更优。借鉴残差连接和密集连接,本文在U-Net的编码器和解码器中适当地添加残差密集模块,结构如图2(c)所示,其中相加操作是对网络的深层和浅层的信息进行简单的融合,而合并操作是原原本本地保存深层信息和浅层信息。基于残差密集模块拼接所有残差卷积层的特征映射后使用1×1的卷积进行特征融合,最后将原始层和特征融合相加学习得到原有特征和特征融合后的新特征。本文方法可以有效地解决U-Net信息遗失的问题,减少网络参数并且很大程度上防止梯度消失和爆炸。解码器中,将上采样模块的最后一个卷积层连接转置调整模块,采用转置卷积^[12]和缩放卷积^[13]来减小特征图尺寸并优化边界。转置卷积被优化用于捕捉对象的边界,但是它在细节恢复图像方面的能力较差,易产生棋盘模式。缩放卷积恢复的细节比转置卷积更精细,但是在捕捉边界方面效果不佳。本文用转置卷积和缩放卷积结果相加的方式进行上采样,进一步提高了分割的准确性。

图 2. 网络结构的卷积模块。(a) Residure模块;(b) dense模块;(c) residure-dense模块

Fig. 2. Convolution module of the network structure. (a) Residure modules; (b) dense module; (c) residure-dense module

下载图片查看所有图片

图 3. 网络结构的注意力模块图。(a) SE-Net的注意力单元;(b)本文注意力单元

Fig. 3. Aattention module of SE-Net. (a) SE-Net attention unit; (b) proposed attention unit

下载图片查看所有图片

视觉注意力机制从大量信息中快速筛选出高价值信息,SE网络(Squeeze-and-Excitation Networks,SE-Net)通过注意力自动获取每个特征通道的重要程度,然后依照重要程度,提升有用特征,抑制用处不大的特征,将权重加权到每个通道的特征上^[14]。原始SE-Net的注意力SE模块如图3(a)所示,只能对相同大小的通道进行特征提取,为了满足分割任务中多层次特征学习的需求,本文在U-Net结构的收缩路径添加注意力模块,学习编码器多尺度的特征,解决了U-Net在图像特征提取过程中依赖固定权重的问题,将特征提取的权重分布到收缩路径的所有阶段。本文注意力模块借鉴SE模块,设输入为来自收缩路径不同阶段的通道特征C={c₀,c₁,…,c_n},将SE模块中的平均池化层替换为自适应池化层,将通道下采样到固定大小30×30,以解决C中的元素尺寸大小不统一的问题,通过将下采样通道串联在一起对输出进行压缩,输出用V={v₀,v₁,…,v_n}表示,尺寸为30×30×n。将SE模块的第一个完全连接层和ReLU层替换为三个卷积层,为了获取更大感受野信息和确保第三卷积层的输出大小,设置卷积核大小为5×5,步长为2,每次卷积后激活函数使用由ReLU改进的随机带泄露的校正线性单元(PReLU),以及批量规范(BN)操作加快模型的收敛速度。再用Sigmoid来输出和输入相同尺寸的激励因子W={w₀,w₁,…,w_n}。最后,将下采样通道输出V和激励因子W的乘积Y作为最终输出,用Y={w₀v₀,w₁v₁,…,w_nv_n}表示。

3 实验设置

3.1 数据集与预处理

实验数据采用了由MICCAI提供的脑胶质瘤的公共数据集BraTS2017^[15-18],数据集包括210名高级别胶质瘤(HGG)患者和75名低级别胶质瘤(LGG)患者的四种模态MR图像和真实分割标签,每位患者都有155张不同扫描层的图像,尺寸大小均为240 pixel×240 pixel,如图4所示,本文使用折叠交叉验证避免偏差,采用170名HGG患者和65名LGG患者图像作为训练样本。使用40名HGG患者和10名LGG患者图像作为验证集。对图像进行预处理,首先使用N4ITK偏差校正^[19]平滑MR图像,然后对脑肿瘤图像作水平翻转、上下翻转,以增加数据集的大小。

图 4. 实验数据图。(a) TI图像;(b) T1ce图像;(c) T2图像;(d) FLAIR图像;(e)真实分割标签

Fig. 4. Experimental data. (a) TI image; (b) T1ce image; (c) T2 image; (d) FLAIR image; (E) ground truth

下载图片查看所有图片

3.2 损失函数

本文选择由交叉熵损失和广义Dice损失^[20]组合的混合损失函数,损失的交叉熵部分能够确保背景被正确分割,提高了分割精度。广义的骰子损失将Dice系数最大化到接近于零的值,从而使模型收敛更加快速。交叉熵损失函数定义为

L_{c} = - \sum_{i \in N} \sum_{l \in L} y_{il} \log {\hat{Y}}_{il}, (1)

式中:N为所有样本的集合;L为所有标签的集合;y_il为第i个样本和第l种标签的一个热编码(0或1); ${\hat{Y}}_{il}$ 为对第i个样本和第l种标签的预测概率。广义Dice损失函数定义为

L_{D} = 1 - \frac{2 \sum_{l \in L} (W_{l} \sum_{i \in N} y_{il} {\hat{Y}}_{il}) + ξ}{\sum_{l \in L} (W_{l} \sum_{i \in N} y_{il} + {\hat{Y}}_{il}) + ξ}, (2)

式中:ξ是防止出现分母为0导致计算错误而设置的一个极小数,在实验中将ξ固定到0.1410301;W_l表示每个类的权重,为了确保所有类都被平等对待,最大化每个类的Dice系数,设计每个类的权重与其频率平方成反比,即

W_{l} = {(\sum_{i \in N} y_{i})}^{- 2} 。 (3)

当出现分母为零的情况,实验中会将W_l设为零。最后的混合损失函数的表达式为

L = β L_{c} + (1 - β) L_{D}, (4)

式中:β为超参数,用于控制L_D和L_c之间的平衡。通过实验可知,将超参数β固定到β=0.7时,网络训练损失最小。

3.3 实验评估

为了评估所提出方法的性能,使用图像分割最常用的标准性能指标(Dice系数、灵敏度和特异度)进行分割,其表达式分别为

\begin{array}{l} D = 2 \frac{T_{P}}{T_{P} + F_{P} + F_{N}}, (5) \\ S_{en} = \frac{T_{P}}{T_{P} + F_{N}}, (6) \\ S_{pe} = \frac{T_{N}}{T_{N} + F_{P}}, (7) \end{array}

式中:T_P、T_N、F_P和F_N分别对应真阳性、真阴性、假阳性和假阴性。

这些指标用于评估肿瘤增强区域(简写为WT,仅增强区域被认为是阳性,其余均被认为是阴性)、肿瘤核心区域(简写为TC,坏死核心、增强型肿瘤和非增强型肿瘤合并为阳性)和肿瘤整体区域(简写为ET,所有肿瘤区域为阳性)。

4 实验结果与分析

实验硬件实验环境为:Ubuntu18.04 LST64 位操作系统,64G内存,显卡NVIDIA GeForce GTX1080Ti,处理器intel(R) Core(TM) i7-7400K CPU 3.60GHz。软件环境采用TensorFlow作为后端进行数值实验,在CUDA 9.0架构平台上进行并行计算,调用深度神经网络计算库CuDNN 7.5对运算进行加速。网络训练模型时,输入的图像包括FLAIR、T1ce加权像和T2加权像三个MRI模态的图像,以及专家分割好的真实分割标签。使用完全相同的样本分别在FCN网络、U-Net 网络、Res-U-Net网络进行对比实验,最后采用本文提出的网络里进行实验。学习率初始时为0.005,在卷积层里使用dropout来防止过拟合,提高泛化能力,dropout取值为0.5,权重衰减系数为0.0001。激活函数使用参数化修正线性单元PReLU,批量大小设置为20,训练迭代次数为10000,优化方法采用随机梯度下降(SGD)法。最后,该网络输出包括增强肿瘤区、肿瘤核心、整体肿瘤区和背景区域4类分割标签。图5是4种分割方法对LGG和HGG不同水平切面的MR图像肿瘤分割结果。从上到下,每一行分别是输入的图像、FCN分割结果、U-Net分割结果、Res-U-Net分割结果、本文提出方法的分割结果和真实分割标签。从左到右,前三列是LGG的三个不同水平切面的实验结果图,后三列是HGG的三个不同水平切面的实验结果图。从图5可以看出,FCN虽然对脑肿瘤轮廓的分割平滑,但由于融合较少层次的特征,导致脑肿瘤边界细节缺失且分割精度不高。U-Net增强了脑肿瘤轮廓细节特征,但有较多的孤立散点,存在明显的过分割。Res-U-Net分割的脑肿瘤边界较为明显但分割出的脑肿瘤边界还是不够细腻。可以观察到,相较于其他方法,本文算法可以获得与分割标签相似的分割结果,具有很高的准确性,有效地细化了脑肿瘤的边界,解决了其他算法的过分割与欠分割问题。

图6对比了不同方法的训练损失变化。使用相同的实验参数分别训练不同的网络,以确保对比结果的可信度。从图中可以看出,Res-U-Net加入残差模块后收敛情况优于U-Net和本文所提方法,损失在第18个Epoch之后开始基本趋于稳定,网络性能有很大的改善。相较与其他方法,本文所提方法在16个Epoch之后开始趋于稳定,可以看出,加入残差密集模块和注意力单元后,梯度下降方向更准确,损失率更小,总体训练速度更快。

表1为4种模型的分割评估结果。从表1可以看出FCN和U-Net在Dice方面的表现相似。在这种情况下,U-Net中的跳过连接并不能改善分割结果。将U-Net体系结构改为Res-U-Net体系结构,网络更加深入,整体肿瘤区域和增强区域分割效果优于U-Net,但在肿瘤核心区域分割效果不佳。本文所提方法训练在几种标签分割结果均优于其他方法,这主要源于对网络结构中不同模块的改进。

表 3. 本文方法与其他先进分割方法的Dice对比

Table 3. Dice comparison between proposed method and other advanced segmentation methods

Method	Dice_WT	Dice_ET	Dice_TC
Dong et al.^[7]	0.8600	0.6500	0.8600
Isensee et al.^[21]	0.8580	0.6470	0.7750
Puch et al.^[22]	0.8970	0.7520	0.7970
Proposed	0.9056	0.7861	0.7982

查看所有表

表 2. 在U-Net结构添加不同模块的评估结果

Table 2. Results of adding different blocks to the U-NET structure%

Model	Dice score			Sensitivity			Specificity
Model	WT	TC	ET	WT	TC	ET	WT	TC	ET
U-Net	84.16	75.23	65.13	89.15	78.15	73.26	99.74	99.80	99.94
RDB+U-Net	87.25	76.20	77.23	87.53	79.42	77.02	99.85	98.90	99.13
TRB+RDB+U-Net	87.38	75.97	77.42	89.52	78.58	77.45	98.86	98.92	99.21
A1+TRB+RDB+U-Net	89.05	78.53	78.46	89.97	79.92	78.51	99.32	99.91	99.42
A2+TRB+RDB+U-Net	88.82	77.25	78.35	89.51	79.36	78.01	99.06	99.88	99.35
A3+TRB+RDB+U-Net	88.23	76.82	77.32	88.97	78.86	77.81	99.85	99.81	99.29
Proposed	90.56	79.82	78.61	90.25	80.29	78.95	99.98	99.95	99.98

查看所有表

表2为在U-Net结构添加不同模块的评估结果。使用相同的实验参数分别训练不同的网络,以确保对比结果的可信度。其中RDB表示残差密集模块,TRB表示转置卷积和缩放卷积模块,A1、A2、A3表示沿收缩路径从前到后添加三个不同尺度的特征层的注意力模块。从表2可以看出,随着模块的添加,网络结构的复杂程度依次上升,与本文所提出的网络结构的相似程度依次提高,可分别验证残差密集模块、转置卷积和缩放卷积模块和注意力模块的作用。其中,U-Net结构在用残差密集模块替换原有卷积模块后,对增强区域的区域分割精度提升12%,对肿瘤核心区域和肿瘤整体区域的分割性能也得到提高。然后再添加转置卷积和缩放卷积模块后,分割精度有小幅度提升。最后再向注意力模块添加三个不同尺度的特征层后,3项指标都是最优的,这说明所提出的网络结构中不同模块对分割精度都有所提升。但在注意力模块单独输入不同尺度的特征层时性能会有所下降,其中A1、A2、A3的整体性能下降幅度依次增大,这说明添加注意力模块后,将权重分布到不同尺寸的卷积层, A1、A2、A3的权重分布大小依次减小,有效地促进了不同层次特征的利用。

表 1. 四种模型的评估结果

Table 1. Results of the four models%

Model	Dice score			Sensitivity			Specificity
Model	WT	TC	ET	WT	TC	ET	WT	TC	ET
FCN	83.16	73.34	63.13	88.75	77.25	71.36	99.83	99.82	99.95
U-Net	84.16	75.23	65.13	89.15	78.15	73.26	99.74	99.80	99.94
Res-U-Net	87.10	74.97	78.32	89.85	79.32	77.42	99.96	99.93	99.97
Proposed	90.56	79.82	78.61	90.25	80.29	78.95	99.98	99.95	99.98

查看所有表

图 5. 四种模型在LGG和HGG的三个不同水平切面的实验结果图。(a) LGG;(b) HGG

Fig. 5. Experimental results of the four models at three different levels of LGG and HGG. (a) LGG; (b) HGG

下载图片查看所有图片

图 6. 不同Epoch权重系数下网络损失变化对比图

Fig. 6. Comparison of network loss changes under different epoch weighting factors

下载图片查看所有图片

表3总结了本文方法和几种先进分割方法的Dice评分对比,这些先进分割方法对肿瘤整体区域分割的Dice评分达到0.85~0.89,本文所提方法对肿瘤不同区域分割的Dice评分均优于其他方法,尤其是对肿瘤整体区域的肿瘤分割表现优异,Dice评分超过了90%,对肿瘤增强区域分割的Dice评分也取得相当好的表现,可以看出本文方法的性能总体上优于其他方法。

4 结论

针对基于全卷积神经网络为代表的U-Net和Res-U-Net分割方法计算复杂度高且精度不高的缺陷,提出了一种基于注意力U-Net的脑肿瘤MR图像分割算法。用残差密集模块替代原有卷积层,用转置卷积和缩放卷积模块进行上采样,同时利用注意机制处理不同层次的特征层。通过实验,将FCN、U-Net、Res-U-Net和本文所提方法进行了比较,结果表明,本文提出的网络结构更加精细,能够有效地解决脑肿瘤MR图像的过分割与欠分割问题,分割预测效果好,可实现较高的分割精度,其中Dice评分结果为肿瘤整体区域0.90分、肿瘤核心区域0.79分和肿瘤增强区域0.78分。同时,在U-Net结构添加不同模块进行对比实验,结果表明残差密集模块、转置卷积和缩放卷积模块和注意力模块都对网络性能的提升有促进作用。因此,本研究将对脑肿瘤MR图像分割中学习注意机制的研究提供新的思路。

参考文献

[1] Louis D N, Perry A, Reifenberger G, et al. The 2016 world health organization classification of tumors of the central nervous system: a summary[J]. Acta Neuropathologica, 2016, 131(6): 803-820.

[2] 任璐, 李锵, 关欣, 等. 改进的连续型最大流算法脑肿瘤磁核共振成像三维分割[J]. 激光与光电子学进展, 2018, 55(11): 111011.

Ren L, Li Q, Guan X, et al. Three-dimensional segmentation of brain tumors in magnetic resonance imaging based on improved continuous max-flow[J]. Laser & Optoelectronics Progress, 2018, 55(11): 111011.

[3] 赖小波, 许茂盛, 徐小媚. 多模态MR图像和多特征融合的胶质母细胞瘤自动分割[J]. 计算机辅助设计与图形学学报, 2019, 31(3): 421-430.

Lai X B, Xu M S, Xu X M. Automatic segmentation for glioblastoma multiforme using multimodal MR images and multiple features[J]. Journal of Computer-Aided Design & Computer Graphics, 2019, 31(3): 421-430.

[4] 李永焯, 戴曙光. 改进分水岭算法在脑肿瘤CT图像分割中的应用[J]. 软件导刊, 2018, 17(6): 157-159.

Li Y Z, Dai S G. Application of improved watershed algorithm in segmentation of brain tumor CT images[J]. Software Guide, 2018, 17(6): 157-159.

[5] 蒋秋霖, 王昕. 基于区域生长算法的脑肿瘤图像分割[J]. 长春工业大学学报, 2018, 39(5): 490-493.

Jiang Q L, Wang X. Brain tumor image segmentation based on region growing algorithm[J]. Journal of Changchun University of Technology, 2018, 39(5): 490-493.

[6] Zhang C J, Fang M C, Nie H H. Brain tumor segmentation using fully convolutional networks from magnetic resonance imaging[J]. Journal of Medical Imaging and Health Informatics, 2018, 8(8): 1546-1553.

[7] DongH, YangG, Liu FD, et al.Automatic brain tumor detection and segmentation using U-net based fully convolutional networks[M] ∥Communications in Computer and Information Science. Cham: Springer International Publishing, 2017: 506- 517.

[8] LongJ, ShelhamerE, DarrellT. Fully convolutional networks for semantic segmentation[C]∥2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 7-12, 2015, Boston, MA, USA. New York: IEEE, 2015: 3431- 3440.

[9] RonnebergerO, FischerP, BroxT. U-net: convolutional networks for biomedical image segmentation[M] ∥Lecture Notes in Computer Science. Cham: Springer International Publishing, 2015: 234- 241.

[10] He KM, Zhang XY, Ren SQ, et al. Deep residual learning for image recognition[C]∥2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 27-30, 2016, Las Vegas, NV, USA. New York: IEEE, 2016: 770- 778.

[11] HuangG, SunY, LiuZ, et al.Deep networks with stochastic depth[M] ∥Computer Vision - ECCV 2016. Cham: Springer International Publishing, 2016: 646- 661.

[12] Zeiler MD, KrishnanD, Taylor GW, et al. Deconvolutional networks[C]∥2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, June 13-18, 2010, San Francisco, CA, USA. New York: IEEE, 2010: 2528- 2535.

[13] OdenaA, DumoulinV, Olah C.Deconvolution and checkerboard artifacts[J/OL].Distill, 2016[ 2019-10-28]. http: ∥distill. pub/2016/deconv-checkerboard.

[14] HuJ, ShenL, SunG. Squeeze-and-excitation networks[C]∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, June 18-23, 2018, Salt Lake City, UT. New York: IEEE, 2018: 7132- 7141.

[15] Menze B, Jakab A, Bauer S, et al. The multimodal brain tumor image segmentation benchmark (BRATS)[J]. IEEE Transactions on Medical Imaging, 2015, 34(10): 1993-2024.

[16] Bakas S, Akbari H, Sotiras A, et al. Advancing the cancer genome atlas glioma MRI collections with expert segmentation labels and radiomic features[J]. Scientific Data, 2017, 4: 170117.

[17] BakasS, AkbariH, SotirasA, et al. Segmentation labels and radiomic features for the pre-operative scans of the TCGA-GBM collection[EB/OL]. [2019-11-30]. https: ∥doi. org/10. 7937/K9/TCIA.2017. KLXWJJ1Q.

[18] BakasS, AkbariH, SotirasA, et al. and radiomic features for the pre-operative scans of the TCGA-LGG collection[EB/OL]. [2019-11-30]. https: ∥doi. org/10.7937/K9/TCIA. 2017. GJQ7R0EF.

[19] Tustison N J, Gee J C. N4ITK: Nick's N3 ITK implementation for MRI bias field correction[J]. Insight Journal, 2009: 1-8.

[20] Sudre CH, Li WQ, VercauterenT, et al. Generalised dice overlap as a deep learning loss function for highly unbalanced segmentations[C]∥Deep learning in medical image analysis and multimodal learning for clinical decision support. Cham: Springer, 2017: 240- 248.

[21] IsenseeF, KickingerederP, WickW, et al.Brain tumor segmentation and radiomics survival prediction: contribution to the BRATS 2017 challenge[M] ∥Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries. Cham: Springer International Publishing, 2018: 287- 297.

[22] PuchS, SánchezI, HernándezA, et al. Global planar convolutions for improved context aggregation in brain tumor segmentation[C]∥ Crimi A, Bakas S, Kuijf H, et al. International MICCAI Brainlesion Workshop. Cham: Springer, 2019, 11384: 393- 405.

艾玲梅, 李天东, 廖福元, 石康珍. 基于注意力U-Net的脑肿瘤磁共振图像分割[J]. 激光与光电子学进展, 2020, 57(14): 141030. Lingmei Ai, Tiandong Li, Fuyuan Liao, Kangzhen Shi. Magnetic Resonance Brain Tumor Image Segmentation Based on Attention U-Net[J]. Laser & Optoelectronics Progress, 2020, 57(14): 141030.

基于注意力U-Net的脑肿瘤磁共振图像分割下载： 1772次

1 引言

2 网络结构

图 1. 网络结构图。(a) FCN;(b) U-Net;(c) Res-U-Net;(d)本文改进的方法

Fig. 1. Network structure. (a) FCN; (b) U-Net; (c) Res-U-Net; (d) proposed method

图 2. 网络结构的卷积模块。(a) Residure模块;(b) dense模块;(c) residure-dense模块

Fig. 2. Convolution module of the network structure. (a) Residure modules; (b) dense module; (c) residure-dense module

图 3. 网络结构的注意力模块图。(a) SE-Net的注意力单元;(b)本文注意力单元

Fig. 3. Aattention module of SE-Net. (a) SE-Net attention unit; (b) proposed attention unit

3 实验设置

3.1 数据集与预处理

图 4. 实验数据图。(a) TI图像;(b) T1ce图像;(c) T2图像;(d) FLAIR图像;(e)真实分割标签

Fig. 4. Experimental data. (a) TI image; (b) T1ce image; (c) T2 image; (d) FLAIR image; (E) ground truth

3.2 损失函数

3.3 实验评估

4 实验结果与分析

表 3. 本文方法与其他先进分割方法的Dice对比

Table 3. Dice comparison between proposed method and other advanced segmentation methods

表 2. 在U-Net结构添加不同模块的评估结果

Table 2. Results of adding different blocks to the U-NET structure%

表 1. 四种模型的评估结果

Table 1. Results of the four models%

图 5. 四种模型在LGG和HGG的三个不同水平切面的实验结果图。(a) LGG;(b) HGG

Fig. 5. Experimental results of the four models at three different levels of LGG and HGG. (a) LGG; (b) HGG

图 6. 不同Epoch权重系数下网络损失变化对比图

Fig. 6. Comparison of network loss changes under different epoch weighting factors

4 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于注意力U-Net的脑肿瘤磁共振图像分割 下载： 1772次

1 引言

2 网络结构

图 1. 网络结构图。(a) FCN;(b) U-Net;(c) Res-U-Net;(d)本文改进的方法

Fig. 1. Network structure. (a) FCN; (b) U-Net; (c) Res-U-Net; (d) proposed method

图 2. 网络结构的卷积模块。(a) Residure模块;(b) dense模块;(c) residure-dense模块

Fig. 2. Convolution module of the network structure. (a) Residure modules; (b) dense module; (c) residure-dense module

图 3. 网络结构的注意力模块图。(a) SE-Net的注意力单元;(b)本文注意力单元

Fig. 3. Aattention module of SE-Net. (a) SE-Net attention unit; (b) proposed attention unit

3 实验设置

3.1 数据集与预处理

图 4. 实验数据图。(a) TI图像;(b) T1ce图像;(c) T2图像;(d) FLAIR图像;(e)真实分割标签

Fig. 4. Experimental data. (a) TI image; (b) T1ce image; (c) T2 image; (d) FLAIR image; (E) ground truth

3.2 损失函数

3.3 实验评估

4 实验结果与分析

表 3. 本文方法与其他先进分割方法的Dice对比

Table 3. Dice comparison between proposed method and other advanced segmentation methods

表 2. 在U-Net结构添加不同模块的评估结果

Table 2. Results of adding different blocks to the U-NET structure%

表 1. 四种模型的评估结果

Table 1. Results of the four models%

图 5. 四种模型在LGG和HGG的三个不同水平切面的实验结果图。(a) LGG;(b) HGG

Fig. 5. Experimental results of the four models at three different levels of LGG and HGG. (a) LGG; (b) HGG

图 6. 不同Epoch权重系数下网络损失变化对比图

Fig. 6. Comparison of network loss changes under different epoch weighting factors

4 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于注意力U-Net的脑肿瘤磁共振图像分割下载： 1772次