基于混合损失函数的改进型U-Net肝部医学影像分割方法

黄泳嘉; 史再峰; 王仲琦; 王哲

doi:doi:10.3788/LOP57.221003

激光与光电子学进展, 2020, 57 (22): 221003, 网络出版: 2020-11-05

基于混合损失函数的改进型U-Net肝部医学影像分割方法下载： 2361次

Improved U-Net Based on Mixed Loss Function for Liver Medical Image Segmentation

论文大纲

黄泳嘉 ¹史再峰 ^1,2,*王仲琦 ¹王哲 ¹

作者单位

¹ 天津大学微电子学院, 天津 300072

² 天津市成像与感知微电子技术重点实验室, 天津 300072

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

针对现有方法对肝部医学影像分割上的不足,提出了一种用于对肝部医学影像进行分割的改进型U-Net结构。在上采样过程中只复制池化层特征,以减少信息丢失;同时引入残差网络对初步分割图像进行循环精炼,实现高层特征与低层特征的融合;利用对边界敏感的新型混合损失函数对图像进行细化处理,得到更为精确的分割结果。实验结果表明,肝脏图像和肝脏肿瘤图像的Dice系数分别为96.26%和83.32%。相比传统的U-Net,所提网络可以获得更高级的语义信息,进一步提高对肝脏和肝肿瘤图像的分割精度。

Abstract

To overcome the shortcomings of the existing methods in the segmentation of liver medical images, an improved U-Net structure for liver medical image segmentation is proposed in this paper. To reduce information loss, the pooling layer features are copied during upsampling. Moreover, a residual network is introduced to refine the initial segmented image circularly to combine high-level features with low-level features. Using a new boundary-sensitive mixed loss function to refine the image, the network can obtain more accurate segmentation results. The experimental results show that the Dice coefficients of the liver images and liver tumor images are 96.26% and 83.32%, respectively. Compared with the traditional U-Net, the proposed network can obtain more advanced semantic information and improve the segmentation accuracy of liver and liver tumor images.

1 引言

肝癌是一种发生在人体肝脏部位的恶性肿瘤,对肝癌进行早期诊断可以显著降低患者死亡率^[1]。在对肝病进行精确诊断和治疗中,肝部医学影像分割是目前研究的热点之一,由于肿瘤的形态和外观比较复杂,并且人工标注工作量过大,其在医学图像处理领域仍然是一项比较艰巨的任务^[2]。因此探索一种具有较高准确率的自动分割方法对临床诊断有着重要意义。

目前,大多数关于肝部医学图像的分割方法分为人工分割、半自动分割和自动分割。人工分割时需要专家依靠经验进行手动标注,不仅耗时,而且存在肿瘤边缘特征标注不明显的问题;半自动分割方法简单快速,但分割结果依赖于初始的设置参数,其算法的主观性较大;自动分割方法一般采用全卷积神经网络,在肝部医学图像分割中取得了很大进展。Vorontsov等^[3]提出了一种对肝脏和肝脏病变区域进行联合分割的模型,该模型包括两个完全卷积网络(FCN),一个负责输出图片的感兴趣区域,另一个负责检测感兴趣区域并对其进行分割。类似于U-Net,该网络在内部使用跳跃连接,经过端到端训练对二维(2D)轴向切片进行分割,但在分割过程中忽略了Z轴上的低层信息和高层信息,分割结果不够精细。Chlebus等^[4]开发了一种基于2D全卷积神经网络和对象的后处理分割方法。该方法采用类似于U-Net的网络结构,使其可以在四个分辨率级别上进行工作,并允许学习局部特征和全局特征,通过添加短跳跃连接来合理更新参数并加快训练速度,同时添加Dropout层防止过拟合,但对输出结果只进行了阈值处理,没有考虑复杂的图像细节。Li等^[5]提出了一种新颖的混合紧密连接型U-Net,它由2D DenseUNet和3D DenseUNet组成,2D DenseUNet用于有效地提取切片内特征,而3D DenseUNet则对低层特征和高层特征进行分层聚合,用于肝脏和肿瘤的分割。通过混合的特征融合层,连接型U-Net可以共同优化片内表示和片间特征,但其模型不易训练,且对硬件要求较高。

针对上述方法的不足,本文提出一种改进的U-Net肝部医学图像分割方法,并引入改进的残差模块对边界细节进行优化,同时利用混合损失函数获得具有高置信度的清晰边界,以提高分割精确度。

2 改进的网络结构

受U-Net结构和残差优化模块的启发,提出一种基于混合损失函数的改进型U-Net结构,如图1所示,其中CB表示卷积块,TR表示转置缩放卷积。所提分割网络由初始分割模块和优化模块组成。初始分割模块是一个类似于U-Net的编码-解码结构,该模块对输入的肝部医学影像进行初始化分割,在上采样过程中通过添加池化层来减小信息损失;优化模块则通过学习初始分割图和专家标注图像之间的残差来对输出结果进行优化,通过级联的方式对上下文的特征信息进行融合连接,从而提高了网络表达能力。

图 1. 所提网络的结构

Fig. 1. Structure of proposed network

下载图片查看所有图片

2.1 改进的U-Net

U-Net是用于医学影像语义分割的U形全卷积神经网络^[6-8],在网络内部将卷积层代替全连接层实现图像的端到端训练输出,并且能够结合底层信息和高层信息减小特征提取时的损失,是一种编码-解码结构^[9]。U-Net的编码路径为首先将输入图像编码为特征向量,然后通过解码路径将其解码为输出分割图。由于上采样过程中提取到的高层特征非常抽象,因此网络利用跳跃连接将下采样过程中具有较高分辨率的低层特征图连接起来,这有助于通过编码路径恢复损失的信息。但是传统U-Net的网络层数过少,可学习的参数量过多,并且在上采样过程中会损失较多语义特征,难以满足日益复杂的诊断需求,因此需要对网络结构进行改进。

图2为改进的U-Net模型,其中,C为通道数、N_B为批处理数量、H为输入图像的高度、W为输入图像的宽度。其框架由11个卷积块、5个下采样层、5个上采样层组成。每个卷积块包含2个卷积层。卷积层和上采样层都使用ReLU作为激活函数。在第一组卷积块中,每层的卷积核个数为64,在第二组和第三组卷积块中,每层卷积核个数为128,第四、五组为256个,第六组512个。所有卷积核大小均取3×3,步幅和填充度均为1。在上采样阶段中,卷积层尺寸、卷积核大小、步幅和填充度的设置均与前面相应层保持一致。在池化层中,采用最大池化降低特征图维度,避免网络过拟合,其卷积核大小为2×2,步幅为2,填充度为0。在上采样阶段,传统U-Net只复制了池化层的功能,而改进的U-Net由于在该过程中添加了池化层,直接复制对应下采样阶段池化层的特征图;同时对转置缩放卷积与上采样过程中的卷积块进行连接,用于恢复细节并且优化边界;并且增加了网络深度,使用组归一化(GN)来代替常用的批量归一化(BN),减小batch size过小对网络准确性的影响。其中转置缩放卷积模块由转置卷积和缩放卷积组成。因此,改进的U-Net的信息损失更少。此外,相比于U-Net,改进的U-Net可以获得更高级的语义特征。网络层的结构和深度取决于多次的实验经验。卷积层使用3×3卷积核的原因是为了在最小化神经网络复杂性的同时保持分割精度^[10]。所提网络可学习的参数量从大约30×10⁶减少到2×10⁶。这种方法确保可以在内存和处理能力有限的图形处理器(GPU)中进行网络训练,同时也证明了采用少量的过滤器就可以进行高准确度的肝部医学图像分割。

图 2. 改进的U-Net结构

Fig. 2. Improved U-Net structure

下载图片查看所有图片

2.2 优化模块

优化模块通常被设计为残差模块,通过学习目标分割图像和专家标注图像之间的残差来精炼初始分割图。一般的初始分割结果存在边界细节丢失和预测区域概率不准确等问题,需要对其进行进一步优化处理。

目前对边界细节进行优化的残差模块通常为金字塔池化模块。该模块将其中的三级信息串联在一起,使用具有不同内核大小的空洞卷积捕获上下文的各级特征,并将所有残差连接在一起进行输出,这有助于合并在主网络层被编码的高级特征和在调整网络中被编码的低级特征,从而生成更精细的边界细节,其结构如图3(a)所示,其中dil为空洞卷积。但是该模块结构较浅,无法通过残差网络学习到更高级的语义信息。

为了完善初始分割图中的边界缺陷,在改进的U-Net后添加一种新型的残差优化模块,其类似于残差编码-解码结构,如图3(b)所示,目的在于同时对上下文的高级信息和低级信息进行细化处理。与主分割模块不同,编码器和解码器均有4个阶段,每个阶段只有1个卷积层,每层具有64个大小为3×3的卷积核,然后进行组归一化和ReLU激活。编码器每一阶段的输入为上一阶段提取的特征信息图,解码器的每一阶段的输入来自其上一阶段及编码器中相应阶段的上采样输出级联特征图。为了进一步捕获图像特征信息,在编码器和解码器之间添加1个桥连接层,其具有1个卷积层,该卷积层具有64个大小为3×3的滤波器,同样需要进行组归一化和ReLU激活。相比于金字塔池化模块,最大池化用于编码器中的下采样过程,这能保留主要特征的同时降低信息维度,提高网络的泛化能力;转置缩放卷积模块则用于解码器中的上采样过程,这能保证提取特征时的网络鲁棒性并减小棋盘效应。在上采样和下采样的过程中利用3×3卷积降低维度,提高残差优化模块的网络表达能力,进一步提高优化结果的准确性。该优化模块在上采样的5个阶段中对输出进行级联处理,但很明显,最后一个输出的级联特征图的精度最高,因此将该优化模块的输出作为分割网络模型的最终结果。

图 3. 网络结构的残差优化模块。(a)传统残差优化模块;(b)改进的残差优化模块

Fig. 3. Residual refine module of network structure. (a) General residual refine module; (b) improved residual refine module

下载图片查看所有图片

2.3 混合损失函数

为了获得高置信度分割图像的清晰边界,网络采用一种混合损失函数以减小分割图像和标注图像之间的差距,其定义为

l^{(k)} = \partial_{1} l_{BCE}^{(k)} + \partial_{2} l_{IOU}^{(k)} + \partial_{3} l_{SSIM}^{(k)}, (1)

式中: $l_{BCE}^{(k)}$ 、 $l_{IOU}^{(k)}$ 和 $l_{SSIM}^{(k)}$ 分别为二元交叉熵(BCE)损失函数^[11]、交并比(IOU)损失函数^[12]和结构相似性(SSIM)损失函数^[13];∂为每一个损失函数的超参数。

BCE损失函数是二进制分类和分割中使用最广泛的损失函数,定义为

\begin{array}{l} l_{BCE} = - \sum_{(a, b)} {GT (a, b) \log [S EG (a, b)] + \\ [1 - GT (a, b)] \log [1 - SEG (a, b)]}, (2) \end{array}

式中:GT(a,b)为像素(a,b)的专家标注标签;SEG(a,b)为成为分割物体的预测概率。BCE损失函数是逐像素的,它不考虑邻域的标签,并且对分割像素和背景像素均进行加权,有助于损失函数的收敛。

IOU通常用于目标检测和图像分割的标准评估。最近,它被用于网络的损失函数中来反映初始分割图与手动标注图之间的差距,表达式为

l_{IOU} = 1 - \frac{\overset{H}{\sum_{a = 1}} \overset{W}{\sum_{b = 1}} SEG (a, b) GT (a, b)}{\overset{H}{\sum_{a = 1}} \overset{W}{\sum_{b = 1}} [SEG (a, b) + GT (a, b) - SEG (a, b) GT (a, b)]} 。 (3)

SSIM可以用于评估图像质量,可以获得分割图像的结构信息,因此,如果将其整合到网络的损失函数中,可获得标注图像的结构信息。令两张图片的对应像素点分别表示为x和y,其中x={x_j:j=1,…,N²}和y={y_j:j=1,…,N²}分别表示分割图片和专家标注图片对应区域的像素值,图片尺寸为N×N,x和y的SSIM定义为

l_{SSIM} = 1 - \frac{(2 μ_{x} μ_{y} + C_{1}) (2 σ_{xy} + C_{2})}{(μ_{x}^{2} + μ_{y}^{2} + C_{1}) (σ_{x}^{2} + σ_{y}^{2} + C_{2})}, (4)

式中:μ_x和μ_y为x和y的均值;σ_x和σ_y为x和y的标准差;σ_xy为协方差;C₁设定为0.022,C₂设定为0.042,防止分母为0。SSIM损失函数考虑了每个像素的局部邻域,可以将较高的权重分配给边界。在训练开始时,沿边界位置的损失最大,因此使用SSIM损失函数有助于优化边界特征的提取。

当结合这三个损耗时,BCE损失函数可使所有像素保持平滑的梯度,IOU损失函数更加关注相似度,SSIM损失函数则通过边界附近的较大损耗来对分割细节进行优化,提高图像的分割精度。

3 实验设置

3.1 数据集与数据预处理

实验数据采用了CodaLab组织提供的公共肝肿瘤数据集Liver Tumor Segmentation(LITS),其由4名放射科医生进行手动标注。由于提前测试了该网络对肝脏图像和肝肿瘤图像的分割精度,因此训练集和测试集均被分为两部分。肝脏部分的数据集包含18298张大小为512×512的图片,其中14198张图片作为训练集,4100张图片作为测试集;肝肿瘤数据集则在肝脏数据集上进行了进一步筛选,其训练集图片数量为3624,测试集图片数量为918。考虑到原始图像尺寸相比肝肿瘤图像太大,可能不利于训练,因此将包含肿瘤部分的原始图像重新调整为128×128像素大小作为网络输入。所有数据均通过随机裁剪、缩放及旋转等方式进行数据增强,以提高训练精度。

3.2 实验评估

为了评估所提方法的性能,使用图像分割常用的标准性能指标,包括体积重叠误差(VOE)、相对体积误差(RVD)、敏感度(SEN)、Dice系数及Jaccard系数。计算方式分别为

1) Dice系数的计算公式为

P_{Dice} = \frac{2 | S_{E G} ⋂ G_{T} |}{| S_{EG} | + | G_{T} |} 。 (5)

2) SEN的计算公式为

P_{SEN} = \frac{| S_{EG} ⋂ G_{T} |}{| G_{T} |} 。 (6)

3) VOE的计算公式为

P_{VOE} = 1 - \frac{| S_{EG} ⋂ G_{T} |}{| S_{EG} ⋃ G_{T} |} 。 (7)

4) RVD的计算公式为

P_{RVD} = (1 - \frac{| S_{EG} | - | G_{T} |}{| G_{T} |}) \times 100 % 。 (8)

5) Jaccard系数的计算公式为

P_{Jaccard} = \frac{| S_{EG} ⋂ G_{T} |}{| S_{EG} ⋃ G_{T} |}, (9)

式中:S_EG和G_T分别为网络分割图像和专家标注图像。Dice系数、Jaccard系数和SEN接近1时,表示分割结果更接近专家标注图;RVD和VOE接近0时,表示分割误差较小或基本不存在分割误差。其中Dice系数用于表示网络分割图与专家标注图之间的相似程度,是一种十分重要的分割图像评价系数。

4 实验结果与分析

4.1 实验环境和参数设置

该网络框架基于公共框架Pytorch 0.4.0,训练和测试时均使用具有Intel Core i5-9400F 2.9 GHz CPU(具有16GB 内存)和GTX 2080 GPU(具有8GB显存)的计算机,在CUDA 10.0架构平台上进行并行计算,并调用CuDNN 7.5进行运算加速。所提网络采用Adam优化算法,其超参数设置为默认值,其中初始学习率设为10^-3,矩估计的指数衰减速率ρ₁和ρ₂分别为0.9和0.999,用于数值稳定的小常数为1×10^-8,权重衰减为0,并使用Dropout策略防止网络过拟合,设置其值为0.5。在对肝脏图像进行分割时,通过多次实验将损失函数的超参数分别设置为∂₁=0.7,∂₂=0.2,∂₃=0.1,batch_size设置为4;在对肝肿瘤图像进行分割时,其初始学习率设置为5×10^-4,通过多次实验将损失函数的超参数设置为∂₁=0.5,∂₂=0.3,∂₃=0.2,其余参数设置不变。由于肝脏样本数量和肝肿瘤样本数量存在较大差距,所提网络在对肝脏进行分割训练时设置epoch为200,对肝肿瘤进行分割训练时设置epoch为800。相比肝脏,肝肿瘤的形状受呼吸、运动等外界影响较为严重,其形状变化非常不规律,导致难以对其分割准确。在对肝肿瘤进行分割训练时,当经过200000次迭代后,模型总体上趋于稳定状态;对肝脏进行分割训练时,模型趋于稳定时的迭代次数约为100000。图4(a)和(b)分别表示所提网络在分割肝肿瘤和肝脏时的训练误差和测试准确率曲线,可以看出,肝脏分割的准确度高于肝肿瘤的准确度。

图 4. 改进U-Net的训练误差和测试准确率。(a)肝肿瘤分割;(b)肝脏分割

Fig. 4. Training error and test accuracy of improved U-Net. (a) Liver tumor segmentation; (b) liver segmentation

下载图片查看所有图片

4.2 肝脏图像分割

为了证明所提网络对肝脏分割具有较优结果,利用U-Net和FCN-8s网络同时对该数据集进行分割处理。图5为不同网络对肝脏进行分割的测试结果与专家手动标注结果对比,可以看出,所提网络得到的分割结果已经非常接近于专家标注结果,相较于其他网络,所提网络可以有效地对肝脏边界细节进行优化,解决其他方法存在的过分割和欠分割问题。

图 5. 不同网络对肝脏图像分割的结果

Fig. 5. Segmentation results of liver images obtained by different networks

下载图片查看所有图片

为了更加直观地对分割结果进行分析,对卷积块下的卷积层数进行了不同数量的设定,并结合U-Net与FCN-8s的分割结果,绘制了Dice系数箱型图,如图6所示。其中Shallow network表示浅层网络,即一个卷积模块下仅存在1个卷积层;Deep network表示深层网络,即一个卷积模块下存在3个卷积层。从图6可以看出,相较于其他的网络模型,所提网络的Dice系数的上四分位数和下四分位数的值均较高,并且之间的距离较小,且中位数偏向上四分位数,表明大部分图像的分割结果接近于专家手动标注结果。结果表明,所提网络具有较好的泛化能力和较强的稳定性,其Dice系数都高于U-Net和FCN-8s模型,因此所提网络的性能更好。Shallow network的层数过浅,其分割精度出现较大程度下降,这是因为过浅的网络层数无法对图像的特征信息进行充分提取。Deep network的层数过深,容易发生梯度爆炸的情况,可能影响分割精度。

图 6. 肝脏分割的Dice系数箱型图

Fig. 6. Box plot of Dice coefficient of liver segmentation

下载图片查看所有图片

表1为不同网络参数的对比结果,可以看出:所提网络在分割肝脏时不仅Dice系数高达96.26%,其他指标的数值也相对较高,这说明所提网络结构的稳定性较强;H-DenseUNet的Dice系数值虽然略高,但使用了3D DenseUNet,其对硬件要求较高;2D FCN则将两个FCN级联在一起对肝部的病灶区域进行分割,但输入图像均需要进行复杂的数据预处理,大大增加了诊断时间;BS UNet改进了U-Net结构,并添加了瓶颈特征监督机制以提高分割准确性,但其训练过程较为复杂。所提网络在没有增加网络复杂度的情况下,依然可以很好地完成对肝脏图像的分割。

表 1. 不同网络对肝脏图像进行分割时的性能对比

Table 1. Performance comparison of different networks for liver image segmentation

Network	Dice coefficient	VOE /%	RVD /%	SEN	Jaccard coefficient
FCN-8s	88.38	19.62	-1.25	86.49	0.88
UNet	82.78	24.79	-2.72	81.46	0.83
H-DenseUNet^[5]	96.50	7.40	1.80
2D FCN^[14]	94.30	10.70	-1.40
BS UNet^[15]	96.10	7.50	2
Proposed network	96.26	7.90	0.80	95.96	0.92

查看所有表

4.3 肝肿瘤图像分割

图7、8分别为不同网络对肝肿瘤的分割结果图和箱型统计图。从图7可以看出,所提网络的分割结果同样较为优异,提取的边缘特征更加明显。

图 7. 不同网络对肝肿瘤图像分割的结果

Fig. 7. Segmentation results of liver tumor images obtained by different networks

下载图片查看所有图片

图 8. 肝肿瘤分割的Dice系数箱型图

Fig. 8. Box plot of Dice coefficient of liver tumor segmentation

下载图片查看所有图片

从图8可以看出:针对肝肿瘤区域分割,所提网络获得的箱型图数据同样较为集中,并且分布均匀合理,相比于U-Net和FCN-8s,其最大值和最小值之间的距离最短,并且其中位数最高,表明所提网络在分割肝肿瘤时同样具有较高的稳定性和泛化能力;相比于肝脏分割,肝肿瘤的样本较少,并且肿瘤形状受外界影响较严重,因此网络层数对肝肿瘤分割结果的影响更大。

表2为不同网络对肝肿瘤图像进行分割时的定量评估结果。相比于其他网络,所提网络在5个评价指标上均显示出比较明显的优势,与其他高级网络的性能相比也互有优劣。因此可以证明所提网络结合边界细化的残差优化模块可以有效地对分割结果进行优化,得到更加准确的分割图像。

表 2. 不同网络对肝肿瘤图像进行分割时的性能对比

Table 2. Performance comparison of different networks for liver tumor image segmentation

Network	Dice coefficient	VOE /%	RVD /%	SEN	Jaccard coefficient
FCN-8s	75 .57	71.43	-14.25	70.29	0.52
U-Net	72.23	67.62	-18.72	66.87	0.40
KC-SVM^[16]	84	28.22			0.73
RA-UNet^[17]	83	30.61			0.74
Edge-SVM^[18]	82	36.70			0.69
Proposed network	83.32	11.62	-15.98	79.88	0.72

查看所有表

4.4 其他医学图像分割

为了证明所提网络对其他医学图像的分割结果,利用U-Net和FCN-8s网络同时对肺部CT图像进行分割处理。数据集为LIDC-IDRI肺结节数据集,该数据集记录了对肺癌的筛查、诊断及标记的病变信息,共包含1018个病例。考虑到肺结节大小的差异,给出了大结节(尺寸大于等于3 mm)和小结节(尺寸小于3 mm)分割结果,如图9、10所示。

图 9. 大结节的分割结果

Fig. 9. Segmentation results of big nodules

下载图片查看所有图片

图 10. 小结节的分割结果

Fig. 10. Segmentation results of small nodules

下载图片查看所有图片

从图9、10可以看出,所提网络得到的分割结果同样接近于专家标注结果,能解决其他自动分割网络存在的过分割和欠分割问题。

表3为不同网络的图像分割的定量评估结果。由于肺结节分割结果的评价标准与肝部CT图像的分割评价标准存在差异,因此选取Dice系数、SEN及Jaccard系数作为分割结果的评价指标。可以看出,所提网络与其他先进分割网络相比存在一定差距,这是因为所提网络结构对小结节的边界细节不够敏感,无法提取到充分的特征信息,因此反映在评价指标上的数据并没有达到先进算法的水准。相比基本网络,所提网络在评价指标上均显示出比较明显的优势,依然可以证明,改进的U-Net结合边界细化的残差优化模块可以有效地对分割结果进行优化,得到准确的分割图像。

表 3. 不同网络的性能对比

Table 3. Performance comparison of different networks

Network	Dice coefficient	SEN	Jaccard coefficient
FCN-8s	73.32	79.83	0.64
U-Net	71.17	76.96	0.71
CDP-ResNet+IWS^[19]	81.85	87.30
DB-ResNet^[20]	82.74	89.35
CF-CNN+Scale^[21]	78.55	86.01
Proposed network	79.23	86.49	0.78

查看所有表

5 结论

针对目前肝部医学图像自动分割方法的不足,提出了一种改进的分割网络用于分割肝部医学图像。为了提高分割精度,对原始U-Net进行了改进,通过在上采样阶段加入池化层复制对应下采样阶段的特征图,利用转置缩放卷积和组归一化减小信息损失;同时采用了新型残差优化模块精炼初始分割图像,并通过混合损失函数赋予边界像素较高权重,提高了分割图像边界的清晰度。实验结果表明,在肝脏分割和肝肿瘤分割实验中,所提网络在精度和稳定性上均大幅优于传统深度学习方法,并且与目前先进分割网络相比,其性能也互有优劣,证明改进的网络结构、残差优化模块及混合损失函数均可以提升网络分割性能。对于其他医学图像的分割,所提网络结构虽然不能与先进网络相比,但依然可以证明残差优化模块结合混合损失函数对分割网络性能的提升潜力,表明所提网络可以推广到所有U形网络和FCN中,并在未来得到更好的发展。

参考文献

[1] Bosch F X, Ribes J, Díaz M, et al. Primary liver cancer: worldwide incidence and trends[J]. Gastroenterology, 2004, 127(5): S5-S16.

[2] Kumar S S, Moni R S, Rajeesh J. An automatic computer-aided diagnosis system for liver tumours on computed tomography images[J]. Computers & Electrical Engineering, 2013, 39(5): 1516-1526.

[3] VorontsovE, TangA, PalC, et al. Liver lesion segmentation informed by joint liver segmentation[C]//2018 IEEE 15th International Symposium on Biomedical Imaging (ISBI 2018), April 4-7, 2018, Washington, DC, USA. New York: IEEE, 2018: 1332- 1335.

[4] Chlebus G, Schenk A, Moltz J H, et al. Automatic liver tumor segmentation in CT with fully convolutional neural networks and object-based postprocessing[J]. Scientific Reports, 2018, 8(1): 15497.

[5] Li X M, Chen H, Qi X J, et al. H-DenseUNet: hybrid densely connected UNet for liver and tumor segmentation from CT volumes[J]. IEEE Transactions on Medical Imaging, 2018, 37(12): 2663-2674.

[6] RonnebergerO, FischerP, BroxT. U-Net: convolutional networks for biomedical image segmentation[M] //Navab N, Hornegger J, Wells W M, et al. Medical image computing and computer-assisted intervention-MICCAI 2015. Lecture notes in computer science. Cham: Springer, 2015, 9351: 234- 241.

[7] 苗光, 李朝锋. 二维和三维卷积神经网络相结合的CT图像肺结节检测方法[J]. 激光与光电子学进展, 2018, 55(5): 051006.

Miao G, Li C F. Detection of pulmonary nodules CT images combined with two-dimensional and three-dimensional convolution neural networks[J]. Laser & Optoelectronics Progress, 2018, 55(5): 051006.

[8] 马其鹏, 谢林柏, 彭力. 一种基于改进的卷积神经网络在医学图像分割上的应用[J]. 激光与光电子学进展, 2020, 57(14): 141020.

Ma Q P, Xie L B, Peng L. Application of an improved convolutional neural network in medical image segmentation[J]. Laser & Optoelectronics Progress, 2020, 57(14): 141020.

[9] 任欣磊, 王阳萍, 杨景玉, 等. 基于改进U-net的遥感影像建筑物提取[J]. 激光与光电子学进展, 2019, 56(22): 222801.

Ren X L, Wang Y P, Yang J Y, et al. Building detection from remote sensing images based on improved U-net[J]. Laser & Optoelectronics Progress, 2019, 56(22): 222801.

[10] SzegedyC, VanhouckeV, IoffeS, et al. Rethinking the inception architecture for computer vision[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 27-30, 2016, Las Vegas, NV, USA. New York: IEEE, 2016: 2818- 2826.

[11] de Boer P T, Kroese D P, Mannor S, et al. A tutorial on the cross-entropy method[J]. Annals of Operations Research, 2005, 134(1): 19-67.

[12] MáttyusG, Luo WJ, UrtasunR. DeepRoadMapper: extracting road topology from aerial images[C]//2017 IEEE International Conference on Computer Vision (ICCV), October 22-29, 2017, Venice, Italy. New York: IEEE, 2017: 3458- 3466.

[13] WangZ, Simoncelli EP, Bovik AC. Multiscale structural similarity for image quality assessment[C]//The Thrity-Seventh Asilomar Conference on Signals, November 9-12, 2003, Pacific Grove, CA, USA. New York: IEEE, 2003: 1398- 1402.

[14] Christ P F. Elshaer M E A, Ettlinger F, et al. Automatic liver and lesion segmentation in CT using cascaded fully convolutional neural networks and 3D conditional random fields[J]. Medical Image Computing and Computer, 2016: 415-423.

[15] Li S. Tso G K F, He K J. Bottleneck feature supervised U-Net for pixel-wise liver and tumor segmentation[J]. Expert Systems with Applications, 2020, 145: 113131.

[16] Nasiri N, Foruzan A H, Chen Y W. Integration of a knowledge-based constraint into generative models with applications in semi-automatic segmentation of liver tumors[J]. Biomedical Signal Processing and Control, 2020, 57: 101725.

[17] Jin QG, Meng ZP, Sun CM, et al. and tumor in CTscans[EB/OL]. ( 2018-11-04)[2020-03-26]. org/abs/1811. 01328. https://arxiv.

[18] Foruzan A H, Chen Y W. Improved segmentation of low-contrast lesions using sigmoid edge model[J]. International Journal of Computer Assisted Radiology and Surgery, 2016, 11(7): 1267-1283.

[19] Wang S, Zhou M, Liu Z Y, et al. Central focused convolutional neural networks: developing a data-driven model for lung nodule segmentation[J]. Medical Image Analysis, 2017, 40: 172-183.

[20] Cao H C, Liu H, Song E M, et al. Dual-branch residual network for lung nodule segmentation[J]. Applied Soft Computing, 2020, 86: 105934.

[21] Liu H, Cao H C, Song E M, et al. A cascaded dual-pathway residual network for lung nodule segmentation in CT images[J]. Physica Medica, 2019, 63: 112-121.

黄泳嘉, 史再峰, 王仲琦, 王哲. 基于混合损失函数的改进型U-Net肝部医学影像分割方法[J]. 激光与光电子学进展, 2020, 57(22): 221003. Yongjia Huang, Zaifeng Shi, Zhongqi Wang, Zhe Wang. Improved U-Net Based on Mixed Loss Function for Liver Medical Image Segmentation[J]. Laser & Optoelectronics Progress, 2020, 57(22): 221003.

基于混合损失函数的改进型U-Net肝部医学影像分割方法 下载： 2361次

1 引言

2 改进的网络结构

图 1. 所提网络的结构

Fig. 1. Structure of proposed network

2.1 改进的U-Net

图 2. 改进的U-Net结构

Fig. 2. Improved U-Net structure

2.2 优化模块

图 3. 网络结构的残差优化模块。(a)传统残差优化模块;(b)改进的残差优化模块

Fig. 3. Residual refine module of network structure. (a) General residual refine module; (b) improved residual refine module

2.3 混合损失函数

3 实验设置

3.1 数据集与数据预处理

3.2 实验评估

4 实验结果与分析

4.1 实验环境和参数设置

图 4. 改进U-Net的训练误差和测试准确率。(a)肝肿瘤分割;(b)肝脏分割

Fig. 4. Training error and test accuracy of improved U-Net. (a) Liver tumor segmentation; (b) liver segmentation

4.2 肝脏图像分割

图 5. 不同网络对肝脏图像分割的结果

Fig. 5. Segmentation results of liver images obtained by different networks

图 6. 肝脏分割的Dice系数箱型图

Fig. 6. Box plot of Dice coefficient of liver segmentation

表 1. 不同网络对肝脏图像进行分割时的性能对比

Table 1. Performance comparison of different networks for liver image segmentation

4.3 肝肿瘤图像分割

图 7. 不同网络对肝肿瘤图像分割的结果

Fig. 7. Segmentation results of liver tumor images obtained by different networks

图 8. 肝肿瘤分割的Dice系数箱型图

Fig. 8. Box plot of Dice coefficient of liver tumor segmentation

表 2. 不同网络对肝肿瘤图像进行分割时的性能对比

Table 2. Performance comparison of different networks for liver tumor image segmentation

4.4 其他医学图像分割

图 9. 大结节的分割结果

Fig. 9. Segmentation results of big nodules

图 10. 小结节的分割结果

Fig. 10. Segmentation results of small nodules

表 3. 不同网络的性能对比

Table 3. Performance comparison of different networks

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于混合损失函数的改进型U-Net肝部医学影像分割方法下载： 2361次