1 引言

视网膜血管是人体唯一可以通过无创伤手段观察到的清晰血管,目前医学研究表明^[1],视网膜血管异常与高血压、冠心病、糖尿病等心血管疾病严重程度有很大关系,视网膜血管的病变可能发生在发病之前,因此彩色眼底图像的视网膜血管检测对于预测、诊断和治疗心血管疾病有重要的应用价值。然而,视网膜上血管分布错综复杂且往往有病变干扰,但是由于眼底照相机的照明与成像方式的局限性^[2],彩色眼底图像中血管末梢与背景的对比度低,且往往存在噪声、光照不均匀的问题,视网膜血管难以完全分割,人工标注耗时耗力,且存有较大的主观性。因此,视网膜血管自动分割技术一直是眼底图像分析领域的热点和难点。

多年来,国内外专家学者提出了大量方法并取得了一定的成果,这些方法可分为5类^[3]:基于血管跟踪的方法、基于匹配滤波的方法、基于形态学处理的方法、基于形变模型的方法和基于机器学习的方法,其中基于机器学习的方法分割血管的精度最高。通过其他方法进行特征提取,用机器学习方法进行特征训练和分割为目前最常用的方法。文献[ 4]提出基于组合移位滤波响应的特征提取方法,并将提取的特征输入AdaBoost分类器以对视网膜血管进行检测。文献[ 5]提出一种具有自适应连接值的脉冲耦合神经网络与高斯匹配滤波器相结合的视网膜血管分割方法实现眼底图像中血管区域的自动生长。文献[ 6]提出基于全连接条件随机场的方法进行血管分割,条件随机场的参数则用结构化输出支持向量机进行学习。

近年来,随着深度学习的发展,卷积神经网络(CNN)作为深度学习的重要分支,通过局部感受野和权值共享减少了所需要训练的参数,使卷积神经网络能快速处理高维图像,并具有平移不变性,其强大的自动学习特征能力也使其能捕捉目标的高层语义信息,因此在图像识别、语义分割、目标检测等领域有极大的优势,其应用也更加广泛^[7-8]。在彩色眼底图像视网膜血管分割方面,有别于传统的先手动提取特征、再选择合适的分类器来分割眼底图像中血管的方法,CNN将特征提取和分类器设计融于一个深层模型中,通过大量样本的训练来自动学习各种场景下的血管特征,具有更好的泛化能力和稳健性。文献[ 9]提出一种CNN方法,将血管分割视为一个是否为血管的二分类任务,用CNN进行逐像素分类,并结合结构化预测方法,同时对多个像素点进行分类,其结果优于许多传统算法,对细小血管的检测也有很好的效果,但其网络拥有千万级的参数量。文献[ 10]提出一种多级卷积神经网络,拥有多级输入,同时将源图像和经过最大池化处理的图像输入该网络,并在网络中加入dropout层与spatial-dropout层,这种网络具有应用于其他类型图像分类的潜力,但多级输入意味着多个平行网络支路,从而增加了网络的计算量。

针对眼底图像中细小血管难以提取的问题,本文提出一种改进的基于编码器-解码器结构的全卷积神经网络,其网络主要有两个特点:首先,将残差学习^[11]和DenseNet^[12]结构相结合的残差密集连接结构引入网络,通过残差学习使网络更容易优化,更充分地利用每一层的特征图信息,缩短了低层特征图到高层特征图之间的路径,强化了特征的传播能力,从而增强网络的性能;其次,将空洞卷积与编解码器结构相结合,编解码结构网络具有强大的提取感兴趣区域的能力,但在编码阶段丢失的细节信息无法在解码阶段很好地复原,空洞卷积以不增加网络参数数量的形式增大了网络的感受野,从而能获取更多的细节结构信息,本文将两者相结合,在准确地提取血管特征的同时,能保留更多的细小血管。

2 网络结构

2.1 残差密集连接模块

残差学习的基本思想是,假设网络的输入为x,要拟合的函数映射(即输出)为H(x),残差学习认为学习拟合一个残差映射F(x)=H(x)-x比直接学习拟合一个近似恒等映射H(x)更加容易,在网络较深的情况下避免了梯度消失现象的发生。

DenseNet的密集连接模块(DB)将前层结果与本层结果合并作为下一层的输入,设网络第l层的输出为x_l,则一个密集连接模块第l层的输出可表示为

xl=Hl[x0,x1,…,xl-1]),(1)

式中H_l(·)表示第l层的非线性映射,[x₀,x₁,…,x_l-1]表示将0~(l-1)层输出的特征图合并。这种密集连接结构缩短了前后层的距离,因此强化了特征的传播,由于将各层输出的特征图合并,提高了每层输出的特征图的利用率,鼓励了特征图的复用,因此可以减少输出特征图数量,固定设置输出特征图数量为k,称为增长率^[12],这使得整体网络变窄,大幅度减少了网络的参数数量,从而增加了小数据集的抗过拟合性。

DenseNet结构能充分利用所有输出特征图的信息,而在密集连接层中加入残差学习可以进一步强化特征传播,提升网络性能^[13]。因此,将残差学习与DenseNet结构相结合,设计了残差密集连接模块(RDB),其结构如图1所示。其中,BN-ReLU-Conv三部分组成一层,BN表示批量归一化(BN),ReLU表示修正线性单元(ReLU),Conv表示卷积层,对每一层都进行密集连接,每层输出的特征图数量均为k,然后将每一层输出的特征图合并输入Compression层。Compression层是核大小为1×1的卷积层,其目的是对特征图数量进行压缩,解决密集连接层层数增加导致输出的特征图数量增多、网络变宽的问题。假设Compression层输入的特征图数量为m,设置压缩率记为θ(0<θ<1),则压缩后的特征图数量为θ·m,本文取θ=0.5。Compression层可以避免网络过宽,提高模型的紧凑性,并提高计算效率。最后,通过一个短连接将前层输出(即本RDB的输入)与Compression层的输出相加,使得网络更容易优化,并进一步提升网络的性能。

图 1. RDB示意图

Fig. 1. Schematic of RDB

下载图片 查看所有图片

2.2 空洞卷积

CNN应用于图像语义分割的一个问题是使用池化层、增加步长减小特征图尺寸会导致图像细节结构丢失,从而导致分割结果不够精细^[14]。为应对这个问题,部分研究者们提出了基于编码器-解码器结构的全卷积神经网络^[14]并不断改进,如U-Net^[15]、SegNet^[16],通过编码器结构逐步减小特征图从而学习图像抽象特征,通过解码器结构将图像恢复到原始大小,但解码器不能很好地恢复丢失的图像细节结构,因此部分研究者^[17]提出去掉池化层,并使用空洞卷积以不增加参数数量的方式增大感受野,从而保留更多的图像细节结构。但网络越深,特征图数量越多,保持特征图尺寸与原图一致则会带来更大的计算量。因此,本文在基于编、解码器的全卷积神经网络的结构上将一般卷积替换为空洞卷积,从而提取出更多的细小血管。

空洞卷积可以看成带孔的卷积,其基本原理是在普通卷积核的每个像素之间插入孔(即像素值为0的像素),以不增加网络参数数量的形式增大了感受野,如图2所示,从左到右分别为普通的3×3卷积核,即扩张率(记为r) 分别为r=1的空洞卷积核,r=2的空洞卷积核(实际大小为5×5),r=3的空洞卷积核(实际大小为7×7)。

图 2. 不同扩张率下的空洞卷积示意图。(a) r=1; (b) r=2; (c) r=3

Fig. 2. Schematic of dilated convolutions under different dilation rates. (a) r=1; (b) r=2; (c) r=3

下载图片 查看所有图片

2.3 视网膜血管分割网络模型

针对视网膜图像特征的复杂性(如光照、病变等因素干扰),设计了基于编码器-解码器结构的网络模型,引入RDB改善深层网络优化困难的问题,进一步提升网络性能,并使得每一层所得的血管特征得以反复利用,同时大幅减少网络参数数量,使得视网膜血管图像的训练不容易过拟合;将普通卷积替换成空洞卷积增大了网络的感受野,从而使网络保留图像细节结构,提取出更多细小血管。

本文算法的网络结构如图3所示,可分为编码器部分和解码器部分。编码器部分将具有16个3×3大小的卷积核的卷积层作为第一层,随后有4个RDB结构(层数分别为4,8,6,4),每一层输出的特征图均为12,即增长率k=12,其中RDB_1中在compression层后局部特征融合之前添加了一个核大小为2×2、步长为2的最大池化层,将特征图的长宽缩小到原来的1/2,4个RDB的卷积层都为空洞卷积。由于空洞卷积核的不连续性,用多个具有相同扩张率的空洞卷积进行叠加会导致空间信息不连续,因此RDB_1采用r=2的空洞卷积,其余三个RDB的每一个卷积层都采用不同的扩张率,RDB_2的扩张率分别为2,2,4,8,8,4,2,2;RDB_3的扩张率分别为2,4,8,8,4,2;RDB_4的扩张率分别为2,4,4,2。此外,为进一步提高计算效率,本文在RDB_2、RDB_3、RDB_4中设置了Bottleneck层,即在每一个BN-ReLU-Conv层前加入1×1的卷积层对每层输入的特征图数量进行压缩,将输入到每一个BN-ReLU-Conv层的特征图数量固定为48。解码器部分由Upsampling层和卷积层组成,其中Upsampling层是核大小为3×3、步长为2的反卷积层,输出的特征图大小与上层相同,其对特征图上采样将特征图恢复为原尺寸。由于上采样会造成一部分图像细节丢失,因此通过一条全局短连接将上采样层的输出与编码器中相同大小的特征图合并,然后通过3×3×32的卷积层和1×1×2的卷积层。最后,解码器的结果通过SoftMax分类器输出。

图 3. 网络结构示意图

Fig. 3. Schematic of network structure

下载图片 查看所有图片

3 实验结果分析

进行实验仿真的计算机硬件配置为Intel Core i7-6850K 与Nvidia GeForce GTX1080Ti,使用以TensorFlow作为后端的Keras开源库训练和测试网络模型。

3.1 数据集与预处理

本文在DRIVE^[18]公共数据集上进行实验,DRIVE数据集是从荷兰的糖尿病视网膜病变筛查项目中获得。其图像是从25~90岁之间的400名糖尿病受试者拍摄的眼底图像中随机抽取的40张图像,其中20张作为训练集,20张作为测试集。每幅图像均被裁剪为584×565大小,并对应有专家手动分割的结果和掩模图像。

由于眼底图像中存在光照不均、血管与背景对比度低等因素影响,为了更好地分割出视网膜血管,本文对DRIVE数据集中的每一幅图像进行如下处理:首先将其转化为灰度图像,然后采用对比度受限制的自适应直方图均衡化(CLAHE)算法改善视网膜图像光照不均匀的问题并增强图像的对比度^[19],接着采用尺寸为64×64、步长为16的滑动窗口将图像分为局部重叠的图像块。

3.2 训练

由于DRIVE数据集本身较小,为防止网络过拟合,本文对训练数据集进行数据增强。将经过预处理的训练图像分别旋转0°、90°、180°、270°之后,分别对其进行水平和垂直翻转,扩充至原来训练集的12倍。在输入网络之前,随机对训练集中的图像进行Gamma矫正(γ范围为[0.5,2.0])、高斯模糊处理(核大小为3×3)以及添加σ=0.01的高斯白噪声。

网络参数的权重初始化采用He正态分布方法^[20],采用交叉熵函数作为损失函数,其计算公式为

L=-∑iyiln(y^i),(2)

式中i表示分类个数,y表示实际值, y^表示模型预测值。本文采用Adam算法^[21]对损失函数进行优化,初始学习率为0.001。训练时,在4个RDB块中加入dropout层,参数设置为0.2;采用L2范数进行正则化,权重衰减值设置为0.001,训练的batch size取32,epoch设置为100。

3.3 性能评价指标

为了定量分析检验网络性能和分割结果,本文采用准确率、灵敏度和特异性这三个通用指标来客观评价视网膜血管的分割效果。这三个指标的计算公式为

RAccuracy=TP+TNTP+FP+TN+FN,(3)RSensitivity=TPTP+FN,(4)RSpecificity=TNTN+FP,(5)

式中T_P为真阳性,指分割正确的血管像素个数,T_N为真阴性,指分割正确的背景像素个数,F_P为假阳性,指分割错误的血管像素个数,F_N为假阴性,指分割错误的背景像素个数。

受试者工作特性(ROC)曲线也是衡量视网膜血管分割标准的重要曲线,其以假阳性率(即1-特异性)为横坐标,以真阳性率(即灵敏度)为纵坐标,反映了设定不同阈值时的灵敏度和特异性变化的情况,曲线下的面积(AUC)为ROC曲线下方的面积,AUC越接近1,说明算法性能越好,分割效果越好。本文采用AUC作为其中一个评价指标,采用Python开源库中的scikit-learn库绘制ROC曲线并计算AUC。

3.4 实验结果

本文在DRIVE数据集的测试集上进行实验。图4展示了本文方法主观效果,并与同采用深度学习方法具有较高准确率的文献[ 9]方法进行比较,从上往下分别为两组健康视网膜图像及其分割结果图像和一组有病变区域的图像及其分割结果图像,图4(a)为源图像,图4(b)为专家手工分割的金标准图像,图4(c)为由文献[ 9]方法分割的结果,图4(d)为本文算法结果。从总体上看,与文献[ 9]的结果相比,本文算法结果的噪点更少;从细节上来看(红框内),本文算法所得结果的细小血管保留更加完整,血管更具有连续性;在有视网膜病变的图像中,可以看出,文献[ 9]算法更容易受病变区域影响。

图5为本文方法与文献[ 9]方法的分割结果ROC曲线,本文算法的ROC曲线比文献[ 9]算法更接近左上角,说明在相同假阳性率的情况下,相比文献[ 9]方法,本文方法正确分割的血管数更多,算法性能更好。

表1为本文方法与其他眼底图像分割方法在DRIVE数据集上分割性能的对比,由于图像中非血管部分所占比重极大,本文方法只取图像中眼底区域计算性能指标,对比算法的结果来自于原文献。由表1可知,本文方法在分割准确率和灵敏度上均优于其他算法,在AUC上优于已有的深度学习算法,在特异性上略低于已有算法,但只比最高的文献[ 10]算法低了0.0058,在灵敏度上比文献[ 10]算法高了0.057,说明本文算法性能优异,能分割出更多细小血管。

图 4. 本文算法与文献[ 9]算法的分割效果。(a)源图像;(b)金标准图像;(c)文献[ 9]结果;(d)本文算法结果

Fig. 4. Segmentation results by proposed method and method in Ref. [9]. (a) Original images; (b) ground truth; (c) results in Ref. [9]; (d) results by proposed method

下载图片 查看所有图片

图 5. 本文算法与文献[ 9]算法的分割结果ROC曲线。(a) ROC曲线;(b)图(a)中红框区域内曲线

Fig. 5. ROC curves of segmentation results by proposed method and method in Ref. [9]. (a) ROC curves; (b) curves in red box of Fig. (a)

下载图片 查看所有图片

文献[ 9]方法和本文深度学习算法的网络参数数量分别为48 M和4.4 k,文献[ 10]未给出具体的网络参数,无法计算参数数量。可以看出,本文算法网络具有更少的参数,计算效率大幅度提升。

3.5 网络结构的影响

对网络分别进行以下调整:1)删去了RDB结构中的短连接,即去掉残差学习,转为普通的密集连接模块结构,该网络记为Network_1;2)不使用空洞卷积,即扩张率r=1,该网络记为Network_2;3)设置所有空洞卷积的扩张率r=2,该网络记为Network_3;4)4个RDB采用不同扩张率的空洞卷积,RDB_1、RDB_2 、RDB_3和RDB_4的空洞卷积扩张率分别为2、4、8和2,该网络记为Network_4。

表2对比了调整后的4个网络与本文所提网络在DRIVE数据集上的性能差别。从表2可以看出:1)将残差学习和密集连接相结合的RDB结构在视网膜血管分割方面比一般密集连接结构具有更好的性能;2)使用空洞卷积比未使用空洞卷积的网络性能更好;3)所提网络结构采用的空洞卷积方案比采用连续多个相同扩张率的空洞卷积效果更好。

视网膜血管分割性能对比

4 结论

针对彩色眼底图像视网膜血管手工分割难度大、细小血管难以分割的问题,提出了一种改进的卷积神经网络方法。首先,将残差密集连接结构引入网络,密集连接结构强化了特征图的传播并大幅减少了网络参数数量,而残差学习使网络更容易优化,两者结合更进一步提升了网络的性能。其次,将空洞卷积引入编、解码器结构网络中,在准确提取血管图像的同时保留了更多的细小血管。与其他传统方法和深度学习方法相比,本文算法准确率和灵敏度更高;与现有准确度较高的深度学习算法相比,本文算法在大幅减少网络参数、提高计算效率的同时,细小血管的保留更加完整,分割性能更好。