基于Hessian的方向自适应Gabor小波的视网膜血管分割 下载: 1559次
1 引言
视网膜血管的形态信息在糖尿病、青光眼、心血管疾病的诊断中有重要的价值,而视网膜血管分割是构建基于眼底图像分析的计算机辅助疾病诊断的关键环节,因此,视网膜血管分割受到研究工作者的广泛关注。
现有的视网膜血管分割方法根据分割时是否需要医生标记的标签信息可分为无监督方法和监督方法。无监督方法在没有标签信息的前提下以某种规则实现视网膜血管分割,可分为经典匹配滤波方法、基于血管追踪方法、基于数学形态学处理方法和基于模型的方法等。Chaudhuri等[1]通过12个不同方向的高斯匹配滤波核去检测视网膜图像中不同方向的血管,取得了不错的分割效果,但对图像噪声敏感。在此基础上,Hoover等[2]根据视网膜血管局部特性,采用分段阈值探测技术对经高斯匹配滤波后的血管进行检测,但该方法过程复杂,计算量大。Sofka等[3]采用Hessian矩阵的方法得到血管的方向,只需计算血管方向下的高斯匹配滤波响应,而不需要计算12个方向下的高斯匹配滤波响应模值的最大值就可检测血管。Li等[4]采用3个不同尺度的高斯匹配滤波器检测视网膜图像,然后采用双阈值方法得到最终的视网膜血管分割结果,可有效地抑制图像噪声、增强血管与背景的对比度。王晓红等[5]为了更好地提取细血管,采用8种尺度2维Gabor小波变换对视网膜图像进行重组,再应用数学形态学方法和区域生长法分别提取视网膜粗、细血管。上述无监督学习算法已相对成熟,但也存在一些缺点,如鲁棒性差、对存在病变的眼底图像的视网膜血管分割效果不理想、分割精度低等[6]。
监督方法是基于一些先验的标签信息来对眼底图像像素进行分类,实现视网膜血管分割,获得的血管分割效果比无监督方法好,主要分为特征提取和分类两个过程。Ricci等[7]以主线算子、正交线算子和绿通道灰度图为特征构造3维特征向量空间,再利用支持向量机(SVM)对视网膜血管进行分割,获得了较好的分割效果。Soares等[8]利用多尺度Gabor小波和像素灰度值作为眼底图像的像素特征,该特征向量包括从二维(2D)Gabor小波变换获得的不同尺度的测量结果,在特征空间中使用贝叶斯分类器将每个像素分类为血管或非血管像素,能够比较全面地描述视网膜血管网络结构,但运算量大且对血管的分支点以及对比度低的视网膜血管分割不精准。Tang等[9]将多尺度血管增强滤波的Gabor小波特征和响应函数值组合为特征向量,用SVM进行分类,取得了较高的血管分割精度。蔡轶珩等[10]构建包括CLAHE(Contrast Limited Adaptive Histogram Equalization)、高斯匹配滤波、Hessian矩阵变换、形态学变换、B-COSFIRE滤波变换的5D特征向量,采用SVM进行分类,分割准确率高且分割速度快。朱承璋等[11]提取包括图像不变矩、灰度共生矩阵、LoG结合高斯二阶导、梯度法、相位一致性和Hessian矩阵特征等23维特征向量构造特征矩阵,将其作为随机森林算法训练分类器的输入数据,再利用训练好的分类器对分割图像中的像素点进行分类;随后,梁礼明等[12]提出将线性特征、纹理特征、矩特征、方差特征和灰度特征等进行融合,然后通过随机森林模型训练得到视网膜图像血管分类模型,该方法有较强的鲁棒性。而近年来,随着深度学习的发展,吴晨玥等[13]提出将残差学习和密集连接网络(DenseNet)相结合,并在编码器-解码器结构的网络中加入了空洞卷积,可在不增加参数的情况下既增加了感受野,也能提取到更多细小血管。郑婷月等[14]利用跳跃连接构建编码器-解码器结构全卷积神经网络,并利用残差块进一步学习细节和纹理特征,最后在不同空洞率的空洞卷积层构建多尺度空间金字塔池化结构,这减少了学习参数, 大大降低了模型复杂度,但模型在更多数据集上的泛化能力还需进一步提高。
其中,Gabor小波对血管特征的检测具有良好的方向选择性,可通过改变尺度参数来检测不同宽度的血管(小尺度用于检测细血管,大尺度用于检测粗血管)。文献[ 5,8]是选择在每个尺度下18个不同方向的滤波器模板来进行滤波操作,然后选取最大的响应模值作为眼底图像像素特征,其特征提取环节比较费时。为了降低Gabor滤波特征提取的计算量,Yin等[15]利用局部傅里叶变换的能量分布属性的方向感知Gabor小波去提取相应的眼底图像像素特征,这样,对每个像素只需要进行1次Gabor小波变换,但该方法采用的局部傅里叶变换的能量分布属性算法复杂度较高。受Yin等[15]血管方向感知方法和Sofka等[3]方法的启发,本文提出了基于Hessian的方向自适应引导多尺度Gabor小波变换的视网膜血管分割方法。该方法不需计算每个尺度下18次不同方向的多尺度Gabor小波变换,只需计算出Hessian矩阵的本征向量来表征血管走向特定尺度的Gabor小波变换,降低了Gabor小波特征提取的计算量。此外,本文结合了Hessian矩阵大本征值与Gabor滤波的特性并利用SVM进行像素点的分类,实验结果表明本文方法具有较好的视网膜血管分割性能且能有效地检测出血管的分叉点和交叉点。
2 基于Hessian的方向自适应Gabor小波的视网膜血管分割方法
本文主要利用提取出的Hessian矩阵大本征值以及基于Hessian的方向自适应Gabor小波特征构建5维眼底图像像素特征向量,然后使用SVM在特征空间对眼底图像像素进行分类,实现视网膜血管分割,并进一步进行后处理,最后在DRIVE数据库[16]上进行性能评估以验证本文方法的有效性。该方法的流程图如
图 1. 绿色通道和其他通道提取结果对比图。(a) 彩色眼底图;(b) 红通道;(c) 绿通道;(d) 蓝通道
Fig. 1. Comparison of extracted results of green channel and other channels. (a) Color fundus image; (b) red channel; (c) green channel; (d) blue channel
2.1 预处理
本文在选定绿通道后,使用感兴趣区域膨胀扩张眼底图像边界,避免其产生假响应,随后使用Retinex图像增强算法处理图像,消除光照不均的影响,以改善图像的视觉效果。以DRIVE数据库[16]的视网膜眼底图为例得到的预处理结果如
图 3. 预处理结果图。(a)彩色眼底图;(b)绿通道;(c)图3 (b)的感兴趣区膨胀;(d)图3 (c)的Retinex图像增强
Fig. 3. Images of pre-processing results. (a) Color fundus image; (b) green channel; (c) expansion of region of interest in Fig. 3 (b); (d) image enhancement of Retinex in Fig. 3 (c)
2.2 Hessian矩阵特征
视网膜血管是局部线性结构且血管的粗细程度不同,所以Hessian矩阵对线性段结构敏感这一特性,可以用来检测视网膜血管,即采用不同尺度的高斯函数对经预处理的眼底图像
根据(1)式,计算出每个尺度下Hessian矩阵的本征值λ1和λ2(λ1<λ2)。理论上,管状血管的 Hessian 矩阵的本征值应当满足
而且,Hessian矩阵是对称矩阵,通过对Hessian矩阵的本征分解,可以得到两个本征值和对应的本征向量。其中,Hessian矩阵的本征向量满足正交关系,两个本征值则可表征视网膜血管的强度。对于眼底图像而言,血管呈管状分布,其灰度沿着血管方向的变化较小,则Hessian矩阵中的二阶微分响应较小;其灰度在横跨血管方向的变化较大,则Hessian矩阵中的二阶微分响应较强;视网膜背景是比较均匀的平滑区域,其灰度变化较小,则Hessian矩阵中的二阶微分响应也较小。也就是说,在血管点处,Hessian矩阵的本征值一大一小;在血管交叉点处, Hessian矩阵的两个本征值都较大;在背景点处,Hessian矩阵的本征值都较小。因此,本文将不同尺度的Hessian矩阵大本征值(多尺度高斯函数的尺度参数设置为1,3,5,7,9)的最大值λ2,max作为一个特征用于构建像素的特征向量。其中,大本征值λ2对应的本征向量垂直于血管走向的方向,而小本征值
2.3 多尺度Gabor小波特征
小波变换定义如下[17]:
式中:Cψ、ψ、b、θ、a分别表示归一化常数、分析小波、位移矢量、方向角和尺度参数;ψ*为分析小波ψ的复共轭;rθ为作用于x=(x1,x2)(x1表示坐标轴中某个像素点的x轴坐标值(下标负号表示方向取反),x2表示该像素点的y轴坐标值)的旋转操作符。进一步使用快速傅里叶逆变换算法和小波变换的等效傅里叶定义实现小波变换[8]:
式中:
式中:A=diag(ε-1/2,1)代表一个2×2的对角矩阵(ε≥1,本文在此将参数ε设置为4,使滤波器拉长),定义了过滤器的各向异性;k0为复指数系数矩阵,本文中设k0=
由于血管宽度约为2~10 pixel,多尺度Gabor滤波在细尺度时有利于表征细小血管,粗尺度时则有利于描述粗血管,因此本文将小波变换的尺度参数a按照文献[ 8]设置为2,3,4,5。根据Gabor小波的方向调节能力很适合于表征眼底图像的不同方向的血管特征这一特性,Soares等[8]一般是在每个尺度下改变小波变换中的旋转角θ(0°,10°,20°,…,170°),然后按(4)式计算每个像素点在18个方向Gabor滤波的最大响应模值。这样,每个像素点在特定尺度下需计算18次不同方向的Gabor小波变换,导致Gabor小波特征提取的计算量较大。而本文采用Hessian感知血管方向角φ,可只需计算该方向下的Gabor滤波响应模值:
于是,按(4)式和(6)式在每个尺度下去计算每个像素点方向角φ下的Gabor小波特征。这样,在4个尺度情况下,本文只需计算每个像素点的4个Gabor滤波响应而不是72个Gabor滤波响应,大大地降低了Gabor小波特征提取的计算量。
2.4 特征归一化
为进一步便于SVM分类及后处理,将眼底图像每个像素点的5维视网膜血管特征归一化为
式中:vi表示每个像素第i(i=1,2,3,4,5)维特征;μi和σi分别为vi对应的均值和标准差。每个图像的特征空间通过其自身的方式和标准偏差进行归一化,这有助于补偿图像之间的固有变化(如照明)。特征归一化的图像如
图 4. Hessian矩阵特征归一化结果图。(a)彩色眼底图;(b)图4 (a)的绿通道眼底图;(c)图4 (b)的Hessian矩阵最大本征值特征图
Fig. 4. Normalized results of Hessian matrix feature. (a) Color fundus image; (b) fundus image of green channel of Fig. 4 (a); (c) maximal eigenvalue feature image of Hessian matrix of Fig. 4 (b)
图 5. 不同尺度 Gabor小波变换特征归一化结果图。(a) a=2;(b) a=3;(c) a=4;(d) a=5
Fig. 5. Normalized results of Gabor wavelet transform features at different scales. (a) a=2; (b) a=3; (c) a=4; (d) a=5
2.5 SVM分类
本文将训练样本表示为(
式中:τ(
1) 训练。对DRIVE数据库[16]每一幅训练图分别取1000个血管像素点和2000个非血管像素点(总共60000个正反样本),对其进行归一化后作为训练样本,血管标签为1,非血管标签为-1。本文通过libsvm工具箱进行SVM训练,采用的核函数是RBF核函数。由于样本数较多,寻优实现比较费时,本文惩罚系数C使用默认值1,训练得到很好的SVM分类器模型。
2) 测试。对于测试集图像中的像素点同样提取像素的特征向量,进行归一化后,将其输入到SVM 模型中,从而得到分类后的二值图。
2.6 后处理
由于SVM分类后得到的二值图存在小块的噪声点,因此本文对该图进行进一步处理:首先,通过采用基于区域连通性的面积阈值法将面积小于25个像素的区域移除;然后,对结果图进行取反操作,同样采用面积阈值法去除血管中面积小于6个像素的空隙;最后,将所得到的结果图再一次进行取反操作,得到最终结果分割图,如
3 结果与讨论
3.1 评估数据库
为了评估所提出的方法,本文实验所用的视网膜图像数据来自于DRIVE数据库[16]。DRIVE数据集是从荷兰的糖尿病视网膜病变的筛选程序中获得的,包括40个彩色图像(包含7个病理图),每个图像大小为565 pixel×584 pixel。该数据库分为两组:训练集和测试集,每组包含20个图像。为了评价算法的分割性能,将数据库中第一位专家手动分割的血管网络结构作为标准结果进行比较,从而讨论视网膜图像像素点的分割效果。
图 6. 本文方法在DRIVE数据库上的分割情况。(a)彩色眼底图;(b)图6 (a)的绿通道眼底图;(c)专家手工分割图;(d)本文方法分割图;(e) Gabor-SVM实验分割图
Fig. 6. Segmentation results of proposed method on DRIVE database. (a) Color fundus image; (b) fundus image of green channel of Fig. 6 (a); (c) expert manual segmentation image; (d) segmentation image of proposed method; (e) segmentation image of Gabor-SVM experiment
3.2 评价指标
视网膜血管分割结果性能评估的最常用的指标是准确度(ACC)、灵敏度(SN)和特异性(SP)。ACC 表示整幅图分割正确的像素点的比例;SN表示分割正确的血管点与专家手工分割图血管点总和的比例;SP 表示分割正确的背景点与专家手工分割图背景点总和的比例。ACC、SN和SP的计算公式分别为
式中:TP是血管点被正确分割的个数;TN是背景点被正确分割的个数;FP是背景点被误分为血管点的个数;FN是血管点被误分为背景点的个数。
3.3 在DRIVE数据库上的性能评估
将本文方法与Gabor-SVM方法(Gabor小波滤波最大响应模值作为特征,SVM作为分类器)进行实验对比研究。需要说明的是,这两者都是使用SVM进行血管点与背景点的分类。
本文方法在测试集上分割最好的图像的ACC、SN和SP分别为0.9564,0.8165,0.9757,分割最差的图像的ACC、SN和SP分别为0.9361,0.6660,0.9748,分割结果如
图 7. 视网膜局部分割对比图。(a) 完整分割图;(b)~(d) 图7 (a)的局部分割图
Fig. 7. Comparison of partial retinal segmentation images. (a) Complete segmentation image; (b)-(d) partial segmentation images of Fig. 7 (a)
为进一步验证本文方法对视网膜血管分割的优越性,
表 1. 在DRIVE数据库上血管分割方法的性能比较
Table 1. Performance comparison of blood vessel segmentation methods on DRIVE database
|
4 结论
为了降低基于Gabor小波滤波的视网膜血管特征提取的计算时间,提出了Hessian的方向自适应Gabor小波变换的视网膜血管分割方法。Hessian矩阵的本征向量能有效地检测到血管的方向信息,且只需要计算该方向下的Gabor小波滤波响应,节省了特征提取的计算时间;Hessian矩阵的大本征值与Gabor小波特征有一定的互补性,提升了血管的表征能力和在血管的分叉点和交叉点处的检测效果。另外,由于SVM很适合于视网膜血管分割的二分类问题,具有较好的泛化能力,故能获得较为优越的视网膜血管分割结果。但是,实验结果表明本文方法对有病变的眼底图像的分割效果不太好,下一阶段的工作将针对怎样提高有病变图像的视网膜血管分割性能进行研究。
[1] Chaudhuri S, Chatterjee S, Katz N, et al. Detection of blood vessels in retinal images using two-dimensional matched filters[J]. IEEE Transactions on Medical Imaging, 1989, 8(3): 263-269.
[2] Hoover A D, Kouznetsova V, Goldbaum M. Locating blood vessels in retinal images by piecewise threshold probing of a matched filter response[J]. IEEE Transactions on Medical imaging, 2000, 19(3): 203-210.
[3] Sofka M, Stewart C V. Retinal vessel centerline extraction using multiscale matched filters, confidence and edge measures[J]. IEEE Transactions on Medical Imaging, 2006, 25(12): 1531-1546.
[5] 王晓红, 赵于前, 廖苗, 等. 基于多尺度2D Gabor小波的视网膜血管自动分割[J]. 自动化学报, 2015, 41(5): 970-980.
Wang X H, Zhao Y Q, Liao M, et al. Automatic segmentation for retinal vessel based on multi-scale 2D Gabor wavelet[J]. Acta Automatica Sinica, 2015, 41(5): 970-980.
[6] 孟琳, 刘静, 曹慧, 等. 基于Frangi滤波器和Otsu视网膜血管分割[J]. 激光与光电子学进展, 2019, 56(18): 181004.
[7] Ricci E, Perfetti R. Retinal blood vessel segmentation using line operators and support vector classification[J]. IEEE Transactions on Medical Imaging, 2007, 26(10): 1357-1365.
[8] Soares J V B, Leandro J J G, Cesar R M, et al. Retinal vessel segmentation using the 2-D Gabor wavelet and supervised classification[J]. IEEE Transactions on Medical Imaging, 2006, 25(9): 1214-1222.
[9] Tang S Y, Lin T, Yang J, et al. Retinal vessel segmentation using supervised classification based on multi-scale vessel filtering and Gabor wavelet[J]. Journal of Medical Imaging and Health Informatics, 2015, 5(7): 1571-1574.
[10] 蔡轶珩, 高旭蓉, 邱长炎, 等. 一种混合特征高效融合的视网膜血管分割方法[J]. 电子与信息学报, 2017, 39(8): 1956-1963.
Cai Y H, Gao X R, Qiu C Y, et al. Retinal vessel segmentation method with efficient hybrid features fusion[J]. Journal of Electronics & Information Technology, 2017, 39(8): 1956-1963.
[11] 朱承璋, 崔锦恺, 邹北骥, 等. 基于多特征融合和随机森林的视网膜血管分割[J]. 计算机辅助设计与图形学学报, 2017, 29(4): 584-592.
Zhu C Z, Cui J K, Zou B J, et al. Retinal vessel segmentation based on multiple feature fusion and random forest[J]. Journal of Computer-Aided Design & Computer Graphics, 2017, 29(4): 584-592.
[12] 梁礼明, 刘博文, 杨海龙, 等. 基于多特征融合的有监督视网膜血管提取[J]. 计算机学报, 2018, 41(11): 2566-2580.
Liang L M, Liu B W, Yang H L, et al. Supervised blood vessel extraction in retinal images based on multiple feature fusion[J]. Chinese Journal of Computers, 2018, 41(11): 2566-2580.
[13] 吴晨玥, 易本顺, 章云港, 等. 基于改进卷积神经网络的视网膜血管图像分割[J]. 光学学报, 2018, 38(11): 1111004.
[14] 郑婷月, 唐晨, 雷振坤. 基于全卷积神经网络的多尺度视网膜血管分割[J]. 光学学报, 2019, 39(2): 0211002.
[15] Yin B J, Li H T, Sheng B, et al. Vessel extraction from non-fluorescein fundus images using orientation-aware detector[J]. Medical Image Analysis, 2015, 26(1): 232-242.
[16] Niemeijer M. Staal J, van Ginneken B, et al. Comparative study of retinal vessel segmentation methods on a new publicly available database[J]. Proceedings of SPIE, 2004, 5370: 648-656.
[17] Arneodo A, Decoster N, Roux S G. A wavelet-based method for multifractal image analysis. I. Methodology and test applications on isotropic and anisotropic random rough surfaces[J]. The European Physical Journal B-Condensed Matter and Complex Systems, 2000, 15(3): 567-600.
[18] Zhang B, Zhang L, Zhang L, et al. Retinal vessel extraction by matched filter with first-order derivative of Gaussian[J]. Computers in Biology and Medicine, 2010, 40(4): 438-445.
Article Outline
王文斌, 李灿标, 郑楚君. 基于Hessian的方向自适应Gabor小波的视网膜血管分割[J]. 激光与光电子学进展, 2020, 57(8): 081023. Wenbin Wang, Canbiao Li, Chujun Zheng. Retinal Blood Vessel Segmentation Using Hessian Based Orientational Adaptive Gabor Wavelet[J]. Laser & Optoelectronics Progress, 2020, 57(8): 081023.