改进SURF在多模MRI乳腺配准算法中的研究 下载: 1062次
1 引言
临床诊断中,医生利用医学影像技术对患者患病部位进行单/多模式成像,以便直观察看患病部位情况。以乳腺肿瘤诊断为例[1],单一模式图像使用一种成像设施,只能观察病灶生长。若要确定肿瘤的具体位置或良恶性程度,则需使用多种模式成像设备,综合各图像信息配合医生诊断,使医生可以更直观地察看患者发病部位的情况,制定治疗计划。然而,患者病因成形多样,需采用多种医学图像模态检测。为了精确患者病变位置,需将采集到的多模图像进行分割、融合。但由于图像成像原理和参数不同,在融合前需完成图像配准[2]。
常见的配准算法主要有基于灰度信息[3]和基于特征两类[4]。基于灰度信息的配准方法主要优点是计算简单、易实现。但缺点是采集到的图像信息对光照、噪声较敏感,配准精度不高;基于特征配准算法能够克服在图像采集过程中图像易受光照、噪声的影响,具有良好的鲁棒性,稳定性强,计算量较小。该算法可以在不降低图像精度的情况下,缩短运行时间。尺度不变特性变换(SIFT)算法是其中经典算法之一[5-6],对分辨率、光照等影响因子不敏感,配准效果较好。研究者在SIFT算法的基础上提出了许多优良的改进、优化算法。其中,加速稳健特征(SURF)算法[7]能够克服因光照、噪声引起的图像配准精度不高等问题,但该算法存在检测点少,匹配率低等问题。
针对SURF算法存在的问题,许佳佳[8]提出将Harris与SIFT相结合的快速配准算法,提高了医学图像配准精度和运行时间。周宏浩等[9]提出将SIFT特征描述子进行降维处理,与传统的SIFT算法相比,提高了匹配的效率。郑芳等[10]提出将粒子群优化(PSO)算法与改进SIFT算法相结合的配准算法,该方法能够有效提高患病部位图像特征点的提取数量,优化图像的配准精度,但运行时间较长。
本文首先利用Harris算法对选取的肿瘤图像的特征点进行提取和检测。其中,将检测图像分为两类,分别是参考图像A和浮动图像B。然后,对提取到的浮动图像B的特征点依据角点响应函数R进行筛选。针对筛选后的图像B,采用最小欧氏距离准则,对划分后的圆形区域进行64维向量对的特征描述符生成,利用生成后的特征描述符进行匹配,得到配准图像。使用改进的SURF算法,对得到的配准图像进行初始化参数设置,确保粒子搜索始于全局最优值附近,然后将互信息作为PSO算法的测度函数,改进目标函数寻找全局最优解的能力。PSO算法易受到局部极值影响,因此加入惯性权重,使PSO算法具有一定的全局搜索能力。为防止算法提前进入早熟现象,引入平均最值,提高图像的配准精度。
2 基本原理
2.1 多模MRI的医学图像配准
医学图像的配准过程[11-12],就是利用适当的优化算法寻找采集到的患者不同患病部位图像中的最优几何变换关系以及最优空间变换参数,使通过不同方式获取到的浮动图像与标准的参考图像的相似性测度达到最大值。具体过程如
核磁共振成像(MRI)是指在不同的条件下对患者进行磁共振(MR)成像,获得一组多模态序列图像[13]。该方法的优点是软组织成像中多样性强、信息量大。一般来说,不同模态的MRI图像展示的解剖、病理信息侧重不同,该特性对于肿瘤分析和研究具有重要意义。单模态MRI图像只能获得一种或最多两种类型的肿瘤信息,而多模MRI图像是同一组织在不同对比度和MR成像序列下的图像。多模态信息的引入为乳腺肿瘤配准注入了新的活力。
现有的核磁共振影像常见模态主要有:1) T1加权成像(T1WI);2)灌注加权成像(PWI);3) 磁共振弥散加权成像(DWI);(4) T2*加权灌注成像联合动态增强磁共振成像(DCE)[14-15]。
医学图像配准若用函数表达式表示,主要是指在采集到的患病部位图像配准过程中,通过算法寻找使S
式中:函数f(x)表示参考图像A;函数m(Y)表示浮动图像B;X、Y分别表示肿瘤图像的解剖结构空间;S表示对采集到的肿瘤图像中任意划分的参考图像A、浮动图像B定义的目标函数,用来衡量参考图像A和浮动图像B的匹配效果。
2.2 改进的SURF算法
2.2.1 特征点检测
SURF算法是利用高斯金字塔构造的尺度空间检测特征点。提取检测到的特征点越少,得到的图像配准精度越低,优化计算的复杂度越高。
现有的很多算法不能很好地解决肿瘤图像中提取有意义特征点较少的问题。本文提出在保证图像不失真条件下,利用Harris角点检测法提取图像的特征点。
若二维图像I中的像素点X=(x,y),则尺度因子为δ处的Harris二阶矩阵定义为
式中:X表示肿瘤图像中病变像素点的位置;Lx(X)表示病变图像在点采样区域内X处沿x方向的一阶导数;δ表示尺度;g(δ)表示平滑因子为δ的高斯函数。
设Harris角点检测算法中的函数μ(X,δ)的两个特征值分别为λ1、λ2,则图像位于角区域、边缘区域、平坦区域的分布情况,如
通过计算角点响应函数值R来判断其属于哪个区间,
式中:
利用角点响应函数R,提取肿瘤图像上的Harris角点。在检测区域内,在3×3像素图像中,若提取到该点的R值大于其周围8个像素点的R值,同时大于设置的阈值
2.2.2 特征描述子
在改进的SURF算法中,将区域内产生的响应进行矢量累计叠加,将叠加的最大值方向称为主方向。当计算特征描述时,以检测点为圆心,若采用矩形区域则会出现区域范围的较大变化;采用圆形区域则保持不变(
该方法的主要思路是:在边长为20 m×20 m,划分为4×4的子区域内。以待检测点为圆心,直径12δ的圆内,计算x轴和y轴上的Haar小波效应并进行高斯加权计算,确保离待检测点越近响应越大。如
2.2.3 特征点匹配
针对SURF算法中配准精度不高等问题,采用最小欧氏距离准则来解决。主要思路是:针对采集到的肿瘤图像,将其划分为两类,分别为参考图像和浮动图像。针对参考图像中的特征点A,在待配准的浮动图像中寻找与A距离最近的两个点,分别记为最近距离c1与次近距离c2。表达式为
式中:阈值T取值范围为
2.3 互信息改进SURF的医学图像配准
2.3.1 互信息
在医学图像配准中,以肿瘤图像为例,互信息表明了肿瘤图像中的参考图像A与浮动图像B之间重叠部分的熵值。基于互信息的医学图像配准算法主要是指计算优化两幅图像重叠位置的大小。
互信息的表达式为
式中:PA(a)、PB(b)分别表示参考图像A与浮动图像B的边缘概率分布;PAB(a,b)表示图像A与图像B的联合概率分布。(7)式主要存在着三种情况,分别是:1)若PAB(a,b)=PA(a)PB(b),则表示采集到的肿瘤图像中,浮动图像和参考图像相互独立;2)若IMI(A,B)=0,则表示肿瘤图像中的参考图像中没有关于浮动图像的信息;3)若IMI(A,B)=1,则表示肿瘤图像中的参考图像与浮动图像在空间关系上处于完全对齐的情况。
2.3.2 互信息改进粒子群算法
粒子群算法的基本原理是使用一定数量的粒子,在目标区域内通过彼此间的协作和信息的共享,对某一特定问题寻找满足条件的最优或相对较优解作为问题的解[16]。该算法在目标区域内寻找最优解的过程中,需要控制粒子的移动方向和快慢程度以及最优位置,分别用速度矢量和位置矢量表示。其中,位置矢量分为局部最优位置pbest和全局最优位置gbest。
粒子在迭代寻优的空间中用一个相关的适应度函数来衡量一个粒子位置的好坏以及控制算法在寻优过程中粒子的运动基准。
每个粒子在迭代寻优过程中不同时刻的速度和位置更新分别表示为
式中:
当粒子在找到当前最优解之前,其他粒子就会靠近它。若该粒子找到的位置不是全局最优解,则会发生早熟现象。为了评价和判断粒子是否发生早熟现象,以粒子相似度s(t)作为标准。表达式为
式中:f(t)表示t时刻最优的位置值即参考图像A与浮动图像B 的互信息值。
设定阈值x,当评判系统小于最大迭代次数Tmax并且s(t)≤x时,说明早熟现象产生。同时引入平均最值
则速度更新的表达式变为
式中:rand是介于(0,1)之间的随机数。
2.4 基于改进SURF在多模MRI乳腺配准算法流程图及步骤
基于改进SURF在多模MRI乳腺配准算法的详细流程步骤如下:
1) 首先对参考图像A与浮动图像B分别进行Harris角点检测得到检测点,并依据角点响应函数R验证后,利用选择的检测点生成对应的64维SURF特征描述子。利用欧氏距离作为相似性度量函数对浮动图像B进行配准,然后与参考图像A进行对比,以便确定是否出现匹配误差。若产生误差,则采用随机抽样一致性(RANSAC)算法进行校正,消除不匹配点,得到配准图像。
2) 粒子群初始参数设定。Nnum=50,粒子速度更新权重w=1.0,单个粒子更新速度系数c1=2,全局最优位置更新系数c2=2。
3) 计算肿瘤图像中参与优化的粒子的互信息值,并将互信息值作为粒子群适应度函数。
4) 判断是否满足s(t)≤x条件。若满足,则说明产生早熟现象。然后,利用(11)式去更新粒子群,若不满足,则说明没有产生早熟现象,利用(8)式去更新粒子群。
5) 利用PSO算法,不断更新单个粒子的pbest和gbest,更新单个粒子的vi和xi。
6) 判断算法是否已达到终止条件。若不满足终止条件,则重新计算粒子的适应度值,直到满足为止。如果满足条件,将直接输出配准的图像。
算法流程图如
3 分析与讨论
为了准确验证本文算法的优异性,进行了270次的重复多模MRI乳腺肿瘤图像配准实验。所选的MRI乳腺肿瘤数据来源于解放军联勤保障部队940医院(原兰州军区总医院)、甘肃省肿瘤医院以及TCIA乳腺肿瘤数据集,将这些数据集合到一起,验证算法的优异性[18-19]。本文参加实验的数据包含30名患者,年龄范围在40~60岁的女性。
3.1 运行环境以及图像采集
算法运行环境为MATLAB2018a。通过GE DISCOVERY MR750超导磁共振采集图像,8通道相控阵乳腺线圈来获得所需要的实验图片。
3.2 配准评价指标
1) 匹配正确率(CMR),该值越大,表示匹配性能越高,定义为
式中:NR为正确的匹配点数;NW为错误的匹配点数。
2) 均方根误差(RMSE),主要用测量距离的误差来判断配准图像的精度。若浮动图像与参考图像之间不同特征点的测量距离越短,RMSE值越大,说明配准性能越低,算法的精度就越低。
式中:(x,y)、(x',y')分别为参考图像和浮动图像上特征点的坐标;f代表参考图像和浮动图像之间的转换关系。
3.3 配准实验结果
3.3.1 改进SURF结果分析
针对多模乳腺肿瘤MRI的不同模态,本文分别采用传统SIFT算法和加入Harris特征点的算法来进行配准实验。从
3.3.2 本文算法结果分析
本文采用多模MRI乳腺肿瘤不同模态进行配准实验。选取来自同一病人的横轴位医学图像,采用的不同MRI序列的3组序列图像进行医学图像配准实验,分别为T1WI、DWI(b=800)和PWI。如
序列图像配准的结果如
通过对T1WI、DWI、PWI图像进行多次配准点对实验,统计计算得到每个序列图像的平均值,配准率的对比结果如
图 5. SIFT算法检测点对比仿真实验结果。(a) MRI图像;(b)传统SIFT算法检测点;(c)改进的SIFT算法检测点
Fig. 5. Comparison of simulation results of SIFT detection points. (a) MRI image; (b) detection points of traditional SIFT algorithm; (c) detection points of improved SIFT algorithm
图 6. 原始SURF算法和改进SURF算法有效点匹配对。(a)(b)原始SURF算法;(c)改进SURF算法
Fig. 6. Effective point matching pairs of original SURF algorithm and improved SURF algorithm. (a)(b) Original SURF algorithm; (c) improved SURF algorithm
图 7. T1WI、DWI、PWI的MRI序列图像。(a)~(g) T1WI的序列图像;(h)~(n) DWI的序列图像;(o)~(u) PWI的序列图像
Fig. 7. MRI sequence images of T1WI, DWI, and PWI. (a)-(g) T1WI image sequences; (h)-(n) DWI image sequences; (o)-(u) PWI image sequences
图 9. T1WI、DWI、PWI的配准结果。(a)~(g) T1WI的配准结果;(h)~(n) DWI的配准结果;(o)~(u) PWI的配准结果
Fig. 9. Registration results of T1WI, DWI, and PWI. (a)-(g) Registration results of T1WI; (h)-(n) registration results of DWI; (o)-(u) registration results of PWI
从图中可以看出,本文算法的配准率比SIFT算法和SURF算法高约10%,因此本文算法的配准效果相对较高。
从
表 1. 均方根误差
Table 1. Root mean square error
|
表 2. 运行时间
Table 2. Running timems
|
从
4 结论
本文首先通过增加Harris特征检测点来改进SURF算法,克服了SURF算法有效点少的问题,获得了更多具有结构意义的有效点,提高了SURF算法的配准精度。同时,在改进SURF算法基础上加入互信息的PSO图像配准,获得最优的图像配准结果。实验结果明,本文所得到的图像在MRI乳腺肿瘤中为肿瘤的特征点提取提供了参考价值。最后,对多模乳腺MRI肿瘤进行了配准实验,并与文献[ 10]中的改进SIFT算法在配准时间上进行了比较,可知本文算法相比文献[ 10]算法具有很大的提升,配准效果也较好。然而,针对肿瘤的弱边界匹配不高,导致肿瘤病灶定位的偏差等问题,需要对肿瘤图像配准之后,进行融合和分割处理,这也是进一步研究的方向。
[1] 褚晶辉, 吴泽蕤, 吕卫, 等. 基于迁移学习和深度卷积神经网络的乳腺肿瘤诊断系统[J]. 激光与光电子学进展, 2018, 55(8): 081001.
[2] 史明霞, 张旭, 张涛. 肺部图像配准关键技术及研究现状[J]. 北京生物医学工程, 2017, 36(4): 427-432.
Shi M X, Zhang X, Zhang T. Key technology and research status of registration methods for pulmonary image[J]. Beijing Biomedical Engineering, 2017, 36(4): 427-432.
[3] 王观英, 许新征, 丁世飞. 基于3D-PCNN和互信息的3D-3D医学图像配准方法[J]. 计算机应用, 2017, 37(z1): 215-219, 222.
Wang G Y, Xu X Z, Ding S F. 3D-3D medical image registration method based on 3D-PCNN and mutual information[J]. Journal of Computer Applications, 2017, 37(z1): 215-219, 222.
[4] Gu ZY, Du CM, JinL, et al. and improved RANSAC algorithm[J]. Applied Mechanics and Materials, 2013, 411/412/413/414: 1233- 1237.
[5] 尚明姝, 王克朝. 一种改进的Harris与SIFT算子结合的图像配准算法[J]. 微电子学与计算机, 2018, 35(6): 132-134, 140.
[6] 王丽芳, 王雁丽, 蔺素珍, 等. 基于改进的Zernike矩的局部描述符与图割离散优化的非刚性多模态脑部图像配准[J]. 计算机应用, 2019, 39(2): 582-588.
Wang L F, Wang Y L, Lin S Z, et al. Non-rigid multi-modal brain image registration by using improved Zernike moment based local descriptor and graph cuts discreteoptimization[J]. Journal of Computer Applications, 2019, 39(2): 582-588.
[7] HerbertB, AndreasE, TinneT, et al. Speeded-up robust features (SURF)[J]. Computer Vision & Image Understanding, 110( 3): 346- 359.
[8] . Harris 与 SIFT 算子的图像快速配准算法[J]. 中国光学, 2015, 8(4): 574-581.
[9] 周宏浩, 易维宁, 杜丽丽, 等. 基于卷积神经网络的SIFT特征描述子降维方法[J]. 激光与光电子学进展, 2019, 56(14): 141008.
[10] 郑芳, 李颖, 陆雪松, 等. 基于改进SIFT算法的超声图像配准研究[J]. 现代科学仪器, 2012( 1): 31- 35.
ZhengF, LiY, Lu XS, et al. Research on ultrasound image registration method based on improved SIFT algorithm[J]. Modern Scientific Instruments, 2012( 1): 31- 35.
[11] 翁飞, 侯文广, 曾明平. 用于三维医学图像配准的“粗精”混合算法研究[J]. 北京生物医学工程, 2016, 35(1): 12-17.
Weng F, Hou W G, Zeng M P. A‘coarse and fine' hybrid algorithm for three-dimensional medical image registration[J]. Beijing Biomedical Engineering, 2016, 35(1): 12-17.
[12] 谢昱锐, 谢明元, 杨玲. 基于ITK的医学图像配准的应用[J]. 计算机仿真, 2010, 27(3): 240-242, 257.
Xie Y R, Xie M Y, Yang L. The application of medical image registration based on ITK[J]. Computer Simulation, 2010, 27(3): 240-242, 257.
[13] 杨元琴, 魏宁, 董方敏. 多模图像联合非局部滤波快速算法[J]. 图学学报, 2016, 37(1): 74-78.
Yang Y Q, Wei N, Dong F M. Accelerated multimodal images joint non-localfiltering[J]. Journal of Graphics, 2016, 37(1): 74-78.
[14] 龙莉艳, 张桂云, 张磊. 乳腺癌的MRI应用研究文献的计量分析[J]. 中国医学影像学杂志, 2012, 20(12): 940-947.
Long L Y, Zhang G Y, Zhang L. Bibliometric analysis of clinical application of MRI on breast cancer[J]. Chinese Journal of Medical Imaging, 2012, 20(12): 940-947.
[15] 赵妍. 3DASL在脑肿瘤术前诊断分级及术后评估中的应用价值[D]. 南宁: 广西医科大学, 2016.
ZhaoY. The application of three-dimensional arterial spin labeling images and contrast-enhanced images indiagnosis for the diagnosis and evaluation of brain tumors[D]. Nanning: Guangxi Medical University, 2016.
[16] 赵于前, 刘彬旭, 李桂源. 基于粒子群优化与梯度下降法的多模图像配准[J]. 光电子.激光, 2011, 22(6): 940-944.
Zhao Y Q, Liu B X, Li G Y. Multimodal image registration based on PSO and gradient descent method[J]. Journal of Optoelectronics. Laser, 2011, 22(6): 940-944.
[17] 王志刚. 利用种群平均信息的二进制粒子群优化算法[J]. 科学技术与工程, 2012, 12(19): 4686-4690.
Wang Z G. Binary particle swarm optimization using average information of swarm[J]. Science Technology and Engineering, 2012, 12(19): 4686-4690.
[18] 刘大伟, 韩玲, 韩晓勇. 基于深度学习的高分辨率遥感影像分类研究[J]. 光学学报, 2016, 36(4): 0428001.
[19] 程效军, 郭王, 李泉, 等. 基于强度与颜色信息的地面LiDAR点云联合分类方法[J]. 中国激光, 2017, 44(10): 1010007.
Article Outline
李积英, 杨永红, 温强, 王燕, 杨宜林. 改进SURF在多模MRI乳腺配准算法中的研究[J]. 激光与光电子学进展, 2020, 57(12): 121010. Jiying Li, Yonghong Yang, Qiang Wen, Yan Wang, Yilin Yang. Research on Improved SURF Breast Registration Algorithm in Multi-Mode MRI[J]. Laser & Optoelectronics Progress, 2020, 57(12): 121010.