多聚焦显微图像融合算法
1 引言
大视场高分辨率的显微成像技术是现代生物医学领域的主要研究方向,然而由于光学镜头的景深有限,难以在单次成像时获取大尺寸样本的全聚焦清晰图像。多聚焦图像融合将同一个视场下,不同区域聚焦的一系列图像融合为一张全聚焦图像,是扩展光学镜头景深的有效途径[1]。融合后的图像有利于图像识别、目标检测等进一步处理。因此,沿显微镜光轴方向采集同一视场下的多聚焦显微图像序列,利用多聚焦图像融合方法实现图像序列的融合,可以获取大视场高分辨率的全聚焦显微图像[2]。
多聚焦图像融合方法主要可以分为3类:变换域法、空间域法、深度学习法。变换域法将图像转换到变换域进行处理,根据图像变换方法可以分为多尺度变换法[3-5]、稀疏表示法[6]、梯度域法[7]、基于其他变换的方法,如DCT域法[8-9]等。变换域法在变换过程中可能会导致空间信息丢失、细节损失、清晰度降低。空间域法针对像素或者图像块在空间域进行融合,如多尺度加权梯度法[10]、广义随机游走法[11]、块划分的四叉树法[12]等,基于空间域的传统方法对像素值直接进行操作,但容易在融合图像边缘处产生伪影。深度学习法主要有分类模型法和回归模型法[13-14]等,深度学习法处理结果依赖于模型参数的调节,处理耗费时间长。所提算法是基于空间域法进行改进的,需要准确提取聚焦区域的边缘特征信息。引导滤波作为一种图像特征提取方法,相比传统图像滤波器,能够与图像内容很好地结合起来,通过引导图像向输出图像添加高频信息,既能进行边缘细节保持同时又可以实现平滑,且不会因为梯度反转产生伪影[15],能较好地处理聚焦区域复杂的多聚焦显微图像。随着引导滤波的广泛应用,在引导滤波的基础上又进行了改进,得到了快速引导滤波,处理速度得到提高且处理效果并没有明显的退化[16],更适用于对大视场显微图像进行处理的领域。
现有的多聚焦图像融合算法大多是基于两张前景与背景分别聚焦的图像进行融合的,与这类聚焦区域互补的两张图像不同,大视场显微图像序列中两两之间存在部分重合的聚焦区域,在多图融合过程中需对像素数量庞大的图像中的重叠聚焦信息进行判断。现有的算法对多张图像需要两两串行融合,容易积累误差[17],对聚焦区域图像信息融合的准确性低。因此,本文根据实验实拍的显微图像序列,并结合沿显微镜光轴方向不同层面图像的失焦-聚焦区域特点,提出了一种类高斯四邻域梯度算子与快速引导滤波结合的多聚焦显微图像融合算法,实现了大视场高分辨显微镜的多聚焦图像融合,融合结果图像清晰,高频细节信息丰富,边缘锐利不失真。
2 方法内容
所提算法通过类高斯四邻域梯度算子与快速引导滤波的结合加强了对高频信息的提取,并实现了多图最佳聚焦点的融合。具体步骤为:1)聚焦信息检测,对图像进行均值滤波,得到粗略聚焦信息图,由类高斯四邻域梯度算子对粗略聚焦图添加高频信息,得到精确聚焦图,再引入快速引导滤波进一步对精确聚焦信息图进行优化;2)决策图生成,将优化后的聚焦信息图在三维空间堆叠后,逐个像素纵向对比,找出聚焦度量值最大的点,对于像素数量庞大的大视场图像中的聚焦度量值相同的点,使用Sobel算子进行小区域梯度计算,确定聚焦度量最清晰的点,然后进行二值化得到聚焦区域的决策图;3)图像融合,由单层源图像对相应的决策图再次进行快速引导滤波,优化决策边缘,再对源图像进行加权融合,得到最终融合图像。
2.1 聚焦信息检测
聚焦信息检测是进行多聚焦图像融合的重要步骤,用以衡量图像灰度值的变化。图像聚焦清晰的区域就是图像灰度值急剧变化的区域,该区域灰度值的变化相较于失焦区域更大,即高频信息比失焦区域更多,边缘特征也更加尖锐。首先,利用均值滤波器
式中:
其次,通过类高斯四邻域梯度(GFG)算子对图像梯度进行计算,用一个类高斯卷积模板
式中:
为了进一步突出边缘高频信息,将通过类高斯四邻域梯度算子得到的源图像的高频信息
2.2 决策图生成
聚焦信息图用来表示每个源图像的聚焦信息分布情况,因此聚焦信息图的灰度值的大小代表源图像的聚焦程度。源图像中聚焦程度最好的像素点对应的聚焦信息图中该像素的灰度值也应该最大。根据这一性质,当前大多数的多聚焦图像融合算法从背景和前景分别聚焦的两张图像中提取聚焦特征得到聚焦信息图后,挑选两张聚焦信息图相同位置处灰度值较大的像素,赋值为1,反之为0,生成一张能够反映不同源图像聚焦区域的二值化决策图。使用这些算法进行n张图像的融合时,需要通过两两串行融合的方式,对图像的特征进行2(n-1)次提取后得到最终融合图。而对于多聚焦显微图像序列,聚焦区域是渐次变化的,失焦区域是模糊扩散的,每次融合会产生一个新的中间结果。从这个中间结果可以看出,没有完全地提取并融合两张图中的准确聚焦信息,融合出的图像会带有一定的错误失焦信息,尽管这种影响在两张图之间是微小的,但是接下来会在这个中间结果的基础上继续融合,这种过程类似于级联效应,一个过程的输出作为下一个过程的输入,多次级联导致信息累积误差,因此两两串行融合算法无法适用于多聚焦显微图像序列的融合。
因此,在决策图生成步骤中,本文提出了一种对n张(n≥2)最终聚焦信息图
2.3 图像融合
经过上述处理得到初始决策图
根据最终决策图
3 结果与分析
3.1 实验装置
为验证所提算法的有效性,采用大视场高分辨显微镜[19]对3种样品进行了沿光轴方向的显微图像序列的采集,该显微镜实物照片如
图 2. 大视场高分辨显微镜系统实物图[19]
Fig. 2. Photograph of wide-field-of-view high-resolution microscope system[19]
3种样品分别为蚂蚁装片(ant,视场大小约2.8 mm×2.8 mm)、金发藓装片(pogonatum,视场大小约为2.8 mm×2.8 mm)、轮藻装片(charophyte,视场大小约为1.4 mm×1.4 mm),如
图 3. 蚂蚁多聚焦显微图像序列。(a)~(j)采集的第1~10张蚂蚁装片显微图像
Fig. 3. Multifocus microscopic image sequence of ant. (a)‒(j) The 1st to the 10th ant-mounted microscopic images
图 4. 金发藓多聚焦显微图像序列。(a)~(j)采集的第1~10张金发藓装片显微图像
Fig. 4. Multifocus microscopic image sequence of pogonatum. (a)‒(j) The 1st to the 10th pogonatum-mounted microscopic images
图 5. 轮藻多聚焦显微图像序列。(a)~(m)采集的第1~13张轮藻装片显微图像
Fig. 5. Multifocus microscopic image sequence of charophyte. (a)‒(m) The 1st to the 13th charophyte-mounted microscopic images
3.2 融合结果
选择基于低通金字塔(RP)[3]、小波变换(DWT)[4]、非下采样轮廓变换(NSCT)[5]、多尺度加权梯度(MWGF)[10]及DCT域奇异值分解(DCT-SVD)[9]5种多聚焦图像融合方法与所提方法的融合结果进行了对比分析,结果如
图 6. 不同方法的融合结果对比。(a)蚂蚁融合结果;(b)金发藓融合结果;(c)轮藻融合结果
Fig. 6. Comparison of fusion results among different methods. (a) Ant fusion results; (b) pogonatum fusion results; (c) charophyte fusion results
图 7. 不同方法融合结果的局部放大对比。(a)蚂蚁融合结果的局部放大;(b)金发藓融合结果的局部放大;(c)轮藻融合结果的局部放大
Fig. 7. Comparison of local magnification results among different methods. (a) Local magnification results of ant; (b) local magnification results of pogonatum; (c) local magnification results of charophyte
由以上结果可知:在其他几种算法相比所提算法多出的n‒2次边缘特征提取过程中,两张源图像在融合过程中错误地融合到了失焦模糊的区域并在后续过程中不断积累前一次的微小误差,导致最终融合效果变差;所提方法全面地考虑n张待融合图像的信息,每一次提取聚焦信息时都对比了全局不同层面的边缘特征,避免了级联效应,减少了信息的逐步损失,保留了更多源图像中的原始信息和细节,使得最终结果细节丰富。同时其他算法在聚焦信息提取过程中存在边缘处被模糊或者部分信息丢失导致融合后边缘处有不同程度伪影的问题,所提方法中的类高斯四邻域算子与引导滤波器结合提取了精确的聚焦高频信息,且引导滤波器较好地保留和增强了各幅源图像的聚焦清晰的边缘特征,使得最终融合结果细节丰富且并未产生边缘处的伪影。
3.3 评价指标
为定量分析和直观评价所提算法及对比算法的性能,选取了标准差(STD)[13]、峰值信噪比(PSNR)[20]、结构相似性指数(SSIM)[21]、互信息(MI)[22]及边缘信息保持度(QG)[23]5种评价指标对不同多聚焦融合方法进行定量分析。其中标准差和互信息用来度量从源图像获取的信息量,峰值信噪比和结构相似性指数用来反映融合图像与源图像之间的相似性,边缘信息保持度计算从源图像传递到融合图像的边缘信息量。
表 1. 不同方法对蚂蚁装片的评价指标对比
Table 1. Comparison of evaluation indexes of different methods for ant
|
表 2. 不同方法对金发藓装片的评价指标对比
Table 2. Comparison of evaluation indexes of different methods for pogonatum
|
表 3. 不同方法对轮藻装片的评价指标对比
Table 3. Comparison of evaluation indexes of different methods for charophyte
|
由
4 总结
针对聚焦区域渐次变化的大视场显微图像序列,提出了一种基于类高斯四邻域梯度算子与快速引导滤波结合的多聚焦显微图像融合算法。该算法首先结合类高斯四邻域梯度算子与快速引导滤波对源图像中的高频聚焦信息进行提取并增强,然后提出一种空间域多图融合策略,对含有相同聚焦信息的小区域进行聚焦度量,选取最佳聚焦点进行融合。通过多组实拍图像进行算法对比测试,结果表明所提方法对聚焦区域融合准确,最终图像细节丰富,清晰度高,实现了对大视场高分辨率多聚焦显微图像的高质量融合。
[1] Liu Y, Wang L, Cheng J, et al. Multi-focus image fusion: a survey of the state of the art[J]. Information Fusion, 2020, 64: 71-91.
[2] 贾仁庆, 殷高方, 赵南京, 等. 浮游藻类细胞显微多聚焦图像融合方法[J]. 光学学报, 2023, 43(12): 1210001.
[3] Toet A. Image fusion by a ratio of low-pass pyramid[J]. Pattern Recognition Letters, 1989, 9(4): 245-253.
[4] De I, Chanda B. A simple and efficient algorithm for multifocus image fusion using morphological wavelets[J]. Signal Processing, 2006, 86(5): 924-936.
[5] Zhang Q, Guo B L. Multifocus image fusion using the nonsubsampled contourlet transform[J]. Signal Processing, 2009, 89(7): 1334-1346.
[6] Yang B, Li S T. Multifocus image fusion and restoration with sparse representation[J]. IEEE Transactions on Instrumentation and Measurement, 2010, 59(4): 884-892.
[7] Petrovic V S, Xydeas C S. Gradient-based multiresolution image fusion[J]. IEEE Transactions on Image Processing, 2004, 13(2): 228-237.
[8] Amin-Naji M, Aghagolzadeh A. Multifocus image fusion in DCT domain using variance and energy of Laplacian and correlation coefficient for visual sensor networks[J]. Journal of Artificial Intelligence and Data Mining, 2018, 6(2): 233-250.
[9] Amin-NajiM, Ranjbar-NoieyP, AghagolzadehA. Multi-focus image fusion using Singular Value Decomposition in DCT domain[C]∥2017 10th Iranian Conference on Machine Vision and Image Processing (MVIP), November 22-23, 2017, Isfahan, Iran. New York: IEEE Press, 2018: 45-51.
[10] Zhou Z Q, Li S, Wang B. Multi-scale weighted gradient-based fusion for multi-focus images[J]. Information Fusion, 2014, 20: 60-72.
[11] MaJ L, ZhouZ Q, WangB, et al. Multi-focus image fusion based on multi-scale focus measures and generalized random walk[C]∥2017 36th Chinese Control Conference (CCC), July 26-28, 2017, Dalian, China. New York: IEEE Press, 2017: 5464-5468.
[12] Bai X Z, Zhang Y, Zhou F G, et al. Quadtree-based multi-focus image fusion using a weighted focus-measure[J]. Information Fusion, 2015, 22: 105-118.
[13] Xu H, Fan F, Zhang H, et al. A deep model for multi-focus image fusion based on gradients and connected regions[J]. IEEE Access, 2020, 8: 26316-26327.
[14] Huang J, Le Z L, Ma Y, et al. A generative adversarial network with adaptive constraints for multi-focus image fusion[J]. Neural Computing and Applications, 2020, 32(18): 15119-15129.
[15] He K M, Sun J, Tang X O. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(6): 1397-1409.
[17] 印象, 马博渊, 班晓娟, 等. 面向显微影像的多聚焦多图融合中失焦扩散效应消除方法[J]. 工程科学学报, 2021, 43(9): 1174-1181.
Yin X, Ma B Y, Ban X J, et al. Defocus spread effect elimination method in multiple multi-focus image fusion for microscopic images[J]. Chinese Journal of Engineering, 2021, 43(9): 1174-1181.
[18] 田帅, 任亚飞, 邵馨叶, 等. 结合滤波算子与双尺度分解的多聚焦图像融合[J]. 激光与光电子学进展, 2021, 58(6): 0610010.
[19] 郎松, 张艳微, 郑汉青, 等. 大视场高分辨HiLo光切片显微成像系统[J]. 中国光学, 2022, 15(6): 1302-1312.
[20] Aslantas V, Kurban R. Fusion of multi-focus images using differential evolution algorithm[J]. Expert Systems With Applications, 2010, 37(12): 8861-8870.
[21] Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.
[22] Hossny M, Nahavandi S, Creighton D. Comments on ‘Information measure for performance of image fusion’[J]. Electronics Letters, 2008, 44(18): 1066-1067.
[23] Xydeas C S, Petrović V. Objective image fusion performance measure[J]. Electronics Letters, 2000, 36(4): 308-309.
付宏语, 巩岩, 汪路涵, 张艳微, 郎松, 张志, 郑汉青. 多聚焦显微图像融合算法[J]. 激光与光电子学进展, 2024, 61(6): 0618022. Hongyu Fu, Yan Gong, Luhan Wang, Yanwei Zhang, Song Lang, Zhi Zhang, Hanqing Zheng. Multifocus Microscopic Image Fusion Algorithm[J]. Laser & Optoelectronics Progress, 2024, 61(6): 0618022.