1 北方民族大学 计算机科学与工程学院， 宁夏银川75002
2 北方民族大学图像图形智能处理国家民委重点实验室， 宁夏银川75001
3 宁夏医科大学 医学信息工程学院， 宁夏银川750004
多模态医学图像融合在医学临床应用中起着至关重要的作用，为了解决现有方法大多数侧重于局部特征的提取，对全局依赖关系的探索不足，忽略了全局和局部信息交互，导致难以有效解决周围组织与病灶区域之间的模式复杂性和强度相似性问题。该文提出面向PET和CT医学图像融合的LL-GG-LG Net模型。首先，提出了局部-局部融合模块（Local-Local Fusion Module，LL Module），该模块采用双层注意力机制更好地关注局部细节信息特征；其次，设计了全局-全局融合模块（Global-Global Fusion Module，GG Module），该模块通过在Swin Transformer中加入残差连接机制将局部信息引入全局信息中，提高了Transformer对局部信息的关注程度；然后，提出一种基于可微分神经架构搜索自适应的密集融合网络的局部-全局融合模块（Local-Global Fusion Module，LG Module），充分捕获全局关系并保留局部线索，有效解决背景和病灶区域相似度高问题；使用临床多模态肺部医学图像数据集验证模型的有效性，实验结果表明，该文方法在平均梯度，边缘强度，QAB/F，空间频率，标准差，信息熵等感知图像融合质量评价指标上与其他七种方法中最优的方法相比，分别平均提高了21.5%，11%，4%，13%，9%，3%。模型能够突出病变区域信息，融合图像结构清晰且纹理细节丰富。
医学图像融合 深度学习 注意力机制 可微分架构搜索 密集网 medical image fusion deep learning attention mechanism differentiable architecture search dense network 光学 精密工程
2023, 31(20): 3050
南京邮电大学自动化学院、人工智能学院，江苏 南京 210023
为了有效利用少量的医学图像标签数据和大量的无标签数据，提出了一种基于半监督学习和生成对抗网络的医学图像融合算法。所提生成对抗网络融合架构包含1个生成器网络和2个判别器网络。采用半监督学习策略对所提网络进行训练，主要包括监督训练、无监督训练、参数微调等3个阶段。此外，生成器由面向融合任务的U-Net和squeeze and excitation通道注意力模块组成，而判别器含有3层卷积层、1层全连接层及sigmoid激活输出层。在各种不同模态医学图像上的实验结果表明，与现有的6种基于深度学习的算法相比，所提算法的主观视觉效果和客观性能指标都有一定竞争力。相关消融实验也验证了半监督学习策略能强化生成网络的性能，提高融合图像的质量。
机器视觉 生成对抗网络 半监督学习 医学图像融合 注意力机制 激光与光电子学进展
2022, 59(22): 2215005
1 昆明理工大学信息工程与自动化学院，云南 昆明 650500
2 云南省人工智能重点实验室，云南 昆明 650500
医学图像融合作为一种对多种不同形式的医学图像所包含的信息进行整合的有效方法，被广泛用于疾病诊断和治疗规划等各种临床应用中。然而，现有的医学图像融合方法没有很好地解决不同器官之间的边界模糊问题，使得融合后的图像较难理解。为了解决这个问题，提出了一种基于多尺度特征学习和边缘增强的医学图像融合模型。具体地，首先使用多个不同空洞率的空洞卷积扩大感受野，使模型学习到源图像更具判别性的多尺度特征。然后，根据最大值融合策略融合源图像特征，得到融合特征，并通过卷积层对其进行重建，得到融合图像。同时，引入边缘增强模块，增强融合图像中的边缘信息，从而较好地解决了医学图像融合中不同器官之间的边界模糊问题。实验结果证明，所提方法得到的结果无论从主观视觉效果还是客观定量评价，均优于对比方法。
激光与光电子学进展
2022, 59(6): 0617029
江南大学物联网工程学院, 江苏 无锡 214122
为解决多模医学图像融合边缘模糊,互补信息不充分的问题,提出一种基于改进的引导滤波和双通道脉冲耦合神经网络(PCNN)的医学图像融合算法。利用非下采样轮廓波对医学源图像进行变换,采用双通道PCNN融合图像的低频部分,将改进的拉普拉斯能量和作为双通道PCNN的激励输入,将改进的空间频率作为链接强度;采用改进的引导滤波算法融合图像的高频部分。融合后的低频和高频信号进行非下采样轮廓波变换逆变换即可得到融合图像。实验结果表明,多模医学图像融合中,所提算法有效保留了源图像的特征信息,并在互信息量、信息熵、空间频率等客观评价指标上取得了良好的效果。
图像处理 医学图像融合 引导滤波 非下采样轮廓波 双通道脉冲耦合神经网络 改进的拉普拉斯能量和 激光与光电子学进展
2019, 56(15): 151004
昆明理工大学 信息工程与自动化学院, 云南 昆明 650500
提出一种低秩稀疏成分分解和显著性相结合的医学图像融合方法。所提方法假设待融合源图像由低秩成分和稀疏成分构成, 设计了低秩与稀疏成分分解模型, 通过不同的字典对不同成分进行了稀疏表达。在融合过程中采用一种“绝对值”取大的策略对低秩成分融合, 以保留源图像的亮度信息;对于稀疏成分, 提出一种基于视觉显著性度量的方法来保留显著性特征。实验结果表明,本文方法无论从主观视觉还是客观评价指标上都优于最新的方法。
信息光学 医学图像融合 稀疏表示 低秩分解 显著性度量 information optics medical image fusion sparse representation low rank decomposition salience metric
1 武汉商学院信息工程学院, 湖北 武汉 430056
2 武汉大学国际软件学院, 湖北 武汉 430079
针对当前多模态医学图像融合方法中功能与结构信息互补性不强,易出现边缘失真与轮廓模糊等现象, 提出了基于局部极值分解耦合显著特征的医学图像融合方案。引入局部极值,将源图像在不同尺度下分解为一系 列的平滑与细节子图像；利用Canny算子获得边缘显著加权映射,以保持源图像的结构信息,并通过上下文感知算子来输出色彩显著加权映射, 提取色彩与亮度信息；分别定义基于边缘和色彩的显著特征函数,将其作为加权映 射系数的融合准则,得到平滑与细节融合图像；对平滑与细节图像进行重构,形成新图像。结果表明与当前融合技术相比, 在CT图像与MRI图像、CT图像与PET图像融合中,所提方法得到的边缘与轮廓更清晰,细节更丰富。提 出算法具有较高的融合质量,在医学、遥感与红外探测等领域有一定的应用价值。
图像处理 医学图像融合 局部极值 边缘显著特征 色彩显著特征 加权映射 image processing medical image fusion local extreme edge saliency features color saliency feature weighted mapping
为了提升医学图像融合质量, 采用了一种基于2维经验模态分解(BEMD)特征分类和复合型脉冲耦合神经网络的医学图像融合算法。首先将多模医学图像经过BEMD分解成2维内蕴模函数(BIMF)和残差项, 然后分别将BIMF层和残差项值输入脉冲耦合神经网络(PCNN)中, 得到各自的点火映射图, 再将相同点火次数的像素提取归类, 点火次数大的对应图像纹理, 归为纹理类, 其余归为背景类; 统计各个纹理类集合中的像素极值确定灰度分布范围, 最后将两幅图像中纹理类像素集合处于灰度分布范围的像素通过PCNN进行融合, 其它像素通过双通道PCNN进行融合。结果表明,该算法解决了PCNN对偏暗图像的处理效果不理想的问题, 与传统融合算法相比, 性能具有优势,且能够较大幅度提高融合图像的质量。
图像处理 医学图像融合 2维经验模态分解 2维内蕴模函数 脉冲耦合神经网络 特征提取 image processing medical image fusion bidimensional empirical mode decomposition bidimensional intrinsic mode functions pulse coupled neural network feature extraction
北方民族大学信息与计算科学学院 信息与系统科学研究所, 宁夏 银川 750021
针对多模态医学影像的成像原理，为了弥补各个模态的医学图像的不足，提出了一种基于非下采样Contourlet变换的医学图像融合算法。首先对源图像进行非下采样Contourlet分解，分别得到低频子带系数和高频子带系数，然后对低频子带系数采用区域能量加权的融合规则，高频子带系数则选取区域标准差比例加权作为融合规则，最后进行非下采样Contourlet逆变换，得到融合图像。通过实验对比表明，该算法明显优于小波(Wavelet)、Contourlet、Wavelet+CS(CS为压缩感知)算法，具有更好的融合性能，清晰度更高，是一种可行、有效的图像融合方法。
图像处理 医学图像融合 非下采样Contourlet变换 标准差 区域能量 激光与光电子学进展
2013, 50(11): 111002
