针对单可见光或单红外条件下的IC器件表面缺陷对比度不足，缺陷检测精度低的问题，提出多光谱图像融合的IC器件表面缺陷检测方法。针对IC器件可见光与红外图像配准中存在尺度不一致和对比度反转问题，引入拉普拉斯金字塔和特征描述符重组策略改进ORB（Oriented FAST and Rotated BRIEF）图像配准算法。在图像配准的基础上，提出NSST_VP图像融合方法，以非下采样剪切波变换（Non-Subsample Shearlet Transform， NSST）得到红外图像和已配准可见光图像的低频和高频子带，对低频子带采用视觉显著图（Visual Significance Map， VSM）加权融合规则，高频子带则采用自适应脉冲耦合神经网络（PA- Pulse Coupled Neural Network， PA-PCNN）决策融合规则，进而通过NSST逆变换得到高质量多光谱融合图像。最后，将融合图像输入YOLOv8s模型进行检测。实验结果表明，改进ORB的图像配准平均精度为87.8%，比ORB图像配准精度提高了62%，NSST_VP图像融合算法在主观视觉效果和客观评价指标上均有所提高。在缺陷检测实验中，NSST_VP融合方法的均值平均精度（mean Average Precision， mAP）达到83.15%，比单可见光、单红外缺陷图像检测的mAP分别提高了22.97%，28.31%，比双树复小波变换融合、曲线变换融合、非下采样轮廓波变换融合方法的mAP分别提高了13.14%，15.01%，20.35%。
缺陷检测 IC器件 多光谱图像融合 图像配准 非下采样剪切波变换 YOLOv8s defect detection IC device multispectral image fusion image registration non-subsample shearlet transform YOLOv8s
1 北方民族大学 计算机科学与工程学院，宁夏银川75002
2 宁夏医科大学 医学信息工程学院，宁夏银川750004
3 北方民族大学 图像图形智能处理国家民委重点实验室，宁夏银川750021
基于生成对抗网络（Generative Adversarial Network，GAN）的医学图像融合是计算机辅助诊断领域的研究热点之一，但是现有基于GAN的融合方法存在训练不稳定，提取图像的局部和全局上下文语义信息能力不足，交互融合程度不够等问题。针对上述问题，本文提出了双耦合交互式融合GAN （Dual-Coupled Interactive Fusion GAN， DCIF-GAN）。首先，设计了双生成器双鉴别器GAN，通过权值共享机制实现生成器之间和鉴别器之间的耦合，通过全局自注意力机制实现交互式融合；第二，设计耦合CNN-Transformer的特征提取模块（Coupled CNN-Transformer Feature Extraction Module， CC-TFEM）和特征重构模块（CNN-Transformer Feature Reconstruction Module， C-TFRM），提升了对同一模态图像内部的局部和全局特征信息提取能力；第三，设计跨模态交互式融合模块（Cross Model Intermodal Fusion Module， CMIFM），通过跨模态自注意力机制，进一步整合不同模态间的全局交互信息。为了验证本文模型的有效性，在肺部肿瘤PET/CT医学图像数据集上进行实验，该文方法在平均梯度，空间频率，结构相似度，标准差，峰值信噪比，信息熵等上与其他四种方法中最优方法相比，分别提高了1.38%，0.39%，29.05%，30.23%，0.18%，4.63%。模型能够突出病变区域信息，融合图像结构清晰且纹理细节丰富。
医学图像 图像融合 PET/CT 耦合生成对抗网络 Swin Transformer medical image image fusion PET/CT coupled generative adversarial network swin transformer
南京信息工程大学电子与信息工程学院，江苏 南京 210044
针对车底危险物图像拼接中存在特征点匹配精度低、匹配速度慢、拼接处存在裂缝以及拼接时间久的问题，提出一种车底危险物图像快速拼接算法。首先，利用角点检测（FAST）算法进行图像特征点提取，再用二进制鲁棒不变可扩展关键点（BRISK）算法对保留的特征点进行特征描述；其次，用快速最近邻搜索（FLANN）算法进行粗匹配；接着，使用渐进一致采样（PROSAC）算法进行特征点提纯；最后，利用拉普拉斯金字塔算法进行图像融合与拼接。实验结果表明：在车底危险物图像数据中，与SIFT、SURF、ORB算法相比，所提算法的图像特征匹配精度分别提高13.10百分点、8.59百分点、11.27百分点，匹配时间分别缩短76.26%、85.36%、10.27%，图像拼接时间分别缩短63.73%、64.21%、20.07%，拼接处不存在明显裂痕。因此，基于FAST、BRISK、PROSAC和拉普拉斯金字塔组合的图像拼接算法是一种优质的图像快速拼接算法。
图像处理 FAST算法 BRISK算法 PROSAC算法 拉普拉斯金字塔算法 图像融合 激光与光电子学进展
2024, 61(8): 0837011
1 南京理工大学机械工程学院，江苏 南京 210094
2 南京理工大学智能弹药国防重点实验室，江苏 南京 210094
针对传统多尺度融合方法不能突出目标信息、融合图像缺失细节与纹理的问题，提出一种基于梯度域引导滤波和显著性检测的红外与可见光图像融合方法。该方法利用梯度域引导滤波将输入图像分解为基础层和细节层，同时利用加权的全局对比度方法将基础层分解为特征层以及差异层。在融合过程中，分别采用相位一致性组合加权局部能量、局部熵结合加权最小二乘优化、平均规则来融合特征层、差异层、细节层。实验结果表明，所提融合方法的多项指标相对于其他方法提升较多，且图像视觉效果更好，在突出目标信息、保留轮廓细节、提高对比度和清晰度方面十分有效。
图像融合 引导滤波 显著性分析 多尺度分解 激光与光电子学进展
2024, 61(8): 0837010
西安工业大学光电工程学院，陕西 西安 710021
针对机器视觉检测光学镜片表面疵病时，在单一的照明环境下疵病图像对比度低，检测方法疵病识别率低等问题，提出了一种双光源下光学镜片表面疵病视觉检测方法。根据散射成像原理，在前照光和背照光两种不同的照明方式下，使用图像传感器得到含有疵病的被测光学镜片图像；再将多幅图像通过图像融合算法融合为一幅图像；最后，利用识别算法获得光学镜片表面的疵病尺寸信息。对两种不同的疵病（划痕、麻点）进行检测，将本系统的测试结果与ZYGO干涉仪的处理结果进行对比，结果表明，所提方法测量的麻点误差不超过2.7%，划痕误差不超过0.8%，检测效率比干涉仪提高了98.24%，缩短了检测时间。与单一照明环境下的检测方法和人工检测相比，所提方法对疵病的识别准确率与精度更高。
疵病检测 双光源 机器视觉 散射成像 图像融合 激光与光电子学进展
2024, 61(10): 1012004
昆明理工大学国土资源工程学院，云南 昆明 650093
提出了一种基于粒子群优化的融合方法，旨在解决图像融合过程中可能出现的光谱信息和空间细节信息损失、融合图像不清晰等问题。首先对原始图像进行预处理，以获取图像各通道的边缘检测矩阵；其次，利用最小二乘法计算光谱覆盖系数，以获取细节图像；最后自适应注入模型框架，引入加权矩阵，利用粒子群优化算法和综合全局相对误差（ERGAS）指数函数优化边缘检测的权重，计算数据集波段权重，生成最终的融合图像。选取了不同分辨率的遥感卫星影像（WorldView-2、GF-2和GeoEye）进行了研究，并采用5种不同融合方法进行对比实验，选用6种评价指标进行定量分析。结果表明，所提方法在主观视觉效果以及平均梯度和空间频率等客观定量评价指标上表现优于其余方法，在保留光谱和空间信息方面也取得了较好的融合效果。
图像融合 多光谱与全色图像 最小二乘法 粒子群优化 边缘检测权重 激光与光电子学进展
2024, 61(8): 0828002
昆明理工大学国土资源工程学院，云南 昆明 650093
针对红外与可见光图像融合过程中细节信息丢失过多、融合结果纹理不清晰、对比度不高等问题，提出一种基于图像增强和二次非下采样轮廓波变换（NSCT）分解的红外与可见光图像融合方法。首先，对可见光图像采用基于引导滤波的图像增强算法提升图像可视性。其次，对增强后的可见光图像和红外图像分别进行NSCT分解得到低频子带和高频子带，并且在不同子带间使用不同的融合规则，得出一次融合图像的NSCT系数。然后，对一次融合图像的NSCT系数重构再分解为高频子带和低频子带并分别与可见光图像的高低频子带融合得到二次融合图像的NSCT系数。最后，对二次融合图像的NSCT系数进行逆变换重构得到最终的融合图像。利用公共数据集进行大量试验，使用8种评估指标，与8种基于多尺度的融合方法对比。实验结果表明：所提方法能保留更多源图像中的细节信息，还能提高融合结果的边缘轮廓清晰度、整体对比度，在主观视觉和评价指标上都存在优势。
图像融合 引导滤波 高频子带 低频子带 激光与光电子学进展
2024, 61(4): 0437001
光学遥感图像广泛应用于天气预报、环境监测和海洋监管等领域。光学传感器拍摄的图像受大气条件和气候因素影响较大，云雾遮挡可导致图像内容丢失、对比度下降和颜色失真等一系列问题。基于此，提出一种基于融合和细化机制的光学遥感图像去云雾算法，实现高质量的单张遥感图像云雾去除。云雾去除网络基于融合和细化机制实现含云雾图与无云雾图的转换。其中，采用融合机制的多尺度云雾特征融合金字塔在不同尺度空间上提取云雾特征并进行融合，采用细化机制的多尺度云雾边缘特征细化单元对云雾的边缘特征进行细化加工，进而重构出清晰的无云图像。采用对抗学习策略，判别网络对特征进行自适应校正并将云雾特征分离出来，从而得到更准确的判别结果，有利于网络生成逼真的云雾去除结果。在开源数据集上选取5种算法进行对比实验，实验结果表明，所提算法云雾去除效果较优，没有产生颜色失真和伪影等现象。在薄云测试集上，所提算法的结构相似性（SSIM）和峰值信噪比（PSNR）分别超过第二名约11.9%和15.0%，在厚云测试集上，所提算法的SSIM和PSNR分别超过第二名约9.3%和9.9%。
光学遥感 云雾去除 图像融合 图像细化 对抗学习 激光与光电子学进展
2024, 61(4): 0428012
光子学报
2023, 52(12): 1212004
