针对单可见光或单红外条件下的IC器件表面缺陷对比度不足，缺陷检测精度低的问题，提出多光谱图像融合的IC器件表面缺陷检测方法。针对IC器件可见光与红外图像配准中存在尺度不一致和对比度反转问题，引入拉普拉斯金字塔和特征描述符重组策略改进ORB（Oriented FAST and Rotated BRIEF）图像配准算法。在图像配准的基础上，提出NSST_VP图像融合方法，以非下采样剪切波变换（Non-Subsample Shearlet Transform， NSST）得到红外图像和已配准可见光图像的低频和高频子带，对低频子带采用视觉显著图（Visual Significance Map， VSM）加权融合规则，高频子带则采用自适应脉冲耦合神经网络（PA- Pulse Coupled Neural Network， PA-PCNN）决策融合规则，进而通过NSST逆变换得到高质量多光谱融合图像。最后，将融合图像输入YOLOv8s模型进行检测。实验结果表明，改进ORB的图像配准平均精度为87.8%，比ORB图像配准精度提高了62%，NSST_VP图像融合算法在主观视觉效果和客观评价指标上均有所提高。在缺陷检测实验中，NSST_VP融合方法的均值平均精度（mean Average Precision， mAP）达到83.15%，比单可见光、单红外缺陷图像检测的mAP分别提高了22.97%，28.31%，比双树复小波变换融合、曲线变换融合、非下采样轮廓波变换融合方法的mAP分别提高了13.14%，15.01%，20.35%。
缺陷检测 IC器件 多光谱图像融合 图像配准 非下采样剪切波变换 YOLOv8s defect detection IC device multispectral image fusion image registration non-subsample shearlet transform YOLOv8s
西安邮电大学通信与信息工程学院，陕西西安 710061
为了更好地突出红外与可见光融合图像中的目标信息，保留更多的纹理细节信息，提出了一种基于非下采样剪切波变换（ non-subsample shearlet transform，NSST）域结合脉冲发放皮层模型（ spiking cortical model，SCM）与改进的模糊 C均值聚类（ fuzzy C-means clustering，FCM）的红外与可见光图像融合算法。首先，用改进的 FCM提取源红外图像中的红外目标信息；然后，将得到的红外图像与可见光图像的目标区域和背景区域进行 NSST分解，得到各自的高低频子带图像；接着，对得到的不同区域采用不同的融合策略，其中，对于高频背景区域采用 SCM模型与改进赋时矩阵进行融合；最后，使用 NSST逆变换，得到最终的融合图像。仿真实验证明，与其他方法相比，本文算法得到的融合图像在主观视觉上红外目标信息突出，纹理细节信息丰富，在客观评价上，其信息熵和边缘保留因子达到最优。
图像融合 非下采样剪切波变换 脉冲发放皮层模型 模糊 C均值聚类 赋时矩阵 image fusion, non-subsampled shearlet transform, s
福州大学物理与信息工程学院，福建 福州 350108
针对低照度图像存在识别度不高、亮度低、信噪比低和细节模糊等问题，提出了一种非下采样剪切波变换（NSST）域结合生成对抗网络（GAN）的低照度图像增强方法。首先，收集弱光图像和正常光图像数据集，将图像进行RGB颜色空间到HSV颜色空间的变换处理，保持色度、饱和度分量不变，对亮度分量进行NSST多尺度分解，利用分解得到的低通子带图像构建训练集；其次，构建基于GAN的低频子带图像增强模型，并利用低频子带图像训练集对模型进行训练；然后，对待处理的低照度图像进行NSST分解，利用训练的模型增强低频子带图像，利用尺度相关系数去除各高频方向子带噪声，并通过非线性增益函数增强边缘系数；最后，将增强处理后的低频、高频子带图像进行NSST重构，并将重构图像恢复至RGB颜色空间。所提方法与常见的方法相比，就低照度图像增强而言，结构相似度平均提升了3.89%，均方误差平均降低了1.03%，且在对噪声图像增强时，峰值信噪比和连续边缘像素比保持在21 dB和88%以上。实验结果表明，所提方法不论从视觉效果还是图像质量客观评价指标上较常见方法都有较大提升，能有效改善低照度图像的低质问题，为后续的图像处理分析奠定基础。
低照度图像增强 非下采样剪切波变换 生成对抗网络 图像去噪 图像边缘增强 激光与光电子学进展
2023, 60(24): 2410007
1 西安邮电大学现代邮政学院，陕西 西安 710061
2 西安邮电大学通信与信息工程学院，陕西 西安 710121
针对红外与可见光图像融合算法中存在的目标提取不充分、细节丢失等问题，提出一种基于改进的区域生长法（IRG）与引导滤波的红外与可见光图像融合方法。首先对红外图像使用IRG进行目标提取，然后对红外和可见光图像使用非下采样剪切波变换（NSST），并对所得低频与高频分量进行引导滤波，由滤波后的红外和可见光低频分量通过基于IRG的融合规则得到低频融合系数，由增强的高频分量经过双通道脉冲发放皮层模型（DCSCM）得到高频融合系数，最后经NSST逆变换得到融合图像。用主观评价和6种常用客观评价指标对融合图像进行评估。实验结果表明，所提算法的融合图像目标突出、背景信息清晰、细节保留能力强，在主观和客观评价上均有明显优势。
图像处理 图像融合 改进的区域生长法 引导滤波 双通道脉冲发放皮层模型 非下采样Shearlet变换 激光与光电子学进展
2023, 60(16): 1610009
兰州交通大学电子与信息工程学院, 甘肃 兰州 730070
针对红外和可见光图像融合存在的轮廓信息不全、边缘及纹理细节信息缺失等问题, 提出一种改进简化脉冲耦合神经网络(Improved Simplified Pulse Coupled Neural Network, MSPCNN)和模糊 C-均值(Fuzzy C-mean, FCM)图像融合算法。首先, 将红外和可见光图像用非下采样剪切波算法(Non-Subsampled Shearlet Transform, NSST)分解为高低频子带; 然后对分解后的高频子带采用 MSPCNN融合, 用一种高斯分布权重矩阵进行处理, 增强细节信息和对比度; 接着, 将得到的低频子带图像使用 FCM聚类算法进行聚类中心提取, 设置聚类中心近似阈值简化过程, 实现背景分类提取; 最后利 NSST进行逆变换, 从而完成红外和可见光的图像融合过程。通过客观评价指标计算, 本文所提方法在平均梯度、标准差、平均相似度等参考指标上相对于其他同类型算法均有改善提高, 由于模型参数的简化, 算法运行速度相对于其他算法得到提升, 算法更适用于复杂场景。
图像融合 非下采样剪切波算法 脉冲耦合神经网络 模糊 C-均值 image fusion non-subsampled shearlet transform pulse coupled neural network fuzzy C-mean
中国空间技术研究院遥感卫星总体部, 北京 100094
为了综合利用红外与可见光图像的光谱显著性信息，同时提高融合图像的视觉对比度，本文提出了一种基于视觉显著性加权与梯度奇异值最大的红外与可见光图像融合方法。首先，该全新算法通过滚动引导剪切波变换作为多尺度分析工具，来获取图像的近似层分量与多方向细节层分量。其次，针对反映图像主体能量特征的近似层分量，采用视觉显著性加权融合作为其融合规则，该方法利用显著性加权系数矩阵指导图像内的光谱显著性信息有效融合，提高了融合图像的视觉观察度。此外，采用基于梯度奇异值最大原则来指导细节层分量的融合，该方法可以极大程度地将隐藏在两种源图像内的梯度特征还原到融合图像中，使融合图像具有更加清晰的边缘细节。为了验证本文算法的有效性，进行了5组独立的融合实验，最终的实验结果表明，本文算法融合图像的对比度更高，边缘细节更加丰富，并且相较于其它现有典型方法，AVG、IE、QE、SF、SD、SCD等客观参数指标分别提高了16.4%、3.9%、11.8%、17.1%、21.4%、10.1%，因此具有更加优良的视觉效果。
图像融合 滚动引导剪切波变换 显著性加权 梯度奇异值 image fusion rolling guidance shearlet transform visual saliency weighted gradient singular value
1 昆明理工大学国土资源工程学院，云南 昆明 650093
2 云南省高校高原山区空间信息测绘技术应用工程研究中心，云南 昆明 650093
针对高分遥感影像融合存在影像间相关性差、融合亮度差异明显的问题，提出了一种基于非下采样剪切波变换（NSST）的国产高分全色与多光谱遥感影像融合方法。选取高分一号、高分二号和高分七号遥感影像作为实验数据，通过强度-色调-饱和度（IHS）提取多光谱影像的亮度分量；利用NSST算法对亮度分量和全色影像提取高频和低频信息，并充分考虑高频和低频之间的关系，设计有效的影像融合策略；最终采用IHS和NSST得到融合影像。与Brovey、Gram-Schmidt（GS）、Hue-Saturation-Value（HSV）、Co-occurrence filtering（COF）等方法对比验证，通过主观和客观评价相结合的方式对融合影像进行综合评价，结果表明所提方法是一种可行的遥感影像融合方法。
遥感 影像融合 非下采样剪切波变换 高分卫星影像 激光与光电子学进展
2022, 59(12): 1228001
1 南通理工学院 计算机与信息工程学院, 江苏 南通 226002
2 南通大学 计算机科学与技术学院, 江苏 南通 226000
为了克服当前较多可见光与红外图像融合方法在通过图像能量特征融合图像时, 忽略了图像的全局相对亮度特征, 导致融合图像存在红外目标表达能力弱等问题, 文章引入非下采样Shearlet变换, 通过测量图像的相对亮度来融合图像。借助NSST变换来处理输入图像, 解析出图像的低频和高频系数; 采用区域能量函数, 对区域图像所含的能量特征进行测量, 利用图像的全局均值和区域均值, 构造相对亮度测度模型, 求取区域图像的相对亮度特征, 并将区域图像的能量特征和相对亮度特征结合, 对低频系数完成加权融合; 利用图像的行、列、对角维度上的频率值, 建立四维细节测量因子, 以计算出图像的细节特征, 完成高频系数融合, 从而求取融合图像。实验结果表明, 较当前算法的融合图像, 所提算法不仅能更好的显示出图像的细节内容, 而且还能更好的表达图像中的红外目标内容。
图像融合 可见光与红外图像 非下采样Shearlet变换 相对亮度测度模型 四维细节测量因子 能量特征 image fusion visible and infrared images nonsubsampled shearlet transform relative brightness measurement model four dimensional detail measurement factor energy feature
针对当前基于显著性检测的红外与可见光图像融合方法存在目标不够突出、对比度低等问题, 本文提出了一种结合改进显著性检测与非下采样剪切波变换(non-subsampled shearlet transform, NSST)的融合方法。首先, 使用改进最大对称环绕(maximum symmetric surround, MSS)算法提取出红外图像的显著性图, 并进一步通过改进伽马校正进行增强, 同时应用同态滤波增强可见光图像。然后, 对红外图像与增强的可见光图像进行 NSST分解, 利用显著性图指导低频部分进行融合; 同时设定区域能量取大规则指导高频部分融合。最后, 通过 NSST逆变换重构融合图像。实验结果表明, 本文方法在平均梯度、信息熵、空间频率和标准差上远优于其他 7种融合方法, 可以有效突出红外目标, 提高融合图像的对比度和清晰度, 并保留可见光图像的丰富背景信息。
图像融合 显著性检测 非下采样剪切波变换 最大对称环绕 同态滤波 image fusion saliency detection non-subsampled shearlet transform maximum symmetric surround homomorphicfiltering
