针对单可见光或单红外条件下的IC器件表面缺陷对比度不足,缺陷检测精度低的问题,提出多光谱图像融合的IC器件表面缺陷检测方法。针对IC器件可见光与红外图像配准中存在尺度不一致和对比度反转问题,引入拉普拉斯金字塔和特征描述符重组策略改进ORB(Oriented FAST and Rotated BRIEF)图像配准算法。在图像配准的基础上,提出NSST_VP图像融合方法,以非下采样剪切波变换(Non-Subsample Shearlet Transform, NSST)得到红外图像和已配准可见光图像的低频和高频子带,对低频子带采用视觉显著图(Visual Significance Map, VSM)加权融合规则,高频子带则采用自适应脉冲耦合神经网络(PA- Pulse Coupled Neural Network, PA-PCNN)决策融合规则,进而通过NSST逆变换得到高质量多光谱融合图像。最后,将融合图像输入YOLOv8s模型进行检测。实验结果表明,改进ORB的图像配准平均精度为87.8%,比ORB图像配准精度提高了62%,NSST_VP图像融合算法在主观视觉效果和客观评价指标上均有所提高。在缺陷检测实验中,NSST_VP融合方法的均值平均精度(mean Average Precision, mAP)达到83.15%,比单可见光、单红外缺陷图像检测的mAP分别提高了22.97%,28.31%,比双树复小波变换融合、曲线变换融合、非下采样轮廓波变换融合方法的mAP分别提高了13.14%,15.01%,20.35%。
缺陷检测 IC器件 多光谱图像融合 图像配准 非下采样剪切波变换 YOLOv8s defect detection IC device multispectral image fusion image registration non-subsample shearlet transform YOLOv8s
武汉工程大学智能机器人湖北省重点实验室, 武汉 430000
针对遥感地物图像具有背景复杂且种类众多的特点, 利用传统算法进行分割会导致边缘模糊、信息丢失及分割精度低的问题, 提出了一种基于改进DeepLabV3+网络的语义分割算法。首先, 在主干网络中引入改进后的特征提取网络CHRNet; 其次, 使用非下采样轮廓波变换(NSCT)算法重构空洞空间金字塔池化(ASPP)模块中的全局池化操作; 最后, 在模型编码和解码阶段添加无参数的注意力机制SimAM, 加强模块间的特征传递, 提高特征利用率。实验表明, 在PASCAL VOC2012和WHDLD数据集上, 改进算法的平均交并比(MIoU)分别达到了81.56%和64.2%, 较原有算法分别提升了约4.61和2.8个百分点, 改进算法在保证分割速率的同时, 提升了分割精度。
遥感图像 非下采样轮廓波变换 空洞空间金字塔池化 注意力机制 remote sensing image DeepLabV3+ DeepLabV3+ Non-Subsampled Contourlet Transform Atrous Spatial Pyramid Pooling attention mechanism
福州大学物理与信息工程学院,福建福州 350108
为减少浮选气泡合并、破碎等变化对泡沫表面流动特征提取的影响,提出了一种非下采样剪切波变换(Nonsubsampled Shearlet Transform,NSST)域红外目标分割及改进加速鲁棒特征(Speeded Up Robust Features,SURF)匹配的泡沫表面流速检测方法。首先,对相邻两帧泡沫红外图像 NSST分解,在多尺度域构建图割能量函数的边界、亮度、显著性约束项实现对合并、破碎气泡的分割;然后,对分割后的背景区域进行 SURF特征点检测,通过统计扇形区域内的尺度相关系数确定特征点主方向,采用特征点邻域的多方向高频系数构造特征描述符;最后,对相邻两帧泡沫红外图像进行特征点匹配,根据匹配结果计算泡沫流速的大小、方向、加速度、无序度。实验结果表明,本文方法能有效分割出合并、破碎的气泡,具有较高的分割精度,提升了 SURF算法的匹配精度,流速检测受气泡合并、破碎的影响小,检测精度和效率较现有方法有一定提升,能准确地表征不同工况下泡沫表面的流动特性,为后续的工况识别奠定基础。
泡沫红外图像 流速检测 非下采样剪切波变换 红外目标分割 SURF匹配 foam infrared images, flow velocity detection, non
西安邮电大学通信与信息工程学院,陕西西安 710061
为了更好地突出红外与可见光融合图像中的目标信息,保留更多的纹理细节信息,提出了一种基于非下采样剪切波变换( non-subsample shearlet transform,NSST)域结合脉冲发放皮层模型( spiking cortical model,SCM)与改进的模糊 C均值聚类( fuzzy C-means clustering,FCM)的红外与可见光图像融合算法。首先,用改进的 FCM提取源红外图像中的红外目标信息;然后,将得到的红外图像与可见光图像的目标区域和背景区域进行 NSST分解,得到各自的高低频子带图像;接着,对得到的不同区域采用不同的融合策略,其中,对于高频背景区域采用 SCM模型与改进赋时矩阵进行融合;最后,使用 NSST逆变换,得到最终的融合图像。仿真实验证明,与其他方法相比,本文算法得到的融合图像在主观视觉上红外目标信息突出,纹理细节信息丰富,在客观评价上,其信息熵和边缘保留因子达到最优。
图像融合 非下采样剪切波变换 脉冲发放皮层模型 模糊 C均值聚类 赋时矩阵 image fusion, non-subsampled shearlet transform, s
兰州交通大学电子与信息工程学院,甘肃兰州 730070
目前,红外与可见光图像融合算法依然存在着对复杂场景适用性低、融合图像细节纹理信息大量丢失、对比度与清晰度不高等问题,针对上述存在的问题,本文结合非下采样剪切波变换( Non-Subsampled Shearlet Transform, NSST)、残差网络( Residual Network, ResNet)与生成对抗网络(Generative Adversarial Network, GAN)提出一种 N-RGAN模型。通过 NSST变换将红外与可见光图像分解为高频子带和低频子带;对高频子带进行拼接并输入由残差模块改进过的生成器,并将源红外图像作为判决标准,以此提升网络融合性能与融合图像细节刻画以及目标凸显能力;对红外图像与可见光图像进行显著性特征提取,通过自适应加权对低频子带进行融合,提升图像对比度与清晰度;对高频子带的融合结果与低频子带的融合结果进行 NSST逆变换,从而得到红外与可见光图像的融合结果。通过与各类算法的融合结果进行对比,本文所提方法在峰值信噪比( Peak Signal to Noise Ratio, PSNR)、平均梯度( Average Gradient, AVG)、图像熵( Image Entropy, IE)、空间频率( Spatial Frequency, SF)、边缘强度( Edge Strength, ES)、图像清晰度( Image Clarity, IC)等多个客观指标上均有提高,可提升复杂场景下的红外与可见光图像融合效果,改善图像细节纹理信息损失严重的问题,同时提升图像对比度与清晰度。
图像融合 红外与可见光图像 显著性特征提取 非下采样剪切波变换 残差网络 生成对抗网络 image fusion, infrared and visible images, salient
福州大学物理与信息工程学院,福建 福州 350108
针对低照度图像存在识别度不高、亮度低、信噪比低和细节模糊等问题,提出了一种非下采样剪切波变换(NSST)域结合生成对抗网络(GAN)的低照度图像增强方法。首先,收集弱光图像和正常光图像数据集,将图像进行RGB颜色空间到HSV颜色空间的变换处理,保持色度、饱和度分量不变,对亮度分量进行NSST多尺度分解,利用分解得到的低通子带图像构建训练集;其次,构建基于GAN的低频子带图像增强模型,并利用低频子带图像训练集对模型进行训练;然后,对待处理的低照度图像进行NSST分解,利用训练的模型增强低频子带图像,利用尺度相关系数去除各高频方向子带噪声,并通过非线性增益函数增强边缘系数;最后,将增强处理后的低频、高频子带图像进行NSST重构,并将重构图像恢复至RGB颜色空间。所提方法与常见的方法相比,就低照度图像增强而言,结构相似度平均提升了3.89%,均方误差平均降低了1.03%,且在对噪声图像增强时,峰值信噪比和连续边缘像素比保持在21 dB和88%以上。实验结果表明,所提方法不论从视觉效果还是图像质量客观评价指标上较常见方法都有较大提升,能有效改善低照度图像的低质问题,为后续的图像处理分析奠定基础。
低照度图像增强 非下采样剪切波变换 生成对抗网络 图像去噪 图像边缘增强 激光与光电子学进展
2023, 60(24): 2410007
传统红外与可见光融合图像在复杂环境下存在细节缺失, 特征单一导致目标模糊等问题, 本文提出一种基于卷积神经网络结合非下采样轮廓波变换(non-subsampled contourlet transform, NSCT)的红外与可见光图像进行融合的方法。首先, 通过卷积神经网络提取红外与可见光目标特征信息, 同时利用 NSCT对源图像进行多尺度分解, 得到源图像的高频系数与低频系数; 其次, 结合目标特征图利用自适应模糊逻辑与局部方差对比度分别对源图像高频子带与低频子带进行融合; 最后, 通过逆 NSCT变换得到融合图像并与其他 5种传统算法进行对比; 实验结果表明, 本文方法在多个客观评价指标上均有所提高。
图像融合 卷积神经网络 非下采样轮廓波变换 模糊逻辑 image fusion, convolutional neural network, NSCT,
昆明理工大学国土资源工程学院,云南 昆明 650032
遥感图像融合作为一种整合多光谱和全色图像所包含信息的有效方法,在国土空间规划和灾情检测等应用领域已成为一种强大的技术。针对非下采样剪切波变换(NSST)域的融合策略进行研究,提出一种新的NSST域遥感图像融合方法。首先对源图像进行NSST,将其分解为低频系数和多方向的高频子带;然后,引入基于平均谱半径(MSR)的图像特征加权机制,将能量属性和改进的拉普拉斯能量和进行加权并应用于低频系数融合,以解决能量保存和细节提取问题;其次,开发一种改进的双通道脉冲耦合神经网络,并结合由方向信息确定权重的加权自适应方法来对高频子带进行融合;最后,利用融合后的低频系数和高频子带进行重构,得到融合后的图像。通过GF-2、GeoEye和WorldView-3这3种不同分辨率的共48组卫星影像验证了该方法的有效性。与5种融合方法的对比实验表明,该方法在视觉感知和定量评价指标方面都能取得较好的效果。
遥感 图像融合 非下采样剪切波变换 双通道脉冲耦合神经网络 加权自适应 平均谱半径 激光与光电子学进展
2023, 60(10): 1028004