传统红外与可见光融合图像在复杂环境下存在细节缺失, 特征单一导致目标模糊等问题, 本文提出一种基于卷积神经网络结合非下采样轮廓波变换(non-subsampled contourlet transform, NSCT)的红外与可见光图像进行融合的方法。首先, 通过卷积神经网络提取红外与可见光目标特征信息, 同时利用 NSCT对源图像进行多尺度分解, 得到源图像的高频系数与低频系数; 其次, 结合目标特征图利用自适应模糊逻辑与局部方差对比度分别对源图像高频子带与低频子带进行融合; 最后, 通过逆 NSCT变换得到融合图像并与其他 5种传统算法进行对比; 实验结果表明, 本文方法在多个客观评价指标上均有所提高。

针对传统光学手段难以实现复杂背景下光谱伪装目标的准确识别, 同时, 常规的数据融合方法易导致图像信息丢失的缺点, 提出了一种基于非下采样轮廓波变换的偏振光谱多维信息融合方法。 该方法结合自研的新型偏振光谱多维信息探测仪器, 根据其获取的目标空间、 光谱、 偏振等多维信息, 设计了多维信息重构算法流程, 提取了偏振态基础数据斯托克斯参量以及偏振度和偏振角, 利用NSCT对基础偏振参量进行图像融合, 提升图像的信息含量以提高伪装物的识别准确率。 先对具有相同边缘信息的图像Q和U采用NSCT分解, 低通子带取均值, 高通子带取最大值进行初步融合, 获得偏振特征S, 最后对偏振特征S、 强度图像I以及偏振度DoLP进行NSCT分解, 对分解所得低通子带进行区域能量加权融合； 对高通子带, 根据偏振特征图像具有灰度值小, 受光照影响大等特点, 采用LBP特征进行加权融合。 同时, 本方法与四类融合方法进行对比, 据信息熵、 标准差、 平均梯度、 对比度以及峰值信噪比五项指标对融合结果进行客观评价, 并结合普通图像, 偏振融合图像, 偏振高光谱图像对目标识别精度进行对比。 融合后的图像信息熵为6.998 6, 标准差为45.599 8, 平均梯度为19.808 6, 与原始强度相比, 提升分别为5.1%, 14.04%, 7.3%, 在四类融合方法中排在首位。 表明本文所提出的方法有效实现了偏振基础特征融合, 提升了人造目标和自然背景的差异。 同时融合后的偏振高光谱图像对于目标的识别准确率达到0.986 2, 较单一强度图像目标识别准确率提升了21%。 实验结果表明, 提出的方法能有效融合目标强度信息以及偏振信息, 提升图像对比度和可读性, 同时融合后的图像在目标识别准确度上有了较大的提升, 有效降低了传统光谱手段对伪装目标识别的虚警率, 为新概念光谱伪装揭露提供了一种新型有效的手段, 具有非常大的应用潜力和应用价值。

针对红外与可见光图像配准中特征点匹配难的问题, 提出了NSCT轮廓提取与主方向一致性匹配的红外与可见光图像配准方法。先将NSCT变换用于提取红外与可见光图像的轮廓曲线图, 然后使用CSS角点检测算法提取轮廓曲线图上的角点作为特征点, 再以轮廓曲线的中线作为特征点的主方向, 计算红外与可见光图像上特征点主方向的SIFT描述符作为特征点的特征描述, 最后使用特征点主方向一致性匹配的方法去除误匹配的点, 进而计算仿射变换参数。实验结果表明, 所提方法的平均均方根误差为2.36, 平均正确匹配率达到了91.6%, 保证了两种图像相同特征点提取和匹配的准确度, 从而提高了图像配准的精度。

针对传统图像融合方法引起的清晰度低、轮廓模糊以及适应性差等问题, 提出了一种改进的红外与可见光图像融合方法。采用非下采样轮廓波(NSCT)对红外与可见光图像进行分解, 分别得到带通子带系数与低频子带系数。采用融合准则采用改进的空间频率(MSF-PCNN)获取高频融合系数, 采用改进的脉冲耦合神经网络(PCNN), 即NL-PCNN, 获取低频融合系数。针对两种异源低频信息, 利用改进的加权锐化滤波器和加权均值滤波器作频率梯度分离进行轮廓提取。实验结果表明了所提融合算法的有效性, 在获取图像轮廓信息, 增强融合图像清晰度方面均优于传统的图像融合算法, 具有较高的自适应能力。

为了获取红外图像中的突出的目标特征，提取可见光图像中重要的细节信息，以及解决传统算法中目标信息不够突出，细节、纹理缺失严重的问题，本文提出了一种基于灰度能量差异性的红外与可见光图像融合方法。首先通过基于灰度能量差异性的显著目标提取算法检测出红外图像中的目标特征；然后采用非下采样轮廓波变换(non-subsampled contourlet transform，NSCT)对红外图像和可见光图像进行高低频的分解；将灰度能量差异图作为融合权重对红外图像和可见光图像的低频部分进行融合，对于高频部分采用加权方差的规则进行融合；最后对融合后的高频系数和低频系数进行 NSCT逆变换得到最终的融合图像。本文选取了 3组经典的红外与可见光图像进行融合实验，并且通过主观视觉和客观指标两个方面与其他几种方法作比较。实验结果证明了算法在突出目标信息、提高对比度、清晰度和保留纹理细节方面十分有效。

针对低照度图像存在亮度低、对比度低、边缘模糊等问题, 首先将低照度图像NSCT多尺度分解, 获得低频子带图像和高频子带系数; 接着将低频图像采用多尺度Retinex 提升图像亮度, 借助非线性的双边滤波函数估计其照度分量, 利用Gamma校正函数对照度分量进行校正, 提高图像的动态范围, 利用影响因子校正反射分量, 丰富其层次性, 对图像的整体轮廓进行增强; 然后将高频部分用Bayes阈值隔离噪声, 利用自适应分数阶微分对图像的边缘、纹理等细节进行增强; 最后对处理后的图像进行NSCT重构。实验结果表明,本文算法的对比度、清晰度及信息熵与现有增强方法相比, 平均提高了10.7%、9.8%、2.3%。增强后的图像在细节、边缘保持等方面也优于现有算法, 改善了图像整体的视觉效果。

为了解决浮选气泡图像现场光照不均、相互黏结、无背景等造成的直接形态特征提取困难问题, 提出一种浮选气泡NSCT域(Nonsubsampled Contourlet Transform, NSCT)的多尺度等效形态特征提取及识别方法。通过NSCT变换将浮选气泡图像分解为低频图像和多尺度多方向高频图像; 采用模糊集方法二值化低频子带图像, 得到气泡亮点图像, 提取亮点个数、平均面积、标准差和椭圆率作为等效形态尺寸特征; 结合方向模极大值及差分盒维法计算各高频子带方向的分形维数; 最后, 将多尺度多方向等效形态尺寸特征作为输入, 采用量子门节点神经网络对三类浮选气泡图像进行状态识别和分类。实验结果表明, 该方法提取的等效形态尺寸特征与分类的相关性高, 能对三种类型浮选气泡图像进行有效的状态识别, 平均识别准确率达95.1%。本算法的识别准确率较几种流行算法而言有较大提高, 适用于动态变化的浮选工况。

为使红外图像与可见光图像融合后的图像能获得更多目标信息和细节信息，本文提出了一种基于显著性图的图像融合方法。使用改进的 Frequency Tuned(FT)算法提取红外图像的显著性图，并使用对比度受限的自适应直方图均衡化(Contrast Limited Adaptive Histgram Equalization，CLAHE)算法增强可见光图像的对比度。将红外图像与增强后的可见光图像进行非下采样轮廓波变换(Nonsubsampled Contourlet Transform，NSCT)后，根据所设定的融合规则分别对红外与可见光图像的低频部分与高频部分进行融合，最后对融合系数进行 NSCT逆变换操作后获到融合图像。实验表明，该融合方法相较于其他方法而言，保留了更多的目标信息和细节信息，可以取得更好的视觉效果。

提出一种基于改进颜色传递策略与非下采样 Contourlet变换(NSCT)的红外与可见光图像伪彩色融合算法。首先, 利用 NSCT与基于清晰区域的 Canny边缘检测算法获得灰度融合图。其次, 将融合灰度图像插入 Y通道, 源图像与融合灰度图像之间的残差图像分别插入 Cb、Cr通道以生成 YCbCr源彩色图像。最后, 利用本文设计的颜色传递模型对源彩色图像和目标图像进行色彩颜色统计匹配, 同时, 通过自适应颜色传递参数模型调整颜色传递参数。实验结果表明, 本文提出的融合算法使得伪彩色融合图像不仅对比度高、传递色彩自然、可以较好地抑制色彩渗入图像目标, 而且对目标图像质量要求不严格。

针对小波变换容易造成细节信息丢失、非下采样轮廓波变换（NSCT）分解的低频子带系数不稀疏以及红外与可见光图像融合结果综合性能不佳的问题，提出了一种基于稀疏表示和NSCT-PCNN的红外与可见光图像融合算法。首先将源图像进行NSCT分解，获得低、高频子带；其次，利用K奇异值分解（K-SVD）算法对低频子带进行字典训练，实现低频子带的稀疏表示和低频稀疏系数的融合；然后，利用高频子带的空间频率激励脉冲耦合神经网络（PCNN），选择较大点火次数的系数作为高频子带的融合系数；最后对低、高频子带融合系数进行NSCT逆变换，得到融合的图像。实验结果表明,该算法在视觉效果和客观指标方面均具有较大优势，且融合结果综合性能优于现有算法。