兰州交通大学电子与信息工程学院, 甘肃 兰州 730070
针对近红外与彩色可见光图像融合后对比度低、 细节丢失和颜色失真等问题, 提出一种基于多尺度变换和自适应脉冲耦合神经网络(PCNN-pulse coupled neural network, PCNN)的红外与彩色可见光图像融合的新算法。 首先将彩色可见光图像转换到HSI(hue saturation intensity)空间, HSI色彩空间包含亮度、 色度和饱和度三个分量, 并且这三个分量互不相关, 因此利用这个特点可对三个分量分别进行处理。 将其亮度分量与近红外图像分别进行多尺度变换, 变换方法选择Tetrolet变换。 变换后分别得到低频和高频分量, 针对图像低频分量, 提出一种期望最大的低频分量融合规则; 针对图像高频分量, 采用高斯差分算子调节PCNN模型的阈值, 提出一种自适应的PCNN模型作为融合规则。 处理后的高低频分量经过Tetrolet逆变换得到的融合图像作为新的亮度图像。 然后将新的亮度图像和原始的色度和饱和度分量反向映射到RGB空间, 得到融合后的彩色图像。 为了解决融合带来的图像平滑化和原始图像光照不均的问题, 引入颜色与锐度校正机制(colour and sharpness correction, CSC)来提高融合图像的质量。 为了验证方法的有效性, 选取了5组分辨率为1 024×680近红外与彩色可见光图像进行试验, 并与当前高效的四种融合方法以及未进行颜色校正的本方法进行了对比。 实验结果表明, 同其他图像融合算法进行对比分析, 该方法在有无CSC颜色的情况下均能保留最多的细节和纹理, 可见度均大大提高, 同时本方法的结果在光照条件较弱的情况下具有更多的细节和纹理, 均具有更好的对比度和良好的色彩再现性。 在信息保留度、 颜色恢复、 图像对比度和结构相似性等客观指标上均具有较大优势。
彩色图像融合 Tetrolet变换 期望最大算法 自适应脉冲耦合神经网络 Color image fusion Tetrolet transform Expected maximum algorithm Adaptive Pulse Coupled Neural Network 光谱学与光谱分析
2021, 41(7): 2023
兰州交通大学电子与信息工程学院, 甘肃兰州 730070
针对近红外与彩色可见光图像融合后出现的对比度降低、细节丢失、颜色失真等问题, 提出一种基于 Tetrolet变换和自适应脉冲耦合神经网络 PCNN(PCNN-Pulse Coupled Neural Network)的近红外与彩色可见光图像融合的新算法。首先将彩色可见光源图像转换到各个分量相对独立的 HSI空间(HSI-Hue Saturation Intensity), 将其亮度分量与近红外图像进行 Tetrolet分解, 对分解后得到的低频系数, 提出一种从给定不完备数据集中寻找潜在分布最大似然估计的期望最大算法融合规则；对分解后得到的高频系数, 采用一种 Sobel算子自动调节阈值的自适应 PCNN模型作为融合规则；处理后的高低频图像经 Tetrolet逆变换作为融合后的亮度图像, 提出一种饱和度分量自适应拉伸方法来解决图像饱和度下降的问题。处理后的各个分量反向映射到 RGB空间, 完成融合。将本文算法与多种高效融合算法进行对比分析, 实验表明, 本方法取得的图像, 细节清晰, 色彩对比度得到提升, 在图像饱和度、颜色恢复性能、结构相似性和对比度等客观评价指标上均具有明显的优势。
彩色图像融合 Tetrolet变换 期望最大算法 自适应脉冲耦合神经网络 color image fusion, Tetrolet transform, expectatio
北方民族大学数学与信息科学学院图像处理与理解研究所, 宁夏银川 750021
提出一种基于改进颜色传递策略与非下采样 Contourlet变换(NSCT)的红外与可见光图像伪彩色融合算法。首先, 利用 NSCT与基于清晰区域的 Canny边缘检测算法获得灰度融合图。其次, 将融合灰度图像插入 Y通道, 源图像与融合灰度图像之间的残差图像分别插入 Cb、Cr通道以生成 YCbCr源彩色图像。最后, 利用本文设计的颜色传递模型对源彩色图像和目标图像进行色彩颜色统计匹配, 同时, 通过自适应颜色传递参数模型调整颜色传递参数。实验结果表明, 本文提出的融合算法使得伪彩色融合图像不仅对比度高、传递色彩自然、可以较好地抑制色彩渗入图像目标, 而且对目标图像质量要求不严格。
颜色传递策略 伪彩色融合 清晰区域边缘检测 color transfer strategy, Pseudo-color image fusion NSCT
针对彩色红外图像和可见光图像融合问题，提出了利用YCbCr 和平稳小波变换（StationaryWavelet Transform，SWT）实现彩色图像融合的算法。该算法首先将源彩色红外图像转换为灰度图像，将彩色可见光图像从RGB 空间转换到YCbCr 空间获取Y、Cb、Cr 三分量，然后将红外灰度图像和Y分量利用SWT 融合。在融合过程中应用了一种绝对值阈值和区域能量相结合的融合准则，并利用彩色可见光图像Y 分量对融合结果进行区域线性变换获取彩色融合图像Y 分量。最后将Cb、Cr 和融合Y 分量从YCbCr 空间转换到RGB 空间获得彩色融合图像。实验结果表明，该算法可以综合YCbCr空间、SWT 和区域线性变换优点，较好地保持源图像场景信息、空间色彩信息和目标人物特性，突出源图像的纹理变化特性和边缘细节信息。
线性变换 彩色图像融合 YCbCr YCbCr SWT SWT local linear transformation color image fusion
北京理工大学光电成像技术与系统教育部重点实验室, 北京 100081
可见光与红外热图像的彩色图像融合技术是现今国内外高性能夜视技术发展的重要方向之一, 该技术有效提高了人们对目标的探测和场景理解能力。 目前常用的色彩传递算法多属于基于单幅参考图像的全局色彩传递算法, 彩色融合图像的色调受到参考图像的影响较大, 在实际应用中难以保证对各类场景的适应性。 针对常规YUV空间色彩传递彩色图像融合算法的环境适应性问题, 通过对植物、 城镇和海天三类典型场景的分类与统计, 发现了典型场景在UV通道的均值和标准差具有的较为明显的分类特性, 由此提出了一种基于UV通道均值和标准差的自适应参考图像构造方法, 使得可见光与热红外彩色图像融合算法具有较常规算法更好的环境适应性, 融合图像的色彩具有较好的自然感, 且算法处理量较小, 对现有实时硬件融合处理算法的运算速度影响不大, 是一种环境适应性强的自然感彩色融合处理算法。
可见光 热成像 彩色图像融合 参考图像 自适应 Visible light Thermal imaging Color image fusion Reference image Self-adaption 光谱学与光谱分析
2016, 36(12): 3907
沈阳航空航天大学 工程训练中心，沈阳 110136
针对基于图像融合的隐藏在人衣服下面的**检测技术存在的未充分保护人体的隐私权、色彩失真等问题，提出了一种基于模糊C 均值 (Fuzzy C-means Clustering，FCM) 聚类分割的隐藏**检测方法，该方法采用FCM聚类、数学形态学对红外图像进行**分割与提取，并将**融合到彩色可见光图像HSI 空间的I 分量中，通过逆变换得到RGB 彩色融合图像。该方法的融合过程只有**参与，避开了人身体的其他部位，保护了人体的隐私权，且融合图像维持了源可见光图像的真彩色、**目标清晰。经过对比实验，本文方法得到的融合图像具有更丰富的信息，在主观上具有更好的视觉特性，在客观评价指标上也取得了良好的评价。
隐藏** 模糊C 均值聚类 形态学处理 彩色图像融合 concealed weapons detection fuzzy C-means clustering mathematical morphology color image fusion
彩色融合图像在场景深度感知、目标探测识别、减少判断时间等方面优于灰度融合图像, 重点研究了红外与可见光彩色图像融合算法。针对经典的自然感图像融合算法中计算复杂度高、缺乏颜色恒常性问题, 提出基于 YUV颜色空间恒参数颜色传递( CPCT)图像融合算法, 并通过栅栏、山丘、森林和城镇四组实验验证了本文算法在颜色恒常性和算法实时性上有较大改善。
彩色图像融合 红外图像 可见光图像 color image fusion CPCT CPCT infrared image visible image
1 电子装备实验中心, 河南 洛阳 471003
2 电子工程学院 红外与低温等离子体安徽省重点实验室, 合肥 230037
提出一种基于小波变换和区域分割的YCbCr变换域红外-可见光彩色图像融合算法,以小波变换融合为基础,将融合结果作为YCbCr域参量,以区域分割方法为基础,与参考图像进行色彩传递.实验结果表明,采用方法比传统的线性色彩传递方法具有更好的彩色图像融合效果,同时参考图像适应性较好,适合单一图像以及视频的融合.
彩色图像融合 小波变换 区域分割 色彩传递 YCbCr域 color image fusion wavelet transform area segmentation color transfer YCbCr space
西北工业大学自动化学院, 陕西 西安 710129
针对彩色图像融合时空间变换产生的色彩畸变以及红绿蓝(RGB)色彩空间各通道间的强相关性，同时考虑到基于主元分析(PCA)的图像融合算法存在图像结构利用率低、光谱信息损失多的缺点，提出了一种基于改进双向二维主元分析[(2D)2PCA]的图像融合框架。针对RGB色彩图像的结构特点，以待融合图像行、列方向的RGB分量作为基元进行二维主元分析(2DPCA)，采用基于协方差的线性权重分配方法对融合图像进行重构，依照重构图像的结构特性进行主元替换，经基于协方差的加权逆变换得到融合图像。为验证算法的有效性进行了二次实验：1)是选取模糊彩色图像与对应的清晰灰度图像；2)是彩色可见光图像与对应的红外图像进行实验。实验结果表明使用该方法得到的融合图像可取得较好空间分辨率和理想的融合指标。
图像处理 双向二维主元分析 彩色图像融合 色彩畸变 红外图像 光学学报
2014, 34(10): 1010001
北京理工大学 光电学院 光电成像技术与系统教育部重点实验室, 北京 100081
针对基于颜色传递的双波段(中波红外、可见光)图像融合时, 由于参考图像选择不当, 造成的彩色融合图像对比度差、图像边缘细节下降等问题, 提出了基于拉普拉斯金字塔分解及对比度可调的色彩传递图像融合算法。对待融合的两幅图像进行拉普拉斯金字塔三级分解, 每一级按照不同的融合规则进行融合, 以重构后的灰度融合图像作为融合结构的亮度分量Y, 将可见光与红外图像的差值图像作为U分量, 以红外图像为V分量。在颜色传递公式中, 加入可调的比例系数, 通过适当调节比例系数可调节融合图像的对比度。实验结果表明, 获得的融合图像较好地保留了可见光图像的细节, 既突出了红外目标同时又具有参考图像的颜色特征。图像评价结果表明, 融合图像的均值、方差、熵等评价指标均得到较大提高。
彩色图像融合 拉普拉斯金字塔 色彩传递 质量评价 color image fusion laplacian pyramid color transfer quality evaluation
