基于CbCr查找表的双波段图像彩色融合算法

何炳阳; 张智诠; 李强; 蒋晓瑜

doi:doi:10.3788/AOS201838.0133001

光学学报, 2018, 38 (1): 0133001, 网络出版: 2018-08-31

基于CbCr查找表的双波段图像彩色融合算法下载： 629次

Color Fusion Algorithm of Dual-Band Images Based on CbCr Look-up Table

论文大纲

何炳阳张智诠 ^*李强蒋晓瑜

作者单位

装甲兵工程学院控制工程系, 北京 100072

图像处理 CbCr查找表色彩映射反向传播神经网络灰度校正 image processing CbCr look-up table color mapping back propagation neural network grayscale calibration

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

低照度可见光与红外图像的自然感彩色融合能够显著提高人眼视觉在低照度环境下的情景感知和目标探测能力。基于样本的融合算法是一种快速有效、实时性强的自然感彩色融合算法。针对已有算法在查找表构建和灰度信息利用方面存在的问题,提出一种基于CbCr查找表的双波段图像彩色融合算法。算法采用反向传播神经网络对图像样本的二维亮度向量(Y₁,Y₂)和二维色度向量(C_b,C_r)进行非线性拟合,从而获得亮度与色度间的映射关系f(Y₁,Y₂)→(C_b,C_r),并由此构建CbCr查找表。融合时,由输入的双波段灰度图像的亮度Y₁,Y₂和CbCr查找表获得彩色融合图像的色度C_b,C_r;由亮度Y₁,Y₂经双层拉普拉斯金字塔融合获得彩色融合图像的亮度Y_F;为了减小因环境变化导致的色彩映射偏差,对亮度Y₁,Y₂进行灰度校正。实验结果表明,本文融合图像具有颜色自然、细节丰富、利于(热)目标检测的特点,在清晰度、彩色性、映射准确性方面已经达到甚至优于Toet算法的图像融合效果。

Abstract

Natural color fusion of low-light visible images and infrared images can significantly improve abilities of human vision for situation perceiving and targets detecting in low-light environment. Sample-based color fusion is a fast, effective and real-time natural color fusion algorithm. In view of the problems of existing algorithms in construction of color look-up table and utilization of grayscale information, we propose a new color fusion algorithm of dual-band images based on CbCr look-up table. We obtain the mapping f(Y1,Y2)→(Cb,Cr) between luminance and chromaticity by using the back propagation neural network to nonlinearly fit the two-dimensional luminance vector (Y1,Y2) and the two-dimensional chromaticity vector (Cb,Cr) of image simples, and construct the CbCr look-up table based on the mapping. When color fusing, the chromaticity Cb,Cr of fused image are obtained by the CbCr look-up table and the input luminance Y1,Y2 of dual-band grayscale images. The luminance YF of fused image is obtained by the image fusion of luminance Y1,Y2 based on two-layer Laplacian pyramid transformation. The luminance Y1,Y2 are calibrated to diminish color mapping errors owing to environmental changes. The experimental results show that the fused images based on proposed algorithm have natural color, rich details and are more conducive to (hot) targets detection. The dual-band fusion results obtained by the proposed algorithm are almost as good as or even better than the fusion results by Toet method in definition, colorfulness, and mapping accuracy.

1 引言

低照度可见光成像技术可显著增强人眼视觉灵敏度,红外成像技术能够有效拓宽人眼视觉光谱范围广泛应用于战场侦查、目标探测、安防监控,以及辅助驾驶等领域。低照度可见光和红外图像相融合,能够充分利用各波段图像互补信息。相比于灰度图像融合,彩色融合利用人眼视觉对色彩敏感的特点,用色差来增强图像细节,提高融合图像的场景信息表达能力。低照度可见光和红外图像的彩色融合能够提高人眼视觉在低照度环境下对场景的快速理解、感知能力,以及对目标的探测、识别能力^[1]。

早期的彩色融合算法,如NRL法^[2]、TNO法^[3]、MIT法^[4]等,得到的伪彩色图像色彩极不自然,观察者在长时间观察中可能会感到视觉疲劳甚至产生错觉^[5]。对此,Toet^[6]利用昼间彩色参考图像与伪彩色图像间的全局统计特征(即颜色矩)传递,得到了具有自然感色彩的夜视和红外融合图像;杨少魁等^[7]则借助累积颜色直方图实现了色彩传递。针对全局色彩传递无法较好实现融合图像序列颜色恒常性的问题,Zheng等^[8-12]给出了基于局部统计特征(局域纹理、区域直方图等)的色彩传递方案,但计算成本昂贵,实时性差。为了更好地满足实时融合需求,文献[ 13-16]提出了基于样本的融合算法(即Toet算法),该算法是当前实时融合系统主要采用的彩色融合算法^[17-18]。

基于样本的彩色融合算法的核心是按照建模颜色与测量颜色之间的平均感知色差最小化原则(即最小化颜色矢量之间的欧氏距离),确定n维灰度向量(g₁,g₂,…,g_n)与三维彩色向量(C₁,C₂,C₃)间的最佳映射f(g₁,g₂,…,g_n)→(C₁,C₂,C₃)。该映射反映了不同波段传感器输出场景n维灰度信息与场景自然感彩色信息间的内在联系,是由传感器的固有特性和场景的环境特点共同确定的,而颜色查找表是映射f的一种具体实现形式。作为算法的关键步骤,文献[ 13-15]采用场景中的多组多波段图像样本联合构建完整的颜色查找表,而北京理工大学的王岭雪等^[19-21]提出了基于查找表填充的构建方法。总的来说,Toet算法的基本思想是借助大量数据样本遍历查找表的所有输入和输出值,而北京理工大学的方案是根据已有输出值和填充策略(最小欧氏距离、邻域均值等)对查找表进行修补。这两种方法虽然思路不同,但实质是在无法确定映射f(g₁,g₂,…,g_n)→(C₁,C₂,C₃)的情况下提出的查找表补全方案,所得查找表的共性缺点是亮度和色彩过渡不够自然,场景融合效果欠佳。此外,现有的基于样本的彩色融合算法虽然实现了由灰度值索引颜色值,最终获得具有自然感彩色图像的目的,但并未涉及多波段灰度图像的融合,不能满足当前多波段信息融合的需求。针对上述问题,本文提出一种基于样本的低照度可见光和红外图像彩色融合算法,使融合图像兼具自然的色彩、丰富的细节和良好的(热)目标特性。

2 算法原理

基于样本的双波段图像彩色融合算法原理如图1所示。主要分为色彩映射f(Y₁,Y₂)→(C_b,C_r)和灰度融合,并在亮度信息和色彩信息分离的YCbCr空间进行融合过程。与Toet算法^[13]的经典三输出方案f(g₁,g₂,…,g_n)→(C₁,C₂,C₃)不同,本文采用双输出色彩映射方案,使用双波段灰度图像的亮度(Y₁,Y₂)和CbCr查找表,得到彩色融合图像的色彩信息(C_b,C_r),从而获得自然的颜色外观。对双波段灰度图像进行双层拉普拉斯金字塔融合,得到彩色融合图像的亮度信息Y_F,从而获得较好的图像细节和(热)目标特性。由于色彩映射过程仅涉及数据查表操作(灰度校正为可选流程),因此整个彩色融合算法的实时性由灰度融合算法的实时性决定。

图 1. 彩色融合算法原理图

Fig. 1. Schematic of color fusion algorithm

下载图片查看所有图片

2.1 色彩映射

2.1.1 基于反向传播神经网络的查找表构建方法

反向传播(BP)神经网络由McClelland等^[22]于1987年提出。1989年,Hecht-Nielsen^[23]证明其通过样本训练能够逼近任意n维欧氏空间有界子集A到m维欧氏空间有界子集f[A]的映射或函数f∶A⊂Rⁿ→R^m。从数学本质上看,BP神经网络是将输入输出问题转换为非线性优化问题,并具有以下特点:1)n维输入空间到m维输出空间的非线性映射能力;2)对训练样本中的大误差或错误数据的容错能力;3)对非样本数据的泛化能力。

色彩映射的关键技术是构建CbCr查找表。基于BP神经网络的特性,提出一种新的查找表构建方法:首先采用BP神经网络对图像样本进行非线性拟合,推导出最佳色彩映射f;然后利用映射f和输入值构建完整的二维颜色查找表T_CLUT。具体步骤如下。

1) 选择训练样本。选取所处环境中的一个或几个具有代表性场景的双波段灰度图像(像素大小为A×B,位深为8 bit)和昼间彩色图像(像素大小为A×B,位深为8 bit,YCbCr)作为训练样本(每个场景拥有A×B组样本数据),所选场景应包含环境中的典型对象,并且同一场景的不同波段图像已经过严格配准。

2) 推导最佳色彩映射。按照不同波段图像中像素位置的对应关系,采用BP神经网络对所选训练样本的二维灰度向量(Y₁,Y₂)和二维色度向量(C_b,C_r)进行非线性拟合,确定最佳映射f(Y₁,Y₂)→(C_b,C_r)。借助MATLAB提供的神经网络非线性拟合工具箱构建双输入双输出的双层BP神经网络(隐层含10个神经元),采用Levenberg-Marquardt算法进行训练。其中70%的样本用于网络训练,15%的样本用于泛化性能优化,15%的样本用于网络测试。

3) 构建颜色查找表。以Y₁和Y₂作为横、纵坐标,利用步骤2)获得的映射f和输入值(Y₁,Y₂)构建完整的二维颜色查找表T_CLUT,(C_b,C_r)=T_CLUT(Y₁,Y₂)=f(Y₁,Y₂),其中Y₁,Y₂=0,1,…,255,(Y₁,Y₂)表示位深为8 bit灰度图像的所有二维灰度组合,共计256×256个(C_b,C_r)索引值。

2.1.2 色彩映射

色彩映射过程如图2所示,对于配准后的待融合双波段灰度图像I_VIS和I_IR(像素大小均为M×N,位深均为8 bit),根据这两幅图像在同一像素位置(i,j)(其中i∈[1,M],j∈[1,N])处的灰度值组合(Y₁,Y₂)(其中Y₁=I_VIS(i,j),Y₂=I_IR(i,j),Y₁,Y₂∈[0,255])索引CbCr查找表T_CLUT,索引值T_CLUT(Y₁,Y₂)即为彩色融合图像I_F相同像素位置(i,j)处的C_b和C_r色度值[C_b(i,j),C_r(i,j)]=I_F(i,j)=T_CLUT(Y₁,Y₂)。对双波段灰度图像所有位置(i=1,2,…,M;j=1,2,…,N)的像素索引后即可得到彩色融合图像的C_b和C_r色度通道信息。

图 2. 色彩映射过程。(a)低照度可见光图像;(b)CbCr查找表;(c)红外图像;(d)彩色融合图像

Fig. 2. Process of color mapping. (a) Low-light visible image;(b) CbCr look-up table; (c) infrared image; (d) color fusion image

下载图片查看所有图片

2.1.3 灰度校正

由于CbCr查找表的色彩是平缓均匀过渡的,当相似景物在样本图像与待融合图像间的灰度差异较小时,利用样本训练得到的颜色查找表能够为同一系统采集的相似环境下的待融合图像正确地映射色彩。但是当场景的光照、温度,以及传感器的信号增益变化较大时,相似景物在样本图像与待融合图像间的灰度差异较大,导致色彩映射出现较大偏差。此时,需要对待融合图像的灰度值进行校正。为此,采用以参考图像为标准的灰度校正方法,其灰度传递函数^[24-25]为

\begin{matrix} g' = \frac{(g - β)}{α}, (1) \end{matrix}

式中g与g'为校正前、后的灰度值,β=μ_Y- $\begin{matrix} \frac{σ_{Y}}{σ_{REF}} \end{matrix}$ μ_REF为平均亮度相对偏移量,α= $\begin{matrix} \frac{σ_{Y}}{σ_{REF}} \end{matrix}$ 为相对增益,μ_Y和σ_Y为待校正灰度图像的均值和均方差,μ_REF和σ_REF为参考图像的均值和均方差。将各参数代入(1)式,化简后结果为

\begin{matrix} g' = (g - μ_{Y}) \frac{σ_{REF}}{σ_{Y}} + μ_{REF} 。 (2) \end{matrix}

参考图像应选择与待校正图像具有相同波段、相似场景的样本图像,使得景物在灰度校正后近似达到样本图像中相似景物的灰度水平,从而实现正确的色彩映射。

2.2 灰度融合

对于灰度融合算法,目前应用最多的是双(多)波段图像算术(或加权)平均融合。这种算法不仅原理简单,而且实时性极佳,能够提高图像的信噪比。但平均融合的本质是对图像进行平滑处理,导致融合图像的分辨力下降,清晰度降低,边缘、轮廓变得模糊,使场景中目标的可探测距离显著减小,甚至不如单波段源图像。相比之下,多尺度融合算法符合人眼视觉处理信号的规律,融合效果令人满意,但算法复杂度会随着分解层数的增加而不断增大。考虑到算法的实时性和对图像分辨力的要求,选用具有良好融合效果和较低算法复杂度的双层拉普拉斯金字塔融合作为灰度融合算法^[26],算法原理如图3所示,对于拉普拉斯金字塔分解后的顶层(低频)图像采用算术平均融合准则,其余各层(高频)图像采用绝对值最大融合准则。

图 3. 拉普拉斯金字塔融合原理图

Fig. 3. Schematic of image fusion based on Laplacian pyramid transformation

下载图片查看所有图片

3 实验与分析

为了便于比较,本文采用Toet提供的TNO image fusion dataset^[27](TNO2014)和TRICLOBS dynamic multiband image dataset^[28](TNO2016)图像融合数据库以及文献[ 14-15]中配准后的多波段图像作为本文算法实验验证的图像源。实验硬件环境为Intel T8300处理器,内存为3 G,软件环境为MATLAB R2014a。为了有效对比本文算法和Toet彩色图像融合结果,采用以下基于场景理解的客观评价指标:1)清晰度指标(ISM)^[29];2)色彩的彩色性指标(CCM)^[29];3)色彩与场景内容的协调性指标 $\begin{matrix} H_{CS}^{TB} \end{matrix}$ 和 $\begin{matrix} {H^{P}}_{CS} \end{matrix}$ (前者针对城镇建筑场景,后者针对绿色植物场景)^[30]。

3.1 低照度可见光与长波红外图像融合实验

图4所示的村庄环境下5个不同场景的双波段灰度图像(A1~E1:低照度可见光波长为0.4~0.7 μm;A2~E2:长波红外波长为8~14 μm 黑热)和昼间彩色图像(A3~E3:波长为0.4~0.7 μm RGB)来源于TNO2014数据库,将用于样本训练推导最佳映射并构建CbCr查找表,所有图像均为620 pixel×450 pixel,位深为8 bit。图5所示的同一环境下更多场景的双波段灰度图像(F1~L1:低照度可见光波长为0.4~0.7 μm;F2~L2:长波红外波长为8~14 μm 黑热)来源于TNO2016数据库,将用于算法验证和融合效果对比,所有图像均为640 pixel×480 pixel,位深为8 bit。使用前已将所有场景图像转换至YCbCr颜色空间。

3.1.1 样本选择与查找表构建

由于场景C和场景E基本包含了该环境中的所有对象:房屋、树木、道路、栅栏、汽车、草地、天空等,因此选取场景C和场景E作为训练样本推导最佳色彩映射,两个场景共计620×450×2=558000组样本数据,按照2.1.1节所述步骤由BP神经网络训练得到的映射f(Y₁,Y₂)→(C_b,C_r)构建CbCr查找表,如图6所示。

图 4. 村庄场景A~E。(a)低照度可见光;(b)长波红外;(c)昼间彩色

Fig. 4. Scenes A-E of a village. (a) Low-light visible; (b) long-wave infrared; (c) natural color

下载图片查看所有图片

图 5. 村庄场景F~L。(a)低照度可见光;(b)长波红外

Fig. 5. Scenes F-L of a village. (a) Low-light visible; (b) long-wave infrared

下载图片查看所有图片

图 6. 由场景C和E构建的CbCr查找表

Fig. 6. CbCr look-up table constructed by scenes C and E

下载图片查看所有图片

3.1.2 彩色融合对比

首先采用图6的CbCr查找表对图4的场景进行融合。对5个场景的低照度可见光图像(A1~E1)和长波红外图像(A2~E2)进行双层拉普拉斯金字塔融合及彩色融合,分别如图7(a)、(b)所示。对比彩色融合图像图7(b)和昼间彩色图像图4(c)可知,彩色融合图像的整体色彩没有昼间彩色图像丰富,但各场景中不同对象的颜色映射正确,相比于场景的单波段灰度图像[图4(a)、(b)],彩色融合图像更利于情景感知和目标识别。

图 7. 场景A~E的融合结果。(a)拉普拉斯金字塔融合;(b)本文算法

Fig. 7. Fusion results of scenes A-E. (a) Fusion based on Laplacian pyramid transformation; (b) proposed algorithm

下载图片查看所有图片

其次采用图6的CbCr查找表对图5中的场景F~H进行融合,并与Toet的结果进行对比。场景F不含热目标;场景G包含2个热目标(黑热),一个人迎面走来,一个人背向跑开;场景H包含人和汽车多个热目标。对这3个场景的低照度可见光图像(F1~H1)和长波红外图像(F2~H2)进行双层拉普拉斯金字塔融合及彩色融合,分别如图8(a)、(b)所示。图8(c)是Toet^[16,28]采用RGB空间三维颜色查找表f(L_VIS,L_NIR,L_LWIR)→(R,G,B)得到的三波段(即低照度可见光波长为0.4~0.7 μm、近红外波长为0.7~1.0 μm和长波红外波长为8~14 μm白热)彩色融合图像,其中L_VIS、L_NIR、L_LWIR分别为RGB颜色空间中各波段图像的灰度值(L=0.299R+0.587G+0.114B,而本文算法灰度值Y=0.275R+0.564G+0.098B+16)。

图 8. 彩色融合对比。(a)拉普拉斯金字塔融合;(b)本文算法;(c) Toet算法

Fig. 8. Comparison of color fusion. (a) Fusion based on Laplacian pyramid transformation; (b) proposed algorithm; (c) Toet algorithm

下载图片查看所有图片

根据场景特点(城镇建筑),选择ISM、CCM、 $\begin{matrix} H_{CS}^{TB} \end{matrix}$ 3个客观评价指标,本文算法和Toet算法的彩色融合结果评价分数如表1所示。由客观评价结果可知,本文算法融合图像的清晰度、色彩彩色性更佳,色彩协调性略优。对比图8(b)、(c)可知,热目标在场景中均能够较好辨识。在色彩丰富度以及映射准确性方面,本文算法双波段融合效果已经达到

表 1. 不同彩色融合算法的客观评价结果

Table 1. Objective evaluation results of different color fusion algorithms

Algorithm	Scene	ISM	CCM	$\begin{matrix} H_{CS}^{TB} \end{matrix}$
Proposed	F	32.8491	9.9975	1
Toet	F	20.0339	9.3891	1
Proposed	G	57.2448	11.2741	1
Toet	G	40.3954	10.5373	0.9481
Proposed	H	30.2630	9.7667	1
Toet	H	21.5372	9.3901	0.0488

查看所有表

甚至优于Toet三波段融合效果。在场景F和场景G中,Toet融合图像部分树木的颜色出现偏差,而在场景G和场景H中,本文融合图像部分天空的颜色出现偏差。由于采用了拉普拉斯金字塔融合算法,本文融合图像的细节更佳,景物的边缘轮廓清晰,缺点是对于噪声较大的场景G,融合算法对噪声的抑制效果较差。相比之下,Toet算法的融合图像虽然噪声较小,但细节信息有所丢失(如场景H中的云朵),景物的边缘轮廓较为模糊。

3.1.3 灰度校正

采用图6的CbCr查找表对图5中的场景I~L进行融合,验证灰度校正的效果,并与Toet算法的结果进行对比。场景I~L为士兵在烟雾掩护下爬过房屋间空地的场景。对4个场景的低照度可见光图像(I1~L1)和长波红外图像(I2~L2)进行双层拉普拉斯金字塔融合及彩色融合,分别如图9(a)、(b)所示。由于环境条件变化较大,图9(b)的绿色植物出现严重偏色。为此,选择图4的灰度图像D1(低照度可见光)、D2(长波红外黑热)对场景I~L对应波段的灰度图像进行灰度传递,然后使用灰度校正后的图像和图6的CbCr查找表得到彩色融合图像,即图9(c)。由图9可知,灰度校正较好地解决了偏色问题。图9(d)为Toet算法^[16,28]采用RGB空间三维颜色查找表f(L_VIS,L_NIR,L_LWIR)→(R,G,B)得到的三波段(即低照度可见光波长为0.4~0.7 μm、近红外波长为0.7~1.0 μm和长波红外波长为8~14 μm白热)彩色融合图像。

图 9. 灰度校正及彩色融合对比。(a)拉普拉斯金字塔融合图像;(b)本文算法灰度校正前;(c)本文算法灰度校正后;(d) Toet算法

Fig. 9. Greyscale calibration and a comparison of color fusion. (a) Fusion based on laplacian pyramid transformation; (b) proposed algorithm before calibration; (c) proposed algorithm after calibration; (d) Toet algorithm

下载图片查看所有图片

选择ISM、CCM、 $\begin{matrix} H_{CS}^{TB} \end{matrix}$ 3个客观评价指标,本文算法和Toet算法的彩色融合结果评价分数如表2所示。结合客观评价结果,对比图9(c)、(d)可知,本文融合图像较好保留了源图像的细节信息,如场

表 2. 不同彩色融合算法的客观评价结果

Table 2. Objective evaluation results of different color fusion algorithms

Algorithm	Scene	ISM	CCM	$\begin{matrix} H_{CS}^{TB} \end{matrix}$
Proposed	I	39.9465	10.3456	1
Toet	I	30.1742	9.9103	0.0455
Proposed	J	39.2585	10.3182	1
Toet	J	30.9458	9.9450	1
Proposed	K	40.6167	10.3824	1
Toet	K	36.3672	10.2393	1
Proposed	L	41.1740	10.4245	1
Toet	L	41.4261	10.3875	1

查看所有表

景I中的云朵,但随着烟雾不断增大,本文融合结果的清晰度和色彩彩色性优势逐渐减小,2种算法的色彩协调性整体相当。

3.2 低照度可见光与近红外图像融合实验

图10和图11所示的住宅环境下7个不同场景的双波段灰度图像(M1~S1:低照度可见光波长为0.4~0.7 μm;M2~S2:近红外波长为0.7~1.0 μm)和场景M的昼间彩色图像(M3波长为0.4~0.7 μm RGB)来源于Toet^[14-15],场景M图像为433 pixel×400 pixel,位深为8 bit,将其作为训练样本推导最佳映射并构建CbCr查找表,场景N~S图像为260 pixel×200 pixel,位深为8 bit,将用于算法验证和融合效果对比。使用前已将所有场景图像转换至YCbCr颜色空间。

以场景M作为训练样本推导最佳色彩映射,该场景共计433×400=173200组样本数据,按照2.1.1节所述步骤由BP神经网络训练得到的映射

图 10. 训练样本。(a)低照度可见光;(b)近红外;(c)昼间彩色

Fig. 10. Training samples. (a) Low-light visible; (b) near infrared; (c) natural color

下载图片查看所有图片

图 11. 住宅场景N~S。(a)低照度可见光;(b)近红外

Fig. 11. Scenes N-S of a residence. (a) Low-light visible; (b) near infrared

下载图片查看所有图片

f(Y₁,Y₂)→(C_b,C_r)构建CbCr查找表,如图12(a)所示。利用该表,对图11所示的6个场景的低照度可见光图像(N1~S1)和近红外图像(N2~S2)进行双层拉普拉斯金字塔融合及彩色融合,结果分别如图13(a)、(b)所示。图12(b)和图13(c)分别为Toet算法^[14-15]针对场景M构建的RGB空间二维颜色查找表f(L_VIS,L_NIR)→(R,G,B),以及利用该表得到的双波段(即低照度可见光波长为0.4~0.7 μm和近红外波长为0.7~1.0 μm)彩色融合图像。

图 12. 由场景M构建的查找表。(a)本文算法CbCr查找表;(b) Toet算法RGB查找表

Fig. 12. Look-up table constructed by scene M. (a) CbCr look-up table by proposed algorithm; (b) RGB look-up table from Toet algorithm

下载图片查看所有图片

图 13. 彩色融合对比。(a)拉普拉斯金字塔融合;(b)本文算法;(c) Toet算法

Fig. 13. Comparison of color fusion. (a) Fusion based on Laplacian pyramid transformation; (b) proposed algorithm; (c) Toet algorithm

下载图片查看所有图片

根据场景特点(绿色植物),选择ISM、CCM、 $\begin{matrix} H_{CS}^{P} \end{matrix}$ 3个客观评价指标,本文算法和Toet算法的彩色融合结果评价分数如表3所示。结合客观评价结果对比图13(b)、(c)可知,本文算法融合结果在清晰度、色彩彩色性以及色彩协调性方面均具有优势,图像更加清晰,颜色更加鲜艳自然,因而更利于快速理解情景感知和图像内容。

表 3. 不同彩色融合算法的客观评价结果

Table 3. Objective evaluation results of different color fusion algorithms

Algorithm	Scene	ISM	CCM	$\begin{matrix} H_{CS}^{P} \end{matrix}$
Proposed	N	39.4359	10.5274	0.0314
Toet	N	29.2130	10.0348	0.0213
Proposed	O	44.4015	10.6658	0.0199
Toet	O	32.9201	10.1551	0.0191
Proposed	P	32.5997	10.2496	0.0212
Toet	P	25.2427	9.7897	0.0194
Proposed	Q	48.7280	10.8443	0.0311
Toet	Q	36.1324	10.3511	0.0149
Proposed	R	58.7839	11.1888	0.0292
Toet	R	42.4467	10.6295	0.0156
Proposed	S	55.0461	11.0511	0.0331
Toet	S	39.8120	10.5225	0.0179

查看所有表

4 结论

针对低照度可见光和红外图像的彩色融合需求,提出了一种基于样本的双波段图像彩色融合算法,并在以下方面有所创新:1)新的基于样本的融合算法框架;2)基于BP神经网络的查找表构建方法;3)能够有效解决偏色问题的灰度校正方法。由于色彩映射过程仅涉及数据查表操作(消除偏色的灰度校正为可选流程),整个彩色融合算法的实时性由灰度融合算法的实时性决定,因此采用具有较好融合效果和实时性的双层普拉斯金字塔融合算法。利用Toet提供的图像源进行融合实验的结果表明,本文算法融合图像具有颜色自然、细节丰富,利于(热)目标检测等特点,在清晰度、彩色性、映射准确性方面已经达到甚至优于Toet算法的图像融合效果。下一步研究的重点是神经网络优化以及寻找实时性和融合效果更佳的灰度融合算法。

参考文献

[1] Toet A, Hogervorst M A. Progress in color night vision[J]. Optical Engineering, 2012, 51(1): 010901.

Toet A, Hogervorst M A. Progress in color night vision[J]. Optical Engineering, 2012, 51(1): 010901.

[2] McDaniel RV, Scribner DA, Krebs WK, et al. Image fusion for tactical applications[C]. SPIE, 1998, 3436: 685- 695.

McDaniel RV, Scribner DA, Krebs WK, et al. Image fusion for tactical applications[C]. SPIE, 1998, 3436: 685- 695.

[3] Toet A, Walraven J. New false color mapping for image fusion[J]. Optical Engineering, 1996, 35(3): 650-658.

Toet A, Walraven J. New false color mapping for image fusion[J]. Optical Engineering, 1996, 35(3): 650-658.

[4] Waxman A M, Gove A N, Fay D A, et al. Color night vision: opponent processing in the fusion of visible and IR imagery[J]. Neural Networks, 1997, 10(1): 1-6.

Waxman A M, Gove A N, Fay D A, et al. Color night vision: opponent processing in the fusion of visible and IR imagery[J]. Neural Networks, 1997, 10(1): 1-6.

[5] Stuart GW, Hughes PK. Towards understanding the role of colour information in scene perception using night vision device[R]. Australia: Defence Science and Technology Organisation, 2009.

Stuart GW, Hughes PK. Towards understanding the role of colour information in scene perception using night vision device[R]. Australia: Defence Science and Technology Organisation, 2009.

[6] Toet A. Natural colour mapping for multiband nightvision imagery[J]. Information Fusion, 2003, 4(3): 155-166.

Toet A. Natural colour mapping for multiband nightvision imagery[J]. Information Fusion, 2003, 4(3): 155-166.

[7] 杨少魁, 刘文. 一种微光与红外图像彩色融合方法[J]. 红外与激光工程, 2014, 43(5): 1654-1659.

杨少魁, 刘文. 一种微光与红外图像彩色融合方法[J]. 红外与激光工程, 2014, 43(5): 1654-1659.

Yang S K, Liu W. Color fusion method for low-level light and infrared images[J]. Infrared and Laser Engineering, 2014, 43(5): 1654-1659.

[8] Zheng Y F, Essock E A. A local-coloring method for night-vision colorization utilizing image analysis and fusion[J]. Information Fusion, 2008, 9(2): 186-199.

Zheng Y F, Essock E A. A local-coloring method for night-vision colorization utilizing image analysis and fusion[J]. Information Fusion, 2008, 9(2): 186-199.

[9] YangB, Sun FM, Li ST. Region-based color fusion method for visible and IR image sequences[C]∥Proceedings of Chinese Conference on Pattern Recognition, 2008: 1- 6.

YangB, Sun FM, Li ST. Region-based color fusion method for visible and IR image sequences[C]∥Proceedings of Chinese Conference on Pattern Recognition, 2008: 1- 6.

[10] 赵源萌, 王岭雪, 金伟其, 等. 基于区域直方图统计的灰度图像色彩传递方法[J]. 北京理工大学学报, 2012, 32(3): 322-326.

赵源萌, 王岭雪, 金伟其, 等. 基于区域直方图统计的灰度图像色彩传递方法[J]. 北京理工大学学报, 2012, 32(3): 322-326.

Zhao Y M, Wang L X, Jin W Q, et al. A color transfer method for colorization of grayscale image based on region histogram statistics[J]. Transactions of Beijing Institute of Technology, 2012, 32(3): 322-326.

[11] 钱小燕, 张天慈, 王帮峰, 等. 局部颜色映射的彩色夜视算法[J]. 中国图象图形学报, 2012, 17(5): 689-693.

钱小燕, 张天慈, 王帮峰, 等. 局部颜色映射的彩色夜视算法[J]. 中国图象图形学报, 2012, 17(5): 689-693.

Qian X Y, Zhang T C, Wang B F, et al. Color night vision algorithm based on local color mapping[J]. Journal of Image and Graphics, 2012, 17(5): 689-693.

[12] 薛模根, 周浦城, 刘存超. 夜视图像局部颜色传递算法[J]. 红外与激光工程, 2015, 44(2): 0781.

薛模根, 周浦城, 刘存超. 夜视图像局部颜色传递算法[J]. 红外与激光工程, 2015, 44(2): 0781.

Xue M G, Zhou P C, Liu C C. A novel local color transfer method for night vision image[J]. Infrared and Laser Engineering, 2015, 44(2): 0781.

[13] Hogervorst MA, Toet A.Method and system for converting at least one first-spectrum image into a second-spectrum image: US8478028[P].2013-07-02.

Hogervorst MA, Toet A.Method and system for converting at least one first-spectrum image into a second-spectrum image: US8478028[P].2013-07-02.

[14] Hogervorst MA, ToetA. Method for applying daytime colors to nighttime imagery in realtime[C]. SPIE, 2008, 6974: 697403.

Hogervorst MA, ToetA. Method for applying daytime colors to nighttime imagery in realtime[C]. SPIE, 2008, 6974: 697403.

[15] Hogervorst M A, Toet A. Fast natural color mapping for night-time imagery[J]. Information Fusion, 2010, 11(2): 69-77.

Hogervorst M A, Toet A. Fast natural color mapping for night-time imagery[J]. Information Fusion, 2010, 11(2): 69-77.

[16] Hogervorst MA, ToetA. Improved colour matching technique for fused nighttime imagery with daytime colours[C]. SPIE, 2016, 9987: 99870J.

Hogervorst MA, ToetA. Improved colour matching technique for fused nighttime imagery with daytime colours[C]. SPIE, 2016, 9987: 99870J.

[17] 骆媛, 金伟其, 刘效东. 基于颜色查找空间的自然感彩色融合算法及DSP实时实现[J]. 红外与激光工程, 2012, 41(8): 2241-2246.

骆媛, 金伟其, 刘效东. 基于颜色查找空间的自然感彩色融合算法及DSP实时实现[J]. 红外与激光工程, 2012, 41(8): 2241-2246.

Luo Y, Jin W Q, Liu X D. Color look-up space based natural color fusion algorithm and DSP real-time implementation[J]. Infrared and Laser Engineering, 2012, 41(8): 2241-2246.

[18] 裴闯, 蒋晓瑜, 王加, 等. 自然彩色化双通道实时图像融合系统[J]. 光学精密工程, 2013, 21(5): 1333-1339.

裴闯, 蒋晓瑜, 王加, 等. 自然彩色化双通道实时图像融合系统[J]. 光学精密工程, 2013, 21(5): 1333-1339.

Pei C, Jiang X Y, Wang J, et al. Dual-channel real-time image fusion system with nature color[J]. Optics and Precision Engineering, 2013, 21(5): 1333-1339.

[19] 王岭雪, 金伟其, 赵源萌, 等. 基于颜色查找表的双波段视频快速自然感彩色融合方法: 101867685A[P].2010-10-20.

王岭雪, 金伟其, 赵源萌, 等. 基于颜色查找表的双波段视频快速自然感彩色融合方法: 101867685A[P].2010-10-20.

[20] 金真. 基于多维信息颜色查找表的计算彩色成像[D]. 北京: 北京理工大学, 2015.

金真. 基于多维信息颜色查找表的计算彩色成像[D]. 北京: 北京理工大学, 2015.

JinZ. Computational color imaging based on the color look-up table of multidimensional information[D]. Beijing: Beijing Institute of Technology, 2015.

[21] 姜曼. 基于二维颜色查找表的双波段彩色图像融合算法研究[D]. 北京: 北京理工大学, 2015.

姜曼. 基于二维颜色查找表的双波段彩色图像融合算法研究[D]. 北京: 北京理工大学, 2015.

JiangM. Study on double-band color image fusion algorithm based on 2D color look-up table[D]. Beijing: Beijing Institute of Technology, 2015.

[22] McClelland JL, Rumelhart DE, PDP ResearchGroup. Parallel distributed processing: psychological and biological models[M]. Cambridge: The MIT Press, 1987.

McClelland JL, Rumelhart DE, PDP ResearchGroup. Parallel distributed processing: psychological and biological models[M]. Cambridge: The MIT Press, 1987.

[23] Hecht-Nielsen R. Theory of the backpropagation neural network[J]. Neural Networks, 1989, 1(s1): 445-448.

Hecht-Nielsen R. Theory of the backpropagation neural network[J]. Neural Networks, 1989, 1(s1): 445-448.

[24] Li GX, WangK. Merging infrared and color visible images with an contrast enhanced fusion method[C]. SPIE, 2007, 6571: 657108.

Li GX, WangK. Merging infrared and color visible images with an contrast enhanced fusion method[C]. SPIE, 2007, 6571: 657108.

[25] 王春阳, 郭增长, 王双亭, 等. 双边滤波与矩匹配融合的高光谱影像条带噪声去除方法[J]. 测绘科学技术学报, 2014, 31(2): 153-156.

王春阳, 郭增长, 王双亭, 等. 双边滤波与矩匹配融合的高光谱影像条带噪声去除方法[J]. 测绘科学技术学报, 2014, 31(2): 153-156.

Wang C Y, Guo Z Z, Wang S T, et al. A strip noise removal method of hyperspectral image based on combining bilateral filter with moment matching[J]. Journal of Geomatics Science and Technology, 2014, 31(2): 153-156.

[26] 汪玉美, 陈代梅, 赵根保. 基于目标提取与拉普拉斯变换的红外和可见光图像融合算法[J]. 激光与光电子学进展, 2017, 54(1): 011002.

汪玉美, 陈代梅, 赵根保. 基于目标提取与拉普拉斯变换的红外和可见光图像融合算法[J]. 激光与光电子学进展, 2017, 54(1): 011002.

Wang Y M, Cheng D M, Zhao G B. Image fusion algorithm of infrared and visible images based on target extraction and Laplace transformation[J]. Laser & Optoelectronics Progress, 2017, 54(1): 011002.

[27] Toet A. TNO image fusion dataset[DB/L]. [2014-04-26]. http: ∥dx.doi.org/10.6084/m9. figshare.1008029.

Toet A. TNO image fusion dataset[DB/L]. [2014-04-26]. http: ∥dx.doi.org/10.6084/m9. figshare.1008029.

[28] ToetA, Hogervorst MA, Pinkus AR. The TRICLOBS dynamic multiband image dataset[DB/OL]. [2016-10-08].https: ∥figshare.com/articles/The_TRICLOBS_Dynamic_Multiband_Image_Dataset/3206887.

ToetA, Hogervorst MA, Pinkus AR. The TRICLOBS dynamic multiband image dataset[DB/OL]. [2016-10-08].https: ∥figshare.com/articles/The_TRICLOBS_Dynamic_Multiband_Image_Dataset/3206887.

[29] Yuan Y H, Zhang J J, Chang B K, et al. Objective quality evaluation of visible and infrared color fusion image[J]. Optical Engineering, 2011, 50(3): 033202.

Yuan Y H, Zhang J J, Chang B K, et al. Objective quality evaluation of visible and infrared color fusion image[J]. Optical Engineering, 2011, 50(3): 033202.

[30] 高绍姝, 金伟其, 王岭雪, 等. 基于颜色协调性的典型场景彩色融合图像颜色质量评价[J]. 北京理工大学学报, 2012, 32(10): 1054-1060.

高绍姝, 金伟其, 王岭雪, 等. 基于颜色协调性的典型场景彩色融合图像颜色质量评价[J]. 北京理工大学学报, 2012, 32(10): 1054-1060.

Gao S S, Jin W Q, Wang L X, et al. Color-quality assessment for color fusion images of typical scenes based on color harmony[J]. Transactions of Beijing Institute of Technology, 2012, 32(10): 1054-1060.

3.1 低照度可见光与长波红外图像融合实验

3.2 低照度可见光与近红外图像融合实验

4 结论

何炳阳, 张智诠, 李强, 蒋晓瑜. 基于CbCr查找表的双波段图像彩色融合算法[J]. 光学学报, 2018, 38(1): 0133001. Bingyang He, Zhiquan Zhang, Qiang Li, Xiaoyu Jiang. Color Fusion Algorithm of Dual-Band Images Based on CbCr Look-up Table[J]. Acta Optica Sinica, 2018, 38(1): 0133001.

基于CbCr查找表的双波段图像彩色融合算法 下载： 629次

1 引言

2 算法原理

图 1. 彩色融合算法原理图

Fig. 1. Schematic of color fusion algorithm

2.1 色彩映射

图 2. 色彩映射过程。(a)低照度可见光图像;(b)CbCr查找表;(c)红外图像;(d)彩色融合图像

Fig. 2. Process of color mapping. (a) Low-light visible image;(b) CbCr look-up table; (c) infrared image; (d) color fusion image

2.2 灰度融合

图 3. 拉普拉斯金字塔融合原理图

Fig. 3. Schematic of image fusion based on Laplacian pyramid transformation

3 实验与分析

3.1 低照度可见光与长波红外图像融合实验

图 4. 村庄场景A~E。(a)低照度可见光;(b)长波红外;(c)昼间彩色

Fig. 4. Scenes A-E of a village. (a) Low-light visible; (b) long-wave infrared; (c) natural color

图 5. 村庄场景F~L。(a)低照度可见光;(b)长波红外

Fig. 5. Scenes F-L of a village. (a) Low-light visible; (b) long-wave infrared

图 6. 由场景C和E构建的CbCr查找表

Fig. 6. CbCr look-up table constructed by scenes C and E

图 7. 场景A~E的融合结果。(a)拉普拉斯金字塔融合;(b)本文算法

Fig. 7. Fusion results of scenes A-E. (a) Fusion based on Laplacian pyramid transformation; (b) proposed algorithm

图 8. 彩色融合对比。(a)拉普拉斯金字塔融合;(b)本文算法;(c) Toet算法

Fig. 8. Comparison of color fusion. (a) Fusion based on Laplacian pyramid transformation; (b) proposed algorithm; (c) Toet algorithm

表 1. 不同彩色融合算法的客观评价结果

Table 1. Objective evaluation results of different color fusion algorithms

图 9. 灰度校正及彩色融合对比。(a)拉普拉斯金字塔融合图像;(b)本文算法灰度校正前;(c)本文算法灰度校正后;(d) Toet算法

Fig. 9. Greyscale calibration and a comparison of color fusion. (a) Fusion based on laplacian pyramid transformation; (b) proposed algorithm before calibration; (c) proposed algorithm after calibration; (d) Toet algorithm

表 2. 不同彩色融合算法的客观评价结果

Table 2. Objective evaluation results of different color fusion algorithms

3.2 低照度可见光与近红外图像融合实验

图 10. 训练样本。(a)低照度可见光;(b)近红外;(c)昼间彩色

Fig. 10. Training samples. (a) Low-light visible; (b) near infrared; (c) natural color

图 11. 住宅场景N~S。(a)低照度可见光;(b)近红外

Fig. 11. Scenes N-S of a residence. (a) Low-light visible; (b) near infrared

图 12. 由场景M构建的查找表。(a)本文算法CbCr查找表;(b) Toet算法RGB查找表

Fig. 12. Look-up table constructed by scene M. (a) CbCr look-up table by proposed algorithm; (b) RGB look-up table from Toet algorithm

图 13. 彩色融合对比。(a)拉普拉斯金字塔融合;(b)本文算法;(c) Toet算法

Fig. 13. Comparison of color fusion. (a) Fusion based on Laplacian pyramid transformation; (b) proposed algorithm; (c) Toet algorithm

表 3. 不同彩色融合算法的客观评价结果

Table 3. Objective evaluation results of different color fusion algorithms

4 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于CbCr查找表的双波段图像彩色融合算法下载： 629次