1 引言

高动态范围(HDR)图像是近年来数字图像领域的一项重大突破,相比低动态范围(LDR)图像,它能呈现更接近人眼所能捕捉的动态范围,细节更为丰富,广泛应用于模式识别、智能交通系统、遥感探测等领域^[1-2]。随着HDR显示器终端设备的产生及普及,对HDR图像及视频内容的需求也随之大量增加。获取HDR内容的一种重要手段就是利用现有内容资源,将LDR图像和视频转化为HDR图像及视频。

针对将单一曝光的LDR图像转换为HDR图像问题,国内外学者展开了大量研究。主要分为两类。一类是反色调映射算子方法,通过一次性的线性^[3-5]或非线性函数^[6-8]对LDR图像的亮度范围进行扩展。伽马变换是其中一种采用非线性函数进行扩展的方法,相较于其他反色调映射算子,具有算法复杂度低的优势,并且在HDR主观评价实验中获得了较高的评价分数^[9]。在伽马变换的基础上,Masia等^[10]提出了一种基于图像亮度倾向自动计算伽马参数的方法,可针对不同图像进行相适应的伽马变换,适用于非正常曝光的LDR图像。然而这种基于整幅图像亮度倾向的伽马变换,忽略了对亮度极端区域,如过曝光与欠曝光部分的考虑,不能完整呈现图像细节。

另一类方法是在LDR图像的基础上生成多幅伪曝光图像,再将其融合生成HDR图像。Wang等^[11]提出一种基于区域增强的伪曝光图像生成(PMET)方法。该方法基于S曲线,根据不同的输入曝光参数便可对原图像进行变换,从而生成多幅具有不同曝光效果的伪曝光图像,区域增强特性使得生成的伪曝光图像展示了原图像中不同区域的细节信息。随后,通过融合算法将这些在多幅伪曝光图像中呈现的细节信息融合到同一幅图像中。这种方法可以由单一曝光LDR图像生成具有HDR效果的图像,但缺点在于所给出的一组参数并不适应于所有图像,而是需要人为地反复调整一组曝光参数,才能使融合后的图像具有理想的效果。

为了简化将LDR图像转化成HDR图像的过程,摆脱对参数设定的依赖,同时达到提高图像动态范围、丰富图像细节的目的,提出一种基于多层伽马变换融合的HDR图像生成方法。在伽马变换方法基础上进行改进:通过对图像分区,获取自适应参数,再将由伽马变换生成的4幅强调不同区域细节信息的图像融合起来生成具有HDR效果的图像。本文方法可快速高效地将一幅LDR图像转换成HDR图像,且能展现更清晰的图像细节,并实现动态范围扩展。更重要的是,本文方法在默认设置基本参数的情况下适应性较强,所需变换的参数在算法实现过程中基于图像内容自动计算获取,可针对不同图像自适应调整参数,从而实现自适应性变换,适用性更广。这对于将大量LDR图像资源实时高效转换为HDR图像具有重要意义。

2 基于多层次伽马变换融合生成HDR图像的方法

在先前研究的基础上,针对单一伽马变换在生成HDR图像时效果的不足,以及PMET算法实现中参数调试的不便,提出一种基于多层伽马变换融合的HDR图像生成方法。该方法主要包括三部分:基于图像统计特性的区域划分,多层次细节增强图像的生成,通过曝光融合方法生成HDR图像。整体流程如图1所示。

图 1. 本文方法生成HDR图像的整体流程框图

Fig. 1. Flow chart of HDR image generated by proposed method

下载图片 查看所有图片

2.1 基于图像统计特性的区域划分

图像区域划分是图像处理的重要手段,基于图像直方图的阈值分割在图像处理中有着广泛的应用^[12]。为了有针对性地对不同区域实现细节增强,使其展现在不同的伽马变换图像中,首先对输入的LDR图像进行基于图像统计特性的区域划分。为了充分考虑各亮度层级的情况,根据亮度强弱将图像分为最暗区、暗区、亮区、最亮区。

在一幅图像中,任意亮度值i出现的次数占图像总像素数的比例为亮度i的概率,由于通常情况下Y通道的值更好地反映了像素点的亮度,将i定义为一幅图像中Y通道的值,计算公式为

pi=NiN,(1)

式中N_i表示整幅图像中亮度为i的像素个数,N为图像总的像素数。以i为上限的累积统计概率为

Pi=∑m=0ipm,(2)

式中p_m为亮度值为m的像素出现的概率。

基于图像Y通道的直方图分布对原图像进行分区。首先,以图像直方图的中值L_middle作为阈值将图像分成明暗两区域;利用两个区域的中值(分别为L_low和L_high)将图像进一步分成4个区域。用来划分区域的3个阈值分别对应累积统计概率 PLlow、 PLmiddle、 PLhigh,3个亮度阈值只取决于所做分区的图像。为了使每个分区的像素数均匀统一,这里将3个层次的累积统计概率分别设为0.25、0.50和0.75。也就是说,在一幅图像中,所有累积统计概率值小于0.25的像素被划分为最暗区,0.25~0.50区间的像素被划分为暗区,0.50~0.75区间的像素被划分为亮区,而大于0.75的像素被划分为最亮区。具体过程如图2所示。图2(a)为原始输入的LDR图像;图2(b)为输入图像的Y通道亮度分布直方图;图2(c)为将图2(b)中的概率累积得到的累积直方图,按照之前设定的0.25、0.50、0.75,寻找对应的分区亮度阈值,此例中得到的L_low、L_middle、L_high分别为61、109、181,以这3个亮度阈值对原图像进行分区;图2(d)为分区结果,其中,红色部分为最暗区,绿色部分为较暗区,蓝色部分为较亮区,白色部分为最亮区。

图 2. 图像分区过程。(a)原始图像;(b)原始图像的亮度分布直方图;(c)亮度累积概率直方图;(d)亮度等级分区图

Fig. 2. Partition process of image. (a) Original image; (b) histogram of luminance distribution in original image; (c) histogram of luminance accumulated probability; (d) partition result of luminance grade in original image

下载图片 查看所有图片

2.2 基于自适应参数的伽马变换

划分亮度区域之后,须针对每个区域进行亮度扩展,本文采用伽马曲线对原LDR图像实现多次伽马变换。实际上,每一次伽马变换相当于有针对性地对某一区域进行扩展与亮度拉伸,每次变换的参数由各区域的亮度倾向指数计算而得。

4个区域具有不同的亮度水平,设定k为该区域相对于整幅图像的亮度倾向指数并用其区域亮度。计算公式^[13]如下:

kRi=(lnLRi)avg-lnLminlnLmax-lnLmin,(3)lnLRiavg=∑x,y∈RilnL(x,y)+δ/NRi,(4)

式中L_min和L_max分别为整幅图像亮度的最小值与最大值,ln L_Riavg表示R_i区域亮度对数的平均值,N_Ri为图像中R_i区域的像素总数,δ是为了避免因L(x,y)为0时对数值趋于负无穷而设的小数。由此,可分别得到4个区域的亮度倾向指数k_R1、k_R2、k_R3、k_R4。

Masia等^[10]认为,适合图像变换的伽马值与图像场景的整体亮度相关,并呈线性关系:

γi=a×kRi+b,(5)

式中k_Ri为亮度倾向指数,a、b为线性变换系数。Masia等^[10]研究发现,当a=10.44、b=-6.282时,可以得到最理想的伽马变换值。在(5)式中分别代入4个区域的亮度倾向指数,得到4个伽马值,分别用于4个区域的变换。

分别在R、G、B通道进行4次伽马变换,对原图像进行扩展,得到4幅变换后的图像。具体变换公式如下:

Ri=Rγi,(6)Gi=Gγi,(7)Bi=Bγi,(8)

式中γ_i为之前计算得出的第i个区域的伽马值,R、G、B分别为原图像中各色度通道像素值。R_i、G_i、B_i分别为伽马变换后生成的第i幅图像的三色度通道像素值。

2.3 HDR图像的融合生成

通过上述操作,由原图像生成了4幅分别强调不同区域细节的图像,融合4幅图像,生成具有丰富细节信息且动态范围得以扩展的HDR图像。具体地:采用经典的曝光融合算法^[14],以对比度、饱和度和适度曝光量为3个测度因子生成权重图,对4幅经不同伽马值变换后的图像进行多分辨率金字塔融合,生成具有HDR效果的图像,融合的具体公式如下:

Rij=∑k=1NW^ij,kIij,k,(9)W^ij,k=∑k'=1NWij,k'-1Wij,k。(10)

式中R_ij为融合生成的结果图像在(i,j)位置处的像素值,I_ij,k为第k幅输入图像对应位置像素值, W^ij,k为归一化后的权重值。权重图计算公式为

Wij,k=Cij,kwC×Sij,kwSEij,kwE,(11)wC=wS=wE=1,(12)

式中C_ij,k、S_ij,k、E_ij,k分别为在第k幅图像中(i,j)位置处像素点的对比度、饱和度和适度曝光量,w_C、w_S、w_E表示三个测度因子在生成权重图中的影响。本文将三者统一设定为1,即三个测度因子对生成权重图的影响相同。

3 实验结果与分析

以Wreath Building图片为例,采用本文方法将其由LDR图像转换为HDR图像的过程如图3所示。图3(a)为LDR原图;图3(b)为对原图进行亮度分区的结果;图3(c)~(f)分别为根据4个亮度等级计算得到的伽马值进行变换的结果,分别强调了原图中各亮度等级的细节信息;图3(g)为由图3(c)~(f)融合得到的HDR图像,包含原图像在各亮度等级的细节信息。

图 3. 图像Wreath Building由LDR生成HDR图像的过程。(a)原始图像;(b)原始图像的亮度等级分区图;(c) γ1=0.7494时变换所得的图像;(d) γ2=1.0000时变换所得的图像;(e) γ3=1.8694时变换所得的图像;(f) γ4=3.1372时变换所得的图像;(g)融合生成的HDR图像

Fig. 3. Generation process of HDR image from LDR image of Wreath Building. (a) Original image; (b) partition result of luminance grade in original image; (c) Gamma transform result with γ1=0.7494; (d) Gamma transform result with γ2=1.0000; (e) Gamma transform result with γ3=1.8694; (f) Gamma transform result with γ4=3.1372; (g) HDR image fused by (c), (d), (e) and (f)

下载图片 查看所有图片

将本文算法与PMET算法进行对比分析,由两种算法生成的HDR图像经色调映射之后的图像如图4所示,其中3组图像作为样例结果在这里展示。图4(a)为未经变化的原始LDR图像,图4(b)为通过PMET算法生成的HDR图像经色调映射后的图像,图4(c)为由本文方法生成的HDR图像经色调映射后的图像。可以看出:由PMET算法所生成的图像中,部分区域过饱和,导致细节不清晰。由本文算法所生成的图像中,原LDR图像的细节信息得以更清晰完整地显示。

图 4. PMET与本文方法生成的HDR图像与原图的对比。(a)原始图像;(b)PMET方法;(c) 本文算法

Fig. 4. Comparison of HDR images generated by PMET and proposed method with original images. (a) Original images; (b) PMET method; (c) proposed method

下载图片 查看所有图片

首先采用经典的图像信息熵指标对两组图像进行评价分析,对比数据如表1所示。可以发现,在全部7组对比数据中,由本文方法生成的HDR图像的信息熵均高于由PMET算法生成的HDR图像的信息熵,说明本文算法较PMET算法生成的HDR图像具有更大的信息量和更丰富的细节信息。

图像的平均梯度指的是图像的边界或影线两侧附近灰度变化的明显程度,即图像的灰度变化率,反映了图像微小细节反差变化的速率,一定程度上反映了图像细节的清晰程度。本文采用图像的平均梯度作为评价标准,对两幅图像进行对比实验,结果如表2所示。在7组对比实验中,本文方法生成的图像均比由PMET方法生成的图像具有更大的平均梯度,证明本文方法在展现图像细节方面效果良好。

考虑到伽马变换会引起与原始图像的色差,通过实验对比两种算法所产生的色差大小。其中,每个点的色差为该处变换前后的像素值在LAB空间的距离,对每组图像所有像素点求平均色差,统计实验结果如表3所示。可以看出,本文方法生成的图像具有较小的色差,与原图更接近。

对两种算法的运行时间进行实验测试,实验平台为Windows 7系统下的Matlab2014b,计算机配置为4 G内存、i3中央处理器、主频3.40 GHz。两种方法在7组图像上的运行时间如表4所示,可以看出,本文算法所需的运行时间约为PMET算法运行所需时间的1/2,说明本文算法在实时性方面具有一定的优势。

4 结论

提出一种基于多层伽马变换融合生成HDR图像的方法。通过对图像不同亮度区域自适应生成伽马变换参数,有针对性地对不同区域进行亮度拉伸与细节增强,最后将各部分融合到一幅图像中,生成具有原图像中各部分区域细节信息的HDR图像。本文方法中图像的变换参数不依赖于系统外界输入,根据原图像特征计算而得,具有较好的自适应性,相较于PMET算法(需要3组输入参数,并且不能适应于所有图像)具有很大优势。将本文方法与PMET的结果进行对比发现,本文方法生成的HDR图像具有更高的图像信息熵和平均梯度,且算法运行时间约为PMET的1/2,在LDR视频实时转换为高动态视频方面具有重要应用价值。