基于对称亮度映射和虚拟多曝光融合的非均匀光照图像增强

针对非均匀光照图像存在局部过暗或过亮区域而导致图像对比度低、细节不清晰和可视化效果差的问题，提出了一种基于对称亮度映射和虚拟多曝光融合的图像增强方法。该方法通过颜色空间转换保留输入图像的色度和饱和度分量并分离出亮度分量进行增强。根据相机响应模型，采用图像信息熵和平均梯度最大化原则估计最优曝光比，设计了一种对称亮度映射函数用于虚拟生成对应的最优增强曝光图像和减弱曝光图像，从而与原始亮度分量一起组成具有不同曝光的图像序列，再使用带细节提升的多曝光融合方法对该图像序列重构即得到增强结果。实验结果表明，本文方法在7个公开数据集上的图像信息熵、平均梯度、图像对比度、颜色一致性评价指标均值分别为7.644，9.209，450.683，0.962，均优于对比方法，获得了动态范围高、对比度强、细节清晰和可视化效果好的增强结果。

Abstract

Aiming at the problems of low contrast, unclear details and poor visualization in non-uniform illumination images due to over-dark or over-bright local regions, an image enhancement method via symmetric brightness mapping and virtual multi-exposure fusion is proposed. A color space conversion is used to retain the hue and saturation components and separate the brightness component of the input image for enhancement processing. According to the camera response model, the principle of image information entropy and average gradient maximization is adopted to estimate the optimal exposure ratio. A pair of symmetrical brightness mapping functions are designed to generate virtually corresponding images with the enhanced exposure and reduced exposure, forming an image sequence with different exposures together with the original brightness component. Then, a multi-exposure fusion method with detail enhancement is applied to the image sequence to reconstruct the enhanced result. Experimental results indicate that the average values of evaluation indices such as image information entropy, average gradient, image contrast, and color consistency of the proposed method are 7.644, 9.209, 450.683 and 0.962 on seven public datasets respectively, which are superior to those of the contrast method and achieve enhanced results with high dynamic range, strong contrast, clear details and good visualization.

1 引言

图像增强^［1-2］是将待处理图像的细节、边缘、颜色饱和度、对比度等特征进行突出或加强，改善图像质量，方便人眼观察或计算机分析与处理，是进行图像预处理的常见手段。在现实生活中，光照条件是影响成像质量的主要因素之一。图像整体或局部区域过暗或过亮，均不利于人眼视觉观察或机器视觉处理。非均匀光照图像增强技术就是要将原来非均匀光照条件下的图像恢复成正常光照条件下的图像，恢复图像过暗或过亮区域的细节信息，扩大图像中不同物体的特征差异，进而提高这些特征的可辨识度。目前，常用且具有代表性的非均匀光照图像增强方法大致可分为基于Retinex理论的方法、基于图像融合的方法和基于深度学习的方法。基于Retinex理论的方法将输入图像分解为两幅子图^［3］，即带有图像细节信息的反射分量和决定图像动态范围的光照分量。如NPE（Naturalness Preserved Enhancement）^［4］方法使用滤波器将图像分解为反射分量和光照分量，并使用对数变换进行亮度分量的增强，但增强后的图像常常会存在伪影的问题；SRIE（Simultaneous Reflectance and Illumination Estimation）^［5］方法则使用一种加权变分模型来同时估计输入图像的反射分量和光照分量，虽弥补了在对数域上过于放大暗部区域的问题，但也导致最终非均匀光照图像增强的效果不明显。在基于图像融合的方法中，一项十分困难的工作便是如何基于单张输入图像获得同一场景的不同曝光度下的图像。为此，Ying等人^［6-7］提出了基于相机响应模型的方法，通过参数优化虚拟生成最优曝光比下的图像，并与原图像进行加权融合，然而该方法没有处理图像的过曝区域，图像亮区细节会失真。文献［8］根据该相机响应模型提出了一种增强非均匀光照图像的改进算法，对图像亮区也进行了增强处理，但所用亮度映射函数没有归一化，映射结果会存在欠曝或过曝像素，导致部分细节信息的丢失。基于深度学习的方法^［9］的性能在一定程度上取决于数据集大小，数据集越大则训练所得神经网络模型泛化能力越强。随着数据集的增长，神经网络模型不仅需要训练更多参数，而且训练数据量也会增加，因此需要高性能计算机用于训练，而采用较小的数据集进行训练则容易出现模型过拟合现象。

为了克服以上方法的不足，针对非均匀光照增强任务，本文提出一种基于对称亮度映射和虚拟多曝光融合的图像增强方法，不依赖于图像数据集，借助相机响应模型及图像信息熵和平均梯度最大化原则估计最优曝光比，并设计对称的亮度映射函数对单张输入图像进行增强曝光和减弱曝光处理，虚拟生成一个具有不同曝光比的图像序列，最后通过带细节提升的多曝光融合方法重构得到一幅动态范围高、对比度强、细节清晰、可视化质量好的图像。

2 相机响应模型

图像的成像过程可用相机响应模型来解释，相机响应函数是描述相机响应模型的具体方式之一。设函数 $f$ 为相机响应函数，它建立了相机的曝光量 $E$ 和图像亮度值 $P$ 之间的非线性映射关系^［10］：

P = f (E)

. （1）

设 $P$ 和 $P'$ 分别是在同一场景下不同曝光量 $E$ 和 $E'$ 拍摄的图像，且 $E' = k E$ ，其中 $k$ 为曝光比，则：

P' = f (E') = f (k E)

. （2）

再设函数 $g$ 为亮度映射函数（Brightness Mapping Function，BMF），用于建立同一场景下不同曝光的图像之间的亮度非线性映射关系^［11］，则：

P^{'} = g (P, k)

. （3）

因此，CRF与BMF两函数之间的转换关系可表示为：

g (f (E), k) = f (k E)

. （4）

可见，BMF也可作为相机响应模型的一种具体表示形式，目前已有多种方法用于估计BMF。虽然真实场景下图像的曝光量难以得到，但当BMF已知时，利用式（3）就可以通过对原始图像 $P$ 设置不同的曝光比 $k$ 来生成不同的图像 $P'$ ，等同于起到改变图像像素曝光量的效果。将这些具有不同曝光比的生成图像看做一个虚拟的曝光序列，就可以使用图像多曝光融合方法实现对非均匀光照图像增强的目的。

显然，可以直接设置多个不同的曝光比生成一系列图像，但考虑计算效率，一般希望使用尽可能少的虚拟曝光图像，这就需要选用适当的图像质量评价指标作为度量确定最优的曝光比。文献［6-7］及文献［8］均采用图像信息熵这一单一质量评价指标来优化曝光比，依据增强后图像较暗或较亮像素的信息熵大小来确定最优曝光比。这种方法存在一定的局限性，因为信息熵不能反映图像的结构化信息，尤其在非均匀光照条件下图像过暗区或过亮区的局部结构化信息可能丢失。因此，为了实现更好的增强效果，本文在信息熵的基础上加入了平均梯度评价指标来共同优化曝光比，即产生虚拟曝光图像的最优曝光比由增强后图像的信息熵和平均梯度大小共同决定。另外，上述方法所用亮度映射函数没有归一化，虚拟曝光结果图像会存在欠曝或过曝像素，从而导致部分图像细节信息的丢失，且文献［8］要分别对暗区和亮区像素估计不同的最优曝光比，计算比较繁琐，因此，本文进一步改进了亮度映射函数设计方法，提出使用对称亮度映射函数，只需一次估计最优曝光比即可实现对非均匀光照图像进行虚拟增强曝光和减弱曝光，且保持与原图像亮度顺序的一致性，不会出现欠曝或过曝现象。最后，为凸显图像细节，再采用带细节提升的多曝光融合方法重构图像即可实现非均匀光照图像增强效果。

3 非均匀光照图像增强方法

3.1　方法流程

本文提出的基于对称亮度映射和虚拟多曝光融合的非均匀光照图像增强方法的流程图如图1所示。

图 1. 本文方法流程图

Fig. 1. Flow chart of the proposed method

下载图片查看所有图片

首先，为了更好地保持图像的颜色信息，将输入的单张非均匀光照彩色图像由RGB颜色空间转换到HSV颜色空间，分离出图像的色调分量图像 $H$ 、亮度分量图像 $V$ 和饱和度分量图像 $S$ ；然后，仅针对亮度分量图像 $V$ 进行处理，依据信息熵与平均梯度最大化原则来估计最佳曝光比 $k_{o p t}$ ，代入所设计的亮度映射函数 $g$ 中，对亮度分量图像 $V$ 进行增强曝光处理，得到增强曝光的图像 $V_{1} = g (V, k_{o p t})$ ，同时利用函数 $g$ 关于点 $(x_{0}, y_{0})$ 对称的亮度响应函数进一步对亮度分量图像 $V$ 进行减弱曝光处理，得到减弱曝光的图像 $V_{2} = 2 y_{0}$ -g（2x₀-V，k_opt）；接着，为凸显图像细节信息，使用带细节提升的多曝光融合方法，对由图像 $V$ 、增强曝光图像 $V_{1}$ 和减弱曝光图像 $V_{2}$ 组成的虚拟曝光序列进行融合，重构出增强后的亮度分量图像 $V$ ；最后，将增强后的亮度分量图像 $V$ 和保持不变的色调分量图像 $H$ 、饱和度分量图像 $S$ 从HSV颜色空间转换回RGB颜色空间，得到最终的图像增强结果。

3.2　基于图像信息熵和平均梯度的最佳曝光比估计

图像信息熵^［12］和平均梯度^［13］是衡量图像质量的两个常用无参考指标。

图像信息熵一般用来度量图像信息量，其值越大说明图像中包含的信息越多，计算公式如式（5）所示：

H (I) = - \sum_{i = 1}^{J} p_{i} l o g_{2} p_{i}

，（5）

式中 $J$ 为灰度级总数， $p_{i}$ 表示图像 $I$ 中某处灰度出现的概率。

图像的平均梯度代表了图像微小细节反差变化的速率，可以用来表示图像的清晰度，其值越大说明图像的结构化信息越多，图像越清晰，计算公式如式（6）所示：

A G (I) = \frac{1}{(M - 1) \times (N - 1)} \times \sum_{x = 1}^{M - 1} \sum_{y = 1}^{N - 1} \sqrt[]{\frac{[I (x, y) - I {(x - 1, y)]}^{2} + [I (x, y) - I {(x, y - 1)]}^{2}}{2}}

，（6）

式中 $M \times N$ 为图像大小， $I (x, y)$ 为图像 $I$ 在像素 $(x, y)$ 处的灰度值。

对于非均匀光照图像，为了实现更好的增强效果，一般先只针对曝光不足或曝光过高的像素集合来估计最优曝光比，再利用此最优曝光比作用于图像中所有像素实现虚拟曝光增强或虚拟曝光减弱效果。

本文方法在估计最优曝光比时，使用图像信息熵和平均梯度最大化原则：使经亮度映射函数作用后的虚拟曝光图像中对应原始图像中曝光不足或曝光过高的像素集合所能蕴含的信息量和清晰度达到最优。该优化问题可以表示为：

k_{o p t} = a r g_{k}

m a x [\frac{1}{2} H (g (Q, k)) + \frac{1}{2} A G (g (Q, k))]

，（7）

其中， $Q$ 为原始输入图像中曝光不足或曝光过高像素灰度值集合， $g$ 为图像灰度映射函数。

获得仅包含曝光不足的像素灰度值集合 $Q_{1}$ 和仅包含曝光过高的像素灰度值集合 $Q_{2}$ 的判定方法为：

Q_{1} = {V (x) | T (x) < τ_{1}}

，（8）

Q_{2} = {V (x) | T (x) > τ_{2}}

，（9）

式中 $T (x)$ 为图像 $V$ 的光照分量图，估计 $T (x)$ 的方法可以参见文献［6-7］； $τ_{1}$ 和 $τ_{2}$ 分别为区分曝光不足和曝光过高像素的灰度阈值，本文中图像灰度归一化后取 $τ_{1} = 0.5$ ， $τ_{2} = 0.5$ 。式（7）中， $Q = Q_{1}$ 时，要满足 $k > 1$ ；而 $Q = Q_{2}$ 时，要满足 $k < 1$ 。

3.3　对称亮度映射函数

由于非均匀光照图像存在曝光不足和曝光过度两种情形，如果使用统一的曝光比直接对非均匀光照图像进行曝光补偿等增强处理，无法使所有像素曝光良好。因此需要选择合适的亮度映射函数对曝光不足区域做增强曝光处理，生成增强曝光图像，提高原图像中的局部亮度偏低像素的灰度值；对亮度过高区域做减弱曝光处理，生成减弱曝光图像，降低原图像中的局部亮度偏高像素的灰度值。

以 $v$ 表示某一亮度值， $k$ 表示曝光比参数，亮度映射函数 $g (v, k)$ 的设计一般应满足3个条件：

（1）为防止映射后图像相邻像素之间的亮度值差异消失，函数必须是严格单调的，即对任意 $v_{2} > v_{1}$ ，须满足 $g (v_{2}, k) > g (v_{1}, k)$ 。

（2）为防止映射后像素亮度值截断导致信息丢失，要保证归一化输入图像的每个像素亮度值仍被映射至归一化区间 $[0,1]$ ，即 $g (0, k) = 0$ ，且 $g (1, k) = 1$ 。

（3）曝光比k控制着曝光效果。当 $k = 1$ 时， $g (v, 1) = v$ ，即曝光不变；对于任意 $(0,1)$ 之间取值的像素 $v$ ，当 $k > 1$ 时， $g (v, k) > g (v, 1) = v$ ，即增强曝光；当 $k < 1$ 时， $g (v, k) < g (v, 1) = v$ ，即减弱曝光。

当生成增强曝光图像时，文献［4-6］中方法所采用的亮度映射函数为：

g_{1} (V, k) = e^{b (1 - k^{a})} V^{k^{a}}

，（10）

其中 $a = - 0.329 3$ ， $b = 1.125 8$ 。实验结果表明，该函数取得了较好效果，但它不满足上述条件（2），会在输入图像亮度值较大时产生截断而丢失亮区的信息。

为了利用该函数的效果优势并弥补其不足，本文以分段的形式定义一种改进的亮度映射函数：

g (V, k) = \{\begin{array}{l} g_{1} (V, k) 0 \leq V < θ \\ g_{2} (V, k) θ \leq V \leq 1 \end{array}

. （11）

为保证函数连续，须满足 $g_{1} (θ, k) = g_{2} (θ, k) = ε$ ， $ε$ 为分段点自变量 $θ$ 所对应的映射值。反过来通过指定 $ε$ 也可求出 $θ$ ，本文取 $ε = 0.9$ 以得到较好的暗区对比度提升效果。

这里 $g_{2} (V, k)$ 的主要作用就是防止图像亮度值超过1而被截断，起到保留原始图像亮区灰度信息的效果，可选函数很多，为便于计算，一种简单的函数形式是取经过点 $(θ, ε)$ 与 $(1,1)$ 的直线，即：

g_{2} (V, k) = \frac{ε - 1}{θ - 1} \times V - \frac{ε - 1}{θ - 1} + 1

. （12）

当 $ε = 0.9$ 时，改进前后的亮度映射函数曲线如图2所示。

图 2. 改进前后的亮度映射函数曲线对比

Fig. 2. Comparison of the original and improved BMF curves

下载图片查看所有图片

由图2可知，该函数能较好地拉升图像暗区像素的亮度值，增强图像暗区像素的对比度。

根据函数点对称性质可知，当想要较好地拉升图像亮区像素的亮度值，增强图像亮区像素的对比度时，可直接选择使用该亮度映射函数关于点 $(x_{0}, y_{0})$ 对称的函数生成减弱曝光图像： $V_{2} = 2 y_{0} - g (2 x_{0} - V, k_{o p t})$ ，这里 $x_{0} = 0.5$ ， $y_{0} = 0.5$ ，从而无需重新估计新的最优曝光比和设计新的亮度映射函数。

当 $ε = 0.9$ 时，用于增强曝光的亮度映射函数与用于减弱曝光的亮度映射函数所组成的对称双曲线如图3所示。可见，增强曝光的BMF曲线拉伸了低光区域的亮度对比度，而保持着高光区域的亮度一致性；相反，减弱曝光的BMF曲线拉伸了高光区域的亮度对比度，而保持低光区域的亮度一致性。两条曲线同时作用于原图像，即可虚拟生成对应的增强曝光图像和减弱曝光图像，加上原始输入图像，就可看做是一个由3幅不同曝光图像组成的信息互补的虚拟多曝光序列。

图 3. 对称亮度映射函数曲线

Fig. 3. Symmetric BMF curves

下载图片查看所有图片

3.4　带细节提升的虚拟多曝光融合

对非均匀光照图像，在增强图像对比度的同时，还希望尽可能地凸显图像细节。因此，本文最终图像增强结果采用带细节提升的多曝光融合方法^［6］将图像 $V$ 以及虚拟曝光生成的两幅图像 $V_{1}$ 和 $V_{2}$ 进行信息融合而得到。

具体而言，首先要将曝光序列中的任一图像分解为不同尺度下的基础层和细节层，这里用3个不同尺度的高斯卷积核分别对待处理图像进行滤波，即：

B_{n, i} = G_{i} * V_{i}

，

D_{n, i} = V_{n} - B_{n, i}

，（13）

式中 $V_{n}$ 为曝光序列中第 $n$ 幅图像， $B_{n, i} (i = 1,2, 3)$ 为第 $n$ 幅曝光图像在不同尺度下的基础层， $D_{n, i} (i = 1,2, 3)$ 为第 $n$ 幅曝光图像在不同尺度下的细节层， $G_{i} (i = 1,2, 3)$ 为标准差为 $σ_{1} = 1$ ， $σ_{2} = 2$ 和 $σ_{3} = 4$ 的高斯核， $*$ 表示卷积运算。

然后，取最小尺度的高斯核卷积得到的基础层作为后续融合的基础层图像，即第 $n$ 幅曝光图像对应的基础层 $B_{n} = B_{n, 1}$ ，细节层图像则由上述3种尺度下的细节层加权重构得到：

D_{n} = (1 - w_{1} s g n (D_{n, 1})) D_{n, 1} + w_{2} D_{n, 2} + w_{3} D_{n, 3}

，（14）

式中 $w_{1}$ 、 $w_{2}$ 、 $w_{3}$ 为权重系数， $s g n$ 为符号函数。

接着，采用将像素显著性和空间一致性相结合的方法计算 $B_{n}$ 和 $D_{n}$ 的权重图，其步骤如下：

（1）利用 $3 \times 3$ 的拉普拉斯滤波器 $L$ 与每幅图像 $V_{n}$ 进行卷积，得到高通图像 $H_{n}$ ：

H_{n} = V_{n} * L

，（15）

用 $H_{n}$ 绝对值的局部高斯平滑处理结果构建显著性图像 $S_{n}$ ：

S_{n} = | H_{n} | * R_{r_{g}, σ_{g}}

，（16）

式中 $R_{r_{g}, σ_{g}}$ 是大小为 $(2 r_{g} + 1) \times (2 r_{g} + 1)$ 、标准差为 $σ_{g}$ 的高斯低通滤波器，其中 $r_{g} = 5$ ， $σ_{g} = 5$ 。

（2）通过比较不同的 $S_{n}$ 中相同位置像素的显著性数值确定初始的权重图中对应位置的权重值为：

P_{n}^{k} = \{\begin{array}{l} 1, 当 S_{n} = m a x (S_{1}^{k}, S_{2}^{k}, \dots, S_{N}^{k}) \\ 0, 其 他 \end{array}

，（17）

式中 $N$ 为图像的数量， $S_{n}^{k}$ 为第 $n$ 幅图像在第 $k$ 个像素处的显著性数值。

（3）利用引导滤波能保持像素空间一致性的优点来改善初始权重图 $P_{n}$ ，将 $P_{n}$ 作为引导滤波的输入图像，将与 $P_{n}$ 对应的图像 $V_{n}$ 作为引导图像，即：

W_{n}^{B} = G r_{1,1} (P_{n}, V_{n})

，

W_{n}^{D} = G_{r_{_{2,2}}} (P_{n}, V_{n})

，（18）

式中 $W_{n}^{B}$ 和 $W_{n}^{D}$ 分别为得到的基础层和细节层的最终权重图， $G_{r_{1,1}}$ 、 $G_{r_{2,2}}$ 为引导滤波参数。

然后，将 $N$ 个基础层权重图和 $N$ 个细节层权重图在相同像素位置分别做和为1的归一化处理，再通过线性加权的方法分别进行融合，即：

\bar{B} = \sum_{n = 1}^{N} W_{n}^{B} B_{n}

，

\bar{D} = \sum_{n = 1}^{N} W_{n}^{D} D_{n}

. （19）

最后，将融合后的基础层 $\bar{B}$ 与融合后的细节层 $\bar{D}$ 相加，得到最终的重构图像 $I$ ：

I = \bar{B} + \bar{D}

. （20）

4 实验结果及分析

为了验证文本方法对非均匀光照图像增强的可行性与有效性，选取DICM^［14］、LIME-data^［15］、NPE-data^［4］及其扩展集NPE-ex1、NPE-ex2、NPE-ex3以及VV^［16］等7个公开数据集进行了对比实验，实验后进行了图像质量的主客观评价。对比方法包括经典的方法NPE^［4］和SRIE^［5］、基于图像融合的方法YING-EF（Exposure Fusion）^［7］和VMEF（Virtual Multi-Exposure Fusion）^［8］、基于深度学习的方法LightenNet^［17］，其中对比方法的参数设置保持原论文设置不变。

4.1　实验结果客观评价

为了客观评价本文方法，采用图像信息熵、平均梯度、图像对比度、颜色一致性作为客观指标来衡量方法性能。图像对比度代表了图像亮区暗区拉伸的对比程度，其值越大说明图像的灰度反差越大，图像的动态范围越高，其计算公式如式（21）所示：

C (i, j) = \sum_{δ} δ {(i, j)}^{2} P_{δ} (i, j)

，（21）

其中， $δ (i, j) = | i - j |$ ，即相邻像素间灰度差； $P_{δ} (i, j)$ 为相邻像素间的灰度差为 $δ$ 的像素分布概率。将图像中每个像素点的R、G、B值看作3维空间的1个颜色向量，则颜色一致性度量为计算原图像与增强图像所有对应像素点的颜色向量夹角余弦值^［18］的平均值，其值越大表明图像增强后的颜色与原图像差异越小，其计算公式如式（22）所示：

A = \frac{1}{n} \sum_{p} c o s θ_{p} = \frac{1}{n} \sum_{p} \frac{E_{P} I_{P}}{E_{P} I_{P}}

，（22）

其中， $I$ 和 $E$ 分别为原图像和增强图像， $θ_{p}$ 为像素点 $P$ 处的颜色向量夹角， $n$ 为像素点总数。

客观评价指标的实验结果如表1~4所示。表中每个数据集对应的结果是该数据集上所有图像相应评价指标的平均值，最后也记录了所有数据集上图像的整体平均值。

表 1. 不同方法在各数据集上的图像信息熵

Table 1. Image information entropy of different methods on each dataset

方法	DICM	LIME	NPE	NPE-ex1	NPE-ex2	NPE-ex3	VV	平均值
NPE	7.107	7.144	7.661	7.359	7.577	7.397	7.351	7.371
SRIE	7.228	7.058	7.619	7.357	7.526	7.358	7.423	7.367
YING-EF	7.027	7.004	7.568	7.246	7.437	7.259	7.229	7.253
VMEF	7.330	7.414	7.692	7.470	7.625	7.558	7.589	7.525
LightenNet	7.102	7.235	7.423	7.217	7.464	7.393	7.362	7.314
本文方法	7.586	7.673	7.713	7.493	7.644	7.639	7.761	7.644

查看所有表

表 2. 不同方法在各数据集上的平均梯度

Table 2. Average gradients of different methods on each dataset

方法	DICM	LIME	NPE	NPE-ex1	NPE-ex2	NPE-ex3	VV	平均值
NPE	6.600	7.576	6.198	8.251	6.056	9.632	6.849	7.309
SRIE	5.660	5.621	5.419	7.680	5.456	8.985	6.342	6.465
YING-EF	6.233	6.777	6.073	7.486	5.878	9.320	6.518	6.898
VMEF	7.470	8.251	7.911	9.346	7.190	11.085	7.678	8.419
LightenNet	6.400	7.177	6.281	8.332	6.096	9.345	6.533	7.166
本文方法	9.120	9.547	8.443	9.804	7.754	11.343	8.451	9.209

查看所有表

表 3. 不同方法在各数据集上的图像对比度

Table 3. Image contrast of different methods on each dataset

方法	DICM	LIME	NPE	NPE-ex1	NPE-ex2	NPE-ex3	VV	平均值
NPE	218.189	295.486	202.803	349.680	242.037	518.382	245.583	296.023
SRIE	177.698	192.102	188.951	335.755	237.092	508.222	262.402	271.746
YING-EF	201.167	261.269	227.049	318.774	265.414	529.220	263.257	295.164
VMEF	266.312	352.951	344.301	454.452	326.995	647.971	315.002	386.855
LightenNet	218.130	278.932	236.603	376.230	260.232	522.982	263.912	308.146
本文方法	455.035	462.012	393.181	490.352	361.963	659.082	332.418	450.683

查看所有表

表 4. 不同方法在各数据集上的颜色一致性

Table 4. Color consistency of different methods on each dataset

方法	DICM	LIME	NPE	NPE-ex1	NPE-ex2	NPE-ex3	VV	平均值
NPE	0.909	0.936	0.964	0.970	0.973	0.958	0.921	0.947
SRIE	0.880	0.900	0.946	0.959	0.953	0.942	0.883	0.923
YING-EF	0.907	0.932	0.968	0.969	0.974	0.957	0.915	0.946
VMEF	0.916	0.940	0.971	0.969	0.975	0.956	0.930	0.951
LightenNet	0.893	0.919	0.956	0.964	0.966	0.953	0.893	0.935
本文方法	0.933	0.954	0.977	0.977	0.981	0.961	0.951	0.962

查看所有表

结果表明，NPE、SRIE、YING-EF和LightenNet方法的增强效果比较接近，均处于较低水平；VMEF方法略高于NPE、SRIE、YING-EF和LightenNet方法；而本文方法在图像信息熵、平均梯度、图像对比度、颜色一致性等客观评价指标上均表现为最高，在7个公开数据集上相应评价指标的整体平均值分别达到了7.644，9.209，450.683，0.962，与对比方法相比均有显著提升。

4.2　实验结果主观评价

为了能够真实地反映本文方法对非均匀光照图像增强的直观效果，从实验结果中挑选了两幅具有代表性的图像及其细节放大图（红色方框标出），如图4、图5和图6所示。可以看出，SRIE和YING-EF方法对于图像的增强并不明显，增强后图像对比度仍偏低，不利于人眼分辨图像信息；图4中汽车和街道部分、图5中树和沙滩部分以及图6中洞壁和人脸部分，由NPE、VMEF和LightenNet方法处理的图像亮度较暗；而本文方法增强的图像不仅对比度较高，而且细节清晰、色彩层次感丰富，相较于其他算法的可视化效果有了明显提升。

图 4. 非均匀光照图像增强结果对比（示例1）

Fig. 4. Comparison of image enhancement results for non-uniform illumination image（Example 1）

下载图片查看所有图片

图 5. 非均匀光照图像增强结果对比（示例2）

Fig. 5. Comparison of image enhancement results for non-uniform illumination image（Example 2）

下载图片查看所有图片

图 6. 非均匀光照图像增强结果对比（示例3）

Fig. 6. Comparison of image enhancement results for non-uniform illumination image（Example 3）

下载图片查看所有图片

5 结论

为解决非均匀光照图像出现的各种问题，如对比度低、细节不清晰、可视化效果差等，本文提出了一种基于对称亮度映射和虚拟多曝光融合的非均匀光照图像增强方法，通过两条对称的亮度映射函数曲线分别对非均匀光照图像的欠曝光区域做增强曝光处理，对过曝光区域做减弱曝光处理，然后使用带细节提升的多曝光融合方法对原图像、减弱曝光图像和增强曝光图像组成的曝光序列进行融合得到最终的增强图像。在7个公共数据集上的实验表明，本文方法取得的图像信息熵、平均梯度、图像对比度、颜色一致性4种客观评价指标均值分别为7.644，9.209，450.683，0.962，均优于对比方法，获得了动态范围高、对比度强、细节清晰和可视化效果好的增强结果。

参考文献

[1] 王浩, 张叶, 沈宏海, 等. 图像增强算法综述[J]. 中国光学, 2017, 10(4): 438-448.

WANG H, ZHANG Y, SHEN H H, et al. Review of image enhancement algorithms[J]. Chinese Optics, 2017, 10(4): 438-448.

[2] 陈莹, 朱明. 多子直方图均衡微光图像增强及FPGA实现[J]. 中国光学, 2014, 7(2): 225-233.

CHEN Y, ZHU M. Multiple sub-histogram equalization low light level image enhancement and realization on FPGA[J]. Chinese Optics, 2014, 7(2): 225-233.

[3] LAND E H. The Retinex theory of color vision[J]. Scientific American, 1977, 237(6): 108-128.

[4] WANG S H, ZHENG J, HU H M, et al. Naturalness preserved enhancement algorithm for non-uniform illumination images[J]. IEEE Transactions on Image Processing, 2013, 22(9): 3538-3548.

[5] FUX Y, ZENGD L, HUANGY, et al. A weighted variational model for simultaneous reflectance and illumination estimation [C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016: 2782-2790. 10.1109/cvpr.2016.304

[6] YINGZ Q, LIG, RENY R, et al. A new low-light image enhancement algorithm using camera response model [C]//Proceedings of the IEEE International Conference on Computer Vision Workshops. Venice: IEEE, 2017: 3015-3022. 10.1109/iccvw.2017.356

[7] YINGZ Q, LIG, RENY R, et al. A new image contrast enhancement algorithm using exposure fusion framework [C]//17th International Conference on Computer Analysis of Images and Patterns. Ystad: Springer, 2017: 36-46. 10.1007/978-3-319-64698-5_4

[8] 徐望明, 刘召, 伍世虔, 等. 基于虚拟多曝光融合的不均匀光照图像增强方法[J]. 华中科技大学学报(自然科学版), 2020, 48(8): 79-84,90.

XU W M, LIU Z, WU S Q, et al. Non-uniform illumination image enhancement method based on virtual multi-exposure fusion[J]. Journal of Huazhong University of Science and Technology (Natural Science Edition), 2020, 48(8): 79-84, 90.

[9] 王兴瑞, 朴燕, 王雨墨. 复合残差网络在低照度图像增强中的技术研究[J]. 液晶与显示, 2022, 37(4): 508-518.

WANG X R, PIAO Y, WANG Y M. Technical research of composite residual network in low illumination image enhancement[J]. Chinese Journal of Liquid Crystals and Displays, 2022, 37(4): 508-518.

[10] CHENC, MCClOSKEYS, YUJ Y. Analyzing modern camera response functions [C]//2019 IEEE Winter Conference on Applications of Computer Vision (WACV). Waikoloa: IEEE, 2019: 1961-1969. 10.1109/wacv.2019.00213

[11] YANG Y, CAO W, WU S Q, et al. Multi-scale fusion of two large-exposure-ratio images[J]. IEEE Signal Processing Letters, 2018, 25(12): 1885-1889.

[12] 杨作廷, 阮萍, 翟波. 基于图像熵的高动态范围场景的自动曝光算法[J]. 光子学报, 2013, 42(6): 742-746.

YANG Z T, RUAN P, ZHAI B. Auto-exposure algorithm for scenes with high dynamic range based on image entropy[J]. Acta Photonica Sinica, 2013, 42(6): 742-746.

[13] 王绍权. 低照度视频图像增强技术研究[D]. 兰州: 兰州交通大学, 2020.

WANGS Q. Research on low illumination video image enhancement technology[D]. Lanzhou: Lanzhou Jiaotong University, 2020. (in Chinese)

[14] LEEC, LEEC, KIMC S. Contrast enhancement based on layered difference representation [C]//2012 19th IEEE International Conference on Image Processing. Orlando: IEEE, 2012: 965-968. 10.1109/icip.2012.6467022

[15] GUO X J, LI Y, LING H B. LIME: low-light image enhancement via illumination map estimation[J]. IEEE Transactions on Image Processing, 2017, 26(2): 982-993.

[16] VONIKAKIS V, KOUSKOURIDAS R, GASTERATOS A. On the evaluation of illumination compensation algorithms[J]. Multimedia Tools and Applications, 2018, 77(8): 9211-9231.

[17] LI C Y, GUO J C, PORIKLI F, et al. LightenNet: a convolutional neural network for weakly illuminated image enhancement[J]. Pattern Recognition Letters, 2018, 104: 15-22.

[18] WANGR X, ZHANGQ, FUC W, et al. Underexposed photo enhancement using deep illumination estimation [C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach: IEEE, 2019: 6842-6850. 10.1109/cvpr.2019.00701

3.2　基于图像信息熵和平均梯度的最佳曝光比估计

黄子蒙, 徐望明, 但愿. 基于对称亮度映射和虚拟多曝光融合的非均匀光照图像增强[J]. 液晶与显示, 2022, 37(12): 1580. Zi-meng HUANG, Wang-ming XU, Yuan DAN. Non-uniform illumination image enhancement via symmetric brightness mapping and virtual multi-exposure fusion[J]. Chinese Journal of Liquid Crystals and Displays, 2022, 37(12): 1580.