光学学报, 2019, 39 (2): 0210004, 网络出版: 2019-05-10   

基于深度卷积神经网络的低照度图像增强 下载: 3343次

Low-Light Image Enhancement Based on Deep Convolutional Neural Network
作者单位
1 空军工程大学航空工程学院, 陕西 西安 710038
2 西北工业大学无人系统技术研究院, 陕西 西安 710072
摘要
针对低照度条件下图像降质严重的问题,提出了一种基于深度卷积神经网络(DCNN)的低照度图像增强算法。该算法根据Retinex模型合成训练样本,将原始低照度图像从RGB (Red Green Blue)空间转换到HSI (Hue Saturation Intensity)颜色空间,保持色度分量和饱和度分量不变,利用DCNN对亮度分量进行增强,最后将HSI颜色空间转换到RGB空间,得到最终的增强图像。实验结果表明,与现有主流的图像增强算法相比,所提算法不仅能够有效提升亮度和对比度,改善过增强现象,而且能够避免色彩失真,主观视觉和客观评价指标均得到了进一步提高。
Abstract
Aim

ing at the problem of the severe image degradation under a low-light condition, a low-light image enhancement algorithm based on deep convolutional neural network (DCNN) is proposed. The training sample is synthesized by this algorithm according to the Retinex model. Then, the original low-light image is converted from RGB (Red Green Blue) space to HSI (Hue Saturation Intensity) color space. The luminance component is enhanced by using the DCNN while keeping the chrominance component and the saturation component unchanged. Finally, the image is turned back to the RGB space from HSI color space to get the finally enhanced image. The experimental results show that, compared with the existing excellent image enhancement algorithms, the proposed algorithm can not only effectively enhance the brightness and the contrast, but also can avoid the color distortion and the over-enhancement, and both the subjective vision and objective evaluation index are further improved.

1 引言

在夜间等低照度环境下拍摄的图像,由于其亮度、对比度较低且含有噪声,不仅肉眼难以分辨,也给后续图像处理(如目标检测、视频监控等)带来了严峻挑战[1]。因此,低照度图像增强一直是计算机领域的热点之一,具有十分重要的理论意义和应用价值。

目前,国内外已有很多低照度图像增强算法相继被提出,广泛使用的有三类:1)基于直方图均衡化(HE)的方法。HE的基本思想是保持像素值之间的相对关系并使其服从均匀分布。对比度受限的自适应HE法通过限制局部直方图的高度来限制局部对比度的增强幅度,从而限制局部对比度的过增强[2]。这类方法能有效提高对比度且处理速度快,但易出现色偏现象,同时由于灰度级合并而丢失细节信息。2)基于Retinex理论的方法[3],此类方法是一种目前比较流行的低照度图像增强算法。该理论认为:人眼观察到的图像可以表示为光照分量与反射分量的乘积,光照分量反映的是光照的情况,而反射分量才是图像的固有属性。通过原始图像估计出光照分量并将其去除,从而可获得反射分量,实现图像增强[4]。因此,如何准确估计出光照分量是Retinex算法的核心步骤之一,研究人员先后采用不同的光照分量估计方法提出了不同的Retinex算法。其中最经典的有单尺度Retinex (SSR)算法[5]、多尺度Retinex (MSR)算法[6]和带色彩恢复的MSR (MSRCR)算法。SSR算法只对图像做了高斯滤波估计,MSR算法则可以看成多个不同尺度的SSR线性加权求和[4],能够较好地提高图像的对比度和亮度,但也会使图像边缘锐化不足,部分颜色发生扭曲。MSRCR算法在MSR算法基础上引入了颜色恢复,使得增强后的图像不会出现失真的现象,但图像的颜色会偏离原始色彩,整体颜色偏白[7]。近年来,也有一些基于Retinex理论的新算法被提出,如Fu等[8]提出了一种加权变分模型,即SRIE (Simultaneous Reflectance and Illumination Estimation),同时估计光照分量和反射分量;Guo等[9]提出了LIME (Low-light Image Enhancement via Illumination Map Estimation)算法,即先在原始低照度图像红(R)、绿(G)、蓝(B)三个通道中取最大值得到光照图,再通过结构先验不断修正原始光照图,从而得到最终的光照图像。3)基于去雾模型的方法。Dong等[10]于2011年发现低照度图像反转后与雾天图像有很高的相似性,提出采用去雾方法实现低照度图像增强,取得了较好的增强效果,给后续此类方法[11-12]提供了重要理论支撑。此类方法虽能够在一定程度上提高视觉质量,但增强后的图像往往不符合实际场景,且容易在边缘出现伪影。

此外,也有一些算法是将图像RGB (Red Green Blue)色彩空间转换到其他色彩空间实现图像增强[13-14],可有效保持图像的色彩,防止增强后图像色彩严重失真,但亮度和对比度仍有待提高。最近,深度学习技术在图像分类[15]、检测与跟踪[16-17]等领域取得了巨大成功,引发了学术界和工业界研究的热潮。深度学习是通过建立类似人脑信息处理机制的网络模型,采取高效的学习策略逐级提取数据特征,拟合复杂的非线性函数。文献[ 18]尝试利用深度神经网络栈式稀疏降噪自编码器对灰度图像进行了增强,证实了深度学习方法的可行性。而卷积神经网络(CNN)作为深度学习中的代表性模型,其局部感受野、权值共享和池化三大结构的优势不仅减少了训练参数、降低了训练难度,还对缩放、旋转和平移等各种扭曲不变性图像具有良好的稳健性,使提取到的深层次特征具有更强的泛化能力。

鉴于以上分析,本文提出了一种有效的低照度图像增强算法,该方法首先将原始低照度图像由RGB空间转换到HSI (Hue Saturation Intensity)颜色空间,利用深度CNN(DCNN)对亮度分量进行增强。实验结果表明,所提算法相比于其他主流算法,不仅能够明显增强亮度和对比度,还能够保持图像色彩信息不变,在视觉感知和客观评价指标上均得到了进一步提高。

2 理论模型

2.1 Retinex模型

Retinex理论是由Land[3]在20世纪70年代提出,该模型认为物体的颜色是由物体表面的反射属性决定的,而与光照情况无关。Retinex模型可以用函数描述为

S(x,y)=L(x,y)R(x,y),(1)

式中:S(x,y)为人眼观察到的低照度图像,L(x,y)为反映外界光照环境的光照分量,R(x,y)为反映物体本质属性的反射分量。

2.2 HSI颜色模型

目前,绝大部分彩色图像增强算法是基于RGB三基色模型,对R、G、B三个颜色通道分别进行处理,再合成彩色图像。然而RGB三个分量具有很强的相关性,若三者比例发生变化,会造成色彩失真。HSI颜色空间采用色度(H)、饱和度(S)和亮度(I)来表征色彩,色度是色彩属性,饱和度给出一种纯色被白光稀释程度的度量,亮度即颜色的明亮程度。HSI颜色空间有两个重要特性:1)I分量的改变不会影响图像的颜色信息;2)HS分量与人感受彩色的方式紧密相连,更符合人类视觉感受外界的知觉特性。

2.3 卷积神经网络

图1所示,典型的CNN一般由输入层、卷积层(Conv)、池化层、全连接层(FC)和输出层组成。

为提取输入数据的不同特征,往往采用多个卷积核与输入图像进行卷积,得到若干个特征图,卷积层的产生过程可描述为

xjl=fiMjxil-1*Wijl+bjl,(2)

式中: xjlxil-1分别为卷积层l的第j个输出特征图和卷积层l-1的第i个输出特征图, Wijl为卷积层l的第i个特征图与卷积层l-1的第j个特征图相连的卷积核, bjl为卷积层l的第j个特征图的偏置,Mj为当前任意一个输入特征图子集,*表示卷积运算,f为激活函数。

图 1. CNN的典型结构

Fig. 1. Typical structure of CNN

下载图片 查看所有图片

卷积层后面通常为池化层,依据一定的下采样规则对特征图进行下采样,目的是实现特征图降维并保持特征的尺度不变性。经过多个卷积层和池化层的交替传递,最后通过FC输出用于识别图像的特征。

3 基于DCNN的图像增强

3.1 图像增强算法模型

针对当前低照度图像增强算法的缺陷,结合色彩模型变换算法和CNN的优势,对低照度图像进行增强。首先将低照度图像从RGB空间变换到HSI颜色空间,然后保持色度分量H和饱和度分量S不变,利用DCNN对亮度分量I进行增强,最后再转换到RGB空间,得到最终的增强图像。所提算法流程如图2所示。

图 2. 所提算法流程

Fig. 2. Flow chart of proposed algorithm

下载图片 查看所有图片

3.2 亮度增强

与一般深度学习方法不同,所提方法并非直接利用DCNN在RGB空间通过训练学习低照度图像和正常光照图像之间的端到端的映射关系,而是在HSI颜色空间只对亮度分量进行增强,这是由于前者在训练中还需考虑色彩的变化,而所提算法很好地避免了这一问题,从而更有利于网络训练。

3.2.1 网络结构

提出的DCNN与一般CNN结构不同,没有池化层和FC。网络模型如图3所示,主要由输入、特征提取、非线性映射、重建和输出5部分组成。

由于本文网络模型学习的是低照度图像与正常光照图像之间的映射关系,要求网络输出与输入图像尺寸大小一致。而采样层会使采样前后图像大小不一致,不利于图像增强任务的实现;另外,卷积层也会使图像在卷积操作前后大小不一致,丢失边界信息。因此,在所有卷积层前先进行零填充操作,这样就保证了图像在网络的传递过程中大小始终保持不变。

1) 输入和输出。为便于网络更好地训练,所提网络输入和输出并非整幅图像,而是随机选取低照度图像块和与之相对应的正常光照图像块作为训练样本;同时,该模型只对亮度分量进行增强,因此输入的是低照度图像的亮度分量,输出的是增强后的亮度分量。

2) 特征提取。该网络第一部分的作用为特征提取,由卷积层组成。卷积层往往通过多个可学习的卷积核与输入层图像或者上一层特征图进行卷积运算,提取出多个不同局部区域的特征,并经过非线性激活函数作用得以实现。用Hd表示CNN第d层特征图,设网络输入图像块为X,特征提取用函数表示为

H1(X)=max(0,W1*X+b1),(3)

式中:W1为卷积核,b1Rn1表示神经元偏置向量。X尺寸大小为n×n,设f1为单个卷积核的尺寸,c为输入图像的通道数(只对亮度分量进行处理,因此c=1),max(·)表示取最大值。如果有n1个卷积核,则W1的尺寸大小为f1f1n1c

图 3. DCNN模型的网络结构

Fig. 3. Network structure of DCNN model

下载图片 查看所有图片

经过网络模型第一层卷积运算和非线性函数激励,便可以从低照度图像亮度分量中提取出数据不同方面的特征。

3) 非线性映射。非线性映射记作convolutional module,由卷积层、批归一化(BN)层和ReLu(Rectified Linear Units)[19]激励层组成。2015年,Ioffe等[20]提出使用BN算法对CNN中所有中间层的输出数据进行BN处理,可以减小网络中间数据分布的改变对神经网络参数训练的影响,从而加快神经网络的收敛速度和稳定性。

设网络某隐藏层输入数据集合为{μ1,…,μm},该批样本个数为m,首先分别求得输入样本的均值E(μ)和方差D(μ)为

E(μ)=1mh=1mμh,(4)D(μ)=1mh=1mμh-E(μ)2(5)

然后对批样本数据进行归一化处理,得到服从均值为0、方差为1的数据分布 μ^h,即

μ^h=μh-E(μ)D(μ)+ε,(6)

式中:为避免分式分母为0,通常取ε为一个接近于0的正数。

最后引入重构参数αβ对BN后的数据进行重构变换,得到最终的输出数据zh

zh=BNα,β(μ^h)=αμ^h+β(7)

经过非线性映射,能够将由所提网络第一层提取出来的低照度图像的亮度分量特征由低维空间映射到高维空间,使底层特征更加抽象。这一过程用函数表示为

Hk-1(X)=max{0,BN[Wk-1*Hk-2(X)+bk]},k3,(8)

式中:k为所提网络的深度,即第k-1层为非线性映射部分的最后一层。在此需说明,在所提网络中进行BN操作是以特征图为单位,而并非单个神经元,这样可以大大减少重构变换引入的αβ

4) 重建。对低照度图像进行增强是基于重建的思想。重建是指通过训练使模型输出与正常光照图像的亮度分量误差最小,从而实现图像增强。在本层中,只用一个卷积层便能够实现重建,用函数描述为

Hk(X)=Wk*Hk-1(X)+bk(9)

为了通过训练自动学习网络模型参数θ={W1,…,Wk;b1,…,bk},假设给定训练样本集D={(X1,Y1),…,(Xη,Yη)},其中XηYη分别为第η个输入的低照度图像亮度分量和与之相对应的正常光照图像亮度分量(即Ground truth)样本,利用反向传播算法和随机梯度下降法最小化如下目标函数

L=1Nη=1NHk(Xη)-YηF2+λt=1kWtF2,(10)

式中:N为训练样本的数目;λ为权重约束项,可以防止过拟合。

一旦训练学习得到最优参数θ,网络便训练结束,在测试时只需要输入一幅低照度图像的亮度分量,网络模型即可根据θ计算得到一幅增强后的亮度分量。

4 实验结果分析

4.1 样本制作

目前基于深度学习的低照度图像增强仍处于起步阶段,其中一个很重要的原因是深度学习方法需要大量的训练样本,而拍摄低照度图像和与之属于同一场景的正常光照图像非常困难,严重制约了深度学习技术在图像增强方面的研究和应用。为此,本文提出了一种易于操作且耗时较少的训练样本产生方法。

由(1)式可以看出,低照度图像是光照分量与反射分量(正常光照图像)的乘积。然而真实低照度图像场景更加复杂,有光照均匀和不均匀之分。为了尽可能涵盖大多数场景的低照度图像,训练样本图像块的选取也很关键。如果图像块过小,这些图像块拼接而成的整幅图像边缘部分过于突出,与真实低照度图像不符;如果图像块太大,又忽略了真实低照度图像中光照不均匀的情况,鉴于此,实验从计算机视觉领域的公开数据集Berkeley Segmentation Dataset[21]中收藏了总计500幅光照条件较好的图像作为反射分量(即Ground truth),并从中随机选取总共256000个尺寸为40 pixel×40 pixel的图像块,然后让光照分量L服从均匀分布L~U(0,1),则合成的低照度图像块可表示为S(x,y)=LR(x,y)。

4.2 实验设置

算法训练是以Matlab R2014为仿真平台,采用MatConvNet[22]深度学习开源框架,计算机的CPU(Central Processing Unit)为美国Intel Core i7-7700,主频为3.6 GHz,内存为16 G,GPU(Graphics Processing Unit)为NVIDIA GTX1070。

网络深度为7层,单个卷积核的尺寸为3 pixel×3 pixel,其网络框架中特征提取部分卷积核的个数为64,尺寸为3 pixel×3 pixel×64 pixel;非线性映射部分中所有卷积核的个数均为64,尺寸为3 pixel×3 pixel×64 pixel×64 pixel;重建部分只有1个卷积核,尺寸为3 pixel×3 pixel×64 pixel。网络所有层的卷积核均采用文献[ 23]中的初始化方法,偏置项初始化为0;采用Adam算法训练模型,批训练样本为128,学习率的初始值设为0.1,并且每经过10个训练周期将会减小1/10,总计训练50个训练周期。

4.3 实验参数的选取

由于本文提出的网络结构不含池化层,因此不同的网络层数以及卷积层中卷积核的尺寸、数目直接影响模型性能的好坏。依据牛津大学VGG(Visual Geometry Group)小组对深度卷积网络的实验结果和经验,对于VGG_ILSVRC_16_layers模型,第一层使用3 pixel×3 pixel大小的卷积核,能够有效减少参数数目[24]。在超分辨率CNN(SRCNN)算法中,第二层卷积核尺寸越大,超分辨率效果越好,但同时会增大运算量。在重建部分卷积层中,缩小卷积核的尺寸可能会影响重建图像的质量。鉴于此,除重建部分卷积层以外,还将所有的卷积核的尺寸设置为3 pixel×3 pixel,这样既能够提升增强效果,也不会造成运算量大幅增加。为验证最后一层卷积核尺寸对网络性能的影响,实验设定网络层数为3层,分别对以下3种模型3-3-1、3-3-3和3-3-5(其中末尾数字1表示最后一层卷积核尺寸为1 pixel×1 pixel,3和5同理)进行训练和测试,实验结果表明,在经过10个训练周期后,3-3-3模型在测试过程中比3-3-5模型总计少耗时62.59 s,输出图像的平均峰值信噪比(PSNR)较3-3-5网络模型提高了0.35 dB;3-3-3模型在测试过程中比3-3-1模型总计多耗时约30 s,而输出图像的平均PSNR较3-3-1网络模型提高了0.29 dB。

为综合考虑处理效果和运算速率,本文所有卷积核尺寸均选择3 pixel×3 pixel,这样即能缩短训练时间,也不会对输出图像的质量造成较大的影响。在学习速率和卷积核尺寸不变的条件下,本文还对卷积核的数目以及网络层数进行了实验分析,训练50个训练周期后对图4(a)进行测试,得到增强后输出图像的PSNR,实验结果见表1,其中n1为第一个卷积层中卷积核的数目,np-1(p≥3)为后面所有卷积层中卷积核的数目。

表 1. 不同网络层数和卷积核数目下的测试PSNR值

Table 1. Tested PSNR under different network layers and convolution kernel numbers

Number of layersNumber of convolution kernelsPSNR /dB
5n1=64, np-1=3221.74
5n1=64, np-1=6421.87
7n1=64, np-1=3222.23
7n1=64, np-1=6422.31
9n1=64, np-1=3222.04
9n1=64, np-1=6422.17

查看所有表

借鉴文献[ 24]中SRCNN结构中不同层卷积核数目的设置方法,实验选取n1=64,np-1=32和n1=64,np-1=64进行对比分析,网络层数有3,5,7,9层。由表1可知,随着卷积核数目的增加,模型性能也会提高,但是增加卷积核的数目无疑增加了计算量;还可以发现当网络层数为7层时,模型输出的图像PSNR值最高,网络层数的增加并不一定会提高模型性能,这是因为对原始网络结构进行简单堆积可能致使其结构不合理,同样梯度弥散现象也会随着层数的增加而越发严重。

4.4 实验分析

为验证所提算法的有效性,将对合成的低照度图像和实际低照度图像分别进行实验,从客观和主观两方面进行对比分析,对比经典算法HE[25]和近几年增强效果好的Dong、SRIE和LIME算法。

4.4.1 合成低照度图像实验

首先对人工合成的低照度图像进行实验,测试样本选取计算机视觉领域公开数据集LIVE1[26]进行人工合成低照度图像,总计29幅图片,实验结果如图4表2所示。

图 4. 不同算法在合成低照度图像上的主观视觉对比。(a)图像“caps”;(b)图像“carnivaldolls”;(c)图像“cemetry”;(d)图像“building 2”

Fig. 4. Subjective visual comparison of different methods for synthetic low-light images. (a) Image “caps”; (b) image “carnivaldolls”; (c) image “cemetry”; (d) image “building 2”

下载图片 查看所有图片

表 2. 不同算法在合成低照度图像上的客观评价指标

Table 2. Objective evaluation index of different methods for synthetic low-light images

MethodPSNR /dBSSIMMSELOE
HE[25]16.190.79851928.3505
Dong[10]16.290.79471699.62040
SRIE[8]21.080.9579686.4776
LIME[9]13.470.80973230.71277
Proposed method22.230.9204389.0402

查看所有表

在主观评价中,选取LIVE1数据集中4幅图像为例来进行说明,从上到下分别记作图4(a)~(d)。其中图4(a)、(b)均为光照均匀的低照度图像,图4(c)、(d)为光照不均匀的图像。由图4可以看出,Dong、SRIE、LIME算法和所提算法均能够对合成的低照度图像进行增强,改善了人的主观感受。通过观察图4(a)、(c)和(d),可以发现Dong算法得到的图像在边缘处有明显的轮廓,如图4(a)中帽子下方原本是阴影,但增强后出现了严重的轮廓线,图4(c)、(d)中树枝也变得不太符合实际场景,像雕刻在上面一样。SRIE算法能够很好地保持图像色彩,且不会出现轮廓现象,但提高亮度能力有限。图4(b)中Ground truth大片白色区域经暗化操作后,增强效果不明显,图像亮度仍较暗。LIME算法处理后图像整体偏亮,且会出现程度不等的色彩失真。图4(c)、(d)中花草颜色泛黄,而Ground truth中为绿色,与原始光照较好的图像有一定的差距。所提算法不仅能够提高图像的亮度和对比度,还能够保持图像色彩信息基本不变,更加接近正常光照下的原始图像。但所提算法仍然与其他算法一样,并不能有效增强实际场景是大片白色区域的黑暗部分。此外,所提算法对光照均匀的低照度图像增强效果最好,但对于非均匀光照图像,整体亮度稍暗,这是由于Retinex模型仍相对简单,不足以描述复杂的低照度场景,且由于利用深度学习算法的这类任务大多采取的损失函数为均方误差(MSE),因此并不能涵盖所有图像像素点。

在对合成低照度图像进行客观评价时,由于Ground truth已知,因此可以比较采用不同算法增强后的图像与参考图像Ground truth之间的差异来说明算法的性能优劣。实验选取PSNR、结构相似度(SSIM)、MSE和LOE (Lightness Order Error)[27]作为客观评价指标。其中,PSNR反映图像的失真程度,其值越高,表示失真程度越小。SSIM表征图像结构信息的完整性,其值越高,表明增强后图像与Ground truth的结构特征越相似。MSE反映了增强后图像与Ground truth之间的差距,其值越小说明增强后图像越接近原始正常光照图像。LOE主要评价增强后图像的自然度保持能力,数值越小则图像的亮度顺序保护得越好,图像越自然。表2给出了采用不同增强算法时在LIVE1数据集上获得的一些评价指标的平均值。

表2可知,本文所提算法除了SSIM低于SRIE算法外,PSNR、MSE和LOE三个评价指标均高于其他算法,说明本文所提算法更加接近原始图像,失真程度较小,同时增强后的图像更加真实自然,验证了所提算法的有效性。

此外,为进一步验证所提算法和直接对RGB图像增强这两种算法的性能优劣,本文在有BN和无BN的情况下分别训练网络总计达50个训练周期,在测试集LIVE1上进行了两组对照实验,记录了每个训练周期下网络测试获得的平均PSNR和SSIM,实验结果如图5所示。

图 5. 有/无BN条件下HSI和RGB增强方法的收敛速度。(a) 50个训练周期的平均SSIM;(b) 50个训练周期的平均PSNR

Fig. 5. Convergence performance of HSI and RGB enhancement methods with BN and without BN. (a) Average SSIM within 50 epochs; (b) average PSNR within 50 epochs

下载图片 查看所有图片

通过图5可以看出,在有BN和无BN时,采用HIS训练方法比直接对RGB图像进行增强更加容易收敛且获得的平均PSNR和SSIM值更高;同时也能看出,BN能够有效提高网络训练的收敛速度,获得更好的效果。

4.4.2 实际低照度图像实验

为了验证本文增强算法不仅对人工合成的低照度图像有效,还能够增强实际拍摄的低照度图像,具有更好的稳健性,实验从低照度图像数据库NASA[28]、DICM[29]和VV[30]中选取了17幅典型图像进行测试,实验结果如图6表3所示。

在主观评价中,以5幅图为例来对实验结果进行对比和分析,从上到下依次记为图6(a)~(e)。从图6(a)、(c)和(d)中可以看出,HE算法虽然能够扩大图像的动态范围,提高图像的整体亮度和对比度,但过饱和会导致严重的色偏现象。从图6(a)中可明显观察到天空颜色泛白,而原始图像为蓝色,同时树木颜色也不再是绿色,整体泛黄;此外,图6(c)、(d)中同样出现了类似的色彩失真现象。Dong算法增强后图像色彩保持较好,但是出现了严重的边缘效应。从图6(a)中的树木、石碑和图6(c)中的人脸图像中均可以看到在这些要素的边缘处有明显的黑色线条,图像十分不自然。这是由于Dong算法将去雾的方法用于图像增强,而低照度图像反转后与雾天图像并不完全相同,且不能准确估计伪雾图的大气光值。而SRIE算法只对亮度较暗的区域有效,但是对黑暗区域并不能提高其亮度,细节信息很难分辨清楚,图6(a)中树木和图6(b)中的人脸图像在增强后亮度仍然较暗。LIME算法很好地改善了黑暗区域的亮度,图像整体亮度提高,色彩也更加鲜艳,然而该算法会很容易出现过增强现象,同时也会造成一定的色彩失真。如图6(a)中树叶颜色与原始图像不符,颜色泛黄,且石碑有明显的黄色伪影。此外,图6(e)中的小女孩右半部分脸由于原本就处于曝光情况下,而LIME算法不管区域是否黑暗,均会对图像进行增强,因此,可以看到小女孩右半部分脸被过度增强,不符合人眼视觉感知。而所提算法可以很好地保持色彩并改善过增强现像,但对黑暗区域亮度提升程度低于LIME算法。

图 6. 不同算法在真实低照度图像上的主观视觉对比。(a)图像来自数据库DICM;(b)图像来自数据库VV;(c)~(d)图像来自数据库NASA;(e)图6(d)中蓝框区域放大图

Fig. 6. Subjective visual comparison of different methods for real low-light images. (a) Image from DICM dataset; (b) image from VV dataset; (c)-(d) image from NASA dataset; (e) enlarged result of part shown in blue box of Fig. 6(d)

下载图片 查看所有图片

表 3. 不同算法在真实低照度图像上的客观评价指标

Table 3. Objective evaluation index of differentmethods for real low-light images

MethodEntropy of informationDegree of chromaticity changeLOEVIF
HE[25]7.14120.24745710.4782
Dong[10]6.95410.031314840.4262
SRIE[8]6.95420.00459720.6153
LIME[9]7.26120.012413900.3444
Proposed method7.14250.00323780.7356

查看所有表

在对真实低照度图像进行客观评价时,由于没有相同场景的光照较好的图像作为参考,属于无参考客观质量评价范畴。选用信息熵、色度改变程度、LOE和视觉信息保真度(VIF)对增强图像进行客观评价。其中,信息熵表征图像信息量的大小,其值越大则图像信息越丰富,细节保持越好;色度改变程度反映了增强后图像色彩保持情况,其值越小说明色彩失真越小;VIF是结合自然图像统计模型、图像失真模型和人眼视觉系统模型提出的图像质量评价指标,其值越大,表明图像质量越好[31]表3给出了使用不同算法对17幅低照度图像进行增强后的各种客观评价指标的平均值。

表3中可知,HE算法和Dong算法具有更高的色度改变值,表明增强图像的色彩保持能力最差,这是因为它们分别在R、G、B三个通道直接进行处理使得各颜色通道增幅不一,引起颜色失真。LIME算法具有更高的信息熵,说明该算法得到的图像包含的信息更多,但是其LOE值较大,说明图像的亮度顺序遭到破坏,自然度保持较差。而SRIE算法的信息熵最低,对低照度图像进行增强后,细节信息不明显。所提算法除了信息熵低于LIME算法,在其他三个评价指标上均优于其他算法的,说明利用所提算法增强后的图像色彩保持较好,具有更好的自然度。

5 结论

针对当前主流低照度图像增强算法在提高亮度、对比度时易产生色彩失真现象,本文首先从人眼视觉特性出发,将低照度图像从RGB空间转换到HSI颜色空间,然后充分利用类似人脑信息处理机制的DCNN所具有从海量数据中提取数据本质特征并拟合复杂函数的强大学习能力,保持色度分量和饱和度分量不变,基于一种端到端的思想学习低照度图像亮度分量与理想照度图像的亮度分量之间的映射关系,从而得到增强的亮度分量,最后再由HSI颜色空间转换到RGB空间。实验结果表明,所提算法在提高亮度和对比度的同时,也很好地避免了色彩失真现象,增强效果优于目前主流的低照度图像增强算法,具有一定的理论借鉴意义。今后将继续优化网络模型,进一步提高黑暗区域的亮度。

参考文献

[1] 李庆忠, 刘清. 基于小波变换的低照度图像自适应增强算法[J]. 中国激光, 2015, 42(2): 0209001.

    Li Q Z, Liu Q. Adaptive enhancement algorithm for low illumination images based on wavelet transform[J]. Chinese Journal of Lasers, 2015, 42(2): 0209001.

[2] 费延佳, 邵枫. 基于图像检索的对比度调整[J]. 激光与光电子学进展, 2018, 55(5): 051002.

    Fei Y J, Shao F. Contrast adjustment based on image retrieval[J]. Laser & Optoelectronics Progress, 2018, 55(5): 051002.

[3] Land E H. The retinex theory of color vision[J]. Scientific American, 1977, 237(6): 108-128.

[4] 张杰, 周浦城, 张谦. 基于迭代多尺度引导滤波Retinex的低照度图像增强[J]. 图学学报, 2018, 39(1): 1-11.

    Zhang J, Zhou P C, Zhang Q. Low-light image enhancement based on iterative multi-scale guided filter Retinex[J]. Journal of Graphics, 2018, 39(1): 1-11.

[5] Jobson D J, Rahman Z, Woodell G A. Properties and performance of a center/surround retinex[J]. IEEE Transactions on Image Processing, 1997, 6(3): 451-462.

[6] Lin H, Shi Z. Multi-scale retinex improvement for nighttime image enhancement[J]. Optik-International Journal for Light and Electron Optics, 2014, 125(24): 7143-7148.

[7] 陈勇, 詹帝, 刘焕淋. 基于物理模型与边界约束的低照度图像增强算法[J]. 电子与信息学报, 2017, 39(12): 2962-2969.

    Chen Y, Zhan D, Liu H L. Enhancement algorithm for low-lighting images based on physical model and boundary constraint[J]. Journal of Electronics & Information Technology, 2017, 39(12): 2962-2969.

[8] Fu XY, Zeng DL, HuangY, et al. A weighted variational model for simultaneous reflectance and illumination estimation[C]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016: 2782- 2790.

[9] Guo X J, Li Y, Ling H B. LIME: low-light image enhancement via illumination map estimation[J]. IEEE Transactions on Image Processing, 2017, 26(2): 982-993.

[10] DongX, WangG, PangY, et al. Fast efficient algorithm for enhancement of low lighting video[C]. IEEE International Conference on Multimedia and Expo (ICME), 2011: 1- 6.

[11] LiL, Wang RG, Wang WM, et al. A low-light image enhancement method for both denoising and contrast enlarging[C]. IEEE International Conference on Image Processing (ICIP), 2015: 3730- 3734.

[12] YangJ, Jiang XW, Pan CH, et al. Enhancement of low light level images with coupled dictionary learning[C].International Conference on Pattern Recognition (ICPR), 2016: 751- 756.

[13] 宋瑞霞, 李达, 王小春. 基于HSI色彩空间的低照度图像增强算法[J]. 图学学报, 2017, 38(2): 217-223.

    Song R X, Li D, Wang X C. Low illumination image enhancement algorithm based on HSI color space[J]. Journal of Graphics, 2017, 38(2): 217-223.

[14] WuF, KintakU. Low-light image enhancement algorithm based on HSI color space[C]. International Congress on Image and Signal Processing, BioMedical Engineering and Informatics (CISP-BMEI), 2017: 1- 6.

[15] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6): 84-90.

[16] 辛鹏, 许悦雷, 唐红, 等. 全卷积网络多层特征融合的飞机快速检测[J]. 光学学报, 2018, 38(3): 0315003.

    Xin P, Xu Y L, Tang H, et al. Fast airplane detection based on multi-layer feature fusion of fully convolutional networks[J]. Acta Optica Sinica, 2018, 38(3): 0315003.

[17] 朱明明, 许悦雷, 马时平, 等. 改进区域卷积神经网络的机场检测方法[J]. 光学学报, 2018, 38(7): 0728001.

    Zhu M M, Xu Y L, Ma S P, et al. Airport detection method with improved region-based convolutional neural network[J]. Acta Optica Sinica, 2018, 38(7): 0728001.

[18] Lore K G, Akintayo A, Sarkar S. LLNet: a deep autoencoder approach to natural low-light image enhancement[J]. Pattern Recognition, 2017, 61: 650-662.

[19] GlorotX, BordesA, BengioY. Deep sparse rectifier neural networks[C]. Proceedings of the Fourteenth International Conference on Artificial Intelligence and Statistics, 2011: 315- 323.

[20] IoffeS, SzegedyC. Batch normalization: accelerating deep network training by reducing internal covariate shift[C]. Proceedings of the 32nd International Conference on International Conference on Machine Learning, 2015: 448- 456.

[21] Chen XY, Wang SA. Superpixel segmentation based on Delaunay triangulation[C]. International Conference on Mechatronics and Machine Vision in Practice (M2VIP), 2016: 1- 6.

[22] Zhang K, Zuo W, Chen Y, et al. Beyond a Gaussian denoiser: residual learning of deep CNN for image denoisin[J]. IEEE Transactions on Image Processing, 2017, 26(7): 3142-3155.

[23] He KM, Zhang XY, Ren SQ, et al. Delving deep into rectifiers: surpassing human-level performance on ImageNet classification[C]. IEEE International Conference on Computer Vision (ICCV), 2015: 1026- 1034.

[24] Dong C, Loy C C, He K M, et al. Image super-resolution using deep convolutional networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(2): 295-307.

[25] Cheng H D, Shi X J. A simple and effective histogram equalization approach to image enhancement[J]. Digital Signal Processing, 2004, 14(2): 158-170.

[26] Sheikh H R, Sabir M F, Bovik A C. A statistical evaluation of recent full reference image quality assessment algorithm[J]. IEEE Transactions on Image Processing, 2006, 15(11): 3440-3451.

[27] Wang S H, Zheng J, Hu H M, et al. Naturalness preserved enhancement algorithm for non-uniform illumination images[J]. IEEE Transactions on Image Processing, 2013, 22(9): 3538-3548.

[28] Rahman Z U, Jobson D J, Woodell G A. Investigating the relationship between image enhancement and image compression in the context of the multi-scale retinex[J]. Journal of Visual Communication and Image Representation, 2011, 22(3): 237-250.

[29] LeeC, LeeC, Kim CS. Contrast enhancement based on layered difference representation[C]. IEEE International Conference on Image Processing, 2012: 965- 968.

[30] VonikakisV, AndreadisI. Fast automatic compensation of under/over- exposured image regions[C]. IEEE Pacific Rim Symposium on Image Video and Technology (PSIVT), 2007: 510- 521.

[31] Chow L S, Rajagopal H, Paramesran R. Correlation between subjective and objective assessment of magnetic resonance (MR) images[J]. Magnetic Resonance Imaging, 2016, 34(6): 820-831.

马红强, 马时平, 许悦雷, 朱明明. 基于深度卷积神经网络的低照度图像增强[J]. 光学学报, 2019, 39(2): 0210004. Hongqiang Ma, Shiping Ma, Yuelei Xu, Mingming Zhu. Low-Light Image Enhancement Based on Deep Convolutional Neural Network[J]. Acta Optica Sinica, 2019, 39(2): 0210004.

本文已被 16 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!