基于双通道先验和光照图引导滤波的图像增强

赵馨宇; 黄福珍

doi:doi:10.3788/LOP202158.0810001

激光与光电子学进展, 2021, 58 (8): 0810001, 网络出版: 2021-04-12

基于双通道先验和光照图引导滤波的图像增强下载： 827次

Image Enhancement Based on Dual-Channel Prior and Illumination Map Guided Filtering

论文大纲

赵馨宇 ^*黄福珍

作者单位

上海电力大学自动化工程学院, 上海 200090

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

针对低照度图像增强过程中存在的光晕伪影、边缘细节丢失和噪声放大等问题,提出了一种结合双通道先验和光照图引导滤波的图像增强算法。传统去雾物理模型仅基于暗通道先验进行图像增强,局部区域景深不同,进而导致图像过曝和光晕伪影等问题。针对该问题,采取亮暗双通道结合的方法求取大气光值和透射率。对于边缘信息易丢失的问题,采取光照图梯度域引导滤波来改善细化透射率。对于增强过程中噪声放大的问题,采取BM3D滤波进行去噪。实验结果表明,在不同情况下的低照度图像中,该算法相对于其他低照度增强算法,在去噪、光晕消除、亮度调整和边缘保持等方面都有明显的提升。

Abstract

Aiming at the problems of halo artifacts, edge details loss and noise amplification in the low-illumination image enhancement process, an image enhancement algorithm was proposed based on dual-channel prior and illumination map guided filtering. As the traditional fog-degradation model only uses dark-channel prior for image enhancement, local areas have different depths of field, which thus results in the problems such as image overexposure and halo artifacts. As for these problems, the bright and dark dual-channel integration method is adopted to calculate the atmospheric optical value and transmittance. As for the problem that edge information is easy to be lost, the illumination map gradient domain guided filtering is adopted to improve and refine transmittance. As for the problem of noise amplification in the enhancement process, the BM3D filtering is adopted for denoising. The experimental results indicate that, in different low-illumination images, the proposed algorithm shows an obvious improvement in denoising, halo eliminating, brightness adjustment and edge preservation if compared with other low illumination enhancement algorithms.

1 引言

随着科技的迅速发展,计算机视觉在各个领域发挥了日渐重要的作用。然而,在夜间或者弱光等光照不足的情况下,低照度类图像普遍存在对比度低、亮度低和细节信息易丢失等问题,成像质量严重下降,视觉效果较差,这对图像的后续处理和应用带来了极大的挑战,在很大程度上降低了计算机视觉的应用效果。因此,有效的低照度图像增强具有十分重要的现实意义和应用前景^[1]。

为了解决低照度图像存在的问题,图像增强算法必须在保留原始图像信息的前提下,提高图像对比度,增强亮度,突出图像中的细节信息。目前的低照度图像增强方法主要有以下几类。

1) 基于直方图均衡化的算法,通过映射变化使分布不均匀的直方图均匀分布,提高图像对比度。学者在此基础上提出了很多改进算法:对比度受限自适应直方图均衡^[2]、平台直方图均衡^[3]和自适应平台直方图均衡^[4]等。这类算法在整体增强低照度图像时,存在高频灰度影响低频灰度或者局部增强时过度增强的问题。

2) 基于Retinex的算法,通过去除图像中的光照分量,得到表征图像本征的反射分量以增强图像。Kuang等^[5]针对数据丢失问题,提出将sigmoid-MSR的结果与原始图像合并; Chang等^[6]针对光晕问题,提出了一种基于高斯加权双边滤波的Retinex图像增强算法;张杰等^[7]针对噪声和伪影问题,提出了基于方向性全变分Retinex的增强算法。这类算法能较好地调节图像的灰度分布,但是不能很好地提高图像细节,且容易产生色偏和颜色失真现象。

3) 基于深度学习的图像增强算法是通过庞大的数据库训练模型,进而对输入的测试图像进行处理,近年来取得了广泛的应用。吴若有等^[8]将注意力机制与卷积神经网络(Convolutional Neural Networks,CNN)结合以去除Retinex理论中的亮度分量;黄鐄等^[9]通过设计具有编码和二分类功能的卷积神经网络,构建了生成和对抗模型以快速完成图像增强。这类算法需要大量的数据集进行训练和测试,而目前的低照度图像数据集有限,且合成的低照度图像和实际图像仍有所差别。

4) 基于去雾物理模型的算法是以大气散射模型为基础进行增强的。2011年,Dong等^[10]发现了低照度图像求反后与雾天图像的相似性,通过结合暗通道先验理论(Dark channel prior, DCP)^[11],为低照度图像增强带来了间接增强的思路,但是由于没有足够的约束条件,在透射率和大气光值的估算上存在过大或者过小的问题,增强结果经常出现光晕伪影。针对这些问题,刘峰等^[12]提出了用快速导向滤波进行透射率细化的方法; 刘柯等^[13]提出了用引导滤波除雾结合超分辨率神经网络增强的方法;牛爽等^[14]提出了一种将亮度传播图与暗通道先验结合的方法;陈永等^[15]提出了一种超像素结合暗亮通道的方法以修正大气光值和透射率。这些改进算法在一定程度上改善了大气光值和透射率的估算问题,但是仍存在边缘处不明确、光晕伪影和图像过曝等问题。

针对上述增强算法的不足,为了恢复图像的真实色彩,解决图像过曝、光晕伪影和边缘等细节信息丢失的问题,提高图像的视觉效果,本文提出了一种双通道结合光照图梯度域引导滤波的低照度图像增强方法。首先引入亮通道,运用阈值法求取大气光值,接着通过双通道图像像素级融合求取透射率,之后以Retinex^[16]分解得到的光照图作为引导图,进行多尺度梯度域引导滤波操作以细化透射率,并采用BM3D进行去噪优化,最后根据去雾物理模型恢复待增强图像。

2 基本原理

本文增强算法模型是以大气散射去雾模型为基础,以暗亮通道先验理论为前提条件,后期以图像滤波时Retinex分解得到的光照图作为引导图,综合去噪优化后得到最终的增强图像。

2.1 大气散射物理模型

雾天退化模型是以经典大气散射模型为基础的,给定的输入待去雾图像I为

\begin{array}{l} I (x) = Aρ (x) \exp [- βd (x)] + \\ A \{1 - \exp [- βd (x)]\}, (1) \end{array}

式中:ρ(x)为密度;d(x)为景物深度;β为光波长的散射系数;x为图像的像素点位置; A为全局大气光值。(1)式右边第一项为直接衰减项,第二项为大气光成分。

令介质透射率为t(x)=exp $[- βd (x)]$ ,曝光良好的自然图像为J(x)=Aρ(x),则大气散射物理模型简化为

I (x) = J (x) t (x) + A [1 - t (x)] 。 (2)

2.2 暗通道先验和亮通道先验

He等^[11]通过对5000幅户外无雾图像进行统计,得到了暗通道先验理论:在绝大多数非天空的局部区域图像中,至少存在一个强度值非常小且趋近于0的颜色通道。描述为

J_{dark} (x) = \min_{c \in {R, G, B}} {\min_{x \in Ω (x)} [J_{c} (x)]} \to 0, (3)

式中:J_dark为图像的暗原色通道;J_c为图像J的红(R)、绿(G)、蓝(B)颜色通道强度;Ω为以像素点x为中心、半径为r的局部区域。

亮通道先验由Yan等^[17]统计提出,基本思想和暗通道先验相似:在大多数自然清晰图像中,总存在至少一个强度值较大且趋于255的颜色通道。描述为

J_{bright} (x) = \max_{c \in {R, G, B}} {\max_{x \in Ω (x)} [J_{c} (x)]} \to 255, (4)

式中:J_bright为图像的亮原色通道。

2.3 Retinex理论

Retinex理论也称为视网膜皮层理论。该理论认为:观察到的物体颜色信息由物体的反射性质和周围的光照强度决定,其中反射性质决定了图像的本征属性,光照部分决定了图像像素的动态范围。其数学模型为

I (x, y) = R (x, y) \times L (x, y), (5)

式中:I(x,y)为观测图像;R(x,y)为反射图;L(x,y)为光照图。可以将该模型称为乘法模型,只需将R(x,y)从I(x,y)中分解出来即可得到表征图像本质的部分。

3 本文低照度增强算法

本文算法首先对低照度图像I取反,再对拟雾图执行去雾操作:求取图像的亮暗双通道,结合两者得到的初始大气光A_d和A_b,计算最终大气光值A;通过暗亮通道系数t_d和t_b,结合暗亮透射率,得到初始透射率t的估算; 采用多尺度光照图梯度域引导滤波(illumination gradient domain guided filtering,IGDGIF),对初始透射率进行细化平滑处理; 最后根据大气散射模型(16)式进行复原,接着对所得的去雾图像取反,并采用BM3D进行去噪,得到最终增强图像J。流程图如图1所示。

图 1. 所提低照度增强算法流程图

Fig. 1. Flow chart of proposed low-illumination enhancement algorithm

下载图片查看所有图片

3.1 阈值法求取大气光值

对于全局大气光值A的求取,若直接采取暗通道最亮像素作为大气光值,会存在过饱和的问题。大气光值应该是景深无穷远处的辐射值,且该点应该在图像的背景区域,相对于暗通道,融合亮通道后的大气光暗密度更加接近待增强图像的大气光暗密度,因此可以使用待增强图像亮通道像素的均值作为大气光值。但是在完全包含天空或者白色物体的图像中,结果会出现偏差。

为了解决这个问题,本文通过一种阈值法来估算大气光值。首先判断图像的明暗概况,计算亮通道I_b和暗通道I_d图像的差值I_dif,即

I_{dif} (x) = I_{b} (x) - I_{d} (x) 。 (6)

针对各种类型的低照度图像,运用控制变量法进行多次增强实验,最终确定阈值a为0.38。若I_dif大于a,则说明两通道图像的差异较大,像素值较高的大气光疑似点在亮通道图像中,且为了避免取值过高,采用亮通道均值估算大气光值。若I_dif小于a,则说明大气光疑似点在暗色物体上,仅采用亮通道先验得到的大气光值A不可靠。针对这些不可靠像素点,结合暗通道先验图像进行校正,得到A_cor。即

A_{cor} = A_{d} \times A_{b} 。 (7)

综上,大气光值的选取为

A = \{\begin{array}{l} A_{bmean}, I_{dif} > a \\ A_{cor}, I_{dif} \leq a \end{array}, (8)

式中:A_bmean为亮通道均值。

图2给出了不同方法的大气光值增强效果图,可以看出,本文方法得到的增强图像更清晰,亮通道的加入使得暗处的细节信息更明显,灯源处的还原更自然,但是仍存在光晕和边缘不清晰的问题,下面将通过改进透射率来解决这一问题。

图 2. 不同方法的大气光值增强图。 (a)原图;(b)文献[ 11]的算法;(c)本文算法

Fig. 2. Enhanced images of atmospheric light value via different methods. (a) Original image; (b) method in Ref. [11]; (c) proposed method

下载图片查看所有图片

3.2 双通道估计透射率

3.2.1 暗通道先验估计暗透射率

根据(3)式,对滤波且取反后的待去雾图像进行去雾处理。在大气光值A已知时对(3)式两端进行最小值滤波,得到

\begin{array}{l} \min_{c \in {R, G, B}} {\min_{x \in Ω (x)} [I_{c} (x)]} = t (x) \times \\ \min_{c \in {R, G, B}} {\min_{x \in Ω (x)} [J_{c} (x)]} + A_{c} [1 - t (x)], (9) \end{array}

式中:A_c为任一个颜色通道的大气光值;I_c为图像的任一个颜色通道。

由暗通道先验理论^[11]可知,无雾图像的暗通道趋近于0,所以(9)式右边第一项为0,同时为了使图像看起来更自然,避免过度去雾,加入去雾系数m,一般取0.95,得到暗透射率为

t_{d} (x) = 1 - m \times {\min_{c \in {R, G, B}} {\min_{x \in Ω (x)} [\frac{I_{c} (x)}{A_{c}}]}} 。 (10)

3.2.2 亮通道先验估计亮透射率

与暗通道先验^[11]相似,对(4)式两端进行最大值滤波,得到

\begin{array}{l} \max_{c \in {R, G, B}} {\max_{x \in Ω (x)} [I_{c} (x)]} = t (x) \times \\ \min_{c \in {R, G, B}} {\min_{x \in Ω (x)} [J_{c} (x)]} + A_{c} [1 - t (x)] 。 (11) \end{array}

由亮通道先验理论^[17]可知,无雾图像的亮通道趋近于255,对图像进行归一化后亮通道像素值趋近于1,(11)式右边第一项为t,同样加入去雾系数m,得到透射率为

t_{b} (x) = m \times \frac{\max_{c \in {R, G, B}} {\max_{x \in Ω (x)} [I_{c} (x)]} - A_{c}}{1 - A_{c}} 。 (12)

3.2.3 双通道先验估计透射率

尽管暗通道先验估计的初始透射率已经取得不错的效果,然而并不是所有的图像都存在暗通道,对于一些暗通道先验不趋于0的低照度图像(如存在大面积的明亮区域时),需要其他的辅助条件。除此之外,仅使用暗通道窗口会存在同一局部区域不同景深共存的状况,这会导致明暗交界处或者远近景交界处的像素点类别划分错误,造成透射率的估值出现偏差。因此,通过加入亮通道先验,结合两者局部窗口,可以校正同一局部区域的景深问题,从而解决透射率估值偏差引起的光晕伪影问题。本文利用暗亮通道系数α和γ来融合双通道,进而求取透射率。利用一定的线性关系能更好地控制增强效果,具体关系和约束条件为

\{\begin{array}{l} t (x) = α t_{d} (x) + γ t_{b} (x) \\ α + γ = 1 \end{array} 。 (13)

透射率会随着α和γ值的改变而改变。在不同的α和γ值下对图2进行实验,实验结果如图3所示,可以看出,暗通道系数α越大,透射率图像越亮,亮通道系数γ越大,透射率图像越暗。由图3可得,仅取暗通道时 (α=1,γ=0),会存在曝光过度的问题;仅取亮通道时(α=0,γ=1),会在明暗交界处出现光晕且整体偏暗。为了使整体光线通透又不曝光过度,暗通道系数大于亮通道系数时的效果比较好,通过大量的低照度图像增强实验,最终取暗通道系数α为0.75,亮通道系数γ为0.25。

图 3. 不同α和γ值下的透射率图。(a) α=1,γ=0;(b) α=0.75,γ=0.25;(c) α=0.25,γ=0.75;(d) α=0,γ=1

Fig. 3. Transmittance images under different α and γ. (a) α=1, γ=0; (b) α=0.75, γ=0.25; (c) α=0.25,γ=0.75; (d) α=0,γ=1

下载图片查看所有图片

3.3 光照图多尺度梯度引导滤波(IGDGIF)

低照度图像在细节上丢失严重,因此在图像的细节保持和边缘保持等方面有更高的要求。引导滤波^[18](GIF)不仅能平滑图像,其在边缘细节保持方面的效果优于双边滤波等滤波器,且计算成本更低,在此基础上衍生出了一系列的改进算法。其中,多尺度梯度引导滤波^[19](GDGIF)引入了明确的边缘约束,加入了图像梯度信息,处理效果更清晰。引导滤波的引导图在滤波过程中有很重要的作用,引导图像有多种选择,可以是图像本身,也可以是其他图像,目前图像增强领域运用比较广泛的有待增强图像灰度图、暗通道图像、待增强图像RGB某一通道图像,好的引导图像使得滤波的结果更具结构性。

对(1)式进行变形,使t(x)=exp[-βd(x)],可得

1 - \frac{I (x)}{A} = t (x) [1 - ρ (x)] 。 (14)

定义M(x)=1- $\frac{I (x)}{A}$ ,N(x)=[1-ρ(x)],可得

M (x) = t (x) N (x), (15)

式中:N(x) 为逆反照率。(15)式定义为乘法模型,只需从M(x)中分离出t(x)和N(x)即可。此模型与Retinex算法的性质类似,Retinex通过滤波将光照图和反射图进行分解。其中,光照图L在空间上是连续平滑的;透射率t(x)是关于深度的连续函数,在空间上同样保持平滑,两者有着相似的性质;R为反射图,存在局部变化较大的特点,与逆反照率N(x)有相似性。基于此,本文提出一种新的引导滤波,即光照图多尺度梯度引导滤波。图4是不同引导图的边缘信息提取图像,表1是原图和不同引导图的相似度对比。

图 4. 不同引导图的边缘提取图。(a)原图;(b)灰度取反图;(c)暗通道图;(d)光照图

Fig. 4. Edge-extraction images for different bootstrap images. (a) Original image; (b) gray-level inversion image; (c) dark-channel image; (d) illumination images

下载图片查看所有图片

表 1. 不同引导图与原图的相似度

Table 1. Similarity between different bootstrap images and original images

Bootstrap image category	Similarity
Gray-level inversion image	0.1949
Dark-channel image	0.3940
Illumination image	0.5566

查看所有表

由图4可得,引导图像采用图像本身时,滤波成为一个仅保持边缘的操作且丢失了部分边缘信息;灰度取反图是暗通道先验算法下低照度图像的伪雾图,与原图相比,像素值偏高,且数值多集中在200以上,在后续结果图像的色度通道处理中,可利用的边缘细节和亮度信息有偏差,从而使得增强图像过曝,影响最终增强图像的色彩;引导图像作为暗通道图像时,像素值也存在偏高或偏低的问题,且滤波后的图像存在块状现象,细节方面有待提高;亮度图作为引导图像时,无论是亮度还是边缘提取方面,效果都优于灰度图和暗通道图像,且亮度图比原图的亮度信息更丰富,更符合物体本身的颜色特征,避免了亮度过高影响还原效果,在一定程度上增强了暗区域的细节信息,有利于图像的还原。

由t(x)=exp[-βd(x)]可知,透射率t是景深d和浓度β的连续函数,暗通道先验只有在t→1时成立,即当β较大时,景深d→0满足先验条件,反之则不满足。为了使远景也满足先验条件,可以降低浓度β的取值,采用两次迭代滤波的方式,即逐步降低浓度β,使得远景也满足先验理论的条件。综上,结合多尺度梯度引导滤波和亮度图的性质,IGDGIF使得滤波图像在梯度信息、纹理信息、颜色信息方面可以更好地还原低照度图像。

IGDGIF细化透射率后的增强效果如图5所示,可以看出,本文算法相对于文献[ 20]算法,增强图像更自然,光源处无曝光过度现象,且相对于改进透射率之前的图2,图像质量有了明显的改善,有效减少了明暗交接处的光晕问题。

图 5. 不同方法下改进透射率后的增强效果。(a)原图;(b)暗通道;(c)亮通道;(d)透射率融合图;(e)文献[ 19]的算法;(f)本文算法

Fig. 5. Enhancement results after improving transmittance by different methods. (a) Original image; (b) dark-channel; (c) bright-channel; (d) transmittance fusion image; (e) method in Ref. [19]; (f) proposed method

下载图片查看所有图片

3.4 利用BM3D进行图像去噪优化

低照度图像普遍存在噪声过大的问题,对图像的增强效果有很大影响,因此对图像进行去噪优化是十分必要的。经过多次实验验证,若在增强前先进行去噪处理,会使得原本灰暗的图像变得更加模糊,图像细节也会受到影响。因此本文算法将去噪这一优化步骤放在最后,从而达到优化增强图像的目的。

低照度图像存在的噪声大多是传输和存储过程中产生的高斯噪声以及微弱照度下产生的泊松噪声,其中后者占大多数,因此采用效果较好的三维块匹配滤波 (Block-matching and 3D filtering,BM3D)^[21]去噪方法。BM3D步骤主要包括基础估计和最终去噪:寻找图像中差异度最小的相似块并将其整合成三维矩阵,对其进行二维变换得到基础估值;用基础估值中的权值进行滤波,对滤波后存在的重复值进行加权平均得到去噪图像。BM3D搜寻像素块参照时,采取步长为4 pixel,复杂度降为步长为1时的1/16,有效缩短了运算时间。

经去噪优化后,低照度图像冗余的噪点减少了,图像更加平滑。接着对图像取反并按照散射模型进行复原,复原公式为

J (x) = \frac{I (x) - A}{t (x)} + A 。 (16)

4 实验结果和评价

为了验证本文算法的实际效果和有效性,本文手机拍摄并在网上搜集了近500幅低照度图像,包括夜间和弱光等多种情况下的低照度情况。本文选用三种不同类型的增强模型算法与本文算法进行比较,分别为文献[ 11] 算法(基于去雾模型)、文献[ 22]算法(基于深度学习)、文献[ 23]算法(基于Retinex模型)。本文所有实验均在MATLAB R2017a平台上实现,计算机中央处理器是intel core i7-8750H,内存为8G。

4.1 含有大片天空区域且景深变化大的低照度图像

含有大片天空区域且景深变化大的低照度图像的增强一直是研究难点之一,针对此类图像的增强结果进行了对比,并从主观评价和客观评价两方面进行了分析。实验结果如图6所示。

图 6. 不同算法下含有大片天空区域且景深变化大的低照度图像增强结果。(a1)~(a4)原图; (b1)~(b4) 文献[ 11]的算法; (c1)~(c4)文献[ 22] 的算法; (d1)~(d4)文献[ 23] 的算法; (e1)~(e4)本文算法

Fig. 6. Enhancement results of low-illumination images with large sky area and obvious change in depth of field for different methods. (a1)--(a4) Original images; (b1)--(b4) method in Ref. [11]; (c1)--(c4) method in Ref. [22]; (d1)--(d4) method in Ref. [23]; (e1)--(e4) proposed method

下载图片查看所有图片

4.1.1 主观评价

由图6(b1)~(b4)可以看出,文献[ 11] 算法的增强结果存在光晕伪影现象,白色物体周边尤为明显,且还原物体轮廓不够清晰,整体图像偏暗。如图6 (b2)、(b3)所示,可以看到明显的光晕,且图6 (b1)左侧建筑上的物体和图6 (b4)地面上的热气球等轮廓模糊,细节信息丢失严重。由图6(c1)~(c4)可以看出,文献[ 22]算法相对于文献[ 11] 算法,图像亮度和对比度均有明显提升,但是存在一定的过曝现象,体现在图6 (c2)和图6(c3)的天空区域,且图6 (c3)中云朵和天空的边缘分界不明显,丢失了物体的轮廓信息。观察图6(d1)~(d4)可以看出,文献[ 23]算法的整体增强效果较自然,亮度和对比度均得到较好提升,但是存在一定的色偏现象,尤其在6 (d3)的建筑部分以及图6 (d4)的天空区域,颜色失真明显。本文算法对大气光值和透射率进行了较多准确的估值,因此在增强亮度和对比度以及还原天空区域方面的效果较好,如图6(e1)~(e4)的天空区域所示;物体的边缘部分清晰,细节信息丰富,没有颜色失真和光晕现象,整体增强效果更加自然清晰,视觉效果明显优于其他几种算法。

4.2 含有光源和不均匀光线的低照度图像

在含有光源和不均匀光线的低照度图像增强过程中,经常出现光晕伪影等问题,针对此类图像也进行了增强结果对比,实验结果如图7所示。

图 7. 不同算法下含有光源和不均匀光线的低照度图像增强结果。(a1)~(a3)原图; (b1)~(b3)文献[ 11] 的算法; (c1)~(c3)文献[ 22] 的算法; (d1)~(d3)文献[ 23] 的算法; (e1)~(e3)本文算法

Fig. 7. Enhancement results of low-illumination images with light source and inhomogeneous light rays for different methods. (a1)--(a3) Original images; (b1)--(b3) method in Ref. [11]; (c1)--(c3) method in Ref. [22]; (d1)--(d3) method in Ref. [23]; (e1)--(e3) proposed method

下载图片查看所有图片

4.2.1 主观评价

由图7(b1)~(b3)可得,无论在室内还是室外的光源处,文献[ 11] 算法的增强结果都存在明显的光晕现象,整体图像偏暗。在图7 (b1)和图7 (b3)光源处可明显看到光晕现象;在图7 (b2)中,书本上一些小物件的还原不够清晰,丢失了许多图像信息。文献[ 22]算法在暗区细节提升以及光晕伪影去除方面较文献[ 11] 算法有较大改善,但是在光源和白色物体处仍存在明显的过曝现象,体现在图7 (c1)的灯光处和图7 (c2)的白色物体处。文献[ 23]算法在光源或者白色物体处的光晕去除效果和暗区细节还原效果较好,但是存在色偏现象,整体颜色较浅。如图7 (d2)所示,暗区背景的还原较完整,细节信息更多;但是图7(d1)~(d3)的增强结果都存在不同程度的颜色失真。本文算法通过结合双通道和光照图引导滤波,在图像还原方面,整体效果优于前几种算法。如图7 (e1)和图7 (e3)所示,光源处的增强更加自然,图7 (e2)中的图像细节还原更加丰富全面,且图像的纹理细节更加清晰,视觉效果更好。

4.2.2 客观评价

为了更客观公正地比较低照度图像增强算法的效果,选取了图像信息熵、平均梯度和结构相似度等评价指标进行对比分析。

图像信息熵表征了图像信息丰富的程度。图像信息熵越大,代表图像包含的信息越多,图像越丰富。表示为

H = - \overset{255}{\sum_{x = 0}} p_{x} lb p_{x}, (17)

式中:p_x为像素点x出现的概率。如表2所示,本文算法整体效果更好,能够使增强后的图像包含更丰富的信息,且增强效果自然清晰,色彩保真度比较好,与主观评价一致。

表 2. 图像信息熵

Table 2. Information entropies of images

Original image	Method in Ref. [11]	Method in Ref. [22]	Method in Ref. [23]	Proposed method
Fig.6(a1)	7.2516	7.6565	7.4933	7.8762
Fig.6(a2)	6.7724	7.0452	7.1503	7.4747
Fig.6(a3)	7.5497	7.5141	7.1526	7.7957
Fig.6(a4)	6.8558	7.5090	7.1526	7.5188
Fig.7(a1)	6.3663	6.9588	7.0763	7.1562
Fig.7(a2)	5.5262	6.2352	6.2431	6.7724
Fig.7(a3)	6.0362	6.7964	6.7625	7.0236

查看所有表

平均梯度表征了图像细节信息,平均梯度越大,则图像的轮廓越清晰,细节信息越丰富。表示为

A = \frac{\overset{w - 1}{\sum_{i = 1}} \overset{n = 1}{\sum_{j = 1}} \sqrt[]{\frac{(J_{i, j} - J_{i + 1, j})^{2} + (J_{i, j} - J_{i, j + 1})^{2}}{2}}}{(w - 1) (n - 1)}, (18)

式中:J_i_,_j为图像矩阵第i行第j列的像素值;w和n分别为图像矩阵的行数和列数。如表3所示,本文算法的图像平均梯度除在图6(a1)处略低于文献[ 22]算法外,整体平均梯度表现较好,能够很好地保持边缘和还原细节信息,增强图像层次分明,与主观评价一致。

表 3. 图像平均梯度

Table 3. Average gradients of images

Original image	Method in Ref. [11]	Method in Ref. [22]	Method in Ref. [23]	Proposed method
Fig.6(a1)	8.9607	11.8851	9.7361	10.0400
Fig.6(a2)	6.8744	6.4497	5.0609	7.9357
Fig.6(a3)	4.2377	5.3210	3.9981	6.2678
Fig.6(a4)	2.2127	2.1871	2.8916	3.0929
Fig.7(a1)	5.2635	6.8695	6.2302	7.0025
Fig.7(a2)	3.2163	5.6289	4.3256	5.8953
Fig.7(a3)	7.0156	7.8635	7.2311	8.2362

查看所有表

结构相似度表征的是图像恢复前后内容结构的相似程度,值越接近1,增强图像的质量越好。表示为

S_{SIM} (X, Y) = \frac{(2 u_{X} u_{Y} + C_{1}) (σ_{XY} + C_{2})}{(u_{X}^{2} + u_{Y}^{2} + C_{1}) (σ_{X}^{2} + σ_{Y}^{2} + C_{2})}, (19)

式中:S_SIM(X,Y)为结构相似度;u_X、u_Y分别为图像X和Y的均值;σ_X、σ_Y分别为图像X和Y的标准差;σ_XY为图像X和Y的协方差;C₁,C₂和C₃为常数,为了避免分母为0,通常取C₁=(0.01×255)², C₂=(0.03×255)²。如表4所示,本文算法的结构相似度最接近1,图像纹理清晰,无多余的光晕伪影和噪声放大问题,与主观评价一致。

表 4. 图像结构相似度

Table 4. Structural similarities of images

Original image	Method in Ref. [11]	Method in Ref. [22]	Method in Ref. [23]	Proposed method
Fig.6(a1)	0.5203	0.5935	0.4988	0.6233
Fig.6(a2)	0.4032	0.5211	0.4210	0.5834
Fig.6(a3)	0.5986	0.6525	0.5514	0.6958
Fig.6(a4)	0.5243	0.6982	0.6201	0.7033
Fig.7(a1)	0.5722	0.5808	0.4169	0.6110
Fig.7(a2)	0.5596	0.5117	0.4659	0.5863
Fig.7(a3)	0.4203	0.5261	0.3034	0.5627

查看所有表

5 结论

针对去雾物理模型在低照度图像增强过程中存在的光晕伪影、亮度过饱和、边缘细节丢失和噪声放大等问题,提出了一种结合双通道先验和光照图梯度域引导滤波的图像增强方法,通过引入亮通道图像的阈值法获取大气光值,在暗通道先验的基础上融合亮通道先验以求取初始透射率,运用光照图梯度域引导滤波细化透射率,并通过BM3D优化去噪的方法对图像进行增强,解决了暗通道先验不适用于大面积明亮区域、同一局部区域景深不同的问题,使大气光值和透射率的估计更准确。实验结果表明,所提算法在光晕消除、亮度调整、边缘保持和噪声去除方面的效果都有明显的提高。由于所提算法涉及到了暗亮两个通道的计算,运行时间略长,但是对视觉检测等的影响极小,接下来会在这方面进行研究改进。

参考文献

[1] 苏畅, 毕国玲, 金龙旭, 等. 基于暗通道图像质心偏移量的去雾算法[J]. 光学学报, 2019, 39(5): 0533001.

Su C, Bi G L, Jin L X, et al. Dehazing algorithm based on dark-channel image centroid offset[J]. Acta Optica Sinica, 2019, 39(5): 0533001.

[2] Zhu Y L, Huang C. An adaptive histogram equalization algorithm on the image gray level mapping[J]. Physics Procedia, 2012, 25: 601-608.

[3] Vickers V E. Plateau equalization algorithm for real-time display of high-quality infrared imagery[J]. Optical Engineering, 1996, 35(7): 1921-1926.

[4] 王炳健, 刘上乾, 周慧鑫, 等. 基于平台直方图的红外图像自适应增强算法[J]. 光子学报, 2005, 34(2): 299-301.

Wang B J, Liu S Q, Zhou H X, et al. Self-adaptive contrast enhancement algorithm for infrared images based on plateau histogram[J]. Acta Photonica Sinica, 2005, 34(2): 299-301.

[5] Kuang H L, Chen L, Gu F, et al. Combining region-of-interest extraction and image enhancement for nighttime vehicle detection[J]. IEEE Intelligent Systems, 2016, 31(3): 57-65.

[6] ChangJ, Bai JH. An Image enhancement algorithm based on Gaussian weighted bilateral filtering and retinex theory[C] //2015 8th International Congress on Image and Signal Processing (CISP), October 14-16, 2015, Shenyang, China. New York: IEEE, 2015: 257- 262.

[7] 张杰, 周浦城, 薛模根. 基于方向性全变分Retinex的低照度图像增强[J]. 计算机辅助设计与图形学学报, 2018, 30(10): 1943-1953.

Zhang J, Zhou P C, Xue M G. Low-light image enhancement based on directional total variation retinex[J]. Journal of Computer-Aided Design & Computer Graphics, 2018, 30(10): 1943-1953.

[8] 吴若有, 王德兴, 袁红春. 基于注意力机制和CNN的低照度图像增强[J]. 激光与光电子学进展, 2020, 57(20): 201022.

Wu R Y, Wang D X, Yuan H C. Low-light image enhancement based on attention mechanism and convolutional neural networks[J]. Laser and Optoelectronics Progress, 2020, 57(20): 201022.

[9] 黄鐄, 陶海军, 王海峰. 条件生成对抗网络的低照度图像增强方法[J]. 中国图象图形学报, 2019, 24(12): 2149-2158.

Huang H, Tao H J, Wang H F. Low-illumination image enhancement using a conditional generative adversarial network[J]. Journal of Image and Graphics, 2019, 24(12): 2149-2158.

[10] DongX, WangG, PangY, et al. Fast efficient algorithm for enhancement of low lighting video[C] //2011 IEEE International Conference on Multimedia and Expo, July 11-15, 2011, Barcelona, Spain. New York: IEEE, 2011: 1- 6.

[11] He KM, SunJ, Tang XO. Single image haze removal using dark channel prior[C] //2009 IEEE Conference on Computer Vision and Pattern Recognition, June 20-25, 2009, Miami, FL, USA. New York: IEEE, 2009: 1956- 1963.

[12] 刘峰, 王信佳, 于波, 等. 基于暗原色先验的低照度视频增强算法[J]. 计算机系统应用, 2019, 28(6): 165-171.

Liu F, Wang X J, Yu B, et al. Low lighting video enhancement algorithm based on dark channel prior[J]. Computer Systems & Applications, 2019, 28(6): 165-171.

[13] 刘柯, 李旭健. 水下和微光图像的去雾及增强方法[J]. 光学学报, 2020, 40(19): 1910003.

Liu K, Li X J. De-hazing and enhancement methods for underwater and low-light images[J]. Acta Optica Sinica, 2020, 40(19): 1910003.

[14] 牛爽, 尚媛园, 丁辉, 等. 基于亮度传播图的低照度图像增强算法[J]. 计算机应用与软件, 2016, 33(6): 168-171.

Niu S, Shang Y Y, Ding H, et al. Low illumination image enhancement algorithm based on luminance transmission map[J]. Computer Applications and Software, 2016, 33(6): 168-171.

[15] 陈永, 卢晨涛. 基于超像素分割和暗亮通道结合的单幅图像去雾[J]. 激光与光电子学进展, 2020, 57(16): 161023.

Chen Y, Lu C T. Single image dehazing based on superpixel segmentation combined with dark-bright channels[J]. Laser & Optoelectronics Progress, 2020, 57(16): 161023.

[16] 胡一冰, 唐晨, 陶珊. 基于多尺度Retinex算法的光干涉条纹图像增强[J]. 激光与光电子学进展, 2019, 56(24): 241006.

Hu Y B, Tang C, Tao S. Enhancement of optical interferometry fringe patterns based on multiscale retinex algorithm[J]. Laser & Optoelectronics Progress, 2019, 56(24): 241006.

[17] Yan YY, Ren WQ, Guo YF, et al. Image deblurring via extreme channels prior[C] //2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 21-26, 2017, Honolulu, HI, USA. New York: IEEE, 2017: 6978- 6986.

[18] He K M, Sun J, Tang X O. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(6): 1397-1409.

[19] Kou F, Chen W H, Wen C Y, et al. Gradient domain guided image filtering[J]. IEEE Transactions on Image Processing, 2015, 24(11): 4528-4539.

[20] Shi Z H, Zhu M M, Guo B, et al. Nighttime low illumination image enhancement with single image using bright/dark channel prior[J]. EURASIP Journal on Image and Video Processing, 2018, 2018(1): 1-15.

[21] Dabov K, Foi A, Katkovnik V, et al. Image denoising by sparse 3-D transform-domain collaborative filtering[J]. IEEE Transactions on Image Processing, 2007, 16(8): 2080-2095.

[22] Guo X J, Li Y, Ling H B. LIME: low-light image enhancement via illumination map estimation[J]. IEEE Transactions on Image Processing, 2017, 26(2): 982-993.

[23] 李赓飞, 李桂菊, 韩广良, 等. 亮通道先验Retinex对低照度图像的光照补偿[J]. 光学精密工程, 2018, 26(5): 1191-1200.

Li G F, Li G J, Han G L, et al. Illumination compensation using Retinex model based on bright channel prior[J]. Optics and Precision Engineering, 2018, 26(5): 1191-1200.

3.3 光照图多尺度梯度引导滤波(IGDGIF)

3.4 利用BM3D进行图像去噪优化

4 实验结果和评价

4.1 含有大片天空区域且景深变化大的低照度图像

4.2 含有光源和不均匀光线的低照度图像

5 结论

赵馨宇, 黄福珍. 基于双通道先验和光照图引导滤波的图像增强[J]. 激光与光电子学进展, 2021, 58(8): 0810001. Xinyu Zhao, Fuzhen Huang. Image Enhancement Based on Dual-Channel Prior and Illumination Map Guided Filtering[J]. Laser & Optoelectronics Progress, 2021, 58(8): 0810001.

基于双通道先验和光照图引导滤波的图像增强下载： 827次

1 引言

2 基本原理

2.1 大气散射物理模型

2.2 暗通道先验和亮通道先验

2.3 Retinex理论

3 本文低照度增强算法

图 1. 所提低照度增强算法流程图

Fig. 1. Flow chart of proposed low-illumination enhancement algorithm

3.1 阈值法求取大气光值

图 2. 不同方法的大气光值增强图。 (a)原图;(b)文献[ 11]的算法;(c)本文算法

Fig. 2. Enhanced images of atmospheric light value via different methods. (a) Original image; (b) method in Ref. [11]; (c) proposed method

3.2 双通道估计透射率

图 3. 不同α和γ值下的透射率图。(a) α=1,γ=0;(b) α=0.75,γ=0.25;(c) α=0.25,γ=0.75;(d) α=0,γ=1

Fig. 3. Transmittance images under different α and γ. (a) α=1, γ=0; (b) α=0.75, γ=0.25; (c) α=0.25,γ=0.75; (d) α=0,γ=1

3.3 光照图多尺度梯度引导滤波(IGDGIF)

图 4. 不同引导图的边缘提取图。(a)原图;(b)灰度取反图;(c)暗通道图;(d)光照图

Fig. 4. Edge-extraction images for different bootstrap images. (a) Original image; (b) gray-level inversion image; (c) dark-channel image; (d) illumination images

表 1. 不同引导图与原图的相似度

Table 1. Similarity between different bootstrap images and original images

图 5. 不同方法下改进透射率后的增强效果。(a)原图;(b)暗通道;(c)亮通道;(d)透射率融合图;(e)文献[ 19]的算法;(f)本文算法

Fig. 5. Enhancement results after improving transmittance by different methods. (a) Original image; (b) dark-channel; (c) bright-channel; (d) transmittance fusion image; (e) method in Ref. [19]; (f) proposed method

3.4 利用BM3D进行图像去噪优化

4 实验结果和评价

4.1 含有大片天空区域且景深变化大的低照度图像

图 6. 不同算法下含有大片天空区域且景深变化大的低照度图像增强结果。(a1)~(a4)原图; (b1)~(b4) 文献[ 11]的算法; (c1)~(c4)文献[ 22] 的算法; (d1)~(d4)文献[ 23] 的算法; (e1)~(e4)本文算法

Fig. 6. Enhancement results of low-illumination images with large sky area and obvious change in depth of field for different methods. (a1)--(a4) Original images; (b1)--(b4) method in Ref. [11]; (c1)--(c4) method in Ref. [22]; (d1)--(d4) method in Ref. [23]; (e1)--(e4) proposed method

4.2 含有光源和不均匀光线的低照度图像

图 7. 不同算法下含有光源和不均匀光线的低照度图像增强结果。(a1)~(a3)原图; (b1)~(b3)文献[ 11] 的算法; (c1)~(c3)文献[ 22] 的算法; (d1)~(d3)文献[ 23] 的算法; (e1)~(e3)本文算法

Fig. 7. Enhancement results of low-illumination images with light source and inhomogeneous light rays for different methods. (a1)--(a3) Original images; (b1)--(b3) method in Ref. [11]; (c1)--(c3) method in Ref. [22]; (d1)--(d3) method in Ref. [23]; (e1)--(e3) proposed method

表 2. 图像信息熵

Table 2. Information entropies of images

表 3. 图像平均梯度

Table 3. Average gradients of images

表 4. 图像结构相似度

Table 4. Structural similarities of images

5 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于双通道先验和光照图引导滤波的图像增强 下载： 827次

1 引言

2 基本原理

2.1 大气散射物理模型

2.2 暗通道先验和亮通道先验

2.3 Retinex理论

3 本文低照度增强算法

图 1. 所提低照度增强算法流程图

Fig. 1. Flow chart of proposed low-illumination enhancement algorithm

3.1 阈值法求取大气光值

图 2. 不同方法的大气光值增强图。 (a)原图;(b)文献[ 11]的算法;(c)本文算法

Fig. 2. Enhanced images of atmospheric light value via different methods. (a) Original image; (b) method in Ref. [11]; (c) proposed method

3.2 双通道估计透射率

图 3. 不同α和γ值下的透射率图。(a) α=1,γ=0;(b) α=0.75,γ=0.25;(c) α=0.25,γ=0.75;(d) α=0,γ=1

Fig. 3. Transmittance images under different α and γ. (a) α=1, γ=0; (b) α=0.75, γ=0.25; (c) α=0.25,γ=0.75; (d) α=0,γ=1

3.3 光照图多尺度梯度引导滤波(IGDGIF)

图 4. 不同引导图的边缘提取图。(a)原图;(b)灰度取反图;(c)暗通道图;(d)光照图

Fig. 4. Edge-extraction images for different bootstrap images. (a) Original image; (b) gray-level inversion image; (c) dark-channel image; (d) illumination images

表 1. 不同引导图与原图的相似度

Table 1. Similarity between different bootstrap images and original images

图 5. 不同方法下改进透射率后的增强效果。(a)原图;(b)暗通道;(c)亮通道;(d)透射率融合图;(e)文献[ 19]的算法;(f)本文算法

Fig. 5. Enhancement results after improving transmittance by different methods. (a) Original image; (b) dark-channel; (c) bright-channel; (d) transmittance fusion image; (e) method in Ref. [19]; (f) proposed method

3.4 利用BM3D进行图像去噪优化

4 实验结果和评价

4.1 含有大片天空区域且景深变化大的低照度图像

图 6. 不同算法下含有大片天空区域且景深变化大的低照度图像增强结果。(a1)~(a4)原图; (b1)~(b4) 文献[ 11]的算法; (c1)~(c4)文献[ 22] 的算法; (d1)~(d4)文献[ 23] 的算法; (e1)~(e4)本文算法

Fig. 6. Enhancement results of low-illumination images with large sky area and obvious change in depth of field for different methods. (a1)--(a4) Original images; (b1)--(b4) method in Ref. [11]; (c1)--(c4) method in Ref. [22]; (d1)--(d4) method in Ref. [23]; (e1)--(e4) proposed method

4.2 含有光源和不均匀光线的低照度图像

图 7. 不同算法下含有光源和不均匀光线的低照度图像增强结果。(a1)~(a3)原图; (b1)~(b3)文献[ 11] 的算法; (c1)~(c3)文献[ 22] 的算法; (d1)~(d3)文献[ 23] 的算法; (e1)~(e3)本文算法

Fig. 7. Enhancement results of low-illumination images with light source and inhomogeneous light rays for different methods. (a1)--(a3) Original images; (b1)--(b3) method in Ref. [11]; (c1)--(c3) method in Ref. [22]; (d1)--(d3) method in Ref. [23]; (e1)--(e3) proposed method

表 2. 图像信息熵

Table 2. Information entropies of images

表 3. 图像平均梯度

Table 3. Average gradients of images

表 4. 图像结构相似度

Table 4. Structural similarities of images

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于双通道先验和光照图引导滤波的图像增强下载： 827次