1 引言

随着陆地自然资源的短缺,水下成像技术的发展对商业、**以及科学研究等领域都具有重大意义,因此世界各国逐渐把目光转向深海探索。遥控潜水器和自主式水下机器人等被广泛应用于水下探索活动。这些机器通常都配备了拍摄系统,以便获得感兴趣物体的图像以及视频信息。但是,由于水体以及悬浮颗粒对光的吸收与散射作用,水下拍摄到的图像通常存在色彩失真和边缘细节模糊等问题。水下图像处理是视频增强的基础,为了取得更好的视觉观测效果,寻找合适的方法对水下图像进行处理具有非常重要的意义。

在水下成像过程中,水体对光的吸收具有明显的选择性^[1],波长越长的光吸收衰减系数越大,传播距离越短。因此水下图像通常呈现短波长的蓝绿色调,存在明显的颜色失真。水体对光的散射衰减可分为前向散射与后向散射,前向散射造成图像细节模糊,纹理信息缺失;后向散射造成图像对比度降低,图像表面呈现白色雾化效果,即图像信噪比下降。针对水下图像存在的问题,研究者们提出了多种水下图像处理算法^[2-9]。张凯等^[2]采用多尺度Retinex算法对图像亮度分量进行增强处理,实现了水下图像色彩校正;Fu等^[3]基于光照反射理论,提出了一种新的变分Retinex模型,将水下成像过程中光的衰减效应等效为外界环境光的变化,实现了水下图像清晰化处理;Wen等^[4]将雾天成像模型直接应用于水下成像,仅由蓝绿通道计算图像暗通道,实现了水下图像去模糊和色彩校正;Galdran等^[5]提出了一种改进的水下图像暗通道估计方法,以去除后向散射,然后自适应地修改各通道背景光在复原图像中的比例,实现了色彩校正;Ancuti等^[6]利用白平衡算法去除颜色失真,并结合对比度受限的自适应直方图的均衡化,提高了水下图像清晰度;倪锦艳等^[7]通过设置阈值参数对得到的透射率图进行自适应调节,然后通过调整图像,估计灰度轴的位置并还原图像颜色,达到了提高图像清晰度和颜色校正的目的;杨爱萍等^[8]提出了一种先去除颜色失真、再去除后向散射分量的水下图像的处理方法;沈瑜等^[9]结合Tetrolet变换与Bilateral双边滤波器,提出了一种lαβ色彩空间水下图像清晰化算法。

上述算法虽然在一定程度上能够实现色彩校正或水下图像清晰化处理,但是只考虑了吸收衰减所引起的色彩失真或后向散射造成的水下图像雾化效果,忽略了前向散射衰减导致的图像边缘细节模糊,因此使得处理效果并不理想。同时部分算法直接将去雾处理中的暗通道先验应用于水下图像,没有充分考虑到水下光学成像过程中水体对光的选择性吸收衰减,计算得到的各通道透射率并不精确。针对以上算法存在的问题,本文提出了一种基于红色暗通道先验(RDCP)和逆滤波的水下图像复原算法。该算法首先通过RDCP理论估计出水下图像暗通道,利用各通道散射系数与光波波长的线性关系,在暗通道基础上计算得到各通道的透射率图,还原得到去除后向散射的水下图像;结合各通道前向散射光学传递函数与透射率的数学关系,采用图像逆滤波得到去除前向散射的水下图像;采用高斯分布线性拉伸提高图像对比度的同时校正图像色彩失真。实验结果表明,本文算法能够有效地校正水下图像色彩失真并实现清晰化处理。与当前几种主流的水下图像处理算法相比,本文算法对水下图像具有适用性和优越性。

2 水下图像复原算法

在水下光学成像过程中,水介质对光具有吸收与散射作用,导致水下图像色彩失真、细节模糊、对比度低、可见范围有限。在充分分析了Jaffe-McGlamery水下光学成像模型^[1]的基础上,受经典的雾天成像模型启发,将改进暗通道先验理论应用于水下图像,得到去除散射分量的清晰化图像。

2.1 水下光学成像模型

根据简化的Jaffe-McGlamery水下光学成像模型^[1],相机接收到的光由三部分组成(图1):1) 目标物体反射未发生散射的光(直接分量);2) 目标物体反射发生小角度散射的光(前向散射分量);3) 非目标物体反射却仍被摄像机捕捉到的散射光(后向散射分量)。因此,相机接收到的光可以看成这三个分量的线性叠加,即

ET=Ed+Ef+Eb,(1)

式中E_T表示相机接收到的光,E_d表示直接分量,E_f表示前向散射分量,E_b表示后向散射分量。水下图像复原的过程即从已知的E_T中有效去除E_f与E_b,同时校正色彩失真。

图 1. Jaffe-McGlamery水下光学成像模型

Fig. 1. Jaffe-McGlamery underwater optical imaging model

下载图片 查看所有图片

光经光源出发到达目标物体的传播过程中,能量呈指数衰减,因此直接分量可表示为

Ed(x,λ)=Eobject(x,λ)exp-c(λ)d(x),λ∈{R,G,B},(2)

式中c(λ)为总衰减系数,为吸收系数a(λ)与散射系数b(λ)之和;d(x)表示像素x到相机的距离;E_object(x,λ)表示未衰减目标物体的反射图像;R、G、B分别表示红、绿、蓝通道。前向散射分量类似于直接分量,可以看成是发生了小角度散射的直接分量,可以表示为直接分量与点扩展函数的卷积,即

Ef(x,λ)=Ed(x,λ)*gd(x,λ),(3)

式中g_d(x,λ)表示点扩展函数,可表示为

gd(x,λ)={exp[-Gd(x)]-exp[-c(λ)d(x)]}F-1{exp[-Bd(x)f]},(4)

式中G、B为经验系数,F^-1表示傅里叶逆变换,f表示像素x对应的频率。点扩展函数由d(x)以及G、B决定。假设用S(x,λ)来表示直接分量与前向散射分量之和,则有

S(x,λ)=Eobject(x,λ)+Eobject(x,λ)*gd(x,λ)×exp[-c(λ)d(x)]=J(x,λ)exp[-c(λ)d(x)],(5)

式中J(x,λ)定义为目标物体反射图像,可表示为

J(x,λ)=Eobject(x,λ)+Eobject(x,λ)*gd(x,λ)。(6)

与直接分量和前向散射分量来自于目标物体的反射不同,后向散射分量来自于水中悬浮粒子等非目标物体的散射。借鉴经典的雾天成像模型^[10-11],后向散射分量可表示为背景光的指数衰减^[12],即

Eb(x,λ)=B∞1-exp[-c(λ)d(x)],(7)

式中B_∞表示图像中距离相机无穷远处的环境光^[13]。将(5)、(7)式代入(1)式,可以得到新的水下光学成像模型为

ET(x,λ)=J(x,λ)exp[-c(λ)d(x)]+B∞{1-exp[-c(λ)d(x)]}。(8)

由整个推导过程可知,水下图像复原的本质是从相机接收到的E_T中去除前向散射分量与后向散射分量并得到目标物体反射图像E_object的过程。

2.2 红色暗通道先验去雾

新的水下光学成像模型[(8)式]在形式上与经典的雾天成像模型类似,于是可以采用经典的去雾方法消除后向散射造成的水下图像雾化效果。为了实现去雾处理,He等^[10]基于大量户外无雾图像的统计分析提出了暗通道先验假设(DCP)。对于绝大多数无雾图像的局部区域,某一些像素总会有某一个颜色通道具有极低的灰度值,即

JDCP(x)=minλ∈{R,G,B}miny∈Ω(x)J(y,λ),(9)

式中J^DCP(x)表示无雾图像的暗通道灰度值,Ω(x)表示以像素x为中心的局部块,J(y,λ)为任一色彩通道的原始退化图像的局部块。根据暗通道理论,有雾图像的暗通道灰度值可以粗略表征雾的浓度大小。然而,不同于空气中的雾天成像,水下成像不仅存在散射,还存在水体对光的选择性吸收衰减。长波长的红光相对短波长的蓝绿光传播距离更短,相机接收到的光照灰度值更小。因此根据(9)式直接估算得到的水下图像暗通道值往往偏小,导致后续计算的透射率偏大。针对水下图像的特点,Galdran等^[5]提出了适用于水下图像的RDCP:

JRDCP(x,λ)=minλ∈{R,G,B}miny∈Ω(x)1-J(y,R),miny∈Ω(x)J(y,G),miny∈Ω(x)J(y,B)。10

定义exp[-c(λ)d(x)]为透射率t(x,λ),则可由(8)式计算得到去除后向散射的水下图像,即

J(x,λ)=ET(x,λ)-B∞(x,λ)t(x,λ)+B∞(x,λ)。(11)

为了获得目标物体反射图像J(x,λ),下面将探讨估计背景光B_∞与t(x,λ)的方法。

由于水体对不同波长的光的选择性吸收衰减,水下图像红色通道灰度值远小于蓝绿通道。因此,定义s_score(x)为

sscore(x)=ET(x,R)-maxET(x,G),ET(x,B)。(12)

将s_score(x)的值从大到小排序,然后选取前0.1%的像素^[10]。在这些像素中,选定对应原始图像中的最大灰度值作为背景光。根据He等^[10]的推导,可由暗通道计算得到各通道透射率为

t(x,λ)=1-minλ∈{R,G,B}miny∈Ω(x)J(y,λ)Bλ,∞。(13)

由于空气中各通道散射系数一致,因此可认为空气中的雾天图像的各通道透射率图相同。但是,在水下成像过程中,各通道的c(λ)取决于对应光波长的大小,因此有必要分别计算各通道透射率图,即

t(x,R)=1-minminy∈Ω(x)1-ET(x,R)1-BR,∞,miny∈Ω(x)(x,G)BG,∞,miny∈Ω(x)(x,B)BB,∞,(14)t(x,G)=exp-c(R)d(x)c(G)/c(R)=t(x,R)c(G)/c(R),(15)t(x,B)={exp[-c(R)d(x)]}c(B)/c(R)=t(x,R)c(B)/c(R)。(16)

根据RDCP理论,可由(14)式计算得到红通道透射率图。只要利用(15)式与(16)式能够计算出蓝绿通道与红通道总衰减系数比值,便能得到对应的透射率图。Zhao等^[14]给出了水下成像过程中背景光与散射系数及总衰减系数的数学关系,即

Bλ,∞∝b(λ)c(λ)。(17)

由(17)式可知,水下成像过程中,背景光的灰度值正比于散射系数,反比于总衰减系数。Gould等^[15]经过大量实验发现,一般水体中散射系数与波长近似呈线性关系,即

b(λ)=(-0.00113λ+1.62517)b(555),(18)

式中b(555)表示波长为555 nm的光对应的散射系数。由(18)式可知,不需要知道b(555)的值便可以计算出各个通道散射系数的比值。选取红、绿、蓝三通道对应的光波波长分别为620,540,450 nm^[16]。将(12)式估计得到的背景光与(18)式计算出的各通道散射系数比值代入(17)式,计算出蓝绿通道相对红通道的总衰减系数比值,即

c(G)c(R)=b(G)BR,∞b(R)BG,∞,(19)c(B)c(R)=b(B)BR,∞b(R)BB,∞。(20)

将(19)式与(20)式分别代入(15)式与(16)式,计算得到蓝绿通道透射率图。将背景光和各通道透射率代入(11)式中,得到去除后向散射分量的水下图像,图像的白色雾化效果被消除,对比度得到明显改善。

2.3 光学传递函数逆滤波

由(6)式可知,去除后向散射分量后得到的水下图像J(x,λ)中仍然包含了前向散射分量,存在轻微的边缘模糊效应。由(3)式可知,这是由点扩展函数卷积引起的。因此可以考虑采用图像逆滤波恢复原始的目标物体清晰图像E_object。

Trucco等^[17]提出在前向散射点扩展函数[(4)式]中存在如下近似:

K~{exp[-Gd(x)]-exp[-c(λ)d(x)]},c(λ)~B,(21)

式中K为点扩展函数部分表达式的数学近似表示。将(21)式代入(4)式,得到新的前向散射点扩展函数为

gd(x,λ)=KF-1{exp[-c(λ)d(x)f]}。(22)

对(22)式两边同时进行傅里叶变换,得到点扩展函数对应的光学传递函数为

Gd(x,λ)=Kexp[-c(λ)d(x)f]。(23)

进一步对(6)式两边同时进行傅里叶变换,并将(23)式代入可得

FJ(x,λ)=FEobject(x,λ){1+Fgd(x,λ)}=FEobject(x,λ)1+Gd(x,λ)。(24)

利用(24)式并采用直接逆滤波可以得到去除前向散射分量的水下图像为

Eobject(x,λ)=F-1FJ(x,λ)1+Gd(x,λ)。(25)

Trucco等^[17]给出了逆滤波过程中K值与总衰减系数的取值范围,通常水下成像过程中K的取值范围为[0.2,0.9];深海、沿海和海湾的水下总衰减系数的取值分别为0.049,0.252,0.323。对于待处理的水下图像,Trucco等首先大致判断图像的成像环境,给定初始的K值与总衰减系数值;然后利用Nelder-Mead单纯形法,搜索最优的K值与总衰减系数值组合,使得去除前向散射分量后的水下图像具有最大的均方梯度,实现自适应水下图像复原。但是,由于该算法需要同时搜索两个变量的最优值组合,算法的时间复杂度较高;同时该算法假定处理的水下图像拍摄于后向散射程度低的浅水区域,大大降低了其适用性。

仔细观察前向散射光学传递函数[(23)式]与透射率的关系,可将(25)式进一步改写为

Eobject(x,λ)=F-1FJ(x,λ)1+[t(x,λ)]f。(26)

受Trucco等的启发,在(26)式的基础上提出一种新的逆滤波思路:首先将去除后向散射分量后得到的各通道透射率代入(26)式,确定滤波器函数;然后根据K的取值范围,初始化K值;给定特定步长,在K的取值范围内求出最优的K值,使得去除前向散射分量后的水下图像具有最大的均方梯度,实现自适应地水下图像复原。

2.4 高斯分布线性映射

去除后向散射分量和前向散射分量后的水下图像虽然细节清晰度得到显著提升,但是往往存在图像对比度低、亮度偏暗的问题,需要进一步对灰度值进行映射,以获得最优的视觉效果。通过对大量去除散射分量的水下图像复原结果进行分析,发现复原后水下图像的灰度直方图近似为高斯分布。而对于高斯分布函数,每个样本落在3倍标准差内的概率高达99.7%。因此可以利用基于高斯分布的3σ(σ为灰度值的方差)原则对去除散射分量的水下图像进行线性映射。映射的上下限由图像各通道灰度值的均值和方差确定,即

ξmax=μ+3σξmin=μ-3σ,(27)

式中μ为灰度值的均值;ξ_max、ξ_min分别为线性映射后允许的灰度值最大值和最小值。

综上所述,完整的水下图像复原流程图如图2所示。

图 2. 水下图像复原流程图

Fig. 2. Flow chart of underwater image restoration

下载图片 查看所有图片

3 实验结果与分析

对多种水下环境拍摄得到的图像进行复原处理,分别选取了珊瑚、潜水、鱼群三组图像。分别将本文算法与文献[ 4]中的DCP算法、文献[ 5]中的自动RDCP(ARDCP)算法、文献[ 3]中的变分Retinex增强算法和文献[ 6]中的图像融合增强(Fusion)算法进行对比。实验中,选取红、绿、蓝三通道对应的光波波长分别为620,540,450 nm;初始化K=0.2,搜索步长设置为0.05。用于比较的算法参数均设置为最优条件。

3.1 处理效果对比

本文算法复原图像与其他算法的对比图像分别如图3~5所示。图3为珊瑚实验图,图4为潜水实验图,图5为鱼群实验图。由图3(b)和图4(b)可以看出,单纯的DCP算法虽然能够在一定程度上消除后向散射分量引起的雾化效果,但是由于未考虑水对光的选择性吸收衰减,去雾处理后的图像色偏反而更加严重;DCP算法处理后的图像[图5(b)]左上角甚至出现了小块色斑,严重影响了图像的视觉效果。由图3(c)和图5(c)可以看出,ARDCP算法由于考虑了水对光的选择性吸收衰减,能够更好地对水下图像实现清晰化和色彩校正;但由图4(c)可以看出,对于色偏较为严重的水下图像,ARDCP算法的色彩校正效果并不是非常理想。由图3(d)、图4(d)和图5(d)可以看出, 变分Retinex增强算法有效地去除了图像的蓝绿色偏,目标物体细节更清晰,但是增强后的图像偏暗,整体呈现灰色调。相比之下,图像融合算法和本文算法均能有效地去除图像蓝绿色偏,处理后的图像细节更清晰,而且本文算法对图像对比度的改善优于图像融合算法。

图 3. 珊瑚图像实验。(a)原始图像;(b) DCP算法;(c) ARDCP算法;(d)变分Retinex增强算法;(e) Fusion算法;(f)本文算法

Fig. 3. Image experiments of coral. (a) Original image; (b) DCP algorithm; (c) ARDCP algorithm; (d) variation Retinex enhancing algorithm; (e) Fusion algorithm; (f) proposed algorithm

下载图片 查看所有图片

3.2 图像质量评价

为进一步说明实验效果,对实验结果图像进行质量评价。针对水下图像的特点,选取图像信息熵、平均梯度、无参考对比度失真图像质量评价指标(NR-CDIQA)^[18]、彩色水下图像质量评价指标(UCIQE)^[19]对处理图像进行质量评价。

信息熵表示图像的平均信息量,熵值越大表示图像携带的信息量越大。将计算得到的图像红、绿、蓝三通道信息熵的平均值作为最终结果;梯度可以敏感地反映图像对微小细节反差表达的能力,梯度值越大表示图像的细节清晰度越高。将计算得到的图像红、绿、蓝三通道梯度的平均值作为最终结果。基于大量自然场景下的图像统计特征分析,文献[ 18]提出了一种基于图像的4个矩特征值与信息熵的NR-CDIQA。水下图像往往存在严重的对比度失真,NR-CDIQA值越大,表示图像视觉效果越接近自然场景下的图像。针对水下图像的主要特点,借鉴了传统的无参考图像质量评价方法,Yang等^[19]提出了一种基于CIELab色彩空间的UCIQE 。UCIQE值越大,表示本文算法能够更好地平衡图像的色度、对比度和饱和度,图像主观视觉效果越好。

图 4. 潜水图像实验。(a)原始图像;(b) DCP算法;(c) RDCP算法;(d)变分Retinex增强算法;(e) Fusion算法;(f)本文算法

Fig. 4. Image experiments of diving. (a) Original image; (b) DCP algorithm; (c) ARDCP algorithm; (d) variation Retinex enhancing algorithm; (e) Fusion algorithm; (f) proposed algorithm

下载图片 查看所有图片

图 5. 鱼群图像实验。(a)原始图像;(b) DCP算法;(c) ARDCP算法;(d)变分Retinex增强算法;(e) Fusion算法;(f)本文算法

Fig. 5. Image experiments of fishes. (a) Original image; (b) DCP algorithm; (c) ARDCP algorithm; (d) variation Retinex enhancing algorithm; (e) Fusion algorithm; (f) proposed algorithm

下载图片 查看所有图片

根据图3~5对本文算法和其他算法的处理结果图像进行质量评价,比较结果如表1所示。

由表1中的数据可以看出,本文算法复原图像的NR-CDIQA与UCIQE值均高于所有对比算法的结果,表明本文算法处理后的图像对比度更接近自然场境下的图像,同时本文算法能够更好地平衡图像的色度、对比度和饱和度,图像主观视觉效果更好。信息熵数据显示,本文算法优于DCP算法、ARDCP算法和变分Retinex增强算法,但是比Fusion算法差,该结果表明本文算法能够在一定程度上增加图像的信息量,丰富图像细节。平均梯度数据显示,本文算法复原图像的平均梯度值高于所有对比算法的结果或仅次于Fusion算法,这表明本文算法能够有效地去除图像模糊,增强图像中的边缘细节。DCP算法虽然能够在一定程度上消除图像雾化效果,但是去除后向散射分量后图像饱和度变大,蓝绿色偏反而更加严重;ARDCP算法虽然能有效地实现图像清晰化,但是对于色彩失真严重的图像处理效果不佳;变分Retinex增强算法能同时实现图像清晰化和色彩校正,但是增强后的图像亮度偏暗,整体呈现灰色调;Fusion算法在增强图像细节方面效果显著,但是平衡图像的色度、对比度及饱和度能力相对较弱。通过对多种水下环境拍摄得到的图像进行处理,综合考虑水下图像清晰化和色彩校正,本文算法具有更好的适用性和优越性。

4 结论

水体对光具有吸收和散射作用,使得水下彩色图像存在色彩失真和细节模糊等问题。基于Jaffe-McGlamery水下光学成像理论,给出了新的简化水下光学成像模型。针对后向散射分量造成的图像雾化效果,首先采用RDCP估计出红通道透射率图,并利用散射系数与光波波长的线性关系求解出蓝绿通道透射率图,得到去除后向散射分量的水下图像;针对前向散射分量造成的图像边缘细节模糊问题,结合各通道透射率与光学传递函数的数学关系,采用逆滤波实现图像清晰化;基于3σ线性映射提高图像对比度。实验结果表明,相对于主流的DCP、ARDCP、变分Retinex增强和Fusion等水下图像处理算法,所提算法能够更好地平衡图像的色度、对比度及饱和度,使得复原的图像视觉效果更接近自然场景下的图像,为水下成像增强打下了坚实的理论基础。