1 引言

海洋工程应用、海洋能源探测和海洋资源开发等高科技海洋技术已经成为当今世界不遗余力进行的主要研究领域之一,海洋水下信息探测和水下作业装备已经成为世界大国重点研究的热点^[1-2]。水下图像是获取水下信息的重要途径。在图像的捕获、存储和传输期间,由于受到复杂水下环境的影响,图像容易出现细节模糊、图像对比度下降以及彩色图像产生很大的色彩偏差、呈现单蓝色雾化等情况。

水下图像严重降质的主要原因有^[3]:1)光在水中的传播复杂,即便非常纯净的水对光也有较强的吸收和衰减作用;2)水体中存在的悬浮颗粒和浮游生物会对光的传播产生较强的散射作用,另外,水体本身的流动等因素会造成图像传感器捕获的图像噪声大,细节信息损失严重;3)外部辅助光源的范围受限,且水波会造成水下光照不均匀,图像传感器捕获的图像会产生光斑等严重噪声。

水下图像的清晰化方法通常分为两类^[4]:图像增强和图像复原。图像增强方法直接从图像像素的角度对图像进行处理,使得图像特征得到一定程度的增强,提高视觉的清晰程度;图像复原方法在分析水下环境的基础上建立水下图像模型,采用不同的手段进行估计参数,以复原水下图像。

当前对水下图像进行清晰化处理的研究较多,例如,Peng等^[4]依据基于图像模糊和光吸收计算的水下环境深度估计方法增强水下图像,效果较好;Borkar等^[5]提出基于单色彩通道的水下图像复原方法,提高了算法效率和图像的对比度;Li等^[6]提出基于最小信息损失原则的水下图像复原算法,得到了较好的实际应用效果;杨爱萍等^[7]基于颜色失真矫正和背景散射提取进行水下图像复原,在颜色的复原和避免光源、噪声等影响方面表现良好;曹美等^[8]结合通道直方图量化的颜色校正和暗原色先验模型进行图像增强,提升了图像的视觉效果;陆慧敏等^[9]利用水下图像退化模型和引导图像滤波器进行颜色校正,克服了光照不均的问题;王马华等^[10]结合偏振成像技术与改进的湍流模型提出水下图像复原算法,在强湍流条件下效果较好;李一兵等^[11]采用Radon变换和傅里叶变换方法分别估计模糊的角度和距离,为缺少先验条件的水下图像复原提供依据。上述水下图像复原方法已然取得了一定的进展,但是仍然存在算法复杂或仅针对某一特定应用、普适性差的问题。

本文提出一种基于Tetrolet变换的水下彩色图像的清晰化方法。首先,对RGB图像进行暗原色先验初步复原;然后,进行lαβ空间映射,并对lαβ三通道进行清晰化处理;最后,将复原后的lαβ三通道图反向映射到RGB空间,得到清晰化的水下图像。

2 暗原色先验初步复原

2.1 水下图像退化模型

光从光源发出,在水中传输,到被水下图像传感器捕获,根据整个过程可以建立水下图像退化模型。水下图像退化模型通常由直接光分量、前向散射光和后向散射光三部分构成^[12-13]。

直接光分量指水下物体的反射光传输过程中没有被散射的部分,可表示为

D(x)=J(x)t(x),(1)

式中x为位置,J(x)为复原后的水下图像(又称场景反射图),t(x)为透射率(又称介质传输图或传输图),通常随着图像深度值(图像传感器与场景之间的距离)呈指数衰减。所以,又称D(x)为直接衰减。

前向散射光是指在传输过程中物体的反射光发生小角度散射的部分,可表示为

F(x)=[J(x)t(x)]·g(x),(2)

式中g(x)为因前向散射而造成的光的扩散作用。

后向散射光是指光线经过水中悬浮颗粒散射后被相机接收的部分,可表示为

B=A[1-t(x)],(3)

式中A为光源照射强度。

因此,水下图像退化模型可表示为

I(x)=D(x)+F(x)+B=J(x)t(x)+[J(x)t(x)]·g(x)+A[1-t(x)],(4)

当场景与相机的距离较小时,可以忽略前向散射带来的图像模糊,于是(4)式可简化为

I(x)=J(x)t(x)+A[1-t(x)]。(5)

2.2 暗原色先验估计

在对大量图像进行数据统计的基础上,He等^[14]认为无雾图像非天空部分的局部区域中某些像素点至少有一个颜色通道具有很低的亮度值,甚至趋近于零,即为暗通道,此时有:

Jdark(x)=miny∈Ω(x)[minc∈{r,g,b}Jc(y)]→0,(6)

式中J_c(y)为图像J(y)的R、G、B三通道中的某一个,Ω(x)为以像素点x为中心的邻域。

水下图像与雾天图像都会因为介质中的悬浮物导致的光散射产生图像降质,两者的退化模型在形式上类似。此外,场景中都会存在物体的阴影、颜色较暗的物体或表面以及色彩鲜艳的物体或表面,这些景物都满足暗通道先验条件。因此,可以采用暗原色先验理论去除水下图像的后向散射。此时,由(5)式可以得到:

miny∈Ω(x)minc∈{r,g,b}IcyA=t(x)miny∈Ω(x)minc∈{r,g,b}IcyA+1-t(x)。(7)

由暗原色先验知识可以得到透射率为

t(x)=1-miny∈Ω(x)minc∈{r,g,b}IcyA,(8)

式中光源照射强度取各颜色通道的暗通道中亮度值最大值,即:

A=maxx∈Iminc∈Ω(x)[Ic(y)],c∈{r,g,b}。(9)

这样得到的透射率易出现块效应,需要对透射率进一步细化。He等^[14]采用软抠图的方法解决该问题。

将估计的透射率和背景光代入(5)式,得到初步复原的水下图像,可表示为

J(x)=I(x)-At(x)+A。(10)

3 本文算法

初步复原的水下图像由于估计出的透射率不够精确,会出现块效应。此外,水下图像在获取过程中容易出现蓝绿色偏,需要对颜色进行校正才能得到清晰化的水下图像。因此,将初步复原后的图像映射到lαβ空间,对非彩色l通道进行进一步的滤波处理,对α、β色彩空间进行颜色校正。

3.1 算法流程

算法流程如图1所示:

1) 将初步复原的彩色水下图像由RGB空间映射到lαβ空间,得到亮度通道图像F_l、黄-蓝颜色通道图像F_α和红-绿颜色通道图像F_β;

图 1. 本文算法流程图

Fig. 1. Flow chart of the proposed algorithm

下载图片 查看所有图片

2) 对F_l采用Tetrolet变换得到高频系数 FHl和低频系数 FLl;

3) 对 FHl采用Bilateral保边滤波器滤除噪声,提取出清晰的边缘信息 FlH,D;

4) 对 FLl进行非局部均匀滤波,得到滤波后的低频分量 FlL,G;

5) 将处理后的高、低频系数进行反向非下采样轮廓波变换(NSCT)得到复原的亮度通道图 FlTe;

6) 采用空间均值校正方法对α、β通道进行颜色校正,得到复原的彩色通道图像 FMα和 FMβ;

7) 将处理后的 FlTe和 FMα、 FMβ反向变换到RGB通道,得到清晰化的彩色水下图像F^C。

3.2 空间映射

1998年提出的lαβ颜色空间理论^[15]建立在人类视觉系统对颜色感知的基础上。该颜色空间对各个通道单独处理,各通道之间几乎不相关,因此可以避免彩色交叉畸变。本文算法借助这种不相关性,对彩色图像进行处理。此外,映射到lαβ颜色空间的RGB图像的色彩空间会变得更加均匀^[16]。将RGB图像映射到lαβ颜色空间的具体过程如下。

首先,将RGB颜色空间映射到LMS空间,得到^[17]:

LMS0.38110.57830.04020.19670.72440.07820.02410.12880.844RGB。(11)

然后,将LMS空间映射到对数空间:Γ=log L,Ω=log M,Ψ=log S。为消除通道间的相关性,使各彩色通道间相互独立,在对数空间对各彩色通道进行正交变换,得到:

lαβ=1/30001/60001/211111-21-20ΓΩΨ,(12)

式中l表示非彩色通道,即亮度通道,α表示色彩通道中的黄-蓝颜色通道,β表示色彩通道中的红-绿颜色通道。

将彩色水下图像映射到lαβ颜色空间中,得到亮度通道图像F_l、黄-蓝颜色通道图像F_α和红-绿颜色通道图像F_β。对三个通道的图像分别进行处理,利用Tetrolet域的高、低频分别对F_l进行滤波增强处理,对F_α和F_β进行色彩校正。彩色水下图像映射到lαβ三通道后的图像如图2所示。

图 2. 彩色水下图像映射到lαβ三通道。(a) 原始图像; (b) l通道; (c) α通道; (d) β通道

Fig. 2. Maping underwater color image to lαβ three channels. (a) Original image; (b) l channel; (c) α channel; (d) β channel

下载图片 查看所有图片

4 l亮度通道的清晰化处理

4.1 改进的Tetrolet变换

2010年,Krommweh^[18]基于自适应Harr小波提出了图像几何结构表达能力优秀的Tetrolet变换方法,该方法稀疏性强,具有高能量的变换系数,是一种简单有效的多尺度几何分析方法。同时,其支撑域很小,能够避免吉布斯现象的影响。另外,理论上Tetrolet变换简单,易处理。在边缘部分采用Haar小波函数对图像分解时,首先将图像分开,块的大小通常选取4×4。在每个图像块中填充与图像几何结构一致的四格拼板,因此该方法被称为Tetrolet变换。单个四格拼板由4个正方形拼成,根据排列组合可以看出,四格拼板有5种基本拼板图案(排除翻转、旋转的情况),将其视为Tetrolet变换的基函数。如图3所示。假设有一幅64×64的图像,对该图像进行Tetrolet变换的过程如图4所示。

图 3. 五种基础四格拼板

Fig. 3. Five basic tetrominoes

下载图片 查看所有图片

图 4. Tetrolet变换结构示意图

Fig. 4. Structure diagram of Tetrolet transformation

下载图片 查看所有图片

原始的Tetrolet变换在分解后得到的高频能量不集中,范围小,只有少数的轮廓信息。因此将其直接应用于图像融合时,无法提取更多的高频细节,融合图像达不到理想的效果。为了更多地保留高频区域红外图像与可见光图像的边缘、轮廓以及纹理等细节,需要根据图像特征对Tetrolet变换进行改进。

假设一幅大小为N×N的原始图像为I=[a(i,j) ](i,j)=0N-1,N=2^J,J∈N,那么对该图像最多进行J-1层的Tetrolet分解。假设对图像进行d(d=1,2,…,J-1)层Tetrolet分解,具体步骤如下:

1) 将源图像分割为若干4×4的图像块B_i,j,i,j=0,1,…,N/4^r-1;

2) 对图像块B_i,j分别进行Tetrolet分解,假设模板为ρ=1,…,117,对每一种可能性进行Haar小波变换,分别得到4个低频系数D^d,(ρ)[s],s=0,1,2,3以及12个高频系数G^d,(ρ),z[s],(z=1,2,3),s=0,1,2,3。s表示覆盖4×4的块对应的4个四格拼板,则有:

Dd,(ρ)[s]=∑(m,n)∈Icsε[0,L(m,n)]Dd-1[m,n],(13)Gd,(ρ),z[s]=∑(m,n)∈Iscε[z,L(m,n)]Dd-1[m,n],(14)ε[z,L(m,n)]=12111111-1-11-11-11-1-11,(15)

式中L为 Isc的4个索引(m,n)对映射到集合{0,1,2,3}上的双映射;

3) 选择模板

ρ*=argmaxρ∑z3‖Gd,(ρ),z‖l=argmaxρ∑z=13∑s=03Gd,(ρ),zs,(16)

模板的选择通常采用一阶范数,原始的Tetrolet变换选取一阶范数的最小值进行滤波,结果将高频系数缩在很小的取值范围,无法得到足够的边缘和轮廓细节,而改进的Tetrolet变换采用一阶范数的最大值进行模板选择,这样可以尽量保留源图像的高频数据;

4) 采用最优模板 Dd,(ρ*)[s]将低频系数按照2×2形式重新排列;

5) 重复2)~4)对图像进行下一层的Tetrolet分解,直到变换结束。

采用原始Tetrolet算法和改进后的算法分别对图像进行分解,高频细节的对比效果如图5所示。改进的Tetrolet变换能够很好地保留红外图像和可见光图像的高频边缘、轮廓细节,有利于后续的融合处理。

图 5. 高频细节对比图。(a) Tetrolet变换; (b) 改进的Tetrolet变换

Fig. 5. Comparison of high-frequency details. (a) Tetrolet transform; (b) improved Tetrolet transform

下载图片 查看所有图片

4.2 高频分量线特征提取

Tetrolet的多尺度和多方向分解可以得到图像的高频和低频系数。其中,高频系数通常表征图像的边缘、轮廓以及噪声等信息,能够体现图像的细节;低频系数表示图像大部分灰度平滑区域,包含图像的大部分能量,通常代表图像的背景信息。

为了得到清晰的边缘轮廓等线性细节特征,同时滤除噪声,采用非线性的双边滤波器对高频分量进行滤波和线特征提取。双边滤波器综合考虑了像素间的距离因素和像素间的灰度差异,在滤波的同时能够很好地保存边缘轮廓特征。其可定义为

Hp=∑q∈SG(‖p-q‖,σs)G(Ip-Iq,σr)Ip∑q∈SG(‖p-q‖,σs)G(Ip-Iq,σr),(17)

式中I_p为图像I在中心像素点p(x,y)处的灰度值,经过双边滤波器后,该点的灰度值变为H_p,I_q为p(x,y)点邻域像素点q(x,y)的灰度值,所有的q(x,y)构成了邻域像素点集S。G代表滤波的核函数,采用高斯函数的形式表示为

G(x,σ)=1σ2πexp-x22σ2,(18)

(17)式中G(‖p-q‖, σ_s)代表空间接近度因子,G( Ip-Iq,σ_r)代表灰度相似度因子,定义为

G(‖p-q‖,σs)=exp{-[(x-u)2+(y-u)2]2σs2},(19)G(Ip-Iq,σr)=exp[-(Ip-Iq)2/2σr2],(20)

式中σ_s和σ_r分别为高斯函数中的距离标准差和灰度标准差,两者分别表示图像特征的大小和对比度,对图像的平滑程度起着决定性作用,两种参数也分别代表了滤波宽度。

图6描述了双边滤波器在边缘附近的特性,可以看到,在去噪的同时还具有优良的边缘保护能力。

图 6. 双边滤波器在图像边缘附近的作用效果。(a)包含噪声的图像区域; (b)值域滤波; (c)双边滤波; (d)空间域滤波; (e)空间域与值域滤波组合

Fig. 6. Effects on image edge of bilateral filtering. (a) Image region with noises; (b) value domain filtering; (c) bilateral filtering; (d) spatial domain filtering; e) filtering combination of spatial domain and value domain

下载图片 查看所有图片

经过Tetrolet分解得到的低频分量包含图像的大部分能量和部分噪声。被噪声干扰后,不能单纯通过亮度值的差异准确估计像素之间相似性。为了解决该问题,采用非局部均匀算法,该算法借助整个图像空间像素的亮度值修正当前像素的亮度值,能够去除低频分量的噪声,增强低频分量的视觉效果。

2005年Buades等^[19]提出了非局部均值去噪算法,其核心思想是充分利用图像中像素周围灰度分布的相似性贡献权值,然后进行滤波。

经过Tetrolet分解后得到的低频分量为 FLl=fLl(x), x∈I,图像中所有像素的加权平均值为

NLl=∑y∈Iω(x,y)f(y),(21)

式中N_i代表以像素i为中心的四边形邻域,ω(x,y)为权值,其取决于像素点x和y的相似度,而像素点x和y的相似度依赖于其邻域窗口v(N_x)和v(N_y)的相似度。权值公式为

ω(x,y)=1z(x)exp[-‖v(Nx)-v(Ny)‖2,σ2/h],(22)

式中0≤ω(x,y)≤1且 ∑y∈Iω(x,y)=1,h为控制指数函数衰减的滤波参数, ·‖2,σ2代表计算高斯加权的欧氏距离,z(x)为权值归一化因子。

对于受噪声污染,分辨率较低的水下图像,此方法能够充分利用图像的冗余信息进行滤波,获得更好的去噪效果。

4.3 Tetrolet逆变换

通过Tetrolet逆变换,将处理后的高频和低频分量进行重构,得到处理后的亮度通道图像 FlTe。Tetrolet变换域处理前后的两组亮度通道图像对比如图7所示。

图 7. Tetrolet处理前后图像。(a) 原始图像; (b) Tetrolet处理后图像

Fig. 7. Images before and after Tetrolet processing. (a) Original images; (b) after Tetrolet processing

下载图片 查看所有图片

5 lαβ颜色通道的色彩校正

光在水下传输时,由于绿光的波长最短,所以它在水中传输的距离最长,导致水下图像多呈绿色或蓝色。为解决色偏问题,采用空间均值方法对颜色进行校正。

首先,计算图像c通道的均值 Smeanc和均方误差 Svarc;然后,分别计算每个通道的最大值和最小值:

Smaxc=Smeanc+μSvarc,(23)Sminc=Smeanc-μSvarc,(24)

式中c∈{α,β},μ为调整图像动态范围的参数。

校正后的图像 SCRc为

SCRc=Sc-SmincSmaxc-Sminc×255。(25)

6 颜色空间反向映射

将各分量从lαβ颜色空间反向映射到RGB颜色空间,具体公式为

ΓΩΨ=11111-11-201/30001/60001/2lαβ,(26)RGB4.4679-3.58730.1193-1.21862.3809-0.16240.0497-0.24391.2045LMS,(27)

至此,进行色彩传递处理后可以得到清晰化处理后的图像。

7 实验结果与分析

7.1 主观评价结果分析

为了验证本文方法的有效性,采用8组图像进行实验,对比本文算法、文献[ 20]中的Retinex方法和文献[ 21]中的三通道水下图像清晰化算法的效果。

图8给出了8组图像经过三种方法处理的结果。图8(a)所示的源图像呈现场景模糊和蓝绿色偏的现象;图8(b)为Retinex方法的处理结果,处理后的图像较清晰,但是微小边缘细节偏模糊,对远处的场景处理效果较差,同时颜色过校正,呈现偏白色调;图8(c)为三通道方法的处理结果,处理后的图像对比度较高,微小边缘较清晰,但是仍然存在一定程度的色偏;图8(d)为本文方法的处理结果,图像的对比度高,边缘清晰,总体颜色饱满鲜艳,对远处的景深场景的处理效果也很好。

图 8. 实验结果对比。(a) 原始图像; (b) Retinex方法; (c) 三通道方法; (d) 本文方法

Fig. 8. Comparison of experiment results. (a) Original images; (b) Retinex method; (c) three-channel method; (d) proposed method

下载图片 查看所有图片

7.2 客观评价结果分析

目前,客观评价水下图像的清晰化处理尚无统一的标准。本文从对比度、平均梯度、色偏和峰值信噪比4个方面进行比较。

图像的对比度表征图像的细节清晰程度,对比度越大表示图像的细节越清晰,而标准差S_D用来衡量图像灰度对比度的强度,即图像灰度在空间分布上的离散程度。通常标准差越大的图像,其灰度对比度越高。标准差的定义为

SD=1M×N∑i=0M-1∑j=0N-1I(i,j)-I-]2,(28)

式中M为图像的宽度,N为图像的高度, I-为均值,I(i,j)代表图像在像素(i,j)处的灰度值。

平均梯度A_vG是衡量图像清晰度的度量^[22],其表征图像对微小细节反差的表述能力。通常,图像的平均梯度越大,其在某一方向的灰度变化率越大。平均梯度的定义为

AvG=1M×N∑i=0M-1∑j=0N-1ΔIx2+ΔIy2)2,(29)

式中M和N分别为图像的宽度和高度,ΔI_x、ΔI_y分别为x与y方向上的差分。

图像色偏K由图像色度的均值和色度的分布特征确定,表征图像颜色偏离正常颜色的程度。色偏越大表示图像越失真。K可表示为^[23]

K=100μα2+μβ2σ2α+σβ2·max{min[(σ2l-t),1],1},(30)

式中μ_α、μ_β和σ_α、σ_β分别为α、β通道各自的均值和均方差,t为阈值,σ_l为l通道的均方差。

原图像I与处理后的图像 I-之间的均方误差(MSE)定义为

MSE=1mn∑i=0m-1∑j=0n-1‖I(i,j)-I-(i,j)‖2。(31)

峰值信噪比(PSNR)由图像信号峰值与均方误差决定,表征图像重建质量的好坏。PSNR定义为

PSNR=10·lgmaxI2MSE=20·lgmax(I)MSE,(32)

式中max(I)为图像亮度最大值,用来替代图像信号强度。

表1~8给出了图8中Image1~8图像分别采用3种方法处理的客观评价结果。在3种方法中,本文方法的对比度、平均梯度以及峰值信噪比都为最高,表明该方法对于图像细节的处理效果好,图像呈现较高的对比度;图像信息量最丰富;峰值信噪比都在38 dB~45 dB范围内,图像质量较好。本文方法的色偏值最小,虽然在个别图像上稍有偏差,但总体效果优于其他两种方法。

分析水下图像清晰化后的图像可知,本文方法在提高图像的对比度,丰富图像边缘方面具有显著的优势,同时对蓝绿色偏的校正也有较好的效果,处理后的图像鲜艳,视觉效果好。

8 结论

针对彩色水下图像特点,在对水下图像传感器捕获的图像进行初步复原的基础上,对图像进行lαβ空间映射,对每个通道图像的特点进行单独的清晰化处理,即利用Tetrolet变换域单独滤波亮度通道,对两个彩色通道进行色彩校正,解决了光散射导致的模糊以及水下图像色偏等问题。实验结果表明,本文方法具有针对性的滤波、增强和颜色校正等处理,能够很好地提高图像的对比度,丰富图像边缘,对于水下色偏的校正具有良好的效果。