1 引言

近年来,随着水下环境感知需求的增长,水下成像技术得到快速发展,并被广泛应用于水下机器人勘测、海洋生物监测及海洋**等方面。然而,水体对光的吸收和散射效应会造成水下图像的退化,导致采集得到的水下光学图像存在对比度低、细节模糊、色偏严重等问题,给水下图像的人工判读和自动解译带来了极大的困难。因此,研究水下光学图像复原技术,还原水下场景的真实面貌,对海洋探测等领域的应用具有重要意义^[1]。

水下图像复原通常基于水下图像退化模型,主要是解决图像模糊和色偏等问题。Hou等^[2]将光在水中的点扩散函数和调制传递函数两者结合来去除水下图像的模糊效应。He等^[3]提出一种简单有效的暗通道先验模型应用于雾天图像的去模糊,这一先验模型基于这样一个经验假设,即绝大多数清晰无雾的大气图像中,至少存在一个颜色通道的强度值很低。因水下图像和雾天图像具有一定的相似性,该模型也逐渐被学者们应用于水下图像复原^[4-9]。Sathya等^[4]对不同颜色通道进行均衡,并结合暗通道先验模型对水下图像进行复原。Wen等^[5]基于暗通道先验模型,改进背景光估计算法,从而复原水下图像。

以上复原方法主要是解决水下图像中的模糊问题,对如何恢复水下图像的颜色平衡并未作深入考虑。Chiang等^[6]使用暗通道先验模型估计水下场景深度,对颜色衰减的图像进行波长补偿和去模糊,在一定程度上恢复图像的颜色平衡并消除散射的影响,但复原图像存在整体偏黄的现象。Zhao等^[7]在暗通道图像的最亮0.1%个像素中,选择具有最大绿-红差值或蓝-红差值的像素点的值作为全局背景光,但若图像中存在大块白色区域,则复原效果不理想。Galdran等^[8]在He的基础上提出适用于水下环境的红通道先验模型,并结合图像的饱和度修正透射率,改善水下图像复原不理想的情况。Li等^[9]采用红色分量的逆分量改进暗通道先验模型,采用白平衡算法对水下图像进行颜色校正,恢复的图像色彩鲜艳且清晰度较高。

考虑到水下光学图像存在散射导致的模糊和水体对光波的吸收导致的色偏问题,本文提出一种基于场景深度估计和白平衡的水下图像复原新方法。通过Sobel边缘检测和形态学闭运算将水下图像中的近景和远景分离,得到初步的场景深度估计;再通过线性回归对RGB颜色通道的像素值与场景深度的关系进行分析,得到较为准确的场景深度估计,并利用该场景深度图估计水下背景光;接着将逆通道思路推广到各颜色通道改进透射率估计,通过逆求解水下光学成像模型来消除后向散射;最后利用改进的白平衡算法校正水下图像的颜色畸变,得到复原后的水下图像。

2 本文方法

由于水下光学成像模型和雾天成像模型具有一定的相似性,可借鉴经典的基于暗通道先验的去雾方法消除水下的后向散射模糊,恢复清晰图像。但与色偏不明显的雾天图像不同,水体介质对不同波长的光的吸收特性存在显著差异,暗通道先验方法容易产生误判,从而导致去散射模糊效果不理想。因此,需要根据水下成像特性对暗通道先验方法进行修正。

2.1 水下光学成像模型

依据Jaffe-McGlamery模型^[10],水下成像系统所接收到的总光强,由目标物体反射的直接分量、目标物体反射发生小角度散射的前向散射分量、周围环境光被悬浮颗粒等散射所造成的后向散射分量,这三部分线性叠加组成。当水下相机与目标场景的距离不远时,可忽略前向散射分量引起的模糊,因此,水下光学成像模型为

ET(x,λ)=Eo(x,λ)·t(x,λ)+B∞(λ)·1-t(x,λ),(1)

式中:x为图像中的像素点;λ∈{r,g,b}表示RGB三个颜色通道;E_T(x,λ)表示拍摄的图像;E_o(x,λ)表示清晰图像;B_∞(λ)为背景光;t(x,λ)=exp[-c(λ)d(x)]表示水下透射率,c(λ)为因吸收与散射所致的总衰减系数,d(x)为场景深度。

为了恢复清晰的水下图像,准确求取透射率t(x,λ)与水下背景光B_∞(λ)至关重要。

2.2 基于场景深度的水下背景光估计

在水下透射率公式t(x,λ)=exp -c(λ)d(x)中,c(λ)为光在水体介质中的总衰减系数,恒大于零,因此透射率在不同场景深度处的大小不同,且透射率处于[0,1]之间。当场景深度为无穷远处时,透射率的值趋于零,则

Eo(x,λ)·exp-c(λ)·∞+B∞(λ)·1-exp-c(λ)·∞≈B∞(λ)。(2)

由(2)式可知,在水下图像E_T(x,λ)中,场景深度为无穷远处的点的像素值,数值上可近似认为等于水下背景光的值。因此,采用一种基于场景深度的水下背景光估计方法。

在暗通道先验去雾方法中,暗通道的计算公式为

ETdark(x,λ)=minλminy∈Ω(x)ET(y,λ),(3)

式中Ω(x)是以像素点x为中心的15×15的局部小块区域。

对于有雾图像,因为散射光的影响,远景各通道的像素值高于近景,所以远景多呈现白色氛围^[11]。而在暗通道图像中,有雾区域的暗通道值也高于无雾的近景区域,这间接地反映了有雾图像的场景深度信息。对于水下图像,不同颜色通道的像素值并不一定随着场景深度增大而增大,有的甚至呈反比例关系。这会造成场景深度估计不准确,影响后续的水下背景光估计。而在相机拍摄的水下图像中,拍摄的目标物体大多是在近景处,且目标物体的纹理细节丰富,而远景则多是水环境,整体光滑平坦,起伏不大。

根据纹理特征和远近景的关系,采用3×3的Sobel算子对水下图像进行边缘检测,如图1(a)所示。并采用形态学中的闭运算对梯度图像进行先膨胀后腐蚀的处理,如图1(b)所示。该操作能够达到填充边缘之间的空洞,且不改变边缘的外部边界的效果,将边缘内外分隔,即将近景和远景分离。同时,闭运算也能消除近景的白色物体对场景深度估计的干扰。接着对处理后的边缘图像进行归一化处理,再取反,得到初步的场景深度图d_init(x),如图1(c)所示。

通过回归分析方法^[12]对水下图像RGB颜色通道的像素值与初步场景深度图d_init(x)的关系进行分析,如图1(d)所示。本文选取一元线性回归分析,是因为其运算复杂度低,并且已足够满足分析的需求。一元线性回归模型为

E~T(x,λ)=αλ+βλ·dinit(x),(4)

式中 E~T(x,λ)为预测值。回归系数α_λ、β_λ须满足最小二乘估计,即

argminαλ,βλ‖ET(x,λ)-E~T(x,λ)‖2,(5)

回归系数β_λ的值反映了场景深度与RGB颜色通道的像素值之间的关系。其值为正,说明λ颜色通道的像素值与场景深度成正比,否则成反比。其绝对值越大,说明λ颜色通道的像素值随场景深度变化越显著,能够反映该颜色通道对场景深度估计的重要程度。

针对RGB颜色通道不同的像素值变化情况,通过回归分析改进场景深度估计为

d(x)=minλminy∈Ω(x)1-ωλ·sλ-ET(y,λ),(6)ωλ=roundtanhk·βλ,(7)sλ=10,if,ifβλ>0βλ≤0,(8)

式中:ω_λ是权重系数,由 βλ的大小决定;tanh (·)函数是双曲正切函数;round (·)函数的作用是四舍五入至常数0或1;常数k为经验值,本文取值为4;s_λ是颜色变化指标,表示颜色通道的像素值与场景深度的关系。最终得到的场景深度图如图1(e)所示。

图 1. 场景深度计算。(a) Sobel边缘;(b)形态学闭运算;(c)初步场景深度估计;(d)回归分析;(e)场景深度估计

Fig. 1. Calculation of scene depth. (a) Sobel edge; (b) close operation; (c) initial scene depth estimation; (d) regress analysis; (e) scene depth estimation

下载图片 查看所有图片

由于采取块状区域进行估计,采用引导滤波对场景深度图进行细化。对细化后的场景深度图的像素值按顺序从小到大排列,挑选出值最大的0.1%个像素点,即对应水下图像中的无穷远处,取这些点在各个颜色通道的像素平均值作为本文估计的背景光值。

2.3 改进的透射率估计

在暗通道先验去雾方法中,透射率的计算公式可等价为

tdark(x,λ)=1-minλminy∈Ω(x)ET(y,λ)B∞λ=maxλmaxy∈Ω(x)B∞(λ)-ET(y,λ)B∞λ。(9)

在适用于雾天图像的暗通道先验方法中,背景光的值取自亮度最大的像素点,因此透射率总能满足属于[0,1]。而在水下图像中却不一定,这由2.2节中对背景光与场景深度的分析中可知。因此, (9)式中总会存在 B∞(λ)<ET(y,λ)的情况,负的透射率值将在后续计算中被裁减。显然,这种透射率估计方法不够准确。

考虑到大多数的水下图像笼罩在蓝绿色氛围中,先对该类图像进行分析。产生蓝绿色偏现象的原因主要是水体介质对不同波长的光的吸收特性明显不同,对蓝绿光波段附近的光吸收少,但对红光波段附近的光吸收多,因此红光在水体介质中衰减严重。这导致接收成像后,红通道的像素值总是很低^[13]。针对该情况,保持蓝绿通道的像素值不变,将红通道的像素值取反,得到红通道的逆通道,再求取透射率,从而改善红光衰减严重的影响。采用逆通道后的透射率的计算公式为

tred_dark(x,λ)=maxy∈Ω(x)ET(y,r)-B∞r1-B∞r,B∞(g)-ET(y,g)B∞g,B∞(b)-ET(y,b)B∞b。(10)

上述只是针对水下图像呈现蓝绿色偏的情况,此外还可能存在呈现其他颜色的色偏或整体亮度不高等情况,主要原因均是某一颜色通道的像素值偏低。因此,将求取逆通道的思路应用于各个颜色通道,并纠正可能存在负值的问题,得到改进后的透射率公式为

t(x,λ)=maxλmaxy∈Ω(x)B∞(λ)-ET(y,λ)maxB∞(λ),1-B∞λ。(11)

图2所示为低质量和低照度水下图像的透射率估计比较。由低质量图像的RGB直方图可以看出,红色通道像素值偏低,影响了暗通道先验的透射率估计,远近景的透射率估计与实际情况相反;改进后的透射率估计则较为准确,远处偏黑色,近处偏白色。对于低照度图像,由于三个颜色通道的像素值均偏低,导致透射率估计整体偏大,呈白色;改进后的透射率估计则反映了真实的远近景关系。由于采用块状区域为单位对透射率进行估计,最终清晰图像会产生块状效应。因此,采用引导滤波对获得的透射率图进行细化。

图 2. 透射率图比较。(a)原图;(b) RGB颜色通道直方图;(c)暗通道先验方法;(d)本文方法

Fig. 2. Comparisons of transmission maps. (a) Original image; (b) RGB histograms; (c) dark channel prior method; (d) proposed method

下载图片 查看所有图片

通过下式来获得清晰的水下光学图像E_o(x,λ),即

Eo(x,λ)=ET(x,λ)-B∞λmaxt(x,λ),t0+B∞(λ),(12)

式中t₀为人工设置的阈值,防止因透射率过低导致的图像颜色失真,本文取t₀=0.2。

2.4 改进的白平衡算法

不同波长光线在水体中衰减程度的差异,使得拍摄的水下图像一般存在颜色失真问题。同时,去除散射分量之后的水下图像虽然在清晰程度上具有显著提高,但是仍存在整体亮度偏暗、对比度不高的问题。针对上述问题,采用改进的白平衡算法对清晰化后的水下图像进一步处理,从而在实现图像颜色校正的同时提高对比度,改善复原图像的视觉效果。

该白平衡算法主要依据假设^[14]:图像 RGB通道中的最大值像素对应白色区域,而最小值像素对应暗黑区域。因此,在白平衡算法基础上,通过对输入图像各通道的像素值进行仿射变换,分别将整幅图像 RGB 三通道的像素值进行拉伸,尽可能地占据[0,255]整个区间。需要注意的是,对于可能包含少量像素值已经达到区间极值0或255的异常点的特殊图像,难以通过该白平衡算法实现颜色平衡。为提高算法的通用性,在进行仿射变换之前,对像素值进行累积直方图统计,裁剪靠近0和255的直方图所属的像素点,统计出剩余像素的最小值V_min和最大值V_max,进而将在区间[V_min, V_max]范围内的像素值经仿射变换拉伸至[0, 255],得到最终的水下复原图像E'_o(x,λ)。图像的整体亮度与对比度均有提升,衰减严重的颜色通道的像素值也得到提高,从而达到颜色平衡的目的。综上所述,本文水下图像复原方法总体流程图如图3所示。

图 3. 本文方法总体流程图

Fig. 3. Overall flowchart of proposed method

下载图片 查看所有图片

3 实验结果与分析

为了验证本文方法的有效性,从水下图像数据集中选取不同环境下的多幅水下彩色图像进行复原实验。实验采用的水下图像数据集由相关文献的实验图像和谷歌搜索的水下图像组成。对数据集中的水下图像进行分析,可将其大致分为低质量的水下图像和低照度的深水图像两种类型。其中,低质量的水下图像存在明显的模糊和色偏现象,且色偏种类不一;低照度的深水图像则存在由亮度低造成的对比度低、细节不清晰、人眼视觉感官效果差等问题。将本文方法的结果图与文献[ 3]、[8]、[9]和[15]等方法的结果图进行比较,实验结果的效果对比图如图4所示。其中,第1~6行图像为低质量的水下图像,第7~11行图像为低照度的深水图像。

图 4. 多种水下环境图像的复原效果对比图。(a)原始图像;(b)文献[ 3]方法;(c)文献[ 15]方法;(d)文献[ 8]方法;(e)文献[ 9]方法;(f)本文方法

Fig. 4. Comparison of restoration results of various underwater environment. (a) Original images; (b) method from Ref. [3]; (c) method from Ref. [15]; (d) method from Ref. [8]; (e) method from Ref. [9]; (f) proposed method

下载图片 查看所有图片

由图4低质量的水下图像实验可以看出,直接将暗通道先验方法^[3]应用于水下图像,虽然能够在一定程度上消除后向散射引起的模糊,但由于未考虑到水体对光波的选择性吸收,无法正确估计水下环境的背景光和透射率,导致处理效果不佳。文献[ 15]有效地实现了水下图像的清晰化,但是由于未进行颜色平衡,因此视觉效果仍然不太理想。文献[ 8]考虑了水体对光波的选择性吸收,修正了透射率估计,处理后的图像较为清晰且有一定的色彩恢复。文献[ 9]恢复的图像对比度较高,但对部分图像的色彩恢复存在偏差,泛用性不好。由低照度的水下图像实验可以看出,文献[ 3]和[15]的处理结果图因对比度较低造成视觉效果不佳。文献[ 8]处理后的图像,其对比度略有提升,但整体仍偏暗,细节不清晰。文献[ 9]处理后的图像整体较为清晰,但低对比度会造成人眼视觉不理想,并且存在色彩失真的情况。相比之下,本文方法在去除散射模糊的同时,对不同的色偏情况均能较好地恢复色彩平衡,即使是低照度的水下图像,亮度也提升明显,细节清晰,人眼视觉效果较为自然。

为了进一步验证本文方法的效果,实验采用平均梯度^[16]、图像信息熵^[17],以及两种水下彩色图像质量评价指标UCIQE^[18]和 UIQM^[19]等4个客观评价指标对各种方法进行定量评价。平均梯度指标衡量图像的清晰度,图像信息熵指标衡量图像的信息量水平。UCIQE和UIQM是两种针对水下图像特点的无参考图像质量评价方法。其中,UCIQE基于CIE Lab色彩空间,以色度、饱和度、对比度为测量指标;而UIQM则基于人眼视觉系统激励,以RGB色彩空间中的色彩、清晰度、对比度为测量指标。两种评价方法将各自的测量指标线性组合,得到评价指标,其值越大,表明图像的颜色平衡,饱和度、清晰度、对比度等越佳,图像的主观视觉效果越好。

根据图4对本文方法和其他对比方法的处理结果图像进行客观质量评价,并将最优值加粗表示,比较结果如表1所示。

从表1可以看出,本文方法的复原图像的平均梯度、信息熵、UCIQE、UIQM值基本高于其他对比方法,尤其在低照度的水下图像中,平均梯度和图像信息熵提升明显,表明图像细节清晰、信息恢复较好。综上所述,本文方法能够在一定程度上增加图像的信息量、丰富图像细节信息,使边缘细节更加明显,能够更好地平衡图像的色彩,提高清晰度和对比度,较好地复原图像的主观视觉效果。

但在采用本文方法对水下图像数据集进行实验的过程中,存在个别复原效果不佳的情况。对这些图片的特征进行分析得知,其图像特征情况与本文的假设相反。本文基于水下图像中近景与远景的一般性特征进行场景深度估计,若近景的纹理特征较少,而远景却包含大量纹理特征,则有可能造成误判,影响后续的复原效果。图5中鱼的表面光滑,纹理特征少,而背景的珊瑚纹理特征多,导致场景深度以及透射率被错误估计,最终造成图像复原效果不理想。

图 5. 本文方法不适用的情况。(a)原始图像;(b)场景深度估计;(c)透射率图

Fig. 5. Failure cases of proposed method. (a) Original images; (c) scene depth estimation; (c) transmission map

下载图片 查看所有图片

4 结论

针对水下光学图像存在的由散射引起的模糊问题、水体对光波的吸收导致的偏色问题,以及深水照度低等问题,提出一种基于场景深度估计和白平衡的水下图像复原方法。首先,采用Sobel边缘检测和形态学闭运算将水下图像中的近景和远景分离,再对RGB通道与场景深度的变化关系进行回归分析,得到场景深度图像并估计水下背景光;其次,对于衰减严重的颜色通道取其逆通道,修正透射率估计;然后,通过逆求解水下光学成像模型来消除后向散射;最后,利用改进的白平衡算法校正水下图像的颜色畸变,得到复原后的水下图像。实验结果表明,本文方法对于低质量、低照度的水下图像能够较好地丰富图像信息,提升对比度和细节清晰度,恢复真实的视觉感官效果。但本文工作基于近景与远景的一般特征进行场景深度估计,若近景的纹理特征较少,而远景却包含大量纹理特征,则有可能造成误判,影响后续的复原效果,这也是后续需要改进的工作。