1 引言

海洋中含有丰富的油气资源、生物资源和海洋能资源等,海洋探索离不开先进的水下探测技术,获取水下图像是人类了解海洋的重要方式之一。目前水下成像已广泛应用于水下环境监测、海底管道检查、鱼群搜索等领域。但水下环境复杂,除了水本身会吸收和散射光线之外,水中的有机物质、悬浮颗粒以及浮游生物也会对其吸收和散射,同时水对不同光谱区域的光吸收程度不同,致使水下图像与空气中采集的图像相比,除了含有噪声和畸变以外,还存在对比度低、模糊、颜色丢失等问题,严重影响了后续分析和处理。

水下图像清晰化方法主要可分为图像增强和图像复原两大类^[1]。图像增强是指通过突出图像有用信息或者抑制图像无用信息,来提高图像质量,改善图像视觉效果。在可见光谱区域,水对红光吸收最为强烈, 蓝光因其波长最短,吸收最小,所以在水下获取的图像会出现颜色信息丢失、图像表面仿佛覆盖一层蓝绿色薄纱的现象,同时水中的悬浮颗粒对光进行散射,导致水下图像对比度下降^[2]。空气中的暗原色先验去雾算法可以有效提高雾天图像清晰度,许多研究学者提出将暗原色先验用于水下图像增强。Liu等^[3]中认为空气中的雾天图像和水下模糊图像都是由于光被吸收和散射而导致图像中目标仿佛被一层薄纱遮挡,他们将空气中的暗原色先验去雾算法直接用于水下图像增强;Wen等^[4]结合光的衰减特性,只考虑蓝绿两个颜色通道的信息求取暗原色通道,并单独估计红色通道的透射率;Li等^[5]先直接采用空气中暗原色先验算法提高图像清晰度,后采用自适应亮度调节算法提高图像对比度;倪锦艳^[6]采用空气暗原色先验算法求取水下图像透射率,并根据物体颜色和图像背景光对透射率进行自适应优化,利用色温调节还原物体颜色。上述方法虽然在一定程度上改善了水下图像质量,但在后向散射严重的情况下图像质量的改善效果不是很明显,并且某些算法运算不是复杂度高,就是仅适用于特定场合,实际应用范围有限。

本文结合光在水下的传播特性,提出一种基于改进暗原色先验和颜色校正的水下图像增强方法,能够有效地提高图像对比度和改善颜色失真现象,且不依赖于水体各项参数,算法实时性高。主要工作包括:通过分析雾天成像模型和水下成像模型的区别和联系后,提出求取水下暗原色通道和图像背景光时考虑红色通道的逆通道;改进暗通道求取方法可以有效去除后向散射;改进的背景光估计方法可以有效避免水体中白色物体的干扰,稳健性较高;利用白平衡算法对增强后的水下图像进行颜色校正,可以补偿颜色失真。

2 水下光图像成像模型

根据Jaff-McGlamery模型^[7-8],水下摄像机接收光可表示为直接光E_d、前向散射光E_f、后向散射光E_b,到达摄像相机的总辐照度E_T是这3部分的线性叠加,即

ET=Ed+Ef+Eb,(1)

如图1所示。

图 1. 水下光学成像系统接收光的组成部分

Fig. 1. Receiving optical components in underwater imaging system

下载图片 查看所有图片

直接光是指直接被物体反射进入摄像机的光线,其光强的表达式为

Ed(x,λ)=E(x,λ)exp-c(λ)d(x),λ∈R,G,B,(2)

式中E(x,λ)为物体所在位置处的光强;E_d(x,λ)为摄像机接收的直接光光强;c(λ)为总的衰减系数,包含由吸收和散射造成的衰减,λ为图像RGB 3个颜色通道中的某一通道,考虑到水对不同光谱的吸收程度不同,因此总衰减系数将根据颜色通道的变化而变化;d(x)为物体与摄像机之间的距离。

前向散射光是指物体反射光经小角度散射后形成的光,导致图像模糊,其光强用卷积可表示为

Ef(x,λ)=Ed(x,λ)*g(x,λ),(3)

式中“*”表示卷积运算,g为点扩展函数,定义为

g(x,λ)=exp-Gd(x)-exp-c(λ)d(x)F-1exp-Bd(x)f,(4)

其中G为经验常数,满足|G|<c(λ);B为经验衰减系数; F^-1为傅里叶逆变换运算符;f为图像空间频率,单位为cycle /(°)

由图1可知,后向散射光并不含有物体光,是周围环境光被水中物体如浮游生物、悬浮颗粒等散射后进入摄像机的光,其光强可表示为

Eb(x,λ)=B∞λ1-exp-c(λ)d(x),(5)

式中 B∞(λ)为背景光。

将(2)、(3)、(5)式代入(1)式可得总光强的详细表达式,即

ET(x,λ)=Ed(x,λ)+Ef(x,λ)+Eb(x,λ)=E(x,λ)exp-c(λ)d(x)+E(x,λ)exp-c(λ)d(x)*g(x,λ)+B∞λ1-exp-c(λ)d(x)。(6)

当物体与摄像机相距很小时,前向散射光引起的模糊可以忽略,因此(6)式可简化为

ET(x,λ)=E(x,λ)exp-c(λ)d(x)+B∞λ1-exp-c(λ)d(x)。(7)

摄像机接收到的总光强E_T(x,λ)其实相当于获取的水下图像的光强。水下图像携带物体信息,代表模糊图像。由(7)式可知,若想恢复清晰的图像,必须计算出exp -c(λ)d(x)和背景光 B∞(λ)。

3 改进暗原色先验水下增强

3.1 空气暗原色先验

雾天成像模型为

I(x)=J(x)t(x)+A1-t(x),(8)

式中I(x)为含雾图像;J(x)为清晰图像;A为天空无穷远处的大气光强;t(x)为透射率,取值范围为[0,1],表征了景物反射光被大气衰减的程度;J(x)t(x)为直接衰减项,表示含目标信息的光被传播介质削弱之后的光强;A[1-t(x)]为抵达图像成像平面的大气光强。

He等^[9]对室外多数的无雾图像分析和统计可得:大部分无雾图像中,排除天空区域后,在其他的局部区域内,RGB三通道中的某个通道里的像素值非常低或者趋向于零,对应的像素被命名为暗原色像素。假设J为空气中的无雾图像,则暗原色先验可表示为

Jdark(x)=miny∈Ω(x)minλ∈{R,G,B}J(y,λ)→0,(9)

式中Ωx是以x为中心的局部区域,J(y,λ)表示J的RGB通道中的某一通道,由于J的非天空区域,J^dark极低,趋向于0,故J^dark称之为J的暗原色通道。

3.2 改进暗原色先验

若设水下透射率t(x,λ)=exp -c(λ)d(x),则(6)式可简化为

ET(x,λ)=E(x,λ)t(x,λ)+B∞(λ)[1-t(x,λ)],λ∈R,G,B。(10)

对比(8)式中的雾天成像模型和(10)式中水下成像模型可以发现,两者的表达形式相同,只是每个参数表示的含义不同。空气中的透射率t(x)=exp -βd(x),β为大气散射系数,包含了大气散射效应;水下透射率中c为总衰减系数,包含了吸收和散射效应。

水下模糊图像形成过程与空气中的含雾图像相似,它们都被浑浊的传输介质退化,图像中的光强皆可分为两部分:直接光和被传输介质散射的光。但由于水下与大气光衰减的方式不同,不能直接将空气中的暗原色先验用于恢复E(x,λ)。在水下,水对不同波长的可见光吸收率不同,所以对于不同的颜色通道,需要用不同的透射率表示。

无雾图像的三通道里通常在某一通道里的像素值非常低,空气中的暗原色通道根据上述特点求取。而在水下由于红光最先衰减完,所以R通道的像素值肯定非常低甚至接近于0,那么空气中的暗原色先验理论不能直接用于水下,因此在求取水下暗原色通道时要考虑红色通道的逆通道和蓝绿颜色通道,用J^wdark表示水下暗原色通道,表达式为

Jwdark(x)=miny∈Ω(x)minE(y,Rinv),E(y,G),E(y,B),(11)

式中R_inv=1-R,表示红色通道的逆通道,将红色通道的信息归一化后,再求取1与每个像素点的亮度值的差值,即可得到红色通道的逆通道。图2分别是采取空气中的暗原色通道方法、文献[ 9]中只考虑蓝绿两个颜色通道的求取方法以及本文定义方法求取出的水下暗原色通道。

由于红光先衰减完,水下图像的颜色主要由蓝绿色支配,整幅图像被蓝绿色笼罩,这将导致暗原色通道整体偏亮,与雾天图像的暗原色通道一致,如图2(a)所示。由图2(b)可知,采取空气中暗原色通道的定义方法,直接求取水下图像暗原色通道,将导致整体偏暗;而图2(c)中只考虑蓝绿两个通道,求取的结果虽然稍有改善,但在被蓝绿色覆盖的物体区域如岩石,由于蓝色背景的存在,这部分灰度值应偏高;图2(d)是考虑红色通道逆通道后求取的结果,红色通道的逆通道能够表征红光被衰减的具体情况,可以真实地反映出水下图像被蓝绿色支配的程度:离水下摄像机越远的区域,光衰减越严重,暗通道区域会越亮。

图 2. 水下暗原色通道先验对比。 (a) 水下图像; (b) 传统暗原色通道; (c) 文献[ 9]的暗原色通道; (d) 本文算法暗原色通道

Fig. 2. Comparison in underwater dark channel prior. (a) Underwater image; (b) traditional dark channel; (c) dark channel of Ref. [9]; (d) dark channel of our method

下载图片 查看所有图片

3.3 背景光估算

在空气中,对暗原色通道中的亮度值从大到小排列后,找出排在前0.1%的点,然后比较这些点在原图像中每个通道内的亮度值,选取最大亮度值作为大气光的值。但水中由于人工照明和白色鱼群的存在,若采取这种方式选取,会使增强后的图像偏白,因此先对每个通道进行最小滤波后,再选取亮度最大的像素点,将该像素点在原图像各通道的亮度值作为各通道的背景光值。

p=maxminx∈ETminy∈Ω(x)ET(y,Rinv),miny∈Ω(x)ET(y,G),miny∈Ω(x)ET(y,B),(12)

式中p为选取像素点所处的位置,p=(i,j)。

3.4 水下透射率估算

考虑到利用红色通道的逆通道求取水下暗通道,因此在求取水下透射率时,红通道透射率和蓝绿通道透射率求取方法不同,水下蓝光和绿光被吸收和散射的程度相似,假定在某一区域Ω(x)内,蓝光和绿光的散射率t(x,B)和t(x,G)相等,对水下成像模型(10)式中两边进行取最小运算可得

miny∈Ω(x)1-ET(y,λ)=t(x,λ)miny∈Ω(x)1-E(y,λ)+1-B∞λ1-t(x,λ),λ∈R,(13)miny∈Ω(x)ET(y,λ)=t(x,λ)miny∈Ω(x)E(y,λ)+B∞λ1-t(x,λ),λ∈G,B。(14)

分别对红通道和蓝绿通道取最小运算,背景光值 B∞(λ)是大于零的常数,将(13)式和(14)分别除以1-B∞(λ)和 B∞(λ),可得

minλ∈{Rminy∈Ω(x)1-ET(y,λ)1-B∞λ=t(x,λ)minλ∈{Rminy∈Ω(x)1-E(y,λ)1-B∞λ+minλ∈{R1-t(x,λ),(15)minλ∈{G,B}miny∈Ω(x)ET(y,λ)B∞λ=t(x,λ)minλ∈{G,B}miny∈Ω(x)E(y,λ)B∞λ+minλ∈{G,B}1-t(x,λ),(16)

由文献[ 10]可知, (14) 式满足如下不等式

0<minλt(x,R)miny∈Ω(x)1-E(y,R)1-B∞R,t(x,G)miny∈Ω(x)E(y,G)B∞G,t(x,B)miny∈Ω(x)E(y,B)B∞B≤minλminy∈Ω(x)1-E(y,R),E(y,G),E(y,B)·minλt(x,λ)minλ1-B∞(R),B∞(G),B∞B,(17)

水下暗原色通道J^wdark→0,即

Jwdark(x)=minλminy∈Ω(x)1-E(y,R),E(y,G),E(y,B)=0,(18)

联立 (15)~(18) 式可得

minλ[t(x,λ)]=1-minλminy∈Ω(x)1-E(y,R)1-B∞R,miny∈Ω(x)E(y,G)B∞G,miny∈Ω(x)E(y,B)B∞B,λ∈{R,G,B}。(19)

红光在水下衰减最快,因此红光的透射率最小,则

minλt(x,λ)=t(x,R),(20)

在不同的水质中,红蓝绿3种光的衰减系数不同,c(R)、c(G)、c(B)难以计算,采用背景光强度代替,则水下各通道的透射率为

t(x,R)=1-minminy∈Ω(x)1-E(y,R)1-B∞R,miny∈Ω(x)E(y,G)B∞G,miny∈Ω(x)E(y,B)B∞B,(21)t(x,G)=t(x,R)B∞(G)/B∞R,(22)t(x,B)=t(x,R)B∞(B)/B∞R。(23)

利用区域为单位估计出的透射率,会产生块效应,采用文献[ 11]的导向滤波对各通道透射率进行细化,结果如图3所示。

图 3. 透射率细化。 (a) R通道的透射率; (b)导向滤波后的透射率

Fig. 3. Refined transmission. (a) Transmission of R channel; (b) transmission after guided filtering

下载图片 查看所有图片

求取出透射率和背景光即可恢复出清晰的图像,其光强可表示为

E(x,λ)=ET(x,λ)-B∞λmint(x,λ),t0+B∞(λ),λ∈{R,G,B},(24)

式中t₀是为了防止求取出的透射率过低,导致恢复图像颜色过度失真。由 (21)~ (24) 式可知,若求取出的水下图像暗原色通道偏暗,则水下透射率将偏大,从而导致恢复出的清晰图像整体偏暗。文献[ 12]中虽然也考虑了红色通道的逆通道,但在求取透射率时并没有考虑分通道,也没有从定义的暗原色模型出发对透射率的表达式进行推导。

4 颜色校正

由于在水下拍摄的图像呈蓝绿色,很多颜色产生了偏离和失真,因此对经过水下暗原色处理后的水下图像采用白平衡进行增强,采用灰度世界算法对图像进行校正。该算法不仅效果较佳,而且运算复杂度低。先计算各通道的平均值R_av、G_av、B_av,后计算每个通道的增益:

RgainGgainBgain=Gav/Rav=1=Gav/Bav,(25)

利用增益系数对水下暗原色增强后的图像各通道进行加权后,得到颜色校正后的图像。

5 算法流程

先利用适合于水下的暗原色先验算法去除图像中的后向散射光,后采用白平衡算法对图像颜色进行校正,得到增强后的图像,该算法流程如图4所示。

图 4. 算法流程

Fig. 4. Algorithm flow

下载图片 查看所有图片

6 实验结果与分析

为了验证本文算法的有效性,分别与文献[ 9]和文献[ 4]中的算法进行对比分析,选取4组后向散射程度不同的水下图像进行处理,这些图像的拍摄状态和距离都未知,且按照后向散射程度逐渐加剧的顺序进行排列,相应的处理结果如图5~图8所示。由处理结果可知,采用文献[ 9]中的方法处理第1组水下图像后,图像对比度有所提高,但随着后向散射的加剧,该算法逐渐失效,说明空气中的暗原色去雾算法并不适用于水下图像;采用文献[ 4]中的方法处理第1组图像后,色彩得到一定还原,而第2~4组图像处理后物体轮廓更为明显,但由于没有考虑红色通道的衰减信息,导致去除后向散射的图像颜色过度失真,整体上偏暗红色;第4组图像后向散射最为严重,采用本文算法处理后,潜水员后方的圆柱轮廓清晰可见,较好地去除了蓝绿色的遮挡。

利用图像清晰度和对比度^[13]对处理结果进行客观评价,如表1和表2所示。

图 5. 第1组图像处理结果。 (a) 原图像; (b) 文献[ 9]算法; (c) 文献[ 4]算法; (d)本文算法

Fig. 5. First set of image processing results. (a) Original image; (b) result using the method of Ref. [9]; (c) result using the method of Ref. [4]; (d) result using our method

下载图片 查看所有图片

图 6. 第2组图像处理结果。 (a) 原图像; (b) 文献[ 9]算法; (c) 文献[ 4]算法; (d)本文算法

Fig. 6. Second set of image processing results. (a) Original image; (b) result using the method of Ref. [9]; (c) result using the method of Ref. [4]; (d) result using our method

下载图片 查看所有图片

图 7. 第3组图像处理结果。 (a) 原图像; (b) 文献[ 9]算法; (c) 文献[ 4]算法; (d)本文算法

Fig. 7. Third set of image processing results. (a) Original image; (b) result using the method of Ref. [9]; (c) result using the method of Ref. [4]; (d) result using our method

下载图片 查看所有图片

图 8. 第4组图像处理结果。 (a) 原图像; (b) 文献[ 9]算法; (c) 文献[ 4]算法; (d)本文算法

Fig. 8. Fourth set of image processing results. (a) Original image; (b) result using the method of Ref. [9]; (c) result using the method of Ref. [4]; (d) result using our method

下载图片 查看所有图片

采用文献[ 9]的算法处理后的水下图像清晰度和对比度提高较少,第4组水下图像几乎被绿色所覆盖,处理后的清晰度几乎与原图像相等,说明该算法已失效;采用文献[ 4]的算法处理轻度后向散射的第1组水下图像后改善效果比较明显,清晰度和对比度大幅度提高,但处理第4组图像后的清晰度和对比度下降;采用本文算法处理后的水下图像清晰度和对比度皆有所提高,采用本文算法和文献[ 4]的算法处理第3组图像后的清晰度虽然相差甚微,但经过本文算法对去除后向散射的图像颜色进行校正后,与实际拍摄场景更为相符。

为了进一步观察处理结果,采用canny算子对处理前后的水下图像进行边缘检测,结果如图9~图12所示。采用文献[ 9]的算法处理后的水下图像边缘检测结果与原图像边缘检测结果几乎相同;采用文献[ 4]的算法处理后的水下图像由于呈暗红色,致使处理后图像中被红色所覆盖的部分区域中的物体边缘无法被检测出;采用本文算法处理后的水下图像能检测到较为完整的物体边缘,更适合后期的图像分析。

图 9. 第1组图像边缘检测结果。 (a) 原图像; (b) 文献[ 9]算法; (c) 文献[ 4]算法; (d)本文算法

Fig. 9. First set of edge detection results. (a) Original image; (b) result using the method of Ref. [9]; (c) result using the method of Ref. [4]; (d) result using our method

下载图片 查看所有图片

图 10. 第2组图像边缘检测结果。 (a) 原图像; (b) 文献[ 9]算法; (c) 文献[ 4]算法; (d)本文算法

Fig. 10. Second set of edge detection results. (a) Original image; (b) result using the method of Ref. [9]; (c) result using the method of Ref. [4]; (d) result using our method

下载图片 查看所有图片

图 11. 第3组图像边缘检测结果。 (a) 原图像; (b) 文献[ 9]算法; (c) 文献[ 4]算法; (d)本文算法

Fig. 11. Third set of edge detection results. (a) Original image; (b) result using the method of Ref. [9]; (c) result using the method of Ref. [4]; (d) result using our method

下载图片 查看所有图片

图 12. 第4组图像边缘检测结果。 (a) 原图像; (b) 文献[ 9]算法; (c) 文献[ 4]算法; (d)本文算法

Fig. 12. Fourth set of edge detection results. (a) Original image; (b) result using the method of Ref. [9]; (c) result using the method of Ref. [4]; (d) result using our method

下载图片 查看所有图片

7 结论

与空气成像环境相比,水下环境更为复杂,采集的水下图像主要存在对比度低、模糊和颜色失真等问题。由于水对光的选择性吸收,各颜色通道的透射率不同,传统的暗原色先验去雾不能直接用于水下图像处理,故提出了一种基于改进的暗原色先验和颜色校正的新算法。该算法不依赖于水体环境参数,通过分析雾天成像模型和水下成像模型的区别和联系后,对空气中的暗原色先验去雾算法进行改进,在求取水下暗原色通道和图像背景光时考虑红色通道的逆通道,改进的暗通道求取方法可以有效去除后向散射;改进的背景光估计方法可以有效避免水体中白色物体的干扰,稳健性较高;利用白平衡算法对增强后的水下图像进行颜色校正,可以补偿颜色失真。实验结果表明本文算法可以有效地提高图像对比度和改善颜色失真。

由实验结果可知,本文所采用的改进暗原色先验和颜色校正的算法更适用于处理后向散射严重的水下图像,针对后向散射轻微的水下图像处理效果一般,因此在后期研究中有待优化。