光子学报, 2020, 49 (3): 0310001, 网络出版: 2020-04-24   

基于主动光照的深海图像增强算法 下载: 608次

Deep Sea Image Enhancement Method Based on the Active Illumination
作者单位
西北工业大学 航海学院, 西安 710072
摘要
为了改善主动光在水下传播过程中由散射与吸收效应导致的深海图像对比度低下以及颜色失真问题,提出一种水下图像增强算法.不同于传统方法利用最亮点的强度值作为背景光,提出基于物体与背景光非相关性的背景光估计方法,有效避免了前景处的亮像素或白色物体像素对背景光的误判,同时确保了去散射的精确性,提高水下图像的对比度;针对人造光源的颜色增益和光路衰减导致的图像色偏等问题,在去散射图像上选取离光源最近的灰色像素,利用其对光源的敏感性,将光照强度分离出来.最终,通过估计并去除光源本身的颜色增益,同时补偿光在传播过程中的损失,实现图像的颜色校正.实验结果表明,所提算法可以有效去除水下图像的散射效应,较好地恢复图像色彩,进而获得较优的增强图像.相比于其他算法,增强后的图像信息熵和水下图像质量评价指标值较高,说明该算法能显著提升水下图像的质量,同时保留图像有用信息.
Abstract
To solve the low contrast and color distortion problem of deep sea image caused by active light scattering and absorption effects in the underwater environment, an underwater image enhancement method is proposed. Different from the previous methods, which estimate the background light with the brightest pixels, background light is estimated based on the non-correlation of the object and the background light, to alleviate the disturbance of the pixels in the white objects or the illuminated foreground region, while keeping its accuracy in removing scattering, and improve the underwater image contrast. Aiming at the color distortion caused by the color gain of artificial light source color and the optical attenuation, the grey pixels, which are close to the light source, are picked in the dehazed image. Then the light intensity can be derived with the detected pixels according to the sensitivity to the source. With the estimated light intensity, the light source color is achievable. At last, color distortion can be corrected by removing the source color while compensating for the optical attenuation. Experimental results demonstrate the proposed method can effectively remove haze, recover the relatively genuine color, and further obtain the enhanced image. The information entropy and the underwater image quality evaluation values of the proposed method are higher than that of the existing methods, which indicates that the proposed method can improve the underwater image quality significantly while preserving the efficient information.

0 引言

在深海环境中,自然光几乎衰减殆尽,水下照明主要来源于主动光源,主动光照下的深海图像受环境影响[1]:一方面由于散射作用,图像对比度低;另一方面,水体对光的衰减以及光源本身存在的颜色增益,造成颜色失真,使物体本来面貌被掩盖[2-4].因此,增强深海图像具有重大意义[5-8].

近年来,如何提高深海图像的清晰度成为水下光学成像中一项富有挑战性的工作.暗原色复原法(Dark Channel Prior, DCP)[9-10]以其在大气去雾方面的独特优势被广泛应用于水下图像去散射.然而由于暗原色复原模型中未单独考虑人造光对水下成像带来的影响,效果欠佳,于是研究者们提出了更多改进的水下增强算法.王华[11]等提出深海环境图像自适应增强技术,通过计算图像过度曝光和曝光不足的区域,对“闲置动态范围”进行动态范围扩展,改善图像过度曝光的现象,但直接对图像过曝区域拉伸均衡可能会导致去散射效果不理想的问题;黄松[12]等提出基于自适应透射率比的水下图像复原算法,采用修正的公式进行处理,解决了深海图像光照不均的问题;CHIANG J[13]等分别对人工照明与非人工照明区域进行补偿,从而增强深海图像,但由于分割是基于DCP的,因此算法精度受到影响.ZHAO Xin-wei[14]等选取暗通道内前0.1%最亮的像素点作为背景光估计,从而对图像去散射,但没有考虑人造光导致的前景区域亮像素对背景光估计的干扰.HAN Ping-li[15]等通过点扩散函数估计并去除主动光照下的散射效应,但计算较复杂.这些方法在一定程度上改善了水下图像的质量,但主要集中于去散射,忽略了颜色失真.于是曹美[16]等提出基于通道直方图量化的颜色校正和暗原色先验模型去散射,增强了水下图像的质量;李黎[17]提出基于改进暗原色先验和白平衡的颜色校正算法增强水下图像.但此类颜色校正法没有考虑到光源颜色增益[18-20]也会引起颜色失真,认为物体的颜色几乎不随背景光源的变化而变化.事实上,不同的光源对于水下成像的颜色增益是不同的;另外,对于深海图像,光从光源入射到场景表面过程中的衰减也是不可忽略的.传统颜色校正算法没有考虑这些因素,使得应用范围受到了限制.

针对传统方法处理效果的不尽如人意,本文提出一种新的主动光照下的水下图像增强算法.算法利用背景光与物体的非相关性,将图像划分为水体与非水体部分,选取水体无穷远处最亮点强度值作为背景光的估计,有效避免白色物体与光源照射过曝区域的亮像素对背景光估计的干扰,保持图像原有特征的同时最大限度地去除散射效应;接着利用灰色像素的性质估计出人造光源的颜色增益及其在传播过程中的衰减,以解决主动光照环境下水下图像存在的严重色偏问题.

1 水下主动成像退化模型

深海环境中,光在水中传播的过程和空气中的相似,根据Jaff-McGlamery模型[21],如图 1所示,相机接收的光通常由直接衰减分量、前向散射分量和后向散射分量组成.

图 1. Underwater image formation model

Fig. 1. Underwater image formation model

下载图片 查看所有图片

直接衰减分量是指场景反射光在传播过程中经衰减后到达相机的剩余部分,即

$ {D^c}\left( x \right) = {J^c}\left( x \right) \cdot {t^c}\left( x \right) $

式中,c是指彩色图像中的某一个通道,Jc(x)为场景反射光(也可表示去散射图像);tc(x)是透射率(描述了光在传播过程中的衰减),通常与景深(相机与场景中的点之间的距离)和衰减系数有关,即

$ {t^c}\left( x \right) = \exp \left[ { - {\beta ^c}d\left( x \right)} \right] $

式中,βc是光在不同通道里总的衰减系数,d(x)是景深.在均匀介质中,衰减系数βc可由经验求得[13].

前向散射分量Fc(x)是指光经场景表面反射后在传播过程中发生小角度散射的部分,可以表示为直接分量与点扩散函数gc(x)之间的卷积,即

$ {F^c}\left( x \right) = {D^c}\left( x \right) * {g^c}\left( x \right) = \left[ {{J^c}\left( x \right) \cdot {t^c}\left( x \right)} \right] * {g^c}\left( x \right) $

通常,当场景与相机距离较小时,前向散射分量可以忽略.

不同于直接分量与前向散射分量,后向散射分量并不来源于场景的反射光,而是背景光经悬浮粒子散射后到达相机的部分,即

$ {B^c}\left( x \right) = {B^{\infty c}}\left[ {1 - {t^c}\left( x \right)} \right] $

式中,${B^{\infty c}} $表示背景光.

结合式(1)、(3)和(4),水下图像退化模型可以表示为

$ {I^c}\left( x \right) = {J^c}\left( x \right) \cdot {t^c}\left( x \right) + {B^{\infty c}}\left[ {1 - {t^c}\left( x \right)} \right] $

由式(5)可知,若已知Ic${B^{\infty c}} $tc,即可求得去除后向散射的图像Jc.

事实上,Jc也可以表示入射光照射到场景表面后未经散射的反射光[22-24].在深海中,由于自然光几乎衰减为零,海底的光照主要来源于人造光源,通常假设人造光源与相机在同一水平距离上,照射分量Lc从光源发出,经过d(x)的传输,到达物体表面,此时的入射光Hc(x)可由文献[25]求得,于是有${H^c}(x) = {L^c} \cdot {t^c}(x) $,经反射率ρc(x)反射形成场景反射光,因此Jc(x)又可以表示为

$ {J^c}\left( x \right) = {H^c}\left( x \right) \cdot {\rho ^c}\left( x \right) = {L^c} \cdot {t^c}\left( x \right) \cdot {\rho ^c}\left( x \right) $

将式(6)代入式(5)可得深海下主动光照的水下成像模型为

$ {I^c}\left( x \right) = {J^c}\left( x \right) \cdot {t^c}\left( x \right) + {B^{\infty c}}\left[ {1 - {t^c}\left( x \right)} \right] = {L^c} \cdot {t^c}\left( x \right) \cdot {\rho ^c}\left( x \right) \cdot {t^c}\left( x \right) + {B^{\infty c}}\left[ {1 - {t^c}\left( x \right)} \right] $

结合式(5)~(7)可以看出,去除后向散射干扰后的图像Jc仍然存在人造光影响和光在传播途径中的波长衰减问题.由光在水下环境中的衰减情况(如图 2所示)可知,波长的差异导致水对红光衰减最大.传统水下增强算法通常把Jc作为最终复原的结果,因此恢复的结果依然存在较大色偏,呈蓝(绿)色调[26].为了获得水下清晰图像,提出主动光照射条件下水下成像模型,对原始图像先进行去散射,再从去散射的图像Jc中恢复出无颜色色差的图像,得到最终增强后的结果.

图 2. Schematic of underwater light attenuation

Fig. 2. Schematic of underwater light attenuation

下载图片 查看所有图片

2 本文算法

2.1 算法流程

后向散射是造成水下图像对比度下降的重要原因之一,背景光估计的好坏直接影响去散射的精确性[27].为避免白色像素或亮像素对背景光估计的干扰,把物体与水体分开,利用物体与背景光的非相关性来估计背景光,并估计出三个通道的透射率,求得去散射后的图像.对于深海图像,去除后向散射后的图像中依然存在人造光干扰导致的色偏,这是因为不同波长的光在传播的过程中随着距离的增加,衰减差异较大,尤其在深海成像过程中还存在人造光源自身颜色增益的影响.因此对去散射后的图像去除光源颜色增益并补偿光从光源发出传播到物体的过程中的衰减,从而实现颜色校正,得到最终增强后的图像.算法流程如图 3所示,步骤为:

图 3. The flowchart of the proposed method

Fig. 3. The flowchart of the proposed method

下载图片 查看所有图片

1) 利用景深将图像分为前景与背景区域;

2) 在景深的基础上,根据物体与水体的梯度信息把物体与水体分割开;

3) 选择水体无穷远处与物体非相关性较低的像素点作为背景光估计;

4) 利用文献[28]的方法求出三个通道的透射率;

5) 得到背景光与透射率之后,根据式(5)可以得到去散射后的图像;

6) 利用探测出灰色像素的特性估计出人造光源的颜色增益并去除;

7) 补偿光从光源发出到物体表面的传播过程中的衰减,校正色差.

2.2 基于物-光非相关性的水下图像去散射

水下成像过程中,背景光经悬浮粒子多次散射会产生严重的后向散射效应,使得到的图像呈现一种雾感,造成图像对比度降低.针对这一现象,采用去雾算法来去除后向散射效应.在去雾算法中,能否精确地估计出背景光直接影响图像的亮度色调以及后向散射分量的去除[27].如图 4所示,较大的背景光值使恢复图像越暗,反之则越亮.另外,仅改变其中一个通道的背景光值,图像的色调也会发生改变.暗原色复原法通常选取暗通道中亮度最大的前0.1%的像素值来估计背景光.由于光在水下成像的过程中,红光衰减最快,导致红色通道的暗通道中大部分像素的值接近于零,此时只能通过蓝绿通道来筛选背景光值,这样估计出来的背景光没有考虑红色通道,其估计值是不准确的;另一方面,当前景中的目标物体如果存在亮像素,很容易被误判成为背景光.综上所述,水下图像的背景光,一般具有两个特点:1)在无穷远处的最亮点;2)由于背景光并不来源于物体反射光,因此与物体的相关性极低.为了精确估计水下图像背景光,提出基于物-光非相关性的背景光估计法:先根据景深把水下图像分割为前景部分与背景部分,从位置上将无穷远处背景光与前景可能存在的亮区域进行粗略区分.景深可以较好地反映出水下图像的位置分布,水下的景深可以定义为[29]

$ d(x) = {\theta _{\rm{a}}}{d_{\rm{R}}}(x) + \left( {1 - {\theta _{\rm{a}}}} \right){d_{\rm{B}}}(x) $

图 4. Visual examples of recovered images with different background light estimations

Fig. 4. Visual examples of recovered images with different background light estimations

下载图片 查看所有图片

式中,θa是由图像平均值决定的Sigmoid型函数[29]dR(x)和dB(x)分别表示基于红色通道与基于图像模糊度的景深的初始估计,通过融合得到最终的景深估计.在估计出的景深中,越近的点,景深值越小,因此利用景深可以把前景与背景分割为

$ {\rm{foreground - background}} = \left\{ {\begin{array}{*{20}{l}} {{A_1}(x){\rm{ if }}d(x) \le 0.4}\\ {{A_2}(x){\rm{ if }}d(x) > 0.4} \end{array}} \right. $

式中,A1表示前景区域,A2表示背景区域.分割后的前景区域中可能存在水体部分也可能存在物体部分.考虑到水体部分比较平坦, 很少有突兀的变化, 即梯度很小,利用水体的特性,提取前景区域中图像的梯度信息,记为Iforegrad(x),并通过梯度值大小进一步把前景区域中的水体部分与物体部分分离开,即

$ {A_1}\left( x \right) = \left\{ {\begin{array}{*{20}{l}} {{A_{1{\rm{object}}}}(x){\rm{ if }}{I^{{\rm{grad}}}}(x) \ge \delta }\\ {{A_{1{\rm{non - object}}}}(x){\rm{ if }}{I^{{\rm{grad}}}}(x) < \delta } \end{array}} \right. $

式中,δ为梯度的阈值,在本文中取值为0.06;A1object(x)表示前景中的物体区域,A1non-object(x)表示前景中的水体区域.因此通过式(8)~(10)可以将水下图像中的物体与水体区域区分开.

为说明本文算法能够有效分离水体与物体,以图 5为例,分别使用所提方法与文献[30]的方法区分开物体与水体.为了便于观察,把物体区域值设为1,把水体区域值设为0.由图可见,当存在主动光源,照明不均匀,背景散射严重时,相比于传统图像分割法,本文算法能够有效避免前景白色沙地与人造光强区域对估计结果的影响,更好地将水体与物体分割开,进而更有利于背景光的估计.

图 5. Segmentation of water and the object

Fig. 5. Segmentation of water and the object

下载图片 查看所有图片

接着在背景区域A2(x)中选取前0.1%最亮的点,记为bi,以bi为中心的局部块记为Ωbi;在物体区域A1object(x)中选取最亮的像素记为a,以a为中心的局部块记为Ωa.基于背景光与目标物体是非相关的的假设,两区域像素的关系可以表示为

$ {\mathop{\rm cov}} \left( {{\mathit{\Omega }_a},{\mathit{\Omega }_{{b_i}}}} \right) = 0 $

由于目标物体上可能也会叠加一些背景光的像素,完全不相关是一种理想情况,本文选取与a相关性最弱的bi的取值作为背景光的估计

$ C\left( x \right) = \left| {{\mathop{\rm cov}} \left( {{\mathit{\Omega }_a},{\mathit{\Omega }_{{b_i}}}} \right)} \right| $

选出使C(x)值前5%最小的bi,记作$ {{\mathop b\limits^ \wedge } _i}$,其在原始图像上对应点的强度值记作背景光的值

$ {B^{\infty c}} = {I^c}\left( {{{\hat b}_i}} \right) $

所提算法估计出的背景光如图 6所示.

图 6. The proposed background light estimation

Fig. 6. The proposed background light estimation

下载图片 查看所有图片

最后,除了背景光外,还需要求透射率.由于水下图像散射对R通道更敏感,因此直接用暗原色复原法估计透射率没有考虑水下衰减的特殊情况,采用红色逆通道法[28]来估计红色通道的透射率

$ {t^{\rm{r}}}(x) = 1 - \min \left\{ {\frac{{\mathop {\min }\limits_{y \in \mathit{\Omega }(x)} \left[ {1 - {I^{\rm{r}}}(y)} \right]}}{{1 - {B^{\infty {\rm{r}}}}}},\frac{{\mathop {\min }\limits_{y \in \mathit{\Omega }(x)} {I^{\rm{g}}}(y)}}{{{B^{\infty {\rm{g}}}}}},\frac{{\mathop {\min }\limits_{y \in \mathit{\Omega }(x)} {I^{\rm{b}}}(y)}}{{{B^{\infty {\rm{b}}}}}}} \right\} $

求得了红色通道的透射率后,再根据三个通道的透射率之间的关系可以估计出另外两个通道的透射率,即

$ {t^{\rm{g}}}(x) = {\left[ {{t^{\rm{r}}}(x)} \right]^{\beta {\rm{g}}/\beta {\rm{r}}}} $

$ {t^{\rm{b}}}(x) = {\left[ {{t^{\rm{r}}}(x)} \right]^{\beta {\rm{b}}/\beta {\rm{r}}}} $

式中,βrβgβb分别是r、g、b通道的衰减系数.将估计到的背景光与透射率代入式(5)即可得到去散射后的图像为

$ {J^c}(x) = \frac{{{I^c}(x) - {B^{\infty c}}}}{{\max \left[ {{t^c}(x),{t_0}} \right]}} + {B^{\infty c}} $

为了防止结果溢出,设置一个最低门限值t0,根据经验,t0的取值为0.1.

2.3 基于去除光源颜色增益与补偿光路衰减的颜色校正

去散射后的图像中依然存在颜色失真问题,这是因为光在水中的衰减与传输距离以及衰减系数有关,水对红光衰减最大,其次是绿光,最后是蓝光.因此,在深海环境中,随着传播距离的增加,颜色失真的问题更加显著,使后续的信息提取受到了限制.在水下图像增强算法中,通常使用透射率来描述光在传播过程中的衰减,根据式(5)~(7)可以看出,去散射的图像在一定程度上考虑了场景反射光从物体表面反射回相机的过程中的衰减(回路衰减),但却忽视了光从光源发出传播到物体表面的过程中的衰减(去向衰减),并且没有考虑光源颜色增益带来的影响.因此通过去除光源的颜色增益,同时补偿光照强度在去向传播过程中的衰减,达到最终颜色校正的目的.

根据理想的朗伯特反射模型可知,场景中某一点颜色可由整个可见光范围内光源的分布、反射面的反射率以及相机的感光系数的乘积得到[23]

$ {J^c}(x) = {l^c} \cdot {s^c} \cdot J_1^c(x) = {g^c} \cdot J_1^c(x) $

式中,lc表示光源的分布,sc表示相机感光函数,假设光源颜色增益$ g^{c}=l^{c} \cdot s^{c}$.因此Jc1(x)可以看作是无光源颜色增益的图像.深海环境中,光照分量主要来源于人造光源,可以看作是由光源颜色增益与光照强度的乘积组成[23],即$L^{c}=g^{c} \cdot h $,其中Lc表示从光源发出的光照分量,h表示光照强度,gc表示光源颜色增益.结合式(6)与(18),Jc(x)还可以表示为

$ {J^c}(x) = {L^c} \cdot {t^c}(x) \cdot {\rho ^c}(x) = {g^c} \cdot h \cdot {t^c}(x) \cdot {\rho ^c}(x) = {g^c} \cdot J_1^c(x) $

由式(19)可知,传统图像增强算法得到的去散射图像Jc(x)中除了光源颜色增益gc,还受到去向传播过程中的衰减tc(x)的影响.光照分量中,光源的颜色增益是导致图像偏色的原因之一,光照强度才是成像过程中到达物体表面的有效成分.传统的颜色校正法没有从根本上解决图像色彩失真的问题,无法有效地进行色彩校正.实际上,无颜色失真无衰减的理想图像应为无衰减的入射光强经反射后得到的图像,即

$ J_2^c(x) = h \cdot {\rho ^c}(x) = {J^c}(x)/\left[ {{g^c} \cdot {t^c}(x)} \right] $

因此为了校正色偏,得到最终增强的图像J2c(x),需要对去散射图像Jc(x)去除光源颜色增益同时补偿衰减的光照强度.根据海底光照分量的组成可知,已知场景表面入射光Hc(x)(也是背景光)与透射率tc(x),由背景光与人造光的关系$ \left(H^{c}(x)=L^{c} \cdot t^{c}(x)=g^{c} \cdot h \cdot t^{c}(x)\right)$可知,只要探测到光照强度h,即可求得光源颜色增益gc.

研究表明[31],图像在光源照射下会含有一些灰色像素(或接近于灰色的像素),在本文中,这种像素被称为潜藏灰色像素.这些像素越接近灰色,说明离光源越近,对光源的影响也就越敏感,因此可以被用来估计光照分量.通常,在光源照射下的灰色像素所在区域的局部对比度在三个通道内几乎相等.因此为了测量一个像素接近于灰色的程度,利用局部对比度定义灰色度量系数(GI):首先对图像三个通道进行对数变换.然后计算每一个通道图像的局部对比度,再计算每个像素点在三个通道中对比度值的相对标准差除以该位置像素点在原始r、g、b通道下的平均灰度值,即可得到灰色度量系数

$ {\rm{GI}}\left( x \right) = \sqrt {\frac{1}{3}\sum\limits_{c \in \left\{ {r,g,b} \right\}} {\frac{{{{\left\{ {{\rm{GT}}_\eta ^c\left( x \right) - \left[ {{\rm{G}}{{\rm{T}}_\eta }{{\left( x \right)}_{\rm{m}}}} \right]} \right\}}^2}}}{{{\rm{G}}{{\rm{T}}_\eta }{{\left( x \right)}_{\rm{m}}}}}} } /I_{\rm{m}}^c $

式中,$ {\rm{GT}}_\eta ^c(x)$表示以像素x为中心的,尺寸为η×η(设η=3)的对数图像块上的局部对比度(用局部标准差表示局部对比度),$ \mathrm{GT}_{\eta}(x)_{\mathrm{m}}=\frac{1}{3}\left[\sum\limits_{c \in\{r, g, b\}} \mathrm{GT}^{c}(x)\right], I_{\mathrm{m}}^{c}$表示图像的平均值.灰色度量系数GI反映了像素受光源影响的大小,其值越低说明该像素变为灰色像素的可能性越大,即受到人造光源的影响也越大.为了探测离光源较近且对光源最敏感的潜藏灰色像素,选取去散射图像中景深0.1%小的像素点,认为这些像素离相机很近,忽略光在传播过程中的衰减,此时这些像素点的透射率tc(x)假设均为1,接着在这些像素点的集合中选择GI值小于0.1的像素点,这些像素点的集合记作Mn.由式(19)可以看出,此时几乎所有的影响仅来源于光源本身.考虑到YCbCr可以把图像的光照强度与颜色分量分离开,将探测到的像素点转换到YCbCr的空间上,利用潜藏灰色像素在Y空间上的平均值作为光照强度的估计,即

$ h = \frac{1}{n}\sum\limits_{x \in {M_n}} Y (x) $

式中,n是潜藏灰色像素的个数,Y(x)代表该像素在YCbCr空间的Y分量.由水下场景表面入射光组成$H^{c}(x)=L^{c} \cdot t^{c}(x) $与人造光组成$ L^{c}=g^{c} \cdot h$的关系可以求得光源的颜色增益

$ {g^c} = \frac{{{H^c}(x)}}{{h \cdot {t^c}(x)}} $

得到了颜色增益之后,利用式(20)可得去除光源颜色增益,并补偿光路衰减的最终增强图像.图 7为颜色校正的结构示意图.主要分为三个步骤:1)根据景深与灰色度量系数获得潜藏灰色像素;2)利用潜藏灰色像素的性质估计出光源本身的颜色增益并去除;3)补偿光照强度在传播过程中的衰减.

图 7. The flowchart of the color correction

Fig. 7. The flowchart of the color correction

下载图片 查看所有图片

3 实验对比与分析

为了证明本文算法的有效性,利用MatlabR2016a作为软件仿真平台,对6组图像进行仿真实验,将本文算法与现有的水下图像增强算法进行比较.用于对比的算法有:暗原色复原法DCP[9],端对端的图像去雾算法(DehazeNet: An End-to-End System for Single Image Haze Removal, DehazeNet) [32],基于模糊度图像复原方法(Image Blurriness and Light Absorption, IBLA)[29],多层感知的图像去散射方法(Single Image Dehazing using a Multilayer Perceptron, SIDMP)[33],凸优化快速图像去雾法(Convex Optimization For Fast Image Dehazing, COFFID) [34].主观上,将所提方法与对比方法在视觉上进行比较;客观上,利用熵(Information Entropy, IE)和水下彩色图像评价指标(Underwater Color Image Quality Evaluation,UCIQE)[35]定量地对水下图像进行评价.熵为增强后图像保留的有用信息量,较高的熵值表示图像中保留的有用

3.1 主观评价

为了显示本文算法在去散射与颜色校正上的效果,将原始图像、采用所提算法去散射后的图像以及最终结果进行对比,结果如图 8所示.从图中可以看出,本文算法不仅可以有效去除散射效应,同时经颜色校正后的图像更加还原物体原本的色彩,图像中的细节也得到了保持.为了更好地说明本文算法的优点,图 9显示了图 8中鱼与水草的图像的颜色分布比较.从图中也可以看出,原始图像中颜色分布比较集中,大多偏向蓝绿信道,这与常规水下图像性质相符;去散射后,颜色分布有了好转,但整体依然偏向蓝绿信道;相较于原始图像和仅去散射后的图像,最终经过颜色校正后的图像色彩分布更加均衡,说明所提算法能有效地恢复色彩.为了验证本文算法在提升对比度并且保留暗部信息方面的能力,选取文献[29]中低光照下鱼的图片的直方图进行比较,结果如图 10所示,所提算法处理后的图像的直方图分布更加均匀,0与255附近的像素数量较少,有效说明所提算法提升了对比度,避免了过饱和现象,同时保留了暗部信息.

图 8. Comparison of dehazed image and the final enhancement(dehazing and color correction)result

Fig. 8. Comparison of dehazed image and the final enhancement(dehazing and color correction)result

下载图片 查看所有图片

图 9. Comparison of color space

Fig. 9. Comparison of color space

下载图片 查看所有图片

图 10. Comparison of histogram

Fig. 10. Comparison of histogram

下载图片 查看所有图片

后向散射效应与色偏是水下图像降质的两大重要原因,为了证明本文算法相比于传统算法在水下增强方面的优势,图 11给出了4组图像经过不同算法处理后的结果.从图中可以看出,因DCP先验条件未考虑水下特性,处理后的结果依然存在散射效应与色差;DehazeNet虽然在去散射上有一定程度的改善,但对于颜色失真几乎不起作用;IBLA对于有轻微的颜色失真和散射效应的图像处理结果较好,当散射加重,且主动光照较强时,会引入一定程度的色偏. SIDMP使图像暗区域阴影加重,丢失许多暗部细节;COFFID在处理结果上改善不明显;本文算法处理后的图像对比度较高,色彩更加自然,光照强度大的近景处不会产生过曝,光照弱的远景处理效果较好,图像的总体质量优于其他几种方法.

图 11. Subjective comparison of different enhancement methods on deep underwater scene images

Fig. 11. Subjective comparison of different enhancement methods on deep underwater scene images

下载图片 查看所有图片

3.2 客观评价

为了定量分析本文算法与传统方法的性能,采用熵和UCIQE作为衡量算法性能的指标,对比结果见表 1.从表中可以明显的看出,本文算法的熵值与UCIQE值高于其他算法,表明经本文算法处理后的图像,信息量丰富,在增强的过程中,没有丢失图像原有的信息,有较高的对比度,颜色失真得到有效改善,具有较好的增强效果.

表 1. 水下图像UCIQE和熵的客观比较

Table 1. Objective comparison results of UCIQE and entropy

UCIQEOriginal imageDCPDehazeNetIBLASIDMPCOFFIDProposed method
Image10.326 10.339 20.403 50.418 10.419 20.402 30.460 2
Image20.275 40.378 60.311 20.357 00.344 80.367 30.539 1
Image30.306 50.352 60.309 60.333 30.353 70.403 60.503 5
Image40.196 70.187 30.224 30.274 00.224 70.253 30.431 0
EntropyOriginal imageDCPDehazeNetIBLASIDMPCOFFIDProposed method
Image17.032 57.047 67.113 27.526 67.028 47.102 67.701 2
Image26.985 37.101 66.998 37.362 17.393 67.035 17.795 2
Image37.179 57.283 07.256 57.228 57.229 87.367 97.897 8
Image46.190 46.111 16.443 06.767 26.432 76.273 57.994 4

查看所有表

结合主观与客观评价可知,本文算法在提高深海环境中的图像对比度、校正色彩失真、保持图像细节方面性能较优,处理后的图像质量更高.

4 结论

针对深海图像对比度低、颜色失真和过度曝光的问题,本文基于主动光照的水下模型,提出一种新的水下图像增强算法.该算法无需过多先验信息,直接从原始图像入手,通过景深与梯度信息将图像中物体与水体区分开,利用背景光与物体的非相关性有效计算背景光,避免了人造光照射的前景区域或白色物体上亮像素对背景光估计的影响,最大限度去除散射效应,提高对比度.同时,考虑到去散射图像中仍然存在人造光源的颜色增益以及光在传播过程中的衰减带来的颜色失真问题,去除光源的颜色增益并补偿光在传播过程中的损失,从根本上解决了引起水下图像失真的原因,无需额外的拉伸均衡,避免颜色调整过程中,因过度拉伸导致的图像过曝现象.实验结果表明,本文算法在提高深海图像对比度,保留图像暗部细节和恢复水下图像色彩方面具有良好的效果.

参考文献

[1] ANCUTI C, DE V, BEKAERT P. Color balance and fusion for underwater image enhancement[J]. IEEE Transactions on Image Processing, 2018, 27(1): 379-393.

[2] JAFFE J. Computer modeling and the design of optimal underwater imaging systems[J]. IEEE Journal of Oceanic Engineering, 1990, 15(2): 101-111.

[3] YANG Li-ming, 杨 力铭, LIANG Jian, 梁 健, ZHANG Wen-fei, 张 文飞. 基于非偏振光照明的水下偏振成像目标增强技术[J]. 光学学报, 2018, 38(6): 0611003.

[4] WANG Yong-xin, 王 永鑫, 刁 鸣, DIAO Ming, HAN Chuang, 韩 闯. 基于迭代直方图均衡化的常规光源下水下成像增强算法[J]. 光子学报, 2018, 47(11): 1101002.

[5] COLEMAN D, NEWMAN J, BALLARD R. Design implementation of advanced underwater imaging systems f deep sea marine archaeological surveys[C]. IEEE Oceans, 2000, 1: 661665.

[6] ORTIZ A, SIMO M, OLIVER G. A vision system for an underwater cable tracker[J]. Machine Vision and Applications, 2002, 13(3): 129-140.

[7] BAILEY G, FLEMMING N. Archaeology of the continental shelf:Marine resources, submerged landscapes and underwater archaeology[J]. Quaternary Science Reviews, 2008, 27(23): 2153-2165.

[8] CAO Wen-zhong, 曹 文忠. 工信部:未来十年海洋工程装备发展方向敲定[J]. 港口经济, 2015(12): 15.

[9] HE Kaiming, SUN Jian, TANG Xiaoou. Single image haze removal using dark channel pri[C]. IEEE Conference on Computer Vision & Pattern Recognition, 2009, 33: 23412353.

[10] GAN Yu-quan, 甘 玉泉, WEN De-sheng, 汶 德胜, 王 乐, WANG Le. 暗通道自然灾害遥感图像去雾[J]. 光子学报, 2015, 44(6): 0610003.

[11] WANG Hua. Design research of automatic image enhancement of deepsea environment[D]. Hangzhou: Hangzhou Dianzi University, 2015.王华.深海环境视频图像自适应增强技术研究[D].杭州: 杭州电子科技大学, 2015.

[12] HUANG Song, 黄 松, 易 本顺, YI Ben-shun. 基于自适应透射率比的水下图像复原算法[J]. 浙江大学学报, 2018, 52(1): 166-173.

[13] CHIANG J, CHEN Ying-ching. Underwater image enhancement by wavelength compensation and dehazing[J]. IEEE Transactions on Image Processing, 2012, 21(4): 1756-1769.

[14] ZHAO Xin-wei, TAO Jin, SONG Qu. Deriving inherent optical properties from background color and underwater image enhancement[J]. Ocean Engineering, 2015, 94(15): 163-172.

[15] HAN Ping-li, LIU Fei, YANG Kui. Active underwater descattering and image recovery[J]. Applied Optics, 2017, 56(23): 6631-6638.

[16] CAO Mei, 曹 美, SHENG Hui-xing, 盛 惠兴, 李 庆武, LI Qing-wu. 基于暗原色先验模型的水下彩色图像增强算法[J]. 量子电子学报, 2016, 33(2): 140-147.

[17] LI Li, 李 黎, WANG Hui-gang, 王 惠刚, 刘 星, LIU Xing. 基于改进暗原色先验和颜色校正的水下图像增强[J]. 光学学报, 2017, 37(12): 1211003.

[18] RIZZI A, GATTA C, MARINI D. A new algorithm for unsupervised global and local color correction[J]. Pattern Recognition Letters, 2003, 24(11): 1663-1677.

[19] WEIJER J, GEVERS T, GIJSENIJ A. Edge-based color constancy[J]. IEEE Transactions on Image Processing, 2010, 16(9): 2207-2214.

[20] PAN Wang-pan, YUAN Fei, CHENG En. De-scattering and edge-enhancement algorithms for underwater image restoration[J]. Frontiers of Information Technology Electronic Engineering, 2019, 20(6): 862-871.

[21] MCGLAMERY B. A computer model for underwater camera systems[J]. Society of Photo-Optical Instrumentation Engineers, 1980, 208: 221-231.

[22] LIU Hai-bo, 刘 海波, YANG Jie, 杨 杰, 吴 正平, WU Zheng ping. 基于暗通道先验和Retinex理论的快速单幅图像去雾方法[J]. 自动化学报, 2015, 41(7): 1264-1273.

[23] ZHANG Mo-hua, PENG Jian-hua. Underwater image restoration based on a new underwater image formation model[J]. IEEE Access, 2018, 6(99): 58634-58644.

[24] DENG Xiang-yu, WANG Hui-gang, LIU Xing. Underwater image enhancement based on removing light source color and dehazing[J]. IEEE Access, 2019, 7: 114297-114309.

[25] FU Xue-yang, LIAO Ying-hao, ZENG De-lu. A probabilistic method for image enhancement with simultaneous illumination and reflectance estimation[J]. IEEE Transactions on Image Processing, 24(12): 4965-4977.

[26] LU Hui-ming, LI Yu-jie, ZHANG Li-feng. Contrast enhancement for images in turbid water[J]. Journal of the Optical Society of America A Optics Image Science Vision, 2015, 32(5): 886-893.

[27] XIE Hao-ling, 谢 昊伶, 彭 国华, PENG Guo-hua, WANG Fan, 王 凡. 基于背景光估计与暗通道先验的水下图像复原[J]. 光学学报, 2018, 38(1): 0101002.

[28] GALDRAN A, PARDO D, PICON A. Automatic red-channel underwater image restoration[J]. Journal of Visual Communication Image Representation, 2015, 26: 132-145.

[29] PENG Yan-tsung, COSMAN P. Underwater image restoration based on image blurriness and light absorption[J]. IEEE Transactions on Image Processing, 2017, 26(4): 1579-1594.

[30] WANG Qian-qian, 王 茜蒨, 彭 中, PENG Zhon, LIU Li, 刘 莉. 一种基于自适应阈值的图像分割算法[J]. 北京理工大学学报, 2003, 23(4): 521-524.

[31] YANG Kaifu, GAO Shaobing, LI Yongjie. Efficient illuminant estimation f col constancy using grey pixels[C]. IEEE Conference on Computer Vision Pattern Recognition, 2015, 22542263.

[32] CAI Bo-lun, XU Xiang-min, JIA Kui. DehazeNet:an end-to-end system for single image haze removal[J]. IEEE Transactions on Image Processing, 2016, 25(11): 5187-5198.

[33] SALAZAR S, CRUZ I. Single image dehazing using a multilayer perceptron[J]. Journal of Electronic Imaging, 2018, 27(4): 043022.

[34] HE Jiaxi, ZHANG Cishen, YANG Ran, et al. Convex optimization f fast image dehazing[C]. IEEE International Conference on Image Processing, 2016, 22462250.

[35] YANG Miao, SOWMYA A. An underwater color image quality evaluation metric[J]. IEEE Transactions on Image Processing, 2015, 24(12): 6062-6071.

邓翔宇, 王惠刚, 张永庆. 基于主动光照的深海图像增强算法[J]. 光子学报, 2020, 49(3): 0310001. Xiang-yu DENG, Hui-gang WANG, Yong-qing ZHANG. Deep Sea Image Enhancement Method Based on the Active Illumination[J]. ACTA PHOTONICA SINICA, 2020, 49(3): 0310001.

本文已被 2 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!