基于主动光照的深海图像增强算法 下载: 608次
0 引言
在深海环境中,自然光几乎衰减殆尽,水下照明主要来源于主动光源,主动光照下的深海图像受环境影响[1]:一方面由于散射作用,图像对比度低;另一方面,水体对光的衰减以及光源本身存在的颜色增益,造成颜色失真,使物体本来面貌被掩盖[2-4].因此,增强深海图像具有重大意义[5-8].
近年来,如何提高深海图像的清晰度成为水下光学成像中一项富有挑战性的工作.暗原色复原法(Dark Channel Prior, DCP)[9-10]以其在大气去雾方面的独特优势被广泛应用于水下图像去散射.然而由于暗原色复原模型中未单独考虑人造光对水下成像带来的影响,效果欠佳,于是研究者们提出了更多改进的水下增强算法.王华[11]等提出深海环境图像自适应增强技术,通过计算图像过度曝光和曝光不足的区域,对“闲置动态范围”进行动态范围扩展,改善图像过度曝光的现象,但直接对图像过曝区域拉伸均衡可能会导致去散射效果不理想的问题;黄松[12]等提出基于自适应透射率比的水下图像复原算法,采用修正的公式进行处理,解决了深海图像光照不均的问题;CHIANG J[13]等分别对人工照明与非人工照明区域进行补偿,从而增强深海图像,但由于分割是基于DCP的,因此算法精度受到影响.ZHAO Xin-wei[14]等选取暗通道内前0.1%最亮的像素点作为背景光估计,从而对图像去散射,但没有考虑人造光导致的前景区域亮像素对背景光估计的干扰.HAN Ping-li[15]等通过点扩散函数估计并去除主动光照下的散射效应,但计算较复杂.这些方法在一定程度上改善了水下图像的质量,但主要集中于去散射,忽略了颜色失真.于是曹美[16]等提出基于通道直方图量化的颜色校正和暗原色先验模型去散射,增强了水下图像的质量;李黎[17]提出基于改进暗原色先验和白平衡的颜色校正算法增强水下图像.但此类颜色校正法没有考虑到光源颜色增益[18-20]也会引起颜色失真,认为物体的颜色几乎不随背景光源的变化而变化.事实上,不同的光源对于水下成像的颜色增益是不同的;另外,对于深海图像,光从光源入射到场景表面过程中的衰减也是不可忽略的.传统颜色校正算法没有考虑这些因素,使得应用范围受到了限制.
针对传统方法处理效果的不尽如人意,本文提出一种新的主动光照下的水下图像增强算法.算法利用背景光与物体的非相关性,将图像划分为水体与非水体部分,选取水体无穷远处最亮点强度值作为背景光的估计,有效避免白色物体与光源照射过曝区域的亮像素对背景光估计的干扰,保持图像原有特征的同时最大限度地去除散射效应;接着利用灰色像素的性质估计出人造光源的颜色增益及其在传播过程中的衰减,以解决主动光照环境下水下图像存在的严重色偏问题.
1 水下主动成像退化模型
深海环境中,光在水中传播的过程和空气中的相似,根据Jaff-McGlamery模型[21],如
直接衰减分量是指场景反射光在传播过程中经衰减后到达相机的剩余部分,即
式中,c是指彩色图像中的某一个通道,Jc(x)为场景反射光(也可表示去散射图像);tc(x)是透射率(描述了光在传播过程中的衰减),通常与景深(相机与场景中的点之间的距离)和衰减系数有关,即
式中,βc是光在不同通道里总的衰减系数,d(x)是景深.在均匀介质中,衰减系数βc可由经验求得[13].
前向散射分量Fc(x)是指光经场景表面反射后在传播过程中发生小角度散射的部分,可以表示为直接分量与点扩散函数gc(x)之间的卷积,即
通常,当场景与相机距离较小时,前向散射分量可以忽略.
不同于直接分量与前向散射分量,后向散射分量并不来源于场景的反射光,而是背景光经悬浮粒子散射后到达相机的部分,即
式中,
结合式(1)、(3)和(4),水下图像退化模型可以表示为
由式(5)可知,若已知Ic、
事实上,Jc也可以表示入射光照射到场景表面后未经散射的反射光[22-24].在深海中,由于自然光几乎衰减为零,海底的光照主要来源于人造光源,通常假设人造光源与相机在同一水平距离上,照射分量Lc从光源发出,经过d(x)的传输,到达物体表面,此时的入射光Hc(x)可由文献[25]求得,于是有
将式(6)代入式(5)可得深海下主动光照的水下成像模型为
结合式(5)~(7)可以看出,去除后向散射干扰后的图像Jc仍然存在人造光影响和光在传播途径中的波长衰减问题.由光在水下环境中的衰减情况(如
图 2. Schematic of underwater light attenuation
Fig. 2. Schematic of underwater light attenuation
2 本文算法
2.1 算法流程
后向散射是造成水下图像对比度下降的重要原因之一,背景光估计的好坏直接影响去散射的精确性[27].为避免白色像素或亮像素对背景光估计的干扰,把物体与水体分开,利用物体与背景光的非相关性来估计背景光,并估计出三个通道的透射率,求得去散射后的图像.对于深海图像,去除后向散射后的图像中依然存在人造光干扰导致的色偏,这是因为不同波长的光在传播的过程中随着距离的增加,衰减差异较大,尤其在深海成像过程中还存在人造光源自身颜色增益的影响.因此对去散射后的图像去除光源颜色增益并补偿光从光源发出传播到物体的过程中的衰减,从而实现颜色校正,得到最终增强后的图像.算法流程如
1) 利用景深将图像分为前景与背景区域;
2) 在景深的基础上,根据物体与水体的梯度信息把物体与水体分割开;
3) 选择水体无穷远处与物体非相关性较低的像素点作为背景光估计;
4) 利用文献[28]的方法求出三个通道的透射率;
5) 得到背景光与透射率之后,根据式(5)可以得到去散射后的图像;
6) 利用探测出灰色像素的特性估计出人造光源的颜色增益并去除;
7) 补偿光从光源发出到物体表面的传播过程中的衰减,校正色差.
2.2 基于物-光非相关性的水下图像去散射
水下成像过程中,背景光经悬浮粒子多次散射会产生严重的后向散射效应,使得到的图像呈现一种雾感,造成图像对比度降低.针对这一现象,采用去雾算法来去除后向散射效应.在去雾算法中,能否精确地估计出背景光直接影响图像的亮度色调以及后向散射分量的去除[27].如
图 4. Visual examples of recovered images with different background light estimations
Fig. 4. Visual examples of recovered images with different background light estimations
式中,θa是由图像平均值决定的Sigmoid型函数[29],dR(x)和dB(x)分别表示基于红色通道与基于图像模糊度的景深的初始估计,通过融合得到最终的景深估计.在估计出的景深中,越近的点,景深值越小,因此利用景深可以把前景与背景分割为
式中,A1表示前景区域,A2表示背景区域.分割后的前景区域中可能存在水体部分也可能存在物体部分.考虑到水体部分比较平坦, 很少有突兀的变化, 即梯度很小,利用水体的特性,提取前景区域中图像的梯度信息,记为Iforegrad(x),并通过梯度值大小进一步把前景区域中的水体部分与物体部分分离开,即
式中,δ为梯度的阈值,在本文中取值为0.06;A1object(x)表示前景中的物体区域,A1non-object(x)表示前景中的水体区域.因此通过式(8)~(10)可以将水下图像中的物体与水体区域区分开.
为说明本文算法能够有效分离水体与物体,以
接着在背景区域A2(x)中选取前0.1%最亮的点,记为bi,以bi为中心的局部块记为Ωbi;在物体区域A1object(x)中选取最亮的像素记为a,以a为中心的局部块记为Ωa.基于背景光与目标物体是非相关的的假设,两区域像素的关系可以表示为
由于目标物体上可能也会叠加一些背景光的像素,完全不相关是一种理想情况,本文选取与a相关性最弱的bi的取值作为背景光的估计
选出使C(x)值前5%最小的bi,记作
所提算法估计出的背景光如
图 6. The proposed background light estimation
Fig. 6. The proposed background light estimation
最后,除了背景光外,还需要求透射率.由于水下图像散射对R通道更敏感,因此直接用暗原色复原法估计透射率没有考虑水下衰减的特殊情况,采用红色逆通道法[28]来估计红色通道的透射率
求得了红色通道的透射率后,再根据三个通道的透射率之间的关系可以估计出另外两个通道的透射率,即
式中,βr、βg、βb分别是r、g、b通道的衰减系数.将估计到的背景光与透射率代入式(5)即可得到去散射后的图像为
为了防止结果溢出,设置一个最低门限值t0,根据经验,t0的取值为0.1.
2.3 基于去除光源颜色增益与补偿光路衰减的颜色校正
去散射后的图像中依然存在颜色失真问题,这是因为光在水中的衰减与传输距离以及衰减系数有关,水对红光衰减最大,其次是绿光,最后是蓝光.因此,在深海环境中,随着传播距离的增加,颜色失真的问题更加显著,使后续的信息提取受到了限制.在水下图像增强算法中,通常使用透射率来描述光在传播过程中的衰减,根据式(5)~(7)可以看出,去散射的图像在一定程度上考虑了场景反射光从物体表面反射回相机的过程中的衰减(回路衰减),但却忽视了光从光源发出传播到物体表面的过程中的衰减(去向衰减),并且没有考虑光源颜色增益带来的影响.因此通过去除光源的颜色增益,同时补偿光照强度在去向传播过程中的衰减,达到最终颜色校正的目的.
根据理想的朗伯特反射模型可知,场景中某一点颜色可由整个可见光范围内光源的分布、反射面的反射率以及相机的感光系数的乘积得到[23]
式中,lc表示光源的分布,sc表示相机感光函数,假设光源颜色增益
由式(19)可知,传统图像增强算法得到的去散射图像Jc(x)中除了光源颜色增益gc,还受到去向传播过程中的衰减tc(x)的影响.光照分量中,光源的颜色增益是导致图像偏色的原因之一,光照强度才是成像过程中到达物体表面的有效成分.传统的颜色校正法没有从根本上解决图像色彩失真的问题,无法有效地进行色彩校正.实际上,无颜色失真无衰减的理想图像应为无衰减的入射光强经反射后得到的图像,即
因此为了校正色偏,得到最终增强的图像J2c(x),需要对去散射图像Jc(x)去除光源颜色增益同时补偿衰减的光照强度.根据海底光照分量的组成可知,已知场景表面入射光Hc(x)(也是背景光)与透射率tc(x),由背景光与人造光的关系
研究表明[31],图像在光源照射下会含有一些灰色像素(或接近于灰色的像素),在本文中,这种像素被称为潜藏灰色像素.这些像素越接近灰色,说明离光源越近,对光源的影响也就越敏感,因此可以被用来估计光照分量.通常,在光源照射下的灰色像素所在区域的局部对比度在三个通道内几乎相等.因此为了测量一个像素接近于灰色的程度,利用局部对比度定义灰色度量系数(GI):首先对图像三个通道进行对数变换.然后计算每一个通道图像的局部对比度,再计算每个像素点在三个通道中对比度值的相对标准差除以该位置像素点在原始r、g、b通道下的平均灰度值,即可得到灰色度量系数
式中,
式中,n是潜藏灰色像素的个数,Y(x)代表该像素在YCbCr空间的Y分量.由水下场景表面入射光组成
得到了颜色增益之后,利用式(20)可得去除光源颜色增益,并补偿光路衰减的最终增强图像.
3 实验对比与分析
为了证明本文算法的有效性,利用MatlabR2016a作为软件仿真平台,对6组图像进行仿真实验,将本文算法与现有的水下图像增强算法进行比较.用于对比的算法有:暗原色复原法DCP[9],端对端的图像去雾算法(DehazeNet: An End-to-End System for Single Image Haze Removal, DehazeNet) [32],基于模糊度图像复原方法(Image Blurriness and Light Absorption, IBLA)[29],多层感知的图像去散射方法(Single Image Dehazing using a Multilayer Perceptron, SIDMP)[33],凸优化快速图像去雾法(Convex Optimization For Fast Image Dehazing, COFFID) [34].主观上,将所提方法与对比方法在视觉上进行比较;客观上,利用熵(Information Entropy, IE)和水下彩色图像评价指标(Underwater Color Image Quality Evaluation,UCIQE)[35]定量地对水下图像进行评价.熵为增强后图像保留的有用信息量,较高的熵值表示图像中保留的有用
3.1 主观评价
为了显示本文算法在去散射与颜色校正上的效果,将原始图像、采用所提算法去散射后的图像以及最终结果进行对比,结果如
图 8. Comparison of dehazed image and the final enhancement(dehazing and color correction)result
Fig. 8. Comparison of dehazed image and the final enhancement(dehazing and color correction)result
后向散射效应与色偏是水下图像降质的两大重要原因,为了证明本文算法相比于传统算法在水下增强方面的优势,
图 11. Subjective comparison of different enhancement methods on deep underwater scene images
Fig. 11. Subjective comparison of different enhancement methods on deep underwater scene images
3.2 客观评价
为了定量分析本文算法与传统方法的性能,采用熵和UCIQE作为衡量算法性能的指标,对比结果见
表 1. 水下图像UCIQE和熵的客观比较
Table 1. Objective comparison results of UCIQE and entropy
|
结合主观与客观评价可知,本文算法在提高深海环境中的图像对比度、校正色彩失真、保持图像细节方面性能较优,处理后的图像质量更高.
4 结论
针对深海图像对比度低、颜色失真和过度曝光的问题,本文基于主动光照的水下模型,提出一种新的水下图像增强算法.该算法无需过多先验信息,直接从原始图像入手,通过景深与梯度信息将图像中物体与水体区分开,利用背景光与物体的非相关性有效计算背景光,避免了人造光照射的前景区域或白色物体上亮像素对背景光估计的影响,最大限度去除散射效应,提高对比度.同时,考虑到去散射图像中仍然存在人造光源的颜色增益以及光在传播过程中的衰减带来的颜色失真问题,去除光源的颜色增益并补偿光在传播过程中的损失,从根本上解决了引起水下图像失真的原因,无需额外的拉伸均衡,避免颜色调整过程中,因过度拉伸导致的图像过曝现象.实验结果表明,本文算法在提高深海图像对比度,保留图像暗部细节和恢复水下图像色彩方面具有良好的效果.
[5] COLEMAN D, NEWMAN J, BALLARD R. Design implementation of advanced underwater imaging systems f deep sea marine archaeological surveys[C]. IEEE Oceans, 2000, 1: 661665.
[7] BAILEY G, FLEMMING N. Archaeology of the continental shelf:Marine resources, submerged landscapes and underwater archaeology[J]. Quaternary Science Reviews, 2008, 27(23): 2153-2165.
[8] CAO Wen-zhong, 曹 文忠. 工信部:未来十年海洋工程装备发展方向敲定[J]. 港口经济, 2015(12): 15.
[9] HE Kaiming, SUN Jian, TANG Xiaoou. Single image haze removal using dark channel pri[C]. IEEE Conference on Computer Vision & Pattern Recognition, 2009, 33: 23412353.
[11] WANG Hua. Design research of automatic image enhancement of deepsea environment[D]. Hangzhou: Hangzhou Dianzi University, 2015.王华.深海环境视频图像自适应增强技术研究[D].杭州: 杭州电子科技大学, 2015.
[12] HUANG Song, 黄 松, 易 本顺, YI Ben-shun. 基于自适应透射率比的水下图像复原算法[J]. 浙江大学学报, 2018, 52(1): 166-173.
[21] MCGLAMERY B. A computer model for underwater camera systems[J]. Society of Photo-Optical Instrumentation Engineers, 1980, 208: 221-231.
[31] YANG Kaifu, GAO Shaobing, LI Yongjie. Efficient illuminant estimation f col constancy using grey pixels[C]. IEEE Conference on Computer Vision Pattern Recognition, 2015, 22542263.
[34] HE Jiaxi, ZHANG Cishen, YANG Ran, et al. Convex optimization f fast image dehazing[C]. IEEE International Conference on Image Processing, 2016, 22462250.
Article Outline
邓翔宇, 王惠刚, 张永庆. 基于主动光照的深海图像增强算法[J]. 光子学报, 2020, 49(3): 0310001. Xiang-yu DENG, Hui-gang WANG, Yong-qing ZHANG. Deep Sea Image Enhancement Method Based on the Active Illumination[J]. ACTA PHOTONICA SINICA, 2020, 49(3): 0310001.