基于光衰减先验和背景光融合的水下图像复原 
下载： 839次
1 引言
海洋中蕴藏着丰富的资源,其对地球生命的延续起着重要的作用。光学成像是水下探测的重要手段之一,其以光学图像承载高信息密度的能力而备受关注并具有明显优势。然而,光照条件、拍摄深度和水体浑浊度等因素均会导致水下光学成像环境复杂,此外水体对光线具有选择性吸收和散射等作用,这都会影响水下光学成像的性能[1],使水下图像存在质量退化的问题,清晰度下降,影响应用,所以水下图像复原的研究具有重要意义。
使用单幅水下图像复原场景是一种更具挑战性和实用性的方法,因为散射量、场景深度以及光照条件都是未知的,而且在计算机视觉和图像处理领域中均备受关注。单幅水下图像复原方法可分为基于图像处理和基于图像成像模型(IFM)等[2]。其中基于图像处理的方法主要是使用无先验假设的图像处理技术,而基于IFM的方法通过逆求解不同的水下成像模型对图像进行复原。
对于基于图像处理的方法来说,张薇等[3]采用了全局光照补偿和灰度世界算法来优化低照度水下图像,接着采用引导滤波估计照度的方法对图像进行进一步的复原;Ancuti等[4]将水下原始图像中的颜色校正图像和对比度增强图像作为输入,对白平衡算法和限制对比度自适应直方图均衡算法进行融合,并使用该图像融合策略复原水下图像。对于基于IFM的复原方法来说,王国霖等[5]将透射率定义为直接分量透射率和后向散射分量透射率,使用了红色暗通道先验求解后向散射分量透射率,利用了无退化像素点获得直接分量透射率,可以有效地去除水下图像的色偏;He等[6]采用暗通道先验(DCP)算法并利用大气散射简化模型得到了良好的去雾效果,该处理过程广泛应用于图像去雾和水下图像复原;Drews等[7]采用只针对蓝绿通道的水下暗通道先验(UDCP)方法得到了更好的复原效果,该方法可以比基于DCP算法估计出更准确的透射率;Li等[8]对蓝绿通道的图像进行去雾处理,利用恢复的蓝绿通道和灰度世界假设理论纠正红色通道,并使用曝光图像复原水下图像;Song等[9]使用了一种快速有效的透射率估计模型复原水下真实场景;蔡晨东等[10]使用Sobel边缘检测与形态学闭运算得到场景深度图像,并使用该图像估计水下背景光并修正透射率,采用改进白平衡算法复原水下图像。
上述算法均在一定程度上能够复原水下图像,但基于图像处理的方法未考虑到成像模型,容易出现颜色失真,而基于IFM的方法考虑后向散射所造成的雾化效果和光衰减所引起的色彩失真,但忽略了前向散射衰减所引起的图像边缘细节模糊。同时,部分改进的DCP算法会错误判断前景中的明亮点为远景区域,导致透射率估计的不精确。针对上述问题,本文提出一种基于光衰减先验和背景光融合的水下图像复原算法。首先采用最大强度先验确定背景光一,基于图像四叉树的最小方差确定背景光二,根据图像的光照情况加权融合成最终的背景光。然后结合水下光衰减先验估计场景深度,从而精确计算出各个通道的透射率。最后逆求解水下成像模型并采用限制对比度自适应直方图均衡法提高图像的对比度、亮度以及饱和度,从而校正图像色彩失真。
2 水下光学成像模型
针对水下图像处理方法,Jaffe[11]建立了水下光学成像系统,如
现有水下成像模型考虑到水体对光的选择性吸收导致红(R)、绿(G)和蓝(B)三通道衰减系数的差异,以及瑞利散射的相对散射强度与入射光频率的4次方成正比的原因,在大气散射模型的基础上进行改进,表达式为
式中:c∈{R,G,B};Ic(x)为待恢复的水下图像;Jc(x)为复原后的清晰水下图像;Bc为背景光;Jc(x)tc(x)为直接分量;Bc[1-tc(x)]为后向散射分量;tc(x)为像素点x对应的透射率。对Ic(x)和Jc(x)进行归一化处理。光在水中的衰减符合Lambert-Beer定律,即光束的衰减与传输距离和衰减系数呈指数关系,表达式为
式中:βc为光谱衰减系数。
将DCP算法应用于水下图像复原,认为无雾图像在三个颜色通道中至少存在一个通道的局部区域有很小的像素值,即75%的像素值为0,90%的像素值小于25,表达式为
式中:Jdark(x)为暗通道图像;Jc(y)为像素点y的无雾清晰图像在R、G和B三通道的像素值;Ω(x)为以像素点x为中心的局部窗口。
对(1)式两边使用最小滤波器且两边都除于Bc,可以得到
将(3)式代入(4)式即可得到tc(x),表达式为
利用(5)式和获得的背景光并根据(1)式进行逆求解,可以获得三个通道的复原图像,表达式为
式中:t0为避免分母为零而设置的临界值。
然而,在水下环境中,暗通道先验算法很容易受到光线的选择性衰减的影响,导致透射率估计不精确,复原水下图像的效果不理想。
3 基于光衰减先验与背景光融合的水下图像复原算法
水下光学成像模型与雾天光学成像模型存在一定的相似性,这意味着可借鉴基于暗通道先验的方法来除去水下图像由后向散射引起的视觉模糊。但水体介质对不同光线的选择性吸收而存在着差异,且各个通道的透射率也存在差异,此时采用经典的暗通道先验方法直接求解透射率容易出现错误,从而导致去散射模糊的效果不理想。因此,为避免水下图像中的前景区域中存在过亮的物体而干扰背景光的估计,以及针对暗通道先验算法对透射率估计不精准的问题,提出一种改进的水下图像复原方法。该方法采用两种背景光估计结合的方法估计场景深度,进而计算精确的透射率来复原水下图像,算法流程如
3.1 背景光估计
背景光估计是水下图像复原的重要环节之一,其决定了复原图像的视觉效果和色调。最直接的背景光估计方法是基于整个水下图像中最亮的像素,这通常不适用于前景对象比全局背景光亮的场景。基于DCP的算法在R、G和B三通道中选择位于图像暗通道中前0.1%最亮点的像素,并利用其均值来确定背景光,若水下图像中远景区域存在大量的较亮区域或者白色物体,则背景光估计值偏大,进而错误将近景处的较亮区域误认为远景区域,该区域的透射率估计值小,呈现黑色,该方法不具有很高的鲁棒性。为了提高背景光估计的准确性,同时考虑背景光与水体光线的衰减特性和图像区域存在相关性,采用两种背景光估计的方法。
最大强度先验(MIP)[12]考虑到水体中不同光线的衰减特性,以及避免前景区域中存在较亮的物体对背景光估计造成的影响,使用水下图像在红色通道中的光线衰减程度远大于绿色和蓝色通道的假设来估计背景光,则
式中:p为从输入图像获得背景光的像素位置。
根据(7)式和(8)式计算红色通道的光强与蓝绿通道的最大强度之差,值越大表示相机距离场景点较近,其红光的衰减率小于远场景点;值越小表示像素点为远场景点,通过最小值的像素位置来确定背景光一。水下图像的背景光估计结果如
图 3. 不同水下图像的背景光估计结果。(a) 背景光[5,56,250];(b) 背景光[5,195,222];(c) 背景光[5,72,137]
Fig. 3. Background light estimation results of different underwater images. (a) Background light [5,56,250]; (b) background light [5,195,222]; (c) background light [5,72,137]
采用最大强度先验方法可能会产生过亮的背景光,同时考虑到背景光与图像区域存在关联性,采用四叉树划分的方法将图像均匀划分为4个区块并计算这些区块的光强方差,确定方差最小的区块后再对其进一步划分,直至划分到第5层并确定该层中方差最小的图像区块
将两个背景光进行比较,表达式为
设置背景光的线性加权融合函数为
式中:α为未复原水下图像各通道中像素值大于一半像素的数量占总数的比例;β和m为设置的固定阈值。背景光的线性加权融合函数为Sigmoid函数,输出值的范围为(0, 1)。
考虑到未复原的水下图像的整体强度与背景光具有相关性,即当各通道的整体强度偏大时,背景光也偏亮。根据大量实验可知,设定参数m值为18和β值为0.2,α为
式中:Ssize为图像的统计的像素个数。当α≫β时,λ(α,β)值趋于1,即当待复原的水下图像的背景光较明亮时,应该选择更亮的背景光作为最终的图像背景光,所以最终的背景光函数可表示为
3.2 透射率估计
光的衰减作用会导致不同波长的光在水下传输过程中的衰减程度不同,使水下图像存在严重色偏。在暗通道先验去雾方法[6-7]中,(3)式估计出的透射率偏小,(5)式求得的透射率偏大,结果如
式中:θ1、θ2和θ3分别为0.51157954、0.5056165和-0.9051117。
若要估计从相机到每个场景点的实际距离,必须预先估计最近的场景点与相机之间的基准距离d0,通过估计输入图像Ic的观测强度L(x)与背景光Bc的最大差值来估计基准距离,表达式为
式中:d0∈[0,1]。max(Bc,1-Bc)起到归一化的作用,|L(x)-Bc|值越大说明观测到的像素点越靠近相机。
结合(15)式与(16)式可以得到最终的场景深度ds(x),表达式为
式中:k为将相对距离转换为实际距离的缩放常数,实验设为8。
根据场景深度ds(x)可以计算R、G和B通道的透射率tc(x),表达式为
式中:NNrer为透射率估计的残余能量比。NNrer(λc)与场景深度存在指数关系,全世界约有98%的远海或沿海水域的水型符合海水I类水型[13],其在R、G和B通道的残余能量比范围分别为80%~85%、93%~97%和95%~99%。对三个通道的残余能量比设为固定值,分别为0.83、0.95和0.97,最后将得到的背景光Bc和透射率tc(x)代入(6)式可以得到复原的水下图像Jc(x),表达式为
为了说明透射率估计方法的有效性,
图 4. 水下图像的透射率估计比较结果。(a)原始图像;(b)暗通道先验透射率图;(c)场景深度图;(d)复原水下图像;(e)原始图像RGB颜色通道直方图;(f) R通道透射率图;(g) G通道透射率图;(h) B通道透射率图
Fig. 4. Comparison results of transmissivity estimation of underwater images. (a) Original images; (b) dark-channel prior transmittance images; (c) scene depth images; (d) reconstruction of underwater images; (e) histogram of RGB color channels of original images; (f) R channel transmittance images; (g) G channel transmittance images; (h) B channel transmittance images
4 实验结果与分析
为了验证所提算法的有效性,实验所用图像源于水下图像数据集[4]中不同环境下的10幅图像,采用所提算法对图像进行复原并对其进行主客观评价,将所得结果与文献[ 6-9]等进行比较。其中文献[ 8]对复原图像中局部过曝光和欠曝光区域使用自适应曝光图进行补偿,涉及后续增强步骤。为了保证对比实验的公平性,对每个方法都加入限制对比度自适应直方图均衡算法。
4.1 主观实验对比
主观实验对比的图像素材选自水下数据库中9个场景比较丰富的自然图像(image 1~8、image 10)和1个水缸中拍摄的图像(image 9),如
图 5. 水下图像的复原效果对比。(a)原始图像;(b)文献[ 6];(c)文献[ 7];(d)文献[ 8];(e)文献[ 9];(f)所提算法
Fig. 5. Comparison of restoration effects of underwater images. (a) Original images; (b) Ref. [6]; (c) Ref. [7]; (d) Ref. [8]; (e) Ref. [9]; (f) proposed algorithm
4.2 客观质量评价对比
为了进一步说明实验效果,对复原图像进行客观质量评价。针对水下图像的特点,采用4个客观质量评价指标,有NIQE指标[15]、UIQM指标[16]、UCIQE指标[17]和信息熵指标。NIQE指标主要是对比预先训练成功的模型参数与待评估图像的参数,最终确定图像的自然性,NIQE值越小说明图像表现出越好的感知质量。UIQM指标基于人眼视觉系统激励以RGB色彩空间中的色彩、清晰度和对比度作为测量指标,值越大反映视觉效果越好。UCIQE指标基于CIELab色彩空间以色度、饱和度和对比度的线性组合作为测量指标。信息熵指标是用来衡量图像的信息量水平。对
表 1. 水下图像复原算法的定量比较
Table 1. Quantitative comparison of underwater image restoration algorithms
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
此外,采用尺度不变特征变换(SIFT)算法[18]对所提算法复原前后的水下图像进行特征点匹配测试,测试结果如
图 6. 特征匹配的测试结果。(a)原始图像;(b)复原后的图像
Fig. 6. Test results of feature matching. (a) Original images; (b) restored images
5 结论
针对水下成像存在颜色失真和视觉模糊的问题,提出一种基于光衰减先验和背景光融合的水下图像复原算法。首先设计一种水下图像的背景光估计方法,通过最大强度先验来计算背景光一,根据图像四叉树的最小方差区域估计背景光二,再根据水下图像光照的亮暗情况,对两个局部背景光进行加权融合,得到全局背景光的估计。其次根据光衰减先验估计场景的相对深度,并且利用场景的相对深度计算出三个通道的透射率。然后通过逆求解水下光学成像模型来消除后向散射。最后采用限制对比度自适应直方图均衡算法对图像进行校正,可以更好地校正水下图像的颜色畸变,得到复原后的水下图像。实验结果表明,所提算法对于低质量和雾化严重的水下图像能够较好地复原图像信息,提升对比度和细节清晰度,恢复真实的视觉感观效果。进一步的研究将考虑到成像中存在非自然照明的情况,如何正确估计透射率以改进复原效果。
[3] 张薇, 郭继昌. 基于白平衡和相对全变分的低照度水下图像增强[J]. 激光与光电子学进展, 2020, 57(12): 121016.
[4] AncutiC, Ancuti CO, HaberT, et al.Enhancing underwater images and videos by fusion[C] //2012 IEEE Conference on Computer Vision and Pattern Recognition, June 16-21, 2012, Providence, RI, USA.New York: IEEE Press, 2012: 81- 88.
[5] 王国霖, 田建东, 李鹏越. 基于双透射率水下成像模型的图像颜色校正[J]. 光学学报, 2019, 39(9): 0901002.
[7] DrewsP, do NascimentoE, MoraesF, et al. Transmission estimation in underwater single images[C] //2013 IEEE International Conference on Computer Vision Workshops, December 2-8, 2013, Sydney, NSW, Australia.New York: IEEE Press, 2013: 825- 830.
[8] Li CY, QuoJ, Pang YW, et al.Single underwater image restoration by blue-green channels dehazing and red channel correction[C] //2016 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), March 20-25, 2016, Shanghai, China.New York: IEEE Press, 2016: 1731- 1735.
[9] SongW, WangY, Huang DM, et al. Arapid scene depth estimation model based on underwater light attenuation prior for underwater image restoration[M] //Hong R, Cheng W H, Yamasaki T, et al. Advances in multimedia information. Information systems and applications. Cham: Springer, 2018, 11165: 678- 688.
[10] 蔡晨东, 霍冠英, 周妍, 等. 基于场景深度估计和白平衡的水下图像复原[J]. 激光与光电子学进展, 2019, 56(3): 031008.
[12] Carlevaris-BiancoN, MohanA, Eustice RM. Initial results in underwater single image dehazing[C] //OCEANS 2010 MTS/IEEE SEATTLE, September 20-23, 2010, Seattle, WA, USA.New York: IEEE Press, 2010: 11695644.
[14] He K M, Sun J, Tang X O. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(6): 1397-1409.
[17] Yang M, Sowmya A. An underwater color image quality evaluation metric[J]. IEEE Transactions on Image Processing, 2015, 24(12): 6062-6071.
[18] Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.
Article Outline
林继强, 郁梅, 徐海勇, 蒋刚毅. 基于光衰减先验和背景光融合的水下图像复原[J]. 激光与光电子学进展, 2021, 58(8): 0810013. Jiqiang Lin, Mei Yu, Haiyong Xu, Gangyi Jiang. Underwater Image Restoration Based on Light Attenuation Prior and Background Light Fusion[J]. Laser & Optoelectronics Progress, 2021, 58(8): 0810013.
PDF全文
