激光与光电子学进展, 2021, 58 (6): 0601001, 网络出版: 2021-03-02   

基于暗亮原色先验理论的道路能见度检测 下载: 580次

Road Visibility Detection Based on Priori Theory of Dark and Bright Primary Colors
作者单位
西北师范大学物理与电子工程学院, 甘肃 兰州 730070
摘要
针对现有能见度检测方法复杂度高和检测精度低的问题,提出了一种基于监控图像的道路能见度检测方法。首先,通过暗亮原色先验理论求取暗亮原色的透射率;然后,利用自适应去雾权值和自适应滤波窗口优化大气光值和大气透射率,将车道线首尾端点的透射率与优化后的暗亮原色透射率一一对应;最后,结合车道线首尾端的距离计算大气消光系数和能见度。实验结果表明,本方法可在100~600 m内实现高精度检测,相对误差小于10%。相比其他方法,本方法的检测效率更快、精度更高且更容易实现。
Abstract
In view of the high complexity and low detection accuracy of the existing visibility detection methods, a road visibility detection method based on monitoring images is proposed in this work. First, the transmittance of dark and bright primary colors is obtained by using the prior theory of dark and bright primary colors; then, the atmospheric light value and atmospheric transmittance are optimized by using adaptive defogging weight and adaptive filtering window, and the transmittance of the front and rear ends of the lane line is one-to-one corresponding to that of the optimized transmittance of dark and bright primary colors; finally, the atmospheric extinction coefficient and visibility are calculated by combining the distance between the front and rear ends of the lane line. Experimental results show that the method can achieve high precision detection within 100--600 m, and the relative error is less than 10%. Compared with other methods, the method has faster detection efficiency, higher accuracy and easier implementation.

1 引言

近年来,雾霾等低能见度天气导致交通事故频繁发生,因此关于能见度的实时监测尤为重要。相比其他能见度检测方法,基于监控图像的能见度检测方法得到了人们广泛的研究。由于我国高速公路监控摄像头架设密度高、覆盖范围广,因此对易发生雾、霾等天气的路段进行实时监控,可以有效预防和减少交通事故。

传统的能见度检测方法有目测估计法、仪器检测法。其中,目测估计法的能见度检测结果误差较大,仪器检测法的检测结果相对准确,但造价太高、维护困难,难以实现在高速公路大范围内的架设[1]。因此,人们将能见度检测的研究重点集中在图像处理领域,提出了适用范围广、兼容性好、成本低的视频能见度检测方法。美国麻省理工大学林肯实验室基于模板匹配的思想,将实时捕捉的监控视频图像与已知能见度的图像进行对比分析,从而估计当前场景的能见度,但这类方法需要大量的样本图像库,且易受场景中物体变动的影响,在实际场景中难以应用[2]。孟颖等[3]通过动态标定交通摄像机的内外参数,用运动图像中感兴趣区域的平均像素拟合曲线对雾天进行判断,从而计算路面区域的点到摄像机的距离。但该方法中的自标定模型比较复杂,且很难实现实时监测。吕伟涛等[4]利用双亮度差思想,将场景中不同距离的目标物在图像区域的天空背景亮度差比值作为能见度检测的依据,这类方法适应性强,且在夜间也能进行检测,但需要额外搭建人工目标物体。

本文对基于大气散射物理模型的图像处理方法进行改进,提出了一种基于暗亮原色先验理论的道路能见度检测方法。实验结果表明,本方法具有兼容性强、鲁棒性好、运行速度快和检测精度高等优点,可以满足我国道路能见度检测的应用需求。

2 能见度检测理论

国际照明委员会(CIE)将能见度定义为在没有任何辅助条件下,人眼所能识别物体的最大距离[5]。我国在相关气象规范中对能见度也进行了定义,即视力正常(对比度阈值为0.05)的人在当时天气条件下白天能从天空背景中看到和辨认出目标物(黑色、大小适度)的最大水平距离[6]。在不考虑个体差异的前提下,造成能见度变化的主要原因是物理光学传播状态。雾霾天气造成能见度下降的主要原因是大气中悬浮的大量微小颗粒(水滴、灰尘以及其他杂质)会吸收目标物反射的光线,且反射的大气光会进入人眼或监控设备。能见度降低会导致驾驶员看不清周围物体和情况,从而对车速、车距和制动距离做出错误判断,容易发生交通事故。因此,对发生雾霾天气路段进行实时的能见度检测尤为重要。

由比尔-朗伯定律可知,可见光在长度为D的空气气柱辐射传输时,反射光强Iλ(D)的变化由入射光强Iλ(0)与大气消光系数β共同决定[3],可表示为

Iλ(D)=Iλ(0)×exp(-βd),(1)

式中,d为场景深度,λ为入射光的波长。大气透射率Tλ(D)可表示为

Tλ(D)=exp(-βd)(2)

联立(1)式、(2)式,得到大气透射率Tλ(D)

Tλ(D)=Iλ(D)Iλ(0)=exp(-βd)(3)

若物体与观察点的距离为d,物体自身固有的亮度为L,周围环境亮度为L0,则

L=L0exp(-βd)+L[1-exp(-βd)],(4)

式中, L为大气光的亮度, L[1-exp(-βd)]表明了亮度增强的原因是雾霾对日光的散射作用,其中物体的亮度随着指数exp(-βd)的减小而衰减。

基于(4)式,Duntley提出了对比度衰减定律[7],给出了雾霾背景下,物体能被人辨别出的条件,即在距离为d,相对环境的实际对比度为C0时,物体的对比度为C需要满足

C=C0exp(-βd)C=L-LLC0=L-L0L(5)

假设大气光照和大气微粒均匀,根据(5)式可计算得到能见度。根据CIE的定义[8],对比度阈值为0.05时,人眼能观测到物体的最大距离为气象能见度距离(MVD)。假设目标物体相对于环境的对比度C0已知,如黑色物体相对于天空的对比度C0=1,人眼的正常视觉反应阈值取0.05,就能推导出MVD的一般距离为

Vmet=-1Kλln0.053Kλ,(6)

式中,Kλ为大气消光系数。大气能见度是一个非常敏感的主观量,极易受到外在因素的干扰,目测估计法和仪器检测法等直接测量大气能见度时,容易产生较大误差或耗资巨大,通过(6)式可将检测大气能见度的问题转化为估计大气消光系数的问题,因此,实验在较精确的大气透射率和大气光值基础上,结合大气消光系数计算最终的大气能见度。

3 基于暗原色先验理论改进的图像去雾方法

3.1 大气散射模型

文献[ 9]中的大气散射模型是在McCartney提出的大气散射模型基础简化得到的,该模型广泛应用于图像去雾领域,可表示

I(i,j)=J(i,j)t(i,j)+A[1-t(i,j)],(7)

式中,I(i,j)为监控视频原始图像在像素点(i,j)的光强,J(i,j)为恢复的清晰图像中该像素点的光强,t(i,j)为该像素点的大气透射率, A为无穷远处的大气光强。可以发现,雾霾对大气光传播的影响中,J(i,j)t(i,j)为直接衰减项, A[1-t(i,j)]为大气光项。

3.2 暗原色先验理论

暗原色先验理论是He等[10]基于户外无雾图像库统计得出的规律,该理论指出在除天空外的局部区域内,总会存在一些特殊的像素点(暗原色),主要源于色彩艳丽或颜色较暗的物体,如建设物、树木、汽车的阴影,花草树木色彩鲜艳的叶子或花朵,灰暗色的树干或岩石。暗原色的特点是至少有一个RGB(Red, Green, Blue)颜色通道的强度值几乎趋于零,可表示为

Jdark(i,j)=mini',j'Ω(i,j)[minJc(i',j')]0,(8)

式中,Jc为图像J中一个颜色通道的强度,c∈R、G、B为图像的颜色通道,Ω(i,j)为以(i,j)为中心的局部区域。

3.3 大气透射率的粗略估计

雾霾天气会导致图像中原本亮度值很低的暗原色发生变化,即雾霾引起的大气光散射会使暗原色的亮度值变大。雾图中暗原色的亮度值与透射率有直接关系,因此可以利用雾图中被影响的暗原色亮度值粗略估计局部区域的大气透射率。

首先,假设大气光值 A已知,对(7)式两边同时除以 A,得到

Ic(i,j)A=t(i,j)Jc(i,j)A+1-t(i,j)(9)

然后,假设局部区域Ω(i,j)的场景深度相同,并在区域Ω(i,j)内用一个恒定的透射率t(i,j)对(8)式两边同时求取暗原色,可表示为

mini',j'Ω(i,j)minIc(i,j)A=t(i,j)×mini',j'Ω(i,j)minJc(i,j)A+1-t(i,j)(10)

因为无雾图像的暗原色强度Jdark(i,j)趋于零,大气光值 A为正数,联立(8)式和(10)式,得到图像透射率的估计值为

t(i,j)=1-mini',j'Ω(i,j)min[Ic(i,j)]A(11)

由于无雾霾的晴朗天空中也存在一定的水汽和微小颗粒,因此,在(11)式中引入常量ω,作为对远景雾的保留,使处理后的图像更接近真实图像。透射率的取值范围为[0.1,1],得到透射率的最终表达式为

t(i,j)=1-ωminyΩ(x)[mincIc(i,j)]A,(12)

式中,y为以x为中心的局部区域Ω(x)内的任意像素。关于ω的取值,部分文献将ω取定值0.85、0.90、0.95,如文献[ 10]对ω取定值0.95。仿真实验发现,取定值ω和普遍的滤波窗口(15×15)不适用雾图,因此实验对ω的取值问题和滤波窗口的大小进行了自适应处理。

3.4 大气光值的获取

3.3节已经给出了大气透射率t(i,j)的粗略估计值,因此,只需求取大气光值 A,就能得到粗略的去雾图像。通过自适应滤波对去雾图像进行优化,可使最终的能见度检测结果更准确。在图像去雾领域的研究中,有多种方法可求取大气光值 A,实验继续使用文献[ 10]提出的经典算法,具体步骤:1)基于暗通道先验理论,求取前0.1%最亮像素点的位置;2)将前0.1%最亮像素点的位置与原始图像一一对应,然后计算大气光值 A

理想情况下,在暗通道先验理论的基础上,前0.1%最亮像素点对应的是浓雾区域,但经过多次实验发现,道路上的白色车辆、白色建筑物等白色物体对实验结果的影响较大,导致大气光值的取值也略大[11]。实验发现,寻找近似于1的亮原色值Ilight要比寻找近似于0的暗原色值Idark困难得多,这表明亮原色并非大规模存在。因此实验保留图像中的高亮区域为亮原色服务,虽然会导致大气光取值略大,也会影响去雾权值ω的精度,但可以通过自适应去雾权值ω弥补大气光取值略大造成的影响。

3.5 去雾权值与大气透射率的优化

基于文献[ 10]提出的经典暗原色先验理论去雾后的图像容易产生Halo效应,原因是同时存在两个景深的物体时,对透射率的计算产生了误差。因此,对大气透射率和去雾权值ω进行优化,使最终检测的能见度精度更高。仿真发现,去雾权值ω与大气光值 A有直接关系,可认为去雾权值ω与归一化的大气光值a近似相等[12],因此,实验取ω=a-0.15。

基于暗原色先验理论,可推导出大致亮原色的透射率表达式,由上述分析可知,暗原色强度值Jdark(i,j)趋近于0,基于逆向思维可知,亮原色强度值Jlight(i,j)趋近于1,结合暗原色透射率的计算公式得到亮原色的透射率为[11]

td(i,j)=1-ωminyΩ(x)minIc(i,j)A,Idl(i,j)<A,(13)tl(i,j)=1-ω1-maxyΩ(i,j)maxcIc(i,j)1-A,Idl(i,j)A,(14)

式中,Idl(i,j)为暗、亮原色在图像(i,j)处的像素值,将大气光值 A作为区别暗、亮原色透射率的阈值,td(i,j)、tl(i,j)为实验寻求的透射率。

目前,人们对图像进行去雾处理时仍将滤波窗口取为固定值,导致透射率值误差过大。原因是选取的窗口或大或小都会间接影响大气透射率的准确性。因此,在原有导向滤波的基础上用自适应导向滤波法对图像进行处理,滤波窗口的尺寸可表示为

R=4×Xfloor[max(3,W×0.01,H×0.01)],(15)

式中,Xfloor为向0取整,WH分别为原始图像的宽与高。这种处理方法可根据原始图像的尺寸自适应调整滤波窗口的尺度,从而减小误差。

4 基于暗亮原色先验理论的能见度检测

现有基于监控视频图像检测能见度的方法需要大量图像样本并对摄像机的内外参数特征进行标定,还需要预设实体目标物,难以在实际中铺设应用,且易受到外界环境的干扰。因此,实验在文献[ 13]的基础上提出了一种新的能见度检测方法。首先求取车道线上下端点的透射率,不需要检测车道线,也可以将车道线作为虚拟的目标物,再利用暗亮原色先验理论求取车道线首尾端点的透射率。

由于国内高速公路的车道线均为白色,非车道线区域为青黑色,而图像去雾领域通常将白色区域、浓雾区域和天空区域等颜色较亮的区域称为亮原色区域,将色彩艳丽、暗淡的物体或颜色较暗的区域称为暗原色区域。因此,先计算图像中亮原色区域的透射率均值并将其作为车道线的首点透射率,即亮原色透射率tl(i,j);然后计算暗原色区域的透射率均值并将其作为车道线的尾点透射率,即暗原色透射率td(i,j);再结合确定的车道线首尾端距离限制暗亮原色透射率tdl(i,j)的位置。亮原色透射率均值点可能是车道线或其他白色区域的某一点,该未知亮原色区域的某点与车道线首端的透射率tl(i,j)是近似相等的;暗原色透射率均值可能是非车道线或其他暗色区域的某一点,该未知暗原色区域的某点与车道线尾端的透射率td(i,j)是近似相等的。假设车道线的固定长度为L,使这两个均值点近似为车道线的首尾端点。道路示意图如图1所示,假设ab之间的长度为L,a处的透射率与ce处的透射率近似相等,b处的透射率与df处的透射率近似相等,计算得到亮原色透射率均值和暗原色透射率均值,再确定距离L,从而获得大气消光系数Kλ

图 1. 高速公路的模拟图

Fig. 1. Simulated map of the highway

下载图片 查看所有图片

2009年出版的《公路交通标志和标线设置规范》中明确规定了国内道路中间车道标线的标准,对于二级及以上等级高速公路中的白色车道线,长度为6 m,直线上相邻间隔的长度为9 m。对于小于二级等级公路的白色车道线,长度为2 m,直线上相邻间隔长度为4 m[13]。针对小于二级等级的公路,取车道线长度为2.01 m,略大于标准长度的原因是取2 m时会将车道线尾端部分的白色像素点包含在内,从而产生误差。取2.01 m可取到略超出白色区域的暗原色像素点,从而减小误差。可根据计算的大气消光系数和(6)式得到最终的大气能见度,大气消光系数可表示为

Kλ=lntl(i,j)td(i,j)L(16)

5 实验结果与分析

5.1 预设目标物方法和标准数据的对比实验

以Vaisala PWD10型能见度检测仪检测的雾图能见度作为标准数据,并与文献[ 3]中预设目标物方法的检测结果进行对比。图2为利用Vaisala PWD 10型能见度检测仪检测的不同能见度距离的雾图,利用本方法进行能见度检测,并与文献[ 3]中方法的检测结果进行对比,结果如表1所示。可以发现,使用相同的雾图数据集时,相比文献[ 3]中的方法,本方法不仅省去了预先在高速公路上设置特定距离、大小和颜色目标物的步骤,且在能见度检测精度上的表现更好。

图 2. 仪器法得到的能见度图像。(a)能见度为126 m;(b) 能见度为145 m;(c)能见度为199 m;(d)能见度为90 m;(e)能见度为324 m;(f)能见度为120 m

Fig. 2. Visibility image obtained by instrument method. (a) Visibility is 126 m; (b) visibility is 145 m; (c) visibility is 199 m; (d) visibility is 90 m; (e) visibility is 324 m; (f) visibility is 120 m

下载图片 查看所有图片

表 1. 两种方法的能见度检测结果

Table 1. Visibility test results of the two methods

ImageStandard visibility /mTransmittance valueVisibility detection value /mRelative error /%
Bright primary colorDark primary colorOursPreset targetobject methodOursPreset targetobject method
Fig. 2(a)1260.3291160.3459071211373.978.73
Fig. 2(b)1450.3155480.3300191341577.588.28
Fig. 2(c)1990.5800610.5974682042152.518.04
Fig. 2(d)900.3130060.32266511311525.5627.80
Fig. 2(e)3240.6571810.68747328635211.738.64
Fig. 2(f)1240.5235490.5485101291364.039.67

查看所有表

5.2 检测的金塔南匝道路段能见度结果

图3中的雾图截取自甘肃省酒泉市金塔南匝道路段监控视频图像,摄像机编号为K0201-064,图像的分辨率为640 pixel×480 pixel,时间为2020年7月21日中午12时至下午13时和下午15时30分至16时30分两个时间段,截取间隔为10 min。

图 3. 不同时段的监控视频图像。(a) 12:00;(b) 12:10;(c) 12:20;(d) 12:30;(e) 12:40;(f) 12:50;(g) 13:00;(h) 15:30;(i) 15:40;(j) 15:50;(k) 16:00;(l) 16:10;(m) 16:20;(n) 16:30

Fig. 3. Surveillance video images at different time periods. (a) 12:00; (b) 12:10; (c) 12:20; (d) 12:30; (e) 12:40; (f) 12:50; (g) 13:00; (h) 15:30; (i) 15:40; (j) 15:50; (k) 16:00; (l) 16:10; (m) 16:20; (n) 16:30

下载图片 查看所有图片

选取与路段邻近的交通气象站观测数据作为标准值,将本方法得到的能见度距离与标准值进行对比,并给出了检测每张雾图所用的时间,结果如表2所示。实际中交通能见度的检测主要关注500 m以内的能见度变化情况,因此表中给出的是实际能见度与本方法检测的能见度值在100~600 m之间的变化情况。可以发现,本方法的相对误差小于10%,平均运行时间为3.2558 s,这表明本方法无论在检测精度上还是运行速率上均有良好的表现。

表 2. 本方法的能见度检测结果

Table 2. Visibility test result of our method

ImageTimeStandardvisibility /mTransmittanceTest results of our method /mRelative error /%Time /s
Bright primary colorDark primary color
Fig. 3(a)12:001720.6514180.6760391616.393.2334
Fig. 3(b)12:101760.6451320.6693211637.393.2905
Fig. 3(c)12:201780.6471960.6685391843.373.2369
Fig. 3(d)12:301790.6460530.6676991821.683.0564
Fig. 3(e)12:401890.6763410.6983151871.063.3059
Fig. 3(f)12:501940.6699710.6906871971.553.2396
Fig. 3(g)13:001990.6715520.6915882042.513.1657
Fig. 3(h)15:304400.6771670.7074734116.823.4077
Fig. 3(i)15:404630.6751830.7044894248.423.3978
Fig. 3(j)15:504970.6845270.7101794891.613.4516
Fig. 3(k)16:005180.6779330.7031514925.013.3010
Fig. 3(l)16:105470.6790820.7037675047.863.3100
Fig. 3(m)16:205890.690870.7140635457.473.0810
Fig. 3(n)16:306230.6948360.7165425856.103.1039

查看所有表

6 结论

提出了一种基于暗亮原色先验理论的道路能见度检测方法,利用暗亮原色先验去雾思想对能见度进行检测,利用大气光值和透射率自适应优化去雾权值和自适应滤波窗口,将优化后的暗亮原色透射率与车道线首尾端点一一对应,得到大气消光系数,从而计算出能见距离。将检测结果与仪器法检测的标准能见距离进行对比,结果表明,本方法在100~600 m能见距离范围内具有极高的检测精度,相对误差小于10%。相比其他检测方法,本方法的检测速度更快、精度更高且更容易实现。但在强浓雾天气情况下,本方法的检测效果不佳,后续研究中将主要针对能见距离在100 m以下强浓雾天气情况的能见度检测,优化出一种可以检测大雾、浓雾和强浓雾天气情况的能见度检测方法。

参考文献

[1] 赵瑞, 胡辽林, 赵江涛. 基于暗原色先验理论的大气能见度测量[J]. 激光与光电子学进展, 2016, 53(6): 060103.

    Zhao R, Hu L L, Zhao J T. Atmospheric visibility measurement based on dark channel prior[J]. Laser & Optoelectronics Progress, 2016, 53(6): 060103.

[2] 胡平, 杨旭东. 高速公路能见度快速检测算法[J]. 公路交通科技, 2017, 34(4): 115-122.

    Hu P, Yang X D. An algorithm for fast detecting expressway visibility[J]. Journal of Highway and Transportation Research and Development, 2017, 34(4): 115-122.

[3] 孟颖, 吴宏涛, 贾磊, 等. 基于监控视频的公路能见度检测方法[J]. 交通运输研究, 2019, 5(1): 65-72.

    Meng Y, Wu H T, Jia L, et al. Highway visibility detection method based on surveillance video[J]. Transport Research, 2019, 5(1): 65-72.

[4] 吕伟涛, 陶善昌, 刘亦风, 等. 基于数字摄像技术测量气象能见度: 双亮度差方法和试验研究[J]. 大气科学, 2004, 28(4): 559-570.

    Lü W T, Tao S C, Liu Y F, et al. Measuring meteorological visibility based on digital photography: dual differential luminance method and experimental study[J]. Chinese Journal of Atmospheric Sciences, 2004, 28(4): 559-570.

[5] Dumont E, Cavallo V. Extended photometric model of fog effects on road vision[J]. Transportation Research Record: Journal of the Transportation Research Board, 2004, 1862(1): 77-81.

[6] 中国气象局. 中华人民共和国气象行业标准:能见度等级和预报: QX/T 114—2010[S] 北京: 中国标准出版社, 2010.

    China Meteorological Bureau of the People's Republic of China. Meteorology Standard of the People's Republic of China:visibility grade and forecast: QX/T 114—2010[S] Beijing: Standards Press of China, 2010.

[7] Steffens C. Measurement of visibility by photographic photometry[J]. Industrial & Engineering Chemistry, 1949, 41(11): 2396-2399.

[8] Hautiére N, Tarel J P, Lavenant J, et al. Automatic fog detection and estimation of visibility distance through use of an onboard camera[J]. Machine Vision and Applications, 2006, 17(1): 8-20.

[9] 刘增力, 付钰. 基于透射率自适应约束修正的图像去雾算法[J]. 激光与光电子学进展, 2020, 57(16): 161003.

    Liu Z L, Fu Y. Image dehazing algorithm based on adaptive constraint correction of transmittance[J]. Laser & Optoelectronics Progress, 2020, 57(16): 161003.

[10] He K M, Sun J, Tang X O. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12): 2341-2353.

[11] 陈永, 卢晨涛. 基于超像素分割和暗亮通道结合的单幅图像去雾[J]. 激光与光电子学进展, 2020, 57(16): 161023.

    Chen Y, Lu C T. Single image dehazing based on superpixel segmentation combined with dark-bright channels[J]. Laser & Optoelectronics Progress, 2020, 57(16): 161023.

[12] 禹晶, 李大鹏, 廖庆敏. 基于物理模型的快速单幅图像去雾方法[J]. 自动化学报, 2011, 37(2): 143-149.

    Yu J, Li D P, Liao Q M. Physics-based fast single image fog removal[J]. Acta Automatica Sinica, 2011, 37(2): 143-149.

[13] 王嘉锐. 基于暗亮原色先验与自适应参数优化的图像去雾算法研究[D]. 西安: 长安大学, 2018.

    Wang JR. A study on image dehazing algorithm based on dark-light channel prior and self-adaptive parameter optimization[D]. Xi'an:Changan University, 2018.

宋海声, 刘宇平, 郑海亮, 麻林召, 陈召. 基于暗亮原色先验理论的道路能见度检测[J]. 激光与光电子学进展, 2021, 58(6): 0601001. Song Haisheng, Liu Yuping, Zheng Hailiang, Ma Linzhao, Chen Zhao. Road Visibility Detection Based on Priori Theory of Dark and Bright Primary Colors[J]. Laser & Optoelectronics Progress, 2021, 58(6): 0601001.

本文已被 1 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!