光学学报, 2017, 37 (8): 0810004, 网络出版: 2018-09-07   

航拍图像的路面裂缝识别 下载: 1318次

Pavement Crack Recognition Based on Aerial Image
作者单位
1 北京理工大学光电学院 光电成像技术与系统教育部重点实验室, 北京 100081
2 北京理工大学宇航学院, 北京 100081
摘要
针对航拍沥青路面图像识别的噪声和干扰问题,提出一种应用于航拍图像的路面裂缝识别算法。根据路面区域与路旁景观区域灰度级数分布不同,采用多方向拟合的区域生长方法联合HSV颜色空间阈值进行路面区域分割,提取包含完整裂缝信息的单通道路面;再通过改进的形态学滤波剔除面积较大的干扰区域,利用结合显著性分析的边缘检测算法识别路面的裂缝片段,实现复杂裂缝与路面纹理噪声的区分;自动筛选存在裂缝的图像,针对裂缝可疑区域,结合人眼辅助观察标记并计算其长度。结果表明,该算法可有效剔除图像中的噪声和干扰,较好地识别沥青路面的裂缝,裂缝宽度的识别精度能达到9.7 mm,分类识别准确率大于80.0%,长度测量准确率大于75.0%。
Abstract
Aim

ing at the problems of interference and noise in image recognition of aerial asphalt pavement, a pavement crack recognition algorithm applied to aerial image is put forward. According to the difference of gray level distribution of the surface area and the roadside landscape area, a method of regional growth based on multi-directional fitting and threshold segmentation in HSV color space for road region segmentation is proposed. The single channel pavement which contains integral crack information is extracted, the large area of interference is eliminated by the improved morphological filtering, and an edge detection algorithm based on saliency analysis to recognise the crack fragment of pavement is proposed, realizing the distinction between complex cracks and pavement texture noise. The images with crack are screened automatically and the crack length is marked and calculated combined with human eye assistance observation. The experimental results show that the proposed method can effectively remove the interference and noise in the image, and well identify asphalt pavement cracks. The precision of crack width is 9.7 mm. The classification accuracy is over 80.0%. The accuracy of length measurement is over 75.0%.

1 引言

公路交通线路密布,在使用过程中需要定期对路面进行质量检测,以方便制定相应的维护方案。路面裂缝是公路路面的主要破损形式之一,已成为路面检测维护的重要内容。传统的人工检测方法耗费大量的人力、物力和财力,且具有个人主观因素大、检测准确率低等缺点,已经无法满足信息时效性的需求[1]。通过探测装置辅助并结合图像处理技术,高效、准确的路面裂缝检测方法已成为当今的研究热点。

目前大部分路面裂缝识别技术主要运用车载CCD摄像机进行路面图像的探测采集,具有图像视场小、需要辅助照明光源、探测方式受当时交通状况制约等缺点。常用的裂缝识别处理方法为自适应阈值分割和连通域分割的图像处理方法[2-4]。此外,文献[ 5]采用了基于Dempster-Shafer证据理论的二维灰度图像和三维激光扫描数据结合建模融合的识别方法;文献[ 6]采用模式识别和深度知觉的三维场景重建方法实现检测;文献[ 7]和文献[ 8]采用了通过卷积神经网络实现裂缝的分类识别的方法。不过,以上述算法为代表的一类识别方法通常应用于场景单一的小视场图像。

本文根据无人机对地探测具有高效、视场大的特点,利用机载相机采集包含完整路面信息的航拍图像,比车载方式更快速、便捷地完成图像采集工作。但鉴于针对场景单一图像的算法不适用于干扰更加复杂、裂缝所占像素比更小的航拍图像,本文将路面裂缝检测算法与高空拍摄的复杂场景图像相结合,提出了一种用于裂缝检测的半自动算法。该算法能有效地消除航拍图像中的干扰信息,自动筛选出存在裂缝地面的图像,标记并突出裂缝存在的可疑位置,并结合人眼辅助判别,实现长路段路面裂缝的高效识别。

2 航拍路面裂缝识别算法

与近距离单一场景的路面图像相比,高空拍摄的路面图像具有信息复杂、存在大量噪声和干扰等缺点,导致裂缝识别困难。针对单一场景图像常用的一种路面裂缝检测算法分别对两种场景图像进行处理,得到如图1所示的复现结果。图1(a)为高空拍摄的复杂场景图像,黄色框标记的位置为裂缝,蓝色框标记的位置为电线;图1(b)为近距离拍摄的单一场景图像;图1(c)为针对单一场景图像开发的算法处理复杂场景图像的复现结果;图1(d)为针对单一场景图像开发的算法处理单一场景图像的复现结果。

图 1. 两种场景的原图和复现结果。(a)复杂场景原图;(b)单一场景原图;(c)复杂场景的处理结果;(d)单一场景的处理结果

Fig. 1. Original image and reproduction results of two scenes. (a) Original image of complex scene; (b) original image of simple scene; (c) processing result of complex scene; (d) processing result of simple scene

下载图片 查看所有图片

分析复现结果可知,该算法对单一场景图像效果的实现较好;对复杂场景图像的处理虽然能基本检测识别路面裂缝,但是,由于图像存在大量的多余信息,如路面阴影、电线、车道分界线、车辆和道路两侧的建筑物等都会对裂缝检测构成干扰,从而影响裂缝识别效果以及长度计算。其原因可能是航拍图像的场景复杂度以及裂缝所占像素数量极大地限制了单一场景检测算法在高空图像中的适用性以及检测精度。

分析这一系列特点可知,航拍图像的裂缝检测难点在于:1)从复杂背景图像中提取有效路面区域;2)在提取区域内去除干扰和噪声的同时,提高裂缝和路面之间的对比度以及图像的清晰度。通过实验对比几种主流边缘检测算法,提出一种航拍路面裂缝识别算法--采用图像显著性分析改善边缘检测效果并结合多方向拟合区域生长和形态学滤波的方法。该算法处理流程如图2所示。

图 2. 航拍路面裂缝识别算法流程图

Fig. 2. Flow chart of recognition algorithm of aerial pavement crack

下载图片 查看所有图片

3 多方向拟合区域生长的道路分割

针对航拍图像的裂缝识别难点,首要目标是筛选出有用的完整路面区域。利用图像对比度增强改善图像质量,突出公路路面和路旁景观的分界线;再通过颜色空间的自适应阈值和多方向拟合区域生长初步分割路面区域。

传统的区域生长是利用图像中具有某种特定性质的像素点作为起始种子点,遍历其周围邻域中像素灰度最接近种子点灰度值的像素,并将其添加到种子像素存在的区域中,直到不存在满足生长原则的像素区域,但其最终生长的区域边缘形状往往不规则。本文利用多方向拟合的方法从生长后的区域边缘中提取梯度方向特征,并拟合边缘区域为规则形状,以提取完整的路面区域。

图 3. 多方向拟合区域生长示意图。(a)起始种子点;(b)生长像素;(c)生长区域;(d)多方向拟合区域

Fig. 3. Schematic of region growing based on multi-directional fitting. (a) Pixel labeling; (b) growing pixel; (c) growing region; (d) multi-directional fitting region

下载图片 查看所有图片

假设区域生长后提取的区域边缘像素集合为Ri,将其看成离散点集合,计算每个离散点的梯度方向角度θ,对其进行曲线拟合,可以简化为最小二乘估计问题,

a*=argminai=1mSxi;a-π2-θi,(1)

式中a为离散点拟合后的沿生长区域边缘方向的角度集合,m为生长区域边缘像素个数,Sxi;a为拟合后的区域边缘方向曲线。

通过一系列道路区域分割流程后,利用传统区域生长算法和多方向拟合区域生长算法对图1的航拍图像进行右侧道路提取,结果如图4所示。结果表明,传统区域生长算法仅由固定生长阈值分割,限制了区域生长的范围,对道路局部信息的提取不完整。本文采用的多方向拟合区域生长算法,可将不规则的生长边缘拟合成规则边缘,能修补生长所得区域的边缘误差,获得完整路面的分割效果。

图 4. 道路提取结果。(a)传统区域生长;(b)多方向拟合区域生长

Fig. 4. Results of road extraction. (a) Traditional region growing; (b) region growing based on multi-directional fitting

下载图片 查看所有图片

4 结合显著性分析的裂缝识别

4.1 形态学滤波的干扰剔除

形态学滤波主要通过结构元素对图像进行交、并运算从而获取图像中目标的结构信息,了解分析图像的结构特征。其操作需两种图像:被处理的图像和结构元素,类似于卷积算子操作。如果输入图像为f(x,y),矩形结构元素为c(x,y),则用结构元素c对输入图像f进行灰度形态学基本运算,它的定义为

灰度膨胀运算为

fcx,y=max[fx-i,y-i+ci,jfx-i,y-jf,ci,jDc](2)

灰度腐蚀运算为

fΘcx,y=max[fx+i,y+i-ci,jfx+i,y+jf,ci,jDc](3)

灰度开运算为

fc=fΘcc(4)

灰度闭运算为

f·c=fcΘc(5)

利用类似形态学滤波的方法去除运动目标的干扰。对提取道路区域的单通道图像进行运动背景去除从而获得二值图像,白色像素值为1,黑色像素值为0。采用n×n窗口遍历图像,同时计算每个窗口内白色像素总值T,与窗口总像素数量对比,根据(7)式条件判断目标和噪声,不满足条件的判断为噪声并填充为黑色像素,以此筛选出车辆、行人等动态目标[9]

T=i,ji+nxi,j,(6)x1,1=1, T>n220, otherwise,(7)

式中x1,1为窗口左上角第一个像素值。

采用中值滤波消除部分噪声,再完成分道线的阈值筛选,初步识别道路分道线;运用数次开运算进行形态学滤波,采用矩形结构元素的OC开闭滤波器组合,消除分道线杂乱噪声,消除小物体、分道线等静态目标处能使目标分割的更好、对较大路面滤波时并不明显改变道路的面积。

结合动态静态目标分割的二值图像对道路区域进行处理,去除部分干扰。若道路区域原图为f,筛选分道线图像为g,则将两图像进行图像乘法运算,

F=fgM+A,(8)

式中M为图像乘数,A为图像加数。

4.2 结合显著性分析的裂缝检测

显著性检测是一种类似于人类视觉观察系统的算法,能有效突出场景中的梯度、颜色以及纹理等特征,广泛应用于弱小目标的检测[10]。针对较大干扰去除的路面图像,其裂缝信息与路面差异不明显,结合显著性分析能去除路面区域的噪声,突出裂缝特征。利用基于全局颜色直方图的颜色对比度算法,计算图像中每个像素点与其他各点的颜色对比差异代表显著性值,得到显著性分析后的图像[11]

在彩色图像中,颜色相同的像素点具有相同的显著性值,则像素点Ik的显著性值可表示为

JIk=IkIDIk,Ii=Jcl=i=1nfjDcl,ci,(9)

式中DIk,Ii表示像素点Ik和像素点Ii的颜色距离,cl表示像素点Ik的颜色值,fj表示像素颜色值cl在图像中的几率,n表示不同像素颜色的总数。

为了减少噪声对显著性结果造成的随机性,忽略出现较少的像素颜色,减少像素颜色总数,使用加权平均显著值的平滑过程完善每种颜色的显著值,平滑规则表示为

J'c=1m-1Ki=1m[K-Dcl,ci]Jcl,(10)

式中K=i=1mDcl,ci为像素颜色距离的总和;m=n/4为忽略颜色后的颜色总数。

完成显著性分析后,利用边缘检测Prewitt算子对图像进行加权平滑处理和微分运算。通过图像和两个方向模板,运用邻域卷积实现裂缝检测,两个方向模板分别为水平边缘检测模板Gx和垂直边缘检测模板Gy:

Gx=-101-101-101,Gy=111000-1-1-1(11)

图5为没有经过显著性分析的裂缝检测和经过显著性分析后的裂缝检测结果。由图5可知,经过显著性分析后的边缘检测方法对路面的噪声消除较好,可突出裂缝的对比度信息,能比较完整地检测出裂缝信息。

图 5. 检测效果对比。(a)传统的边缘检测;(b)结合显著性分析的边缘检测

Fig. 5. Comparison of detection results. (a) Traditional edge detection; (b) edge detection based on significance analysis

下载图片 查看所有图片

4.3 亚像素裂缝长度计算

对于经过改进Prewitt算子检测的路面裂缝区域,通过人眼辅助观察,选择裂缝存在区域,进一步提取边缘亚像素轮廓(XLD)。采用最小二乘拟合方法拟合离散点为曲线。标准的最小二乘原则要求各点到拟合曲线的距离和最小。但是对远离曲线的离群值没有很好的稳健性,需要设置权重阈值处理。

Huber权重函数为

ωδ=1,  δττδ, δ>τ,(12)

式中τ为距离阈值。

当点到曲线距离小于等于一个阈值τ时,赋予权重为1;当点到曲线距离大于阈值时,权重函数等于距离的倒数乘以阈值,距离越远,值越小。

依次对裂缝进行选择,通过像素坐标点长度差和实际图像道路长度的换算,分别得到左侧和右侧道路的识别结果,并在裂缝识别图像上显示裂缝数量、类型以及裂缝长度等信息,如图6所示。

图 6. 裂缝长度显示结果。(a)左侧道路检测结果;(b)右侧道路检测结果

Fig. 6. Display results of crack length. (a) Detection result of left road; (b) detection result of right road

下载图片 查看所有图片

5 实验结果分析

本次实验中,相机的分辨率为3840 pixel×2160 pixel,无人机飞行高度为67.2 m,飞行速度为4.8 m·s-14组100张图像实例中,对裂缝是否存在的分类准确率以及长度检测结果进行总结分析,如表1表2所示。

表 1. 裂缝图像分类准确率及时间分析

Table 1. Analysis of classified accuracy of crack image and run time

InstanceImage numberActual numberof crack imageDetectable numberof crack imageClassified accuracy /%Run time /s
Instance 11009888.844.3
Instance 210000100.021.6
Instance 3100121083.352.7
Instance 410011981.849.1

查看所有表

表 2. 实例1中裂缝图像长度检测结果分析

Table 2. Analysis of detection results of crack image length in instance 1

Crack 1Crack 2Crack 3Crack 4Crack 5Crack 6Crack 7Crack 8Crack 9
Whether recognize classificationYesYesYesYesYesYesNoYesYes
Average width of crack /mm10.611.411.29.712.811.18.511.713.6
Actual length of crack /cm127.1139.8144.5112.3151.1132.387.6129.2160.7
Detectable length of crack /cm102.1117.6118.886.9131.6108.90110.6143.3
Detectable accuracy /%80.384.182.277.487.182.3085.689.2

查看所有表

表1表2可知,本文算法在自动分类裂缝图片时虽存在漏检现象,但其准确率在实验样例中均保持在80%以上,同等数量图片下,检测速度随存在裂缝图片数目的增加而增加。实例1中裂缝图像长度检测结果表明,其长度检测准确率普遍保持在75%以上,准确率与裂缝宽度所占像素个数、对比度特征等有关。

6 结论

针对航拍图像的复杂路面环境,提出了一种半自动检测的航拍路面裂缝识别算法。算法分为道路分割和裂缝提取2个环节。道路分割部分有效地完成了图像增强和单向道路的提取。裂缝提取部分针对路面干扰信息多以及裂缝细小、不清晰的复杂情况,对传统边缘检测算法进行形态学滤波和显著性分析,有效地去除伪裂缝干扰,分类是否存在可疑裂缝,对存在裂缝图像结合人眼辅助判断计算显示裂缝长度。结果表明,在距地67.2 m的高空,本文算法对裂缝宽度的识别精度能达到9.7 mm,裂缝图像分类准确率达到80%以上,所展示道路裂缝长度信息的准确率达到75.0%以上,具有较高的裂缝识别率及较好的实用性。本文算法的缺点是提取后的裂缝图像有少量过度腐蚀现象,对精确识别裂缝边缘长度的计算还有待进一步研究。

参考文献

[1] Panin SV, Chemezov VO, Lyubutin PS, et al. The algorithm of crack and crack tip coordinates detection in optical images during fatigue test[C]. IOP Conference Series: Materials Science and Engineering, 2017, 177: 012019.

    Panin SV, Chemezov VO, Lyubutin PS, et al. The algorithm of crack and crack tip coordinates detection in optical images during fatigue test[C]. IOP Conference Series: Materials Science and Engineering, 2017, 177: 012019.

[2] Zakeri H, Nejad F M, Fahimifar A. Rahbin: a quadcopter unmanned aerial vehicle based on a systematic image processing approach toward an automated asphalt pavement inspection[J]. Automation in Construction, 2016, 72(2): 211-235.

    Zakeri H, Nejad F M, Fahimifar A. Rahbin: a quadcopter unmanned aerial vehicle based on a systematic image processing approach toward an automated asphalt pavement inspection[J]. Automation in Construction, 2016, 72(2): 211-235.

[3] Aldea E. Hégarat-Mascle S L. Robust crack detection for unmanned aerial vehicles inspection in an a-contrario decision framework[J]. Journal of Electronic Imaging, 2015, 24(6): 061119.

    Aldea E. Hégarat-Mascle S L. Robust crack detection for unmanned aerial vehicles inspection in an a-contrario decision framework[J]. Journal of Electronic Imaging, 2015, 24(6): 061119.

[4] Lu GF, Zhao QC, Liao JG, et al. Pavement crack identification based on automatic threshold iterative method[C]. SPIE, 2016, 10322: 103221F.

    Lu GF, Zhao QC, Liao JG, et al. Pavement crack identification based on automatic threshold iterative method[C]. SPIE, 2016, 10322: 103221F.

[5] Huang J P, Liu W Y, Sun X M. A pavement crack detection method combining 2D with 3D information based on Dempster-Shafer theory[J]. Computer-Aided Civil and Infrastructure Engineering, 2014, 29(4): 299-313.

    Huang J P, Liu W Y, Sun X M. A pavement crack detection method combining 2D with 3D information based on Dempster-Shafer theory[J]. Computer-Aided Civil and Infrastructure Engineering, 2014, 29(4): 299-313.

[6] Jahanshahi M R, Masri S F, Padgett C W, et al. An innovative methodology for detection and quantification of cracks through incorporation of depth perception[J]. Machine Vision and Applications, 2013, 24(2): 227-241.

    Jahanshahi M R, Masri S F, Padgett C W, et al. An innovative methodology for detection and quantification of cracks through incorporation of depth perception[J]. Machine Vision and Applications, 2013, 24(2): 227-241.

[7] Yoo H S, Kim Y S. Development of a crack recognition algorithm from non-routed pavement images using artificial neural network and binary logistic regression[J]. KSCE Journal of Civil Engineering, 2016, 20(4): 1151-1162.

    Yoo H S, Kim Y S. Development of a crack recognition algorithm from non-routed pavement images using artificial neural network and binary logistic regression[J]. KSCE Journal of Civil Engineering, 2016, 20(4): 1151-1162.

[8] Li L, Sun L J, Ning G B, et al. Automatic pavement crack recognition based on BP neural network[J]. Promet-Traffic & Transportation, 2014, 26(1): 11-22.

    Li L, Sun L J, Ning G B, et al. Automatic pavement crack recognition based on BP neural network[J]. Promet-Traffic & Transportation, 2014, 26(1): 11-22.

[9] GochooM, BayanduurenD, KhuchitU, et al. Design and application of novel morphological filter used in vehicle detection[C]. IEEE/ACIS International Conference on Computer & Information Science, 2016, 16251790: 1- 5.

    GochooM, BayanduurenD, KhuchitU, et al. Design and application of novel morphological filter used in vehicle detection[C]. IEEE/ACIS International Conference on Computer & Information Science, 2016, 16251790: 1- 5.

[10] 牟丽, 张学武, 张卓, 等. 自然场景下的显著性检测优化方法[J]. 激光与光电子学进展, 2016, 53(12): 121501.

    牟丽, 张学武, 张卓, 等. 自然场景下的显著性检测优化方法[J]. 激光与光电子学进展, 2016, 53(12): 121501.

    Mou Li, Zhang Xuewu, Zhang Zhuo, et al. Saliency detection optimization method in natural scene[J]. Laser & Optoelectronics Progress, 2016, 53(12): 121501.

    Mou Li, Zhang Xuewu, Zhang Zhuo, et al. Saliency detection optimization method in natural scene[J]. Laser & Optoelectronics Progress, 2016, 53(12): 121501.

[11] Cheng M M, Mitra N J, Huang X L, et al. Global contrast based salient region detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015, 37(3): 569-582.

    Cheng M M, Mitra N J, Huang X L, et al. Global contrast based salient region detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015, 37(3): 569-582.

王博, 王霞, 陈飞, 贺云涛, 李文光, 刘莉. 航拍图像的路面裂缝识别[J]. 光学学报, 2017, 37(8): 0810004. Bo Wang, Xia Wang, Fei Chen, Yuntao He, Wenguang Li, Li Liu. Pavement Crack Recognition Based on Aerial Image[J]. Acta Optica Sinica, 2017, 37(8): 0810004.

本文已被 9 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!