1 引言

随着我国数字城市的快速发展及对应基础设施的不断完善与提升,用于市政工程的井盖(排水、电力、燃气、消防、通信、给水等)也逐渐增多,这导致井盖日常管理与维护的难度与工作量不断增加,并且传统人工方式的道路养护工作已无法满足现代化城市建设的需求。近年来,由于井盖破损、井盖下沉、井盖丢失等现象导致人员与车辆的损伤事件频繁发生,不仅影响了市民的出行安全,也造成了不良的社会隐患。因此,如何加强与改善市政井盖的自动化管理模式,实现井盖的自动定位与提取成为了现代化城市部件智能化管理方法与水平提升有待解决的问题之一,也是城市道路养护突破传统模式转向自动化的必经环节,更是将来数字化市政管理发展不可或缺的一部分^[1-2]。目前,最有效的方法就是采用移动测量系统(MMS)^[3-5]来完成井盖的快速检测与定位。MMS以各种可搭载工具为载体,是集激光扫描仪、惯性导航系统、全球导航定位系统、数码相机等多种传感器于一体的新一代多平台、多波段的移动信息采集系统,该系统作为获取高精度、高效率海量实景三维激光点云与影像数据的采集手段,成为城市数字化建设不可或缺的一项支撑技术,不断推动现代化城市建设与数字管理运营模式的转变,为市政井盖的自动定位与提取开辟了新的途径与方法^[6-11]。

目前,对市政井盖定位与提取的研究者还比较少。刘健华^[2]曾基于实景三维采集车获取的图像信息,结合井盖自身所具有的椭圆几何特性,采用轮廓链表及最小二乘的方法实现了井盖的快递定位提取。程莹等^[12]利用轮廓跟踪找到所有轮廓,基于轮廓过滤器进一步筛选,基于筛选结果进行Hough变换^[12-14],找到了井盖所在的待定区域。但基于影像结合井盖所具有的椭圆特性来实现井盖自动提取的方法会受到复杂场景中与椭圆具有相似特征的实际物体的影响与干扰,例如轮胎、车厢、汽车尾灯、自行车车轮等;而且,该方法直接基于影像进行检测,会受到光照、阴影等的影响,无法获取道路养护所需的井盖下沉、井圈下沉、井盖破损等井盖维护的关键性几何参数。而传统人工方式进行井盖检测与维护的方法效率低、容易遗漏、危险系数大,并且需要消耗大量的人力、物力和财力。目前还没有研究者直接采用MMS所获取的激光点云数据进行井盖的快速定位与提取,并且井盖的自动提取也是目前道路养护面临的技术难题。

本文直接基于MMS获取的三维激光点云数据来实现井盖的快速定位与提取,并结合影像数据获取与井盖相关的权属信息。本方法为井盖的自动维护与检测开辟了新的途径与方法,直接将危险系数较高、精准度较低、效率较低的传统大量外业工作转换为安全系数高、精确度较高的智能化城市井盖维护与检测。

2 MMS介绍

MMS主要由激光扫描系统、影像采集系统与定位定姿系统(POS)三大部分构成。利用该激光扫描系统可以获取高密度、高精度、海量的道路及道路走廊的激光点云数据。为了实现多角度、全方位、超高分辨率的地面影像数据,设计了如图1所示的MMS结构。地面影像采集系统分布于扫描车两侧,直接对地拍摄;为了满足夜间作业模式,在MMS上安装了闪光灯辅助影像信息采集,以在夜间获取路面的高清影像信息,并为井盖权属信息的识别提供有效依据。可见,MMS满足全天候的工作作业模式,避免了白天车辆遮挡造成的信息缺失,利用该系统可以满足道路养护、路政调查等方面的应用需求,可以获取超高分辨率的影像数据,例如井盖权属信息、井盖病害检测等。

图 1. (a)用于采集路面信息的MMS和(b)夜间作业图

Fig. 1. (a) MMS for acquiring road information and (b) work diagram at night

下载图片 查看所有图片

该系统所获取的数据包括三维激光点云数据、高精度的组合导航数据与高分辨率的影像数据。经过高精度配置之后的点云数据如图2所示。

图 2. 激光点云显示图(强度渲染效果)

Fig. 2. Laser point cloud display (effect of intensity rendering)

下载图片 查看所有图片

3 井盖的快速定位与提取方法

依据MMS可以同步获取高精度的三维点云与

超高分辨率的影像数据,井盖的快速定位与提取不仅可以以基于点云数据生成的强度特征图像为基准,还可以采用对地拍摄影像所生成的地面正射为基准进行处理,两者的处理方法一致,均采用梯度直方图(HOG)、主成分分析(PCA)与支持向量机(SVM)相结合的方法,只是数据源不同。在实际工程中,采用两种数据源分别进行提取,然后对提取结果进行融合处理和相互补充,可以进一步提高提取精度。以下均以第一种数据源为基准进行描述。三维激光点云数据用于获取井盖所在位置信息、井盖下沉、井圈下沉等几何参数,利用影像数据可以获取井盖的权属信息。基于MMS的城市井盖自动提取及识别的关键步骤包括:地面点云提取、特征图像生成、井盖快速定位提取。井盖智能化提取技术流程如图3所示。

图 3. 井盖自动定位与提取方法流程图

Fig. 3. Flow chart of automatic position and extraction method of manhole covers

下载图片 查看所有图片

3.1 地面点提取

井盖不仅分布于道路路面,还分布在人行道、花丛等相对平坦的区间,如果直接采用以往的路面信息提取算法^[3,7],依据路面坡度、点密度、高差等参数获取路面信息,人行道上的激光点就会被剔除。以往算法尽管可以获取较好的路面信息,但并不适合于井盖的提取。井盖的提取对地面点的要求不仅包括路面上的激光点集,还需要包括人行横道等相对平坦区域的激光点集。尽管路面点、人行横道等井盖所处位置具有一定的高程差,但都是相对平坦的,故本研究直接采用地面粗糙度作为提取地面点的标准,通过统计当前激光点与周围邻近激光点之间的波动趋势来衡量地面粗糙度。如果波动较小,就认为当前激光点所处位置相对平坦,否则为非平坦。其中,波动趋势与幅度直接采用当前激光点与周围邻近点之间的差值之和来衡量,如果当前点的高程差之和小于给定的阈值,则认为当前点为地面点,否则为非地面点。基于相邻扫描线间点的对应关系,地面点的提取采用移动窗口法进行处理,移动窗口由当前激光点与周围24个邻近的激光点构成的方阵组成,如图4(c)所示,红色点表示当前点,黑色点为其邻近点及邻近点所对应的邻近点。地面点提取计算公式为

∑i=0i<25ZPi-ZP0≤Δz,1

zl<ZP0<zh,(2)

式中:Z为激光点的高程值,下标P₀表示当前激光点,P_i表示周围邻近点;z_l和z_h为高程范围阈值,分别为最低高程阈值和最高高程阈值;Δz为高程差阈值。

图 4. 地面点提取。(a)扫描线分割效果;(b)扫描线局部放大图;(c)激光点组成的方阵

Fig. 4. Ground points extraction. (a) Segmentation effect of scanning line; (b) local enlarged view of the scanning line; (c) matrix of laser points

下载图片 查看所有图片

(1)式提取结果为满足一定平面粗糙度的近似平面,包括地面点、车顶平面等近似平面的点,(2)式用于限定提取平面的高程范围。

利用(1)式与(2)式进行地面点提取,车辆、行车树、行人、建筑物、植被等其他地物均被有效剔除,有效地保留了提取井盖所需要的地面点集。

3.2 地面特征图像生成

井盖的快速定位与提取是基于图像进行处理的,故需要将提取的地面点云转换为特征图像,首先获取该区域的范围值(X_min、Y_min、Z_min、X_max、Y_max、Z_max),将整个区域的地面点数据进行XOY面投影,设置格网间隔为Δ_GSD,则格网大小W×H如下:

W=(Xmax-Xmin)/ΔGSDH=(Ymax-Ymin)/ΔGSD。(3)

每个格网(i,j)的灰度属性F_ij由落在格网内激光点n_ij的平面分布、高程波动、点密度、灰度值I等相关特征共同决定,其中:平面分布特征采用反距离加权的方法进行计算,距离格网中心点的距离越近,权值越大;高程差异为扫描点距格网中所有点集高程平均值的差值,其值越小,权值越大。平面及高程的权值计算公式如下

wijkXY=2ΔGSDDijk,4

wijkH=(hminij-Zmin)/[(Zmax-hmaxij)(Zijk-Zmean)],(5)

式中: wijkXY、 wijkH分别为格网(i,j)内第k个激光点的平面权值及高程权值; Dijk为格网(i,j)内第k个激光点与格网中心的平面距离值;h_maxij、h_minij分别为格网(i,j)内激光点的最大与最小高程值; Zijk为格网(i,j)内第k个激光点的高程值;Z_mean为格网内激光点的平均高程值。

w_ijk为格网(i,j)内第k个激光点的计算权值,其表达式为

wijk=AwijkXY+BwijkH,6

A+B=1,(7)

式中:A、B分别为平面与高程的权值系数。则每个格网的灰度值由格网内每个点的强度特征值与所获取的权值来获取,计算公式为

Fij=∑k=0nij(wijkIijk)/∑k=0nijwijk,(8)

式中:I_ijk为格网(i,j)内第k个激光点的强度特征值。

最后将格网强度特征值进行归化处理统一到[0,255]灰度空间范围内,得到强度特征图像每个格网的像素值。

3.3 井盖的快速定位与检测

井盖的快速定位与检测以生成的强度特征图像为基准,采用改进的HOG^[15-17]描述子并结合PCA降维方法进行降维,采用SVM^[18-19]判别方法进行判别。井盖的快速定位与检测包括以下几个关键环节。

1) 井盖正负样本。正负样本的制作直接从3.1节中的地面特征图像中获取,正样本的制作要求井盖相对比较完整,不存在被遮挡或者数据缺失现象。由于井盖近似圆形,故剪切过程以井盖中心为基准进行相同宽度与高度的剪切,样本的数量要求比较大,可以直接对剪切之后的图片进行旋转、镜像等处理,最终将所有的样本缩放到同一尺寸。

2) 改进的HOG特征描述子。HOG特征描述子的提取包括图像校正、计算每个像素的梯度、统计每个单元的HOG、获取每个块的特征描述子。基于地面激光点获取的强度特征图像已经为灰度图像,通常采用Gamma校正方法对图像进行归一化处理,以降低局部阴影造成的影响,抑制噪音的干扰;然后将每个单元获得的HOG构成块,将块内所有的描述子进行串联,获取当前块的HOG特征描述子。实验数据采用48 pixel×48 pixel图像,每个单元为8 pixel×8 pixel,包含9个特征,每个块为16 pixel×16 pixel,包含36个特征,移动步长采用8个像素,共有1764个特征,故每个48 pixel×48 pixel图像的HOG特征向量的维度为1764维。由于井盖自身具有一定的椭圆特征,将HOG描述子与椭圆特性进行结合,可以实现更有效的快速过滤提取。当HOG描述子维度较高时会含有大量不必要的冗余数据信息,不仅会直接造成计算压力,增加计算复杂度,还会降低提取精度。本研究直接采用PCA统计方法,借助正交变换将原始变量直接转换为一系列不相关的新的随机变量,根据实际需求选择较少的几个新的向量来最大限度地表示原始向量,以达到降维的目的,并加快计算速度。

3) 将样本数据经过PCA处理之后的特征描述子放入SVM分类器中进行训练,同时利用检测子对强度特征图像进行处理,获取负样本,生成难例,结合环节2)中的特征同步进行训练,获取最终的检测子。基于训练生成的检测子采用SVM分类器即可实现井盖的快速定位与自动提取。

4) 获取井盖的外轮廓边界线。基于井盖自身所具有的近似圆的特征,融合随机抽样一致算法与Hough变换进行圆形检测^[20],获取井盖的外轮廓线。基于外轮廓线,结合激光点云数据,可以有效地获取井盖检测与维护所需的井盖高差、井圈下沉、井盖破损等有效信息。

5) 井盖权属识别。井盖依据用途可以分为电信、电力、燃气、自来水、排水等多种类型,同时井盖所属具体权属信息也各不相同。基于MMS获取的经过高精度配准之后的高分辨率影像数据为井盖权属信息的获取开辟了新途径。基于该系统获取的对地拍摄影像经过畸变纠正与几何纠正处理后可以获取地面正射影像,因此利用激光点云数据获取的井盖几何位置及轮廓信息可以自动获取到井盖对应的正射影像,基于影像数据可以采用半自动的方式采集到井盖对应的权属信息。基于MMS进行井盖的快速定位与识别,将大量、繁琐的外业工作搬至室内,并且提供高精度的井盖维护所需的具体数据,不仅转变了道路养护工作的工作模式,还为道路养护提供了有力的技术支撑。

4 实验分析

实验数据采用SSW MMS采集北京城市街道激光点云与高分辨率影像数据,其中SSW MMS可以集成不同型号的激光扫描仪与POS。在实验数据采集过程中,采用国产RTW激光扫描仪,点频为500 kHz,线频为200 Hz,距离为1~500 m,采用四回波模式,安全等级为1级,360°视场角,工作温度为-1~40 ℃。测区采集的数据存在车辆、行人等遮挡现象,通过实验分析以验证该方法的可行性与实用性。在数据采集过程中,涉及到车速的影响,在实际作业过程中,要根据项目的具体精度要求来限定车速,在保证满足精度的同时,尽量保持一定数据采集效率的情况下,获取较大的激光点密度。一般情况下,在城市内进行数据采集时的车速为40 km/h左右,在郊区进行数据采集过程中车速不超过60 km/h,具体车速要依据项目要求来定,避免因车速过快而导致激光点密度过于稀疏,影响后期数据处理的精度。由于基于MMS采集的数据存在数据量大、场景丰富等特征,故在城市井盖自动提取过程中首先需要进行地面点提取,消除非地面点干扰的同时加速计算速度。选择两条街道进行数据采集,如图5所示(顺时针旋转90°的轮廓图),道路总长3.24 km,点密度达到1800 point/m²,点总数达到4.8亿,数据中包含车辆、行车树、建筑物、隔音墙等多种地物。

图 5. 实验数据轮廓图(顺时针旋转90°)

Fig. 5. Experimental data profile (clockwise rotation of 90°)

下载图片 查看所有图片

以当前激光点与周围邻近点间的高差波动趋势作为地面粗糙度来提取地面点,利用这种方法提取地面点,提取参数具有一定的稳定性与统一性,可以直接利用同一参数对整个测区数据进行处理,避免了以往算法中直接使用与实际道路结构密切关联的点密度、坡度等参数进行判断。针对本实验数据,地面点阈值分别为0.5、0.4、0.4,选取实验数据中的一段道路[图6(a)]作为样本进行展示,其中地面点提取效果如图6(b)所示,车辆、行车树、建筑物、行人等被剔除,地面数据被有效保留。地面点的提取为城市井盖的快速定位与提取奠定了基础。基于提取的地面点,采用3.1节的方法将三维地面激光点云数据生成二维特征图像,如图6(c)所示,其中图中的强度特征图像采用的分辨率为0.2,基于强度特征图像进行井盖的快速定位与提取,结果如图6(d)所示,井盖被定位之后用绿色框进行标注。

图 6. 基于MMS的城市井盖自动提取。(a)原始点云(强度渲染);(b)地面点(强度渲染);(c)强度特征图像;(d)井盖提取结果

Fig. 6. Automatic extraction of manhole covers based on MMS. (a) Raw laser point cloud (intensity rendering); (b) ground points (intensity rendering); (c) intensity characteristics image; (d) extraction result of manhole covers

下载图片 查看所有图片

井盖提取正确个数用F_P表示,井盖提取错误个数用F_N表示,井盖遗漏个数用F_L表示,则准确率为F_P/(F_P+F_N+F_L),精确率为F_P/(F_P+F_N)。对于当前的实验数据,依据本研究所提方法进行井盖的自动定位与提取,训练样本数据中含有12888个正样本与8816个负样本,基于这些样本数据进行模型训练,训练过程中如果满足迭代次数大于5000或者误差小于1.192092896×10^-7,则迭代终止。然后基于训练好的模型对实验数据进行检测,计算结果显示,一共检测出202个井盖,遗漏检测井盖24个,错误检测个数为2。可知,井盖提取的准确率为88.495%,提取精确度为99%。通过对遗漏井盖和提取错误部分进行分析得知,提取错误的2个井盖为自行车车轮,主要是因为车轮与井盖均具有一定的椭圆特性。而遗漏的井盖则主要是因为以下两个因素:1)行车树、车辆、路栏栅、行人等遮挡导致井盖存在一定的不完整性,尤其是人行道上的井盖;2)强度分布不均匀,强度值对灰度图像的属性信息影响较大,故会直接影响井盖提取的结果。

提取之后的井盖可以配合激光点云进行相应的统计分析,计算每个井盖的相关参数(井盖破损、井盖下沉、井圈下沉等),依据计算结果可以找到对应的需要维修的井盖,如图7所示。图7(a)表示井盖周边破损,图7(b)为对应的高程放大10倍效果图。由图7可知,井盖周边出现下沉与破损现象,需要进行相应的检测与维护。同时可配合影像数据获取对应井盖的纹理信息,如图8所示。图8(a)表示通过井盖定位获取配准的影像数据,以及基于井盖所对应的正射影像获取对应的属性信息。为了对井盖实现结构化管理,每个井盖均具有一系列的属性信息,如图8(b)所示。

图 7. 井盖破损示例效果图。(a)原始图;(b)放大10倍效果图

Fig. 7. Manhole cover damage example effect pictures. (a) Original picture; (b) effect picture by enlarging ten times

下载图片 查看所有图片

图 8. 井盖权属信息获取。(a)点云与影像对应效果图;(b)井盖的属性信息表

Fig. 8. Manhole cover ownership information acquisition. (a) Point cloud and image corresponding effect picture; (b) attribute information table of manhole cover

下载图片 查看所有图片

为实现道路养护集团对道路井盖维护与检测的需求,基于本研究所述方法采用SSW移动测量扫描系统对北京市城市井盖进行提取与检测,并与文献[ 2]中的方法对比,结果表明:直接结合三维点云进行提取,有效避免了光照、阴影的影响,并且可以获取道路养护中井盖检测所需的检测参数;由于本方法首先进行非地面点剔除,有效地避免了轮胎、车轮、汽车尾灯等具有椭圆特性的相似地物的干扰,可将传统人工方式检测转变为安全系数较高、智能化、高可靠性的自动提取与检测。

5 结论

面对传统道路养护方式的不足,直接采用MMS获取道路激光点云数据与影像数据,通过将地面激光点转换为特征图像,基于改进的HOG算法、PCA及SVM分类器实现井盖的快速定位与提取,以获取道路养护所需的几何参数信息与属性信息。结合实际采集数据对该方法进行验证、分析后可知,利用该方法进行井盖自动定位与提取,其准确度与精确度均较高,其中准确率可达到88.495%,精确度为99%。该方法已得到了实际应用,对北京市所有道路均进行了井盖自动定位提取处理;该方法转变了人工道路养护的传统工作模式,进一步推动了城市部件的智能化管理。

尽管该方法对城市井盖的快速定位与提取取得了较好的实验结果与实际验证,但该方法还有几方面有待于进一步提高与改进:1)为提高井盖提取的计算速度,可通过协同云计算进行提速,目前正在基于云计算进行加速提取计算;2)白天数据采集中的车辆、自行车、树等地物会直接导致采集数据存在遮挡现象,从而使得部分井盖存在不完整性,这将会直接影响提取结果,故应尽量在车辆较少的时间段采集数据或者直接采用夜间模式进行采集,可在避开车辆、行人遮挡的同时提高提取的精确度;3)目前井盖权属信息采用半自动的方式进行获取,后期考虑结合深度学习的方式来实现井盖权属信息的全自动获取,这也是目前正在努力的方向。