基于覆盖路径弧的无人机桥梁激光扫描路径规划 下载: 811次
1 引言
桥梁周期检查是桥梁维护不可或缺的环节,也是交通安全的重要保证。中国国土面积广大,地形复杂,桥梁往往承载着较为重要的交通任务。因此,恶劣地形环境下桥梁检查困难成为亟待解决的问题。
目前,应用于桥梁检查的主要方式为人工目视检查,该方式需要庞大的脚架和防护装备,这在交通不畅的地区难以实现,况且依靠人工的检查方式不仅存在危险,也不能保证检查结果可靠[1]。无人机造价低廉,在三维空间中灵活度高,以其机载传感器和智能算法在人类难以参与或不可能参与的环境中被广泛应用,如环境监测[2]、勘探[3]、搜救[4]、巡检[5]、农林[6]等。2007年Metni等[7]提出了运用无人机进行桥梁检查的概念,随着研究人员对光学传感器在空间定位[8]、轮廓遥感[9]、表面检测[10]等方面应用的深入研究,无人机群搭载光学传感器进行桥梁检查逐渐成为当前研究与应用的热点。覆盖路径规划(CPP)是桥梁检查过程的重要步骤,要求无人机能够在复杂的三维桥梁上空自主规划出一条可以完全覆盖桥表面最优的航线,本质上讲,CPP问题是一个具有约束和巨大搜索空间的复杂优化问题。
目前,搜索空间庞大、寻优收敛缓慢仍然是解决CPP问题的关键难点。对此,国内外学者提出了不同的解决方案,彭辉等[11]在2007年针对多无人驾驶飞机(UAV)协同区域覆盖问题进行了相关研究,采用多无人机任务区和完全覆盖分解的办法,在多边形区域得出覆盖路径。陈海等[12]于2010年证明无人机覆盖路径规划中能耗与转弯次数成正比,并在之后提出了一种基于凸多边形区域覆盖算法,该方法将凸多边形区域覆盖规划问题转化为凸多边形宽度求解问题[13-14],并于2016年提出以转弯次数最少作为评价指标的覆盖方法,该方法基于任务性能评价函数和子区域宽度的任务划分方法,在多边形区域中得出无人机协同最优路径[15];Pham等[16]提出一种根据有无障碍物的区域分解方法,在无障碍区域规划完毕后采用旅行商问题(TSP)模型和遗传算法得到覆盖区域最优路径。
以上研究通常基于平面覆盖路径规划,相对于二维CPP问题,三维CPP规划的运算复杂度和数据量急剧增加,庞大的工作空间致使其寻优速度相对于二维寻优低得多,寻优结果往往也不尽人意,对此,许多学者基于不同的三维CPP规划背景进行了研究,Cheng等[17]针对城市覆盖路径规划问题将建筑建模为简单的三维体,如球体、圆柱体,通过规划简单立方体获得最优路径;Bircher等[18]基于体素建模产生考虑传感器和相机角度的视点集,借助旅行商问题(TSP)模型求解完整路径;Dogru等[19]考虑了除障碍以外的地形因素,利用遗传算法优化能耗,从而得到规划路径;Hameed等[20]采用无人机改变姿态的方法解决了因将二维规划结果投影至三维空间造成的跳跃重叠问题,通过扩展“种子”曲线得到最终的规划路径。Phung等[21]基于图论和体素视点模型,设计新型增强粒子群算法(ESPO)迭代机制,并使用图形处理器(GPU)加速获得建筑遍历最优路径;Mansouri等[22]提出了一种基于空间切片模型的建筑建模方法,利用凸包线代替必经航迹,逐层跟随凸包线航迹得到规划路径;陈影等[23]将空间切片想法应用于激光熔覆过程,实现了对逆向扫描点云的路径规划。
虽然CPP问题近年来得到了研究者们的广泛关注,但研究人员在解决超大型体积对象的CPP问题的过程中面临搜索空间缩减有限、没有较为优质的通用模型的问题。Mansouri等[22]虽然提出了建筑遍历建模的基础方法,但是对于带有水平面遍历任务的建筑,没有提出良好的解决方案,在多种建筑形状下不能够保证遍历的有效性且没有建立配套的优化模型。
针对上述问题,考虑到桥梁形状的复杂性,为使系统全面地对各类桥梁进行建模、保证无人机Agent顺利完成遍历检查任务,本文将CPP问题分为建模和求解两部分:1) 受到Mansouri等[22]的启发,在原有理论基础上提出一种建筑通用遍历建模方法;2) 根据模型改进任务分配和路径规划算法,完成最终路径规划。
2 协同覆盖路径规划模型
本节对无人机群桥梁检查问题进行数学建模。无人机群搭载深度相机和激光雷达,对桥梁进行基于实时地图构建(SLAM)的三维点云数据采集,获得桥梁点云模型后执行桥梁遍历路径规划任务。任务目标是在满足性能约束的前提下为无人机群系统(U={u1,u2,…,uN},其中N为无人机数量)规划出一组合理的全覆盖平滑路径点序列集P={P1,P2,…,PN},并使得无人机群系统总用时min C=max(CU),其中CU表示无人机群每个个体用时集合,两路径点之间的最大距离D受搭载激光扫描覆盖范围限制。
2.1 问题分析
文献[
22]介绍了三维点云切片模型的详细步骤,如
图 1. 点云切片模型建模与缺陷。(a)切片;(b)交叉;(c)聚类与凸包
Fig. 1. Modeling and defects of point cloud slice model. (a) Slicing; (b) intersection; (c) clustering and convex hull
2.2 补充平面建立
补充平面Αcomp的建立分为视点补充和上下层筛选两个部分,如
2.3 初始化弧集
弧集定义为Larc={Larc,1,Larc,2,…,Larc,M},Larc,m是三维空间中的弧,m={1,2,…,M},凸包集H是三维空间中的闭合曲线集,利用凸包线分割、构建弧集。无人机跟随凸包线时,必须要考虑进入凸包和离开凸包的点,即凸包的穿入点Pin和穿出点Pout,一种较为理想的方案是根据凸包贪婪原则确定Pin和Pout作为凸包层间分割为弧的端点;补充平面中视点构建弧集,如
式中:i,j={1,2,…,Q};
2.4 弧集拆分
初始弧集利用Pin和Pout作为弧的端点进行分割得到,Larc中弧跨越空间距离并不均匀,N=1时,所有Larc由单个Agent执行,问题仅考虑Agent最优路径规划即可完成规划任务;N>1时,必须考虑Larc元素合理分配的问题,即弧集可根据Agent数量拆分为均匀元素,如
2.5 广义多旅行商(GMTSP)模型
弧集构建将原遍历路径规划问题转化为弧集Larc元素顺序组合优化问题,基于经典GTSP(generalized traveling salesman problem)[25],桥梁检查路径规划问题可描述为:任务由Agent系统合作完成,定义任务集OTask=Larc,
设p1,p2⊂Pin/out,定义旅行花费C如下:
式中:L(·)表示(·)点所在弧;☉表示同或运算。
至此,GMTSP模型建立完成,只需分配每个Agent的任务节点集,并分别计算每个Agent哈密顿回路即可获得路径,下面介绍任务分配和路径生成方式。
3 检查路径生成
本节根据建立的GMTSP模型,通过拆分联合一致性束算法(SC-CBBA)分配每个Agent任务集,利用聚类特性增长环自组织映射(CRSOM)生成最终路径序列。
3.1 SC-CBBA
CBBA于2009年由麻省理工学院的Choi等[26]提出,主要用于多智能体任务分配决策过程,算法主要思想有两部分:1)针对智能体建立任务束集,这个过程是贪婪的;2)利用一致性算法对所有任务束集冲突进行消解。CBBA主要考虑每个任务仅由单一智能体完成,在实际任务场景下具有一定的局限性。本文将CBBA扩展为SC-CBBA,由于文章篇幅所限,这里仅介绍算法扩展部分,详细算法可参考孙家广等[24]的研究。
SC-CBBA中,每个Agent将参与决策,定义无人机系统U={u1,u2,…,uN}为决策者;Larc={Larc,1,Larc,2,…,Larc,M}为原始任务集合,定义T为工作任务集合,与CBBA不同,SC-CBBA任务集T由Larc任务集拆分和扩展所得,定义任务集邻接矩阵AT用于描述任务之间是否由Larc,m拆分所得,元素AT(k,L)可表示为
式中:L[T(k)]表示T中第k个工作任务属于原始任务集Larc中的元素;k,L={1,2,…,T'},T'表示T中的任务数。
下面给出SC-CBBA在桥梁检查中的任务分配过程:
1) 计算T,按照任务量拆分原始任务集Larc,更新工作任务集T,更新任务集邻接矩阵AT:
式中:初始T=Ø;n表示迭代次数;q(n)表示n代原始任务集索引,q(0)=1;T⊕{·}表示添加任务{·}至集合T;Larc,q为任务拆分间距。
2) 计算ui选择任务T(k)的边际得分cik(Pi)。
3) 确定ui待竞拍任务,以确定T(k)是否待拍:
式中:hik=1表示第i个无人机竞拍到任务集中第k个任务,hik=0表示没有获拍;yik表示目前ui对T(k)的最高出价。
4) 求得得分最高任务T(k*)与最大得分任务执行位置
其中
式中:Pi表示ui执行T(k)的贪婪路径序列;
5) 如果cik<0,则退出,否则继续执行。
6) 更新任务束集bi与路径集Pi:
7) 与存在通信链路的邻近Agent通信交换任务T(k*)、获胜者出价
8) 根据AT矩阵将束集bi任务联合:
式中:k=1,2,…,|bi|-1;[T(·)⊕T(·)]表示任务联合成为同一任务。
3.2 聚类特性增长环自组织映射网络路径规划
任务分配完成后,将弧集元素分配至各无人机Larc=
不同于传统的SOM,增长环自组织映射(RSOM)拥有可增长的输出层,与传统SOM相比,RSOM可以自适应地确定输出层节点数量。但RSOM对于GTSP仍具有局限性,本文基于RSOM算法[27],通过引入聚类特性,提出一种新的CRSOM,与RSOM不同,CRSOM神经元的自组织、自适应机制将映射至同类的多个节点。
基于欧氏距离竞争的获胜神经元可表示为
式中:J表示输出层神经元总数;A表示输入层同类节点的聚类中心;t表示时间变量;Wj(t)表示t时刻的输出层权值。获胜神经元和邻域神经元的修正强度函数为高斯函数,即
式中:dj,X(A)为获胜神经元X(A)与神经元j的欧氏距离;σ(t)的大小与获胜神经元对邻域神经元影响的大小相关,σ(t)越大,获胜神经元对邻域神经元的影响越大。神经元权值修正方式为
式中:η(t)表示学习率。CRSOM继承了RSOM算法的增长特性,增长公式为
式中:J(t)为t时刻输出层神经元数量。为保证算法的收敛性,σ(t)与η(t)将随时间不断减小:
式中:σ0为获胜神经元对邻域影响系数的初值;η0为学习率初值;τ1为常数,与获胜神经元影响系数的衰减速度相关,τ1越大则影响系数的衰减速度越慢;τ2为常数,与学习率衰减速度相关,τ2越大则学习率衰减速度越慢; Δt为离散时间间隔。算法收敛后,可得出最终路径。
4 仿真
本节给出了算法仿真以验证本文算法的有效性。所有仿真在Matlab R2019b中进行,计算机环境配置为CPU Intel(R) Core(TM) i7-4710HQ CPU @2.5 GHz,内存为12 GB,操作系统为Windows 10。
4.1 弧集建立仿真
本仿真采用桥梁表面蒙特卡罗采样的稀疏数据点作为SLAM先验点云数据,首先构建点云切片模型,取激光覆盖范围的最大宽度D=5 m,弧集构建如
图 5. 覆盖路径弧模型建模结果。(a)点云切片建模; (b)增加补充平面弧
Fig. 5. Modeling results of covering path arc model. (a) Point cloud slice modeling; (b) adding supplementary arc
为进一步验证覆盖路径弧模型在桥梁检查路径规划中的性能,对比覆盖路径弧模型与单元分解模型[21]在D为3,4,5 m的情况下的建模时间和搜索复杂度,定义搜索空间复杂度Os=(Q-1)!/2,其中Q表示N=1时任务序列长度。同一对比实验进行3次,以保证结果的可靠性。单元分解模型建模结果如
图 6. 单元分解模型建模结果。 (a) 视点;(b) 视点通路
Fig. 6. Unit decomposition model modeling results. (a) Viewpoint; (b) Viewpoint pathway
表 1. 建模对比实验统计表
Table 1. Statistical table of modeling comparison experiment
|
弧集建立后,为每个无人机均匀分配任务,以验证SC-CBBA的有效性,分别假设无人机数量N=3,4,5,6进行任务分配。
如
图 7. 任务分配结果。 (a) N=3;(b) N=4;(c) N=5;(d) N=6
Fig. 7. Task assignment results. (a) N=3; (b) N=4; (c) N=5; (d) N=6
为进一步说明SC-CBBA解决不同均匀程度任务集的任务分配性能,定义任务分配均匀性评价指标E:
式中:
在N=2,3,4,5,6,7,8,9,10、不同均匀程度任务集情况下对SC-CBBA与CBBA的任务分配性能进行分析。将以补充矩形平面中视点较少的方向作为补充弧平行方向生成的补充弧称为短边化弧模型,将短边化弧模型生成弧集定义为任务集均匀程度高,反之,将以补充矩形平面中视点较多的方向作为补充弧平行方向生成的补充弧称为长边化弧,将长边化弧模型生成弧集定义为任务集均匀程度低。对比结果如
图 8. 分配均匀程度对比图。(a) 任务集均匀程度高;(b) 任务集均匀程度低
Fig. 8. Comparison of allocation uniformity. (a) Task set with high uniformity; (b) task set with low uniformity
4.2 CRSOM算法仿真
为验证CRSOM的可行性,本节给出算例TSPLIB标准库仿真,实验采用库函数集合模拟GTSP。根据数据集城市数量选取9个数据集(att48、eil101、ch150、d198、rand200、gil262、a280、lin318、pcb442),其中城市数量为偶数的数据集将所有城市每2个城市为1组进行分组聚类,模拟城市群输出优化路径序列。城市数量为奇数的数据集将数据集中某城市随机复制,将数据集扩展成城市数为偶数的数据集,然后将扩展后的数据集每2个城市为1组进行分组聚类,模拟城市群输出优化路径序列。
图 9. CRSOM规划结果。(a) att48; (b) eil101; (c) ch150; (d) d198; (e) rand200; (f) gil262; (g) a280; (h) lin318; (i) pcb442
Fig. 9. CRSOM planning results. (a) att48; (b) eil101; (c) ch150; (d) d198; (e) rand200; (f) gil262; (g) a280; (h) lin318; (i) pcb442
图 10. 规划路径结果。(a) N=3;(b) N=4;(c) N=5;(d) N=6
Fig. 10. Planning path results. (a) N=3; (b) N=4; (c) N=5; (d) N=6
为进一步评估CRSOM在桥梁检查路径规划中的性能,在相同数据集下将CRSOM算法与遗传算法(GA)、粒子群算法(PSO)和蚁群算法(ACO)进行对比。为保证实验的可靠性,进行20次蒙特卡罗仿真并求取均值,以此验证CRSOM解决GTSP的可靠性。统计结果如
表 2. CRSOM蒙特卡罗实验结果
Table 2. Experimental results of CRSOM Monte Carlo
|
4.3 桥梁覆盖路径规划仿真
为验证本文方法在工程应用中的有效性,以SC-CBBA分配的桥梁覆盖弧集为对象,使用CRSOM算法为路径规划算法,在N=3,4,5,6情况下仿真得到的最终路径如
图 11. 无人机数量与系统完成任务时间的变化关系
Fig. 11. Relationship between number of agents and task completion time of system
5 结论
提出了一种适用于多无人机参与大型桥梁检查的路径规划方法,对多无人机桥梁检查覆盖路径规划问题中桥梁环境建模、任务分配机制和路径序列规划三部分提出了如下改进:
1) 基于点云切片想法,利用补偿视点与弧长法进行快速筛选,提出了覆盖路径弧模型,将桥梁覆盖路径规划问题建模为以弧为节点的广义多旅行商问题,仿真结果表明,相对于点云切片模型和传统单元分解模型,覆盖路径弧模型解决了点云切片建模不适用于水平面建筑的问题,并有效降低了寻优复杂度。
2) 提出SC-CBBA,改进CBBA,设计任务拆分合并机制,仿真结果表明,相对于CBBA,SC-CBBA对任务集均匀程度要求低,解决多种任务集时有着更为稳定的性能。
3) 对RSOM算法增加聚类特性,以求解广义旅行商节点的覆盖弧路径序列。仿真结果表明,所提出的方法能够为无人机团队快速规划出满意的路径序列,这保证了在桥梁表面的100%覆盖情况下缩小算法搜索空间、提高路径求解速度、减少计算资源消耗。分析了不同无人机数量的分配结果,并验证了在无人机数量增多时系统运行时间减少。
[1] Phares B, Rolander D D, Graybeal B A, et al. Reliability of visual bridge inspection[J]. Public Roads, 2001, 64(5): 22-29.
[2] 张冬晓, 陈亚洲, 程二威, 等. 适用于无人机数据链电磁干扰自适应的环境监测系统[J]. 高电压技术, 2020, 46(6): 2106-2113.
Zhang D X, Chen Y Z, Cheng E W, et al. Environmental monitoring system suitable for electromagnetic interference adaptation of UAV's datalink[J]. High Voltage Engineering, 2020, 46(6): 2106-2113.
[3] Jakob S, Zimmermann R, Gloaguen R. The need for accurate geometric and radiometric corrections of drone-borne hyperspectral data for mineral exploration: MEPHySTo: a toolbox for pre-processing drone-borne hyperspectral data[J]. Remote Sensing, 2017, 9(1): 88.
[4] DangT, MascarichF, KhattakS, et al.Autonomous search for underground mine rescue using aerial robots[C] //2020 IEEE Aerospace Conference, March 7-14, 2020, Big Sky, MT, USA.New York: IEEE Press, 2020: 1- 8.
[5] 韩建峰, 张妍. 基于无人机航拍路面的拼接算法研究[J]. 激光与光电子学进展, 2020, 57(20): 201003.
[6] 滕文秀, 温小荣, 王妮, 等. 基于深度迁移学习的无人机高分影像树种分类与制图[J]. 激光与光电子学进展, 2019, 56(7): 072801.
[7] Metni N, Hamel T. A UAV for bridge inspection: visual servoing control law with orientation limits[J]. Automation in Construction, 2007, 17(1): 3-10.
[8] 林嘉睿, 徐鑫, 任永杰, 等. 室内空间测量定位系统扫描激光面模型优化[J]. 光学学报, 2019, 39(3): 0315002.
[9] 常京新, 王双喜, 杨元维, 等. 高分遥感影像建筑物轮廓的逐级优化方法[J]. 中国激光, 2020, 47(10): 1010002.
[10] 谷艳红, 张振振, 高先和, 等. 激光超声结合电磁超声在铝板无损检测中的应用研究[J]. 中国激光, 2020, 47(5): 0504002.
[11] 彭辉, 沈林成, 霍霄华. 多UAV协同区域覆盖搜索研究[J]. 系统仿真学报, 2007, 19(11): 2472-2476.
Peng H, Shen L C, Huo X H. Research on multiple UAV cooperative area coverage searching[J]. Journal of System Simulation, 2007, 19(11): 2472-2476.
[12] 陈海, 王新民, 焦裕松, 等. 无人机覆盖路径规划中转弯机动的运动学分析[J]. 飞行力学, 2010, 28(2): 31-34.
Chen H, Wang X M, Jiao Y S, et al. Kinematics analysis of UAV turning motion in coverage path planning[J]. Flight Dynamics, 2010, 28(2): 31-34.
[13] 陈海, 王新民, 焦裕松, 等. 一种凸多边形区域的无人机覆盖航迹规划算法[J]. 航空学报, 2010, 31(9): 1802-1808.
Chen H, Wang X M, Jiao Y S, et al. An algorithm of coverage flight path planning for UAVs in convex polygon areas[J]. Acta Aeronautica et Astronautica Sinica, 2010, 31(9): 1802-1808.
[14] Li Y, Chen H, Er M J, et al. Coverage path planning for UAVs based on enhanced exact cellular decomposition method[J]. Mechatronics, 2011, 21(5): 876-885.
[15] 陈海, 何开锋, 钱炜祺. 多无人机协同覆盖路径规划[J]. 航空学报, 2016, 37(3): 928-935.
Chen H, He K F, Qian W Q. Cooperative coverage path planning for multiple UAVs[J]. Acta Aeronautica et Astronautica Sinica, 2016, 37(3): 928-935.
[16] Pham TH, BestaouiY, MammarS. Aerial robot coverage path planning approach with concave obstacles in precision agriculture[C] //2017 Workshop on Research, Education and Development of Unmanned Aerial Systems (RED-UAS), October 3-5, 2017, Sweden.New York: IEEE Press, 2017: 43- 48.
[17] ChengP, KellerJ, KumarV. Time-optimal UAV trajectory planning for 3D urban structure coverage[C] //2008 IEEE/RSJ International Conference on Intelligent Robots and Systems, September 22-26, 2008, Nice, France.New York: IEEE Press, 2008: 2750- 2757.
[18] Bircher A, Kamel M, Alexis K, et al. Three-dimensional coverage path planning via viewpoint resampling and tour optimization for aerial robots[J]. Autonomous Robots, 2016, 40(6): 1059-1078.
[19] DogruS, MarquesL. Energy efficient coverage path planning for autonomous mobile robots on 3D terrain[C] //2015 IEEE International Conference on Autonomous Robot Systems and Competitions, April 8-10, 2015, Vila Real, Portugal.New York: IEEE Press, 2015: 118- 123.
[20] Hameed I A, la Cour-Harbo A, Osen O L. Side-to-side 3D coverage path planning approach for agricultural robots to minimize skip/overlap areas between swaths[J]. Robotics and Autonomous Systems, 2016, 76: 36-45.
[21] Phung M D, Quach C H, Dinh T H, et al. Enhanced discrete particle swarm optimization path planning for UAV vision-based surface inspection[J]. Automation in Construction, 2017, 81: 25-33.
[22] Mansouri S S, Kanellakis C, Fresk E, et al. Cooperative coverage path planning for visual inspection[J]. Control Engineering Practice, 2018, 74: 118-131.
[23] 陈影, 孙文磊, 黄勇, 等. 激光熔覆曲面零件再制造的机器人路径规划[J]. 中国激光, 2017, 44(5): 0502001.
[24] 孙家广, 胡事民. 计算机图形学基础教程[M]. 2版. 北京: 清华大学出版社, 2009: 49- 51.
Sun JG, Hu SM. Basic course of computer graphics[M]. 2nd ed. Beijing: Tsinghua University Press, 2009: 49- 51.
[25] Gendreau M, Laporte G, Semet F. A branch-and-cut algorithm for the undirected selective traveling salesman problem[J]. Networks, 1998, 32(4): 263-273.
[26] Choi H L, Brunet L, How J P. Consensus-based decentralized auctions for robust task allocation[J]. IEEE Transactions on Robotics, 2009, 25(4): 912-926.
[27] SasamuraH, OhtaR, SaitoT. A simple learning algorithm for growing ring SOM and its application to TSP[C] //Proceedings of the 9th International Conference on Neural Information Processing, 2002. ICONIP'02, November 18-22, 2002, Singapore, Singapore.New York: IEEE Press, 2002: 1287- 1290.
Article Outline
刘春磊, 张宏立, 王聪. 基于覆盖路径弧的无人机桥梁激光扫描路径规划[J]. 激光与光电子学进展, 2021, 58(8): 0828003. Chunlei Liu, Hongli Zhang, Cong Wang. UAV Bridge Laser Scanning Path Planning Based on Coverage Path Arcs[J]. Laser & Optoelectronics Progress, 2021, 58(8): 0828003.