基于激光雷达数据的火星表面障碍物识别
1 引言
深空探测,对于人类研究太阳系和银河系的发展和构造,以及为人类探索整个宇宙的奥秘都具有重要意义[1-2]。火星作为太阳系最具生命潜力的星球,与地球存在诸多相似之处,研究火星的起源、演化以及火星与类地行星的相同特征,对地球和太阳系的演化与发展,以及人类可持续发展等问题意义重大[3],已成为本世纪各国深空探测的重要内容[4]。自上世纪60年代以来,人们已经经历过40多次的火星探测,按照探测手段,可分为飞越探测、轨道器、着陆器和火星车四个阶段。自2016年1月11日,我国正式批复火星探测任务以来,已先后发射“天问一号”探测卫星[5]和“祝融号”火星车[6],在扩大火星表面精细探测范围、克服探测器着陆精度、探索地外生命以及精细探测科学家感兴趣区域和目标方面,火星车发挥着重要作用。火星车的环境感知能力是其进行智能移动和探测的基础[7],环境感知能力包括地形分析、障碍物监测、目标识别等,而障碍物监测是环境感知中的一个重要方面,障碍物监测能力直接决定了火星车工作能力和安全性。针对地球、月球和火星等行星的移动车体障碍物识别与定位以传统的立体视觉相机为主,后来也有引入TOF相机、激光雷达、毫米波等技术进行障碍物辅助识别[8-11]。目前,应用于火星车等深空巡视探测定位的方法主要包括地球敏感期或星敏感期测量技术、甚长基线干涉测量技术、甚高频多普勒跟踪技术、基于轨道影像控制点信息的图像定位技术、基于图像和里程计组合定位技术、基于惯导与里程计的组合导航技术以及图像光束法平差等[8-16]。在一些复杂多变的未知场景中,当火星车无法利用现有感知手段获取足够信息时,往往需要依赖其他三维定位数据进行自主移动。近年来,激光雷达作为一种新兴的传感器,逐渐随着无人车发展起来[17-19],相对于其他类型的传感器,例如毫米波雷达、相机等,激光雷达具有较强的环境适应能力、较高的测量精度、较多的环境信息及较小的数据量等特点,被逐步用于无人车[20]、道路信息监测[21]及足式机器人[22]等领域。
对于火星车而言,火星表面的主要障碍物为岩石、凹坑、陡坡和其他探测器。本文以岩石和其他探测器主要障碍物为目标,在火星表面模拟场景下,利用地面激光雷达模拟火星车扫描数据,对火星表面障碍物识别方法进行初步研究,在分析激光反射强度理论的基础上,构建激光雷达强度值与目标特征的反射关系,通过大津法自动求取全局阈值,自引入基于八叉树叶节点的连通性聚类,实现火星表面障碍物点云的识别。
2 基于激光雷达数据的火星表面障碍物识别方法
2.1 激光反射强度理论分析
激光雷达点云一般包括三维位置X,Y,Z和反射强度(intensity, I)信息,对于每一个点Di,其数据格式为
激光雷达的强度值I表示激光雷达接收到的待测目标反射的回波功率,该回波功率经过以下一系列处理:光电信号转换、信号放大、信号修正、信号数字化等,会得到一个离散的整数数值,并返回给用户[23]。对于同轴扩展目标,可表示为[24]
式中:
在激光雷达信号转换过程中,假定用函数h来表征复杂的信号转换过程,则激光雷达所获得的待测目标的反射强度I可表示为
式(2)中的数据点通常将待测目标视为余弦朗伯体,而真实情况中,待测目标点往往与余弦朗伯体有所偏离,且在激光雷达扫描强度处理和校正的过程中,扫描距离所呈现的平方反比变化规律也不一定严格成立,因此,可将式(2)改写为
式中:K表示激光雷达的系统参数与待测点目标的反射系数二者之间的乘积,代表了待测目标点所具有的激光反射能力;g(θ)为激光雷达的角度因子,表征待测目标点反射的回波能量在空间中的分布情况;f(R)为激光雷达的距离因子,表征待测目标点的反射强度与激光和待测点之间距离的关系。
联合式(3)和式(4),待测点的反射强度可进一步表示为
通过激光雷达回波反射信号的转换函数h以及激光雷达的距离和角度因子等参数,进而可建立激光雷达反射强度与待测目标点之间的反射关系。对于火星车而言,由于火星表面包含土质沙子这样的非障碍物地表以及岩石等障碍物,二者具有明显的反射强度差异。因此,只要确定合适的反射强度阈值,可实现石块等障碍物的初步获取。
2.2 激光反射强度补偿
由于激光雷达点云的反射强度随着角度和距离的增大会出现一定的衰减,这对于后续直接利用反射强度进行材质鉴别是有影响的。为了消除距离和角度对强度的影响,本文根据强度值和点云到发射器之间的距离和角度进行补偿。由于识别的主要是传感器前方25 m范围以内的障碍物,跟参考文献[25]中的情景比较雷同。在参考文献[25]中,对于5 m~10 m~20 m的范围,将强度与距离和角度的关系进行了补偿研究。因此,本文的补偿参考其强度与距离、角度之间的经验关系:
其中:
这样通过预处理,得到的理想点云强度更加符合物体表面反射特性,为后续大律法分类做好铺垫。
2.3 Otsu法反射强度阈值自适应计算
本文提出的基于激光雷达数据的火星表面障碍物识别包含的关键内容之一为反射强度阈值的选取,而反射强度阈值的选取则能最大限度发挥障碍物和非障碍物点云反射强度值差异的优势。为了增强数据处理过程中的自动化程度,使得数据处理阈值的选取根据火星车探测的场景具有自适应性,本文选取Otsu阈值法进行反射强度阈值的确定,该方法为1979年由日本学者大津之(Nobuyuki Otsu)提出的一种自适应阈值确定方法,该算法属于全局阈值选取方法,通过类间方差最大可避免分割时的错分和漏分现象。具体步骤为:在处理图像时,利用灰度值,通过阈值将图像分为背景和目标两部分,如果背景和目标的类间方差越大,则表示图像中这两部分的差异也越大;当图像中部分背景和目标出现错分现象时,二者之间的类间方差会变小。在进行激光雷达点云的火星表面障碍物点云阈值计算时,需要对基于图像的Otsu方法进行重构,以满足激光雷达点云的火星表面障碍物点云阈值自动计算[26]。
针对激光雷达点云的火星表面障碍物点云阈值计算时,首先需要计算不同的差异反射强度值数量以及反射强度值占总反射强度值的比例,假定场景中的激光点云数量为N,可得到N个反射强度值,其中,包含L个完全不同的反射强度值
设发射强度值分割阈值为
其中:
其中:
则障碍物点云和非障碍物点云的类间方差为
经过以上的计算,便可获得基于激光雷达数据的火星表面障碍物反射强度的阈值
2.4 曲率筛选
对于有的较大岩石,可能是平铺在火星地表,Otsu法会把这样的点云识别为障碍物点云。然而,这样的岩石并不会阻碍火星车的行进。因此,本文采取曲率几何特征约束对已经分类的点云进行进一步筛选。高斯曲率是一种描述点云邻域范围内所构成曲面的弯曲程度[27]。曲率越小,表明此处点云越平坦;曲率越大,表明此处点云越弯曲,为障碍物岩石的可能性越大。因此,通过曲率计算和筛选,平铺在火星地表的障碍物会被自动剔除。
2.5 基于八叉树叶节点的连通性聚类
对于经过曲率筛选后得到的火星表面障碍物点,引入八叉树空间剖分方法[28],如
图 1. 障碍物点云空间八叉树剖分示意图
Fig. 1. Diagram of the obstacle point cloud octree-based space division
之后,从八叉树分裂得到的任一个子节点开始,对该子节点周围的子节点进行索引,如果相邻的子节点同时都包含有点云数据,则表明它们内部包含的点云属于同一类别,进行八叉树叶节点合并。按照上述八叉树叶节点合并规则,对所有的子节点进行搜索合并,直到所有的子节点搜索完毕为止,此时,具有空间上邻近且连通的障碍物点云会被聚类到不同的单元,作为火星表面障碍物识别结果。
3 基于激光雷达数据的火星表面障碍物识别实验
3.1 实验数据介绍
为了验证方法的有效性,建立火星表面模拟场,模拟场尺寸为22 m×16 m,模拟场主要由沙子堆积,分布着散落的岩石和其他车体探测器,同时还有高低起伏的地形以及人工挖开的凹坑。采用德国Z+F 5016三维激光扫描仪获取模拟场景的点云,点云间隔5 mm,共得到6557915个点,如
图 2. 实验数据。(a) 二维场景图; (b) 三维点云; (c) 高程渲染
Fig. 2. Experimental dataset. (a) Two-dimensional scene diagram; (b) Three-dimensional point cloud; (c) Elevation rendering
3.2 实验过程及结果
基于上述所提出的火星表面障碍物点云识别方法,首先利用反射强度补偿方法,对原始采集到的点云进行以距离和角度为自变量的强度补偿改正,得到理想的点云信息。然后利用Python语言,定义反射强度阈值计算函数Otsu(I),引入math、Counter、laspy、numpy等Python语言扩展程序库,编写程序对预处理后的点云进行基于激光雷达数据的火星表面障碍物提取实验,构建激光雷达强度值与目标特征的反射关系,得到的6557915个反射强度直方图如
通过大津法自动求取全局阈值,自适应地将火星表面点云分类为障碍物点云和非障碍物点云,通过Otsu法计算实验区点云的反射强度阈值,得到的实验区点云的反射强度阈值为393216,将大于该阈值的点的分类信息写为障碍物(蓝色表示),小于该阈值的点分类信息写为非障碍物,然后利用曲率过滤条件进行筛选。将曲率小于0.04的障碍物进行剔除,保留曲率大于0.04的障碍物点云,得到最终的障碍物点云提取结果如
图 4. 实验区障碍物点云分类结果(俯视图)
Fig. 4. Obstacle point cloud classification results in the experimental area (vertical view)
依据2.4节描述的基于八叉树叶节点连通性的障碍物点云聚类识别方法,将八叉树叶子节点的深度阈值设置为8,每个叶节点所包含的最少点的数量阈值设置为10,将实验数据的障碍物进行聚类识别,共得到156个聚类结果,如
图 5. 实验区障碍物点云识别结果(俯视图)
Fig. 5. Obstacle point cloud recognition results in the experimental area (vertical view)
从
图 6. 实验区典型障碍物识别结果(俯视图)
Fig. 6. Representative obstacle recognition results in the experimental area (vertical view)
将典型障碍物识别结果与
图 7. 实验区障碍物标注真值图
Fig. 7. True value diagram of obstacle labeling in the experimental area
3.3 精度评价
为验证本文方法的有效性和准确性,采用目视方式[29]和定量误差分析[30]的方式对提取和识别的效果进行评定。从目视情况来看,所提出的方法整体上可较好地实现基于激光雷达数据的火星表面障碍物识别。在定量分析时,满足典型障碍物条件的岩石和其他探测器通过手动框选对应的点云并打标签。障碍物点云标记为1,非障碍物点云标记为0,打标签的点云作为真值,如
由
表 1. 障碍物目标识别精度统计
Table 1. Accuracy statistics of obstacle recognition
|
4 结论
障碍物检测是环境感知中的一个重要方面,直接决定了火星车工作能力和安全性。本文在模拟场景下,利用地面激光雷达,进行火星表面扫描和障碍物的识别,提出一种基于激光雷达数据的火星表面障碍物识别方法,在分析激光点云反射强度理论的基础上,通过强度补偿构建激光雷达强度值与目标特征的反射关系,引入大津法、曲率约束和基于八叉树叶节点的连通性聚类方法,进行全局反射强度阈值自动求取和火星表面障碍物点云识别。提出的方法充分利用原始三维点云的反射强度信息,避免了数据内插造成的原始数据精度和信息的损失,具有较高的自动化程度和可靠性。对于较为简单的火星表面场景,可以为火星车使用并用以进行障碍物目标识别。
由于火星模拟场地的场景材质相对来说比较典型和简单,利用激光雷达数据的火星表面障碍物识别方法虽然在模拟环境下取得了较好结果。但是,实际的火星表面情况复杂,可能会包含其他如水体、各类土质等复杂场景,此方法对复杂材质场景可能会出现精度下降的情况。因此,针对真实的火星环境,后续研究将结合火星车的实际情况,进一步研究算法的效率和适用性。同时,随着反射强度理论和深度学习方法的不断发展,在精确进行强度数据校正的基础上结合深度学习进行火星表面障碍物的智能识别也是下一步研究的重点。
[1] 吴伟仁, 刘晓川国外深空探测的发展研究中国航天200412629
Wu W R, Liu X CA survey of deep space exploration activities abroadAerosp China200412629
[3] 沈鹏. 多源火星形貌数据处理与信息服务系统构建关键技术研究[D]. 郑州: 解放军信息工程大学, 2017.
Shen P. Research on the key technology of multi source mars data processing and spatial information service system[D]. Zhengzhou: PLA Information Engineering University, 2017.
[4] Kirk R L, Howington-Kraus E, Rosiek M R. Recent planetary topographic mapping at the USGS, Flagstaff: moon, Mars, Venus, and beyond[C]//ProceedingsofXIXthISPRSCongressTechnicalCommissionIV: MappingandGeographicSystems, Amsterdam, Netherlands, 2000: 476–490.
冯伟, 易旺民, 杨旺, 等“天问一号”探测器舱体抛离试验系统设计与验证航天返回与遥感2021423233110.3969/j.issn.1009-8518.2021.03.003
[6] 马友青, 彭松, 张建利, 等祝融号火星车在轨高精度视觉定位与地形重建科学通报202267232790280110.1360/TB-2021-1273
王东署, 王佳未知环境中移动机器人环境感知技术研究综述机床与液压2013411518719110.3969/j.issn.1001-3881.2013.15.050
[8] 李国庆. 行星表面障碍检测与地形相关导航方法研究[D]. 哈尔滨: 哈尔滨工业大学, 2018.
Li G Q. Research on methods of autonomous hazard detection on planetary surface and terrain relative navigation[D]. Harbin: Harbin Institute of Technology, 2018.
[9] 肖学明. 火星表面障碍检测方法研究[D]. 哈尔滨: 哈尔滨工业大学, 2017.
Xiao X M. Research on Martian hazard detection method[D]. Harbin: Harbin Institute of Technology, 2017.
赵一兵, 王荣本, 李琳辉, 等基于多传感器信息的前方障碍物检测计算机工程与应用20074326174177,22610.3321/j.issn:1002-8331.2007.26.051
[11] 侯建. 月球车立体视觉与视觉导航方法研究[D]. 哈尔滨: 哈尔滨工业大学, 2007.
Hou J. Research on stereo vision and visual navigation for a lunar rover[D]. Harbin: Harbin Institute of Technology, 2007.
[12] Shi D L, Ye P J, Jia YStudy on Chinese lunar rover location methodsSpacecr Eng20061541420
石德乐, 叶培建, 贾阳我国月面巡视探测器定位方法研究航天器工程20061541420
郭丽, 李金岭, 童锋贤, 等同波束VLBI技术对嫦娥三号巡视器的高精度相对定位武汉大学学报·信息科学版20164181125113010.13203/j.whugis20140439
[14] Li R X, Ma F, Xu F L, et alLarge scale mars mapping and rover localization using descent and rover imageryInt Arch Photogramm Remote Sens200033579586
[17] 刘继周. 面向无人驾驶的智能车系统平台研究与应用[D]. 杭州: 浙江大学, 2017.
Liu J Z. Research and application towards autonomous driving-system and platform[D]. Hangzhou: Zhejiang University, 2017.
[18] 张振华. 基于激光点云数据的障碍物检测算法研究[D]. 济南: 山东大学, 2020.
Zhang Z H. Research on obstacle detection algorithm based on laser point cloud data[D]. Ji’nan: Shandong University, 2020.
[19] 肖志鹏. 无人车动态场景分析关键技术研究[D]. 长沙: 国防科技大学, 2018.
Xiao Z P. Research on key technologies of dynamic scene analysis for autonomous vehicles[D]. Changsha: National University of Defense Technology, 2018.
[20] 刘建伟. 多路径激光雷达三维数据处理技术研究[D]. 成都: 电子科技大学, 2018.
Liu J W. Research on technology of processing 3D data about multi-path of Lidar[D]. Chengdu: University of Electronic Science and Technology of China, 2018.
[21] 张桢瑶. 基于路侧三维激光雷达的交通信息提取方法研究[D]. 苏州: 苏州大学, 2020.
Zhang Z Y. Traffic data extraction based on roadside 3D LiDAR[D]. Suzhou: Soochow University, 2020.
[22] 姚辰. 四足机器人非结构环境3D状态感知与自主定位方法研究[D]. 哈尔滨: 哈尔滨工业大学, 2020.
Yao C. Research on 3D state sensing and autonomous localization of quadruped robot in unstructured environment[D]. Harbin: Harbin Institute of Technology, 2020.
[23] Pfeifer N, Höfle B, Briese C, et al. Analysis of the backscattered energy in terrestrial laser scanning data[C]//ProceedingsoftheXXICongress: SilkRoadforInformationfromImagery: theInternationalSocietyforPhotogrammetryandRemoteSensing, Beijing, 2008: 1045–1051.
[24] 戴永江. 激光雷达原理[M]. 北京: 国防工业出版社, 2002.
Dai Y J. ThePrincipleofLidar[M]. Beijing: National Defense Industry Press, 2002.
[25] 童祎, 夏珉, 杨克成, 等基于激光雷达强度值的目标反射特征提取激光与光电子学进展2018551010280210.3788/LOP55.102802
[26] 王仕儒. 基于分数阶布谷鸟优化的Otsu图像分割算法研究[D]. 银川: 宁夏大学, 2022. https://doi.org/10.27257/d.cnki.gnxhc.2022.000623.
Wang S R. Research on otsu image segmentation algorithm based on fractional-order cuckoo optimization[D]. Yinchuan: Ningxia University, 2022. https://doi.org/10.27257/d.cnki.gnxhc.2022.000623.
[27] 苏天科. 单期点云的高斯曲率定位桥梁潜在损伤技术研究[D]. 北京: 北京建筑大学, 2022. https://doi.org/10.26943/d.cnki.gbjzc.2022.000287.
Su T K. Research on potential damage locating technique of bridge by Gaussian curvature with single phase point cloud[D]. Beijing: Beijing University of Civil Engineering and Architecture, 2022. https://doi.org/10.26943/d.cnki.gbjzc.2022.000287.
王丽英, 王鑫宁多值体素连通区域构建下的机载LIDAR数据三维平面提取地球信息科学学报20212391598160710.12082/dqxxkx.2021.200579
[29] 张蕊. 基于激光点云的复杂三维场景多态目标语义分割技术研究[D]. 郑州: 战略支援部队信息工程大学, 2018.
Zhang R. Research on polymorphic object semantic segmentation of complex 3D scenes based on laser point clouds[D]. Zhengzhou: PLA Strategic Support Force Information Engineering University, 2018.
Article Outline
陈海平, 李萌阳, 曹庭分, 严寒, 张亮, 张尽力, 王成程. 基于激光雷达数据的火星表面障碍物识别[J]. 光电工程, 2023, 50(2): 220240. Haiping Chen, Mengyang Li, Tingfen Cao, Han Yan, Liang Zhang, Jinli Zhang, Chengcheng Wang. Obstacle recognition on Mars surface based on LiDAR data[J]. Opto-Electronic Engineering, 2023, 50(2): 220240.