基于陨石坑的视觉导航技术综述 下载: 657次特邀综述
1 引言
深空探测是指对月球及以远天体或空间环境开展的探测和资源开发利用活动[1]。深空探测活动有利于扩展人类对地球和宇宙的认识、扩展人类生存空间、探测和开发利用外部天体的资源以及为人类社会的可持续发展服务。深空探测主要包括对月球、火星、小行星、彗星以及其他星际体的探测活动,其主要技术包括:深空导航、轨道设计与优化、能源推进与开发、测控通信、新型科学载荷和结构机构技术以及其他一系列自主技术等。
随着科技的发展,人类的空间探索能力逐渐增强,各航天大国都在深空探测方面取得了新的进展。2020年7月,我国长征五号遥四运载火箭将火星探测器“天问一号”成功发射升空。同年11月,长征五号遥五运载火箭将嫦娥五号探测器成功发射升空,圆满完成我国首次地外天体采样返回任务。2021年5月,我国祝融号火星车在火星乌托邦平原南部预选着陆区顺利着陆,圆满完成我国首个火星着陆任务。同年6月和10月,神舟十二号及十三号飞船分别成功搭载三名航天员进入天和核心舱开启科学实验和技术实验,中国载人航天正式进入空间站阶段。
与近地探测相比,深空探测无法完全依赖地面测控和人工干预,需要自主导航、检测与规避障碍并实现软着陆[1-2]。自主导航技术根据导航阶段可以分为环绕段导航、进入段导航以及着陆段导航[3]。环绕段导航主要采用自主导航的方式,使用光学敏感器拍摄星体图像,通过星图识别得到图像与导航星数据库的匹配信息,最后根据恒星位置估计航天器位姿。在进入段,航天器往往会因为大气摩擦和极高的进入速度无法使用光学敏感器,所以只能依靠惯性测量单元(IMU)进行导航,虽然IMU技术一直在发展[4],但是漂移和噪声是惯性导航方法的固有缺点,惯性导航会形成累积误差,经常需要与其他传感器获得的测量信息结合以提高导航精度。在行星着陆段,通常会增加视觉导航的辅助手段,可以有效减少惯性导航的累积误差,具有良好的精确性和稳定性。随着人们对火星等地外行星的进一步探索,自主导航常常作为深空探测任务中的关键技术亟须进一步突破。人工智能也早就已经在自主导航任务上提出了自己的网络结构和对应的训练方法[5],深度学习在图像中有了越来越多的应用[6-7]。
视觉导航按照传感器的成像方式分为主动成像和被动成像[8]。被动成像的传感器成熟,具备低功率、小质量、小体积、易安装等特点,一些被动成像方法可以在任意高度上提供导航测量,但是它也存在一些缺点,首先被动成像传感器不能在黑暗环境下工作,必须具备一定的光照源,包括太阳光照或者着陆器上的光照源。主动成像可以在任意光照条件下工作,但是它不如被动成像的技术成熟,且有最大工作距离限制,对测量高度提出限制。
视觉自主导航多采用地形相对导航(TRN)[9],这是一种通过获取目标天体表面的陆标信息,并与已知陆标匹配,进而估计航天器位置和姿态的导航方法。为了避开着陆天体表面的危险区域,科学家提出自主着陆精度不超过100 m的目标,即精准着陆(PPL)[10]。传统的方法不能达到这个要求,TRN可以通过提供相对于已知着陆天体表面的位置或方位的测量信息来增强导航能力。用于TRN的陆标可以是陨石坑、岩石等突出的自然特征,也可以是尺度不变特征变换(SIFT)等图像特征,还可以是局部区域或者人造陆标[11],其中陨石坑通常具有固定的抛物线或截锥形状,在下降序列图像中一般呈现为圆形或椭圆的轮廓形状,特征稳定[12-13],是一个可用于导航的可靠陆标。
目前TRN的主要困难有环境的限制、算力和时间的限制以及误差的影响[14]。首先,行星环境因素具有多样性,包括光照、大气条件、视角误差、航天器姿态等不确定性因素,如何在多变的环境下检测到鲁棒的陆标特征是一个巨大的挑战。其次,下降序列图像的大小通常为1 MB[14],在隔热罩丢弃和动力下降之间的降落伞阶段,留给航天器定位的机会窗口大约为60 s,在这个时间窗口里面,为了获得可靠的航天器状态信息,必须处理多个下降图像以及来自IMU和高度计等其他机载传感器的数据,较短的时间限制以及较大的计算量都对算力提出了很高的要求。一般来说,航天器定位的每个周期,包括图像采集、图像处理和传感器数据输入,都应该在几秒钟内完成,这是一个非常苛刻的要求。最后,航天器在着陆的过程中会受到各种噪声和误差的影响,比如陆标探测噪声、地图基础误差、传感器噪声、图像与IMU误匹配等,这些噪声和误差在很大程度上会影响着陆精度。
基于陨石坑的视觉导航方法比其他TRN方法更具优势。首先,因为地外天体表面具有大量丰富的陨石坑,大小不一、形状多变,同时具有大量标注的陨石坑数据集[15-27];其次,基于陨石坑的视觉导航方法不需要初始姿态信息就可以估计绝对位姿;另外,被动式导航方法的功耗低,与主动式成像相比,使用的探测传感器质量和体积都更小;最后,与模板匹配和特征匹配方法相比,基于陨石坑的TRN方法不需要携带3D模型或完整的数字高程图,大大减少了陨石坑数据库占用的内存和计算力[28]。
本文主要阐述了基于陨石坑的视觉导航技术的近期研究进展。首先,概括了基于陨石坑的视觉导航方法的相关概念和主要流程,主要总结TRN方法,介绍陨石坑的定义和陨石坑图像数据类型,阐述陨石坑检测识别进行导航的难点,总结相关的研究机构和人员。其次,分别从陨石坑检测、陨石坑识别和位姿解算三部分阐述了研究进展,陨石坑检测根据方法特征分为非监督检测、监督检测和复合检测三类方法。陨石坑识别方法根据有无初始姿态分为跟踪识别和“迷失空间”(LIS)识别,接着又根据导航阶段分为绕轨段识别和着陆段识别。位姿解算方法又可以根据是否依赖动力学模型分为基于图像信息和结合动力学模型两类方法。最后对基于陨石坑的视觉导航技术研究进行了总结与展望。
2 基于陨石坑的导航方法
从采取图像类型、测量特征、待匹配对象和输出参数等方面总结所有TRN方法,总共有8类,如
表 1. TRN方法总结
Table 1. Summary of TRN methods
|
表 2. 陨石坑数据集
Table 2. Crater datasets
|
表 3. 国内外研究机构/人员
Table 3. Domestic and foreign research institutions/personnel
|
陨石坑是指陨石在行星、卫星、小行星等星体表面撞击形成的凹坑,也称撞击坑,其主要类型包括碗形坑、填充型坑和多环撞击坑等[30],如
图 1. 陨石坑类型[30]。(a)碗形坑;(b)填充型坑;(c)多环撞击坑
Fig. 1. Crater types[30]. (a) Bowls crater; (b) filled crater; (c) multi-ring crater
目前可获得的陨石坑图像数据的类型主要有三类:红外图像、数字高程模型/地面模型(DEM/DTM)图像和可见光图像[32],如
图 2. DEM、红外、可见光陨石坑示例图像[32]。(a)中的陨石坑来自 Mercury/Messenger[33];(b)来自Mars/Themis 的红外数据;(c)来自月球广角全局相机[34]的可见光数据
Fig. 2. Examples of DEM, infrared, and visible light images of craters[32]. Craters pictured in (a) come from Mercury/Messenger[33]; (b) infrared data from Mars/Themis; (c) visible light data from Moon/Wide Angle Camera Global[34]
针对基于陨石坑检测识别进行导航的方法,虽然已经有很多卓有成效的方法,但目前还没有一种通用的方法,仍存在的难点及其具体概括与原因分析如下:
1)地理条件复杂。陨石坑分布不一,分布越密集的区域,其陨石坑重叠现象越严重,检测工作难度越大;同时不同的地形条件和形状大小各异的陨石坑也会给算法的迁移学习、模板匹配和尺度分布带来巨大的挑战;陨石坑年龄不一致,形成年龄越久的陨石坑,内部降解越严重,边缘模糊断裂,难以检测识别。
2)光照条件多样。在不同高度、不同角度或者不同时间,陨石坑受到光照照射的程度和角度都不一样,这往往会造成陨石坑出现不同的“亮-暗”模式,其边缘也会出现模糊甚至断裂的现象。
3)坐标系不同。通过仪器采集到的陨石坑数据是在图像坐标系下表示的,真实的陨石坑是在固定行星坐标系下表示的,要将图像坐标系下的陨石坑数据与固定行星坐标系下的陨石坑数据建立一对一的关联是陨石坑识别的难点。
4)数据集不一致。地理专家在数据表述上存在分歧。早前有研究表明,关于地理专家在同一块区域标注陨石坑的差异性达到45%[32],特别是在次生陨石坑和降解陨石坑的判定上,不同的地质学家或者同一个地质学家在不同时间对同一个陨石坑的标记也有可能不同[35],专家在手动标记陨石坑上的非一致性会导致难以产生一个能被公众广泛认同的检测算法。而现在研究人员往往会因为便利,在Github或者其他开源平台上获取相关数据集。所以需要地理专家建立有一定共识并具有研究意义的数据集。如
目前国内外有许多研究机构和人员研究基于陨石坑的视觉导航方法,如
陨石坑检测方法提取着陆序列图像中的陨石坑参数,再通过陨石坑识别方法将序列图像中的陨石坑与地图中的陨石坑匹配,最后基于识别的陨石坑估计着陆器位姿,整体工作流程如
3 陨石坑检测方法研究进展
陨石坑检测是指按照坑的形状,将陨石坑的边缘完整地提取出来。根据探测卫星传回的陨石坑图像,可以发现单一陨石坑近似呈圆形和椭圆形。为了对陨石坑进行识别,首先需要检测陨石坑,检测精度越高,能够达到的识别效果也越好。根据着陆段探测器传回的陨石坑图像,可以发现大部分陨石坑呈现的都是圆形或椭圆形,当下降相机以非垂直状态观察陨石坑时,其椭圆度较大,所以目前大多数陨石坑检测方法都用来提取陨石坑在图像平面的椭圆形参数。
Salamunićcar等[35]在2007年指出,不同作者会针对不同的测试地域和不同的GT目录,使用不同的方法对陨石坑检测算法进行评估,所以他们通过分析以前的报道,提出一种客观的陨石坑检测算法(CDA)评估框架:基于1/64°MOLA数据的测试地域,与Barlow等和Rodionova等制作的GT目录进行比较,绘制无限制受试者工作特征曲线(F-ROC)曲线。虽然因为GT目录的完善和测试地域的多样化,现在这个评估框架已经不再适用了,但是一般的评估准则依然可以采用。遵循陨石坑本身和标记的差异性,测试地域地形以及GT目录的特定性,现在越来越多的研究人员都通过以下几种评价指标来度量CDA性能,如
表 4. 陨石坑检测评价指标
Table 4. Evaluation indicators in crater detection
|
CDA可以分为三类:非监督检测、监督检测以及复合检测等方法[30],其中非监督检测方法包括人为标记、基于形态拟合、基于地形学信息分析[31]等,监督检测方法主要是基于机器学习或深度学习等进行自主检测,而复合检测方法融合了前两种方法。
3.1 非监督检测
非监督方法是最早使用的,对图像的灰度值信息依赖度较高。一般直接通过陨石坑圆形或椭圆形的几何特征及边缘信息完成检测。这类方法包括改进的霍夫变换(HT)、曲线拟合、模板匹配、组合检测方法1(边缘检测、边缘分割、边缘拟合、模板匹配)、组合检测方法2(边缘检测、光源方向估计、陨石坑检测滤波器)等。
1998年开始,研究者们改进由霍夫提出的提取直线的方法,将图像的空间域变换到参数空间,创建一种多对多的映射关系,形成圆形霍夫变换方法。2001年,Leroy等[44]描述了一个可视化的定位系统,使用一个多尺度投票的方式检测椭圆形的陨石坑,然后与3D数据库进行匹配定位,但是只适合刚体变换的匹配。实验表明,这类方法识别效果好,但是缺少尺度适应性,而且计算量会随着参数数量的增加而以指数方式增长。其中有一些方法对圆形HT方法进行了改进,虽然可以减少参数数量,但是会造成鲁棒性的减弱,其计算效率和鲁棒性两者不可兼得。
有很多非监督方法主要是将一些检测变换方法组合起来使用。2003年,Chapman等[45]提出,可以将互相关模板匹配、边缘检测算子、环形陨石坑卷积核和圆形HT四种方法结合起来共同检测陨石坑,不同的方法适合不同尺度大小的陨石坑检测;2006年,Sawabe等[46]分别按照“阴影-光照”模式和圆形特征,结合使用了四类陨石坑检测方法,达到80%的检测效率;2003年,Yang等[36]实现基于行星体表面陨石坑的光学陆标导航,在这之前,爱神星(EROS)的陨石坑提取和识别任务是由两名专业人员耗时两年完成的。自动陆标导航系统包含陨石坑检测、图像预匹配、陨石坑匹配,每个方法互相补充,这样达到的检测精度超过90%。但是组合方法过多也会降低计算效率。
相比于十年前的多组合检测方法,近几年研究者们往往可以找到更加高效有用的滤波器和边缘检测方法以及更新的数据来完成提取。2016年,Sadhukhan等[47]基于局部灰度强度的变化使用标准差滤波器生成坑脊图,接着利用阈值操作和对称性假设删去高频噪声和不规则边缘,最后利用直方图均衡化后的结果判别是否存在陨石坑;2016年,高锡珍[48]的陨石坑检测方法通过对原始图像灰度化、连续降采样、高斯滤波滤除噪声、Sobel算子等流程得到灰度差分值;2017年,Sood等[49]通过GRAIL数据,比较观测月球真空下的重力场和布格尔重力场,分析观测到的引力特征,对真空下的重力异常以及布格尔重力异常图作前向建模的单独分析,识别出埋藏的重叠陨石坑;2018年,Zhou等[50]通过检测坑沿的高斜坡率来检测陨石坑,滤去噪声后使用形态学方法获得完整正确的陨石坑边缘。
非监督方法速度快,更适合边界清晰、结构简单的大型陨石坑检测,但不能很好地检测出较小的陨石坑,不能在一些地形复杂的区域进行检测。使用斜率信息提取陨石坑同样会检测出非陨石坑的地形特征。凹陷地形可以使用填充算法,陨石坑边缘的梯度变换可以通过斜坡率变化得到,但是一些复杂的地形,例如重叠的陨石坑,不能这样处理。
3.2 监督检测
监督检测方法指的是利用机器学习和卷积神经网络(CNN)等来构建模式分类器检测陨石坑的方法,包括连续可扩展模板匹配(CSTM)算法、遗传算法、类Harr特征检测和自适应提升(AdaBoost)分类器、支持向量机、CNN等。
2005年,Wetzler等[51]将多种监督学习算法结合起来训练陨石坑检测算子,包括将前馈神经网络作为基学习器的Bagging和Adaboost集成算法、支持向量机、连续尺度模板匹配算法,整体的检测率达到60%。2018年,Wang等[52]提出一种同时检测和识别陨石坑的网络CraterIDNet,结合CNN框架,首先使用在转移学习中有着高泛化性能的预训练模型,接着在陨石坑检测流水线中使用锚框尺度优化和锚框密集度调整方法。另外,多尺度陨石坑也能同时在多尺度感知域中通过使用不同的特征图检测到,同时网格层可以做到旋转和尺度的不变性,检测F1分数能够超过90%,识别率超过97%。
2019年,DeLatte等[32]分类整理了在2015到2019年间月球、火星以及其他行星数据集上进行陨石坑检测计数的CNN方法。其中,分割网络U-Net[53]成为2019年陨石坑检测监督方法的主流,同时其他的一些分类网络GoogleNet[54]、Fast R-CNN[55]、Faster R-CNN[56]、VGGNet[57]、ResNet[58]、ZF-Net[59]、全连接CNN[60]也得到了很多研究者的青睐。2020年,Ali-Dib等[61]利用Mask R-CNN网络直接对陨石坑DEM图像进行处理(
图 4. 分割网络在陨石坑图像上的测试结果。(a)Mask R-CNN头部结构[62];(b)陨石坑附近的数字为检测确定性[61]
Fig. 4. Test results of segmentation network on images of craters. (a) Head structure of Mask R-CNN[62]; (b) numbers shown near craters are detection certainty[61]
2020年,Downes等[63-64]提出的卷积神经网络LunaNet是一个基于U-Net结构的语义分割网络,使用DeepMoon的训练权重作为初始权重。实验证明,此方法对不同图像的明暗程度具有较高的鲁棒性,而且可以在不同帧图像之间重复检测陨石坑。2021年,Doppenberg[42]为确定航天器在月球环绕段绕飞的位置,提出使用端到端的Ellipse R-CNN[65]直接拟合椭圆陨石坑,并利用三个陨石坑的7阶不变描述符与陨石坑数据库进行匹配,最后利用扩展卡尔曼滤波(EKF)和随机采样一致性(RANSAC)进行LIS状态下的定位,其中不涉及姿态解算。
除了分割网络,目标检测网络也可以用来检测陨石坑,但是只能检测圆形陨石坑,如
监督检测这类方法鲁棒性更好,适合边缘模糊的陨石坑的检测,但是检测效果的好坏更多地取决于标记训练数据的质量与数量,而且训练集的标记需要耗费很多人力和时间。
3.3 复合检测
复合检测方法融合了非监督检测和监督检测方法。一般先由非监督检测方法获得图像特征信息,然后利用机器学习或深度学习对大量特征进行训练学习,最后获得一个泛化性能较高的检测模型。
虽然2008年就已经有人结合73种出版物对陨石坑检测技术制表统计,但是一直没有一种足够鲁棒的方法得到应用,行星科学的参与者仍然坚持人为地给陨石坑计数,直到2005年,一种应用于人脸识别的技术[66]被证明在陨石坑检测应用中鲁棒性好。2009年,Martins等[67]将神经网络转换为Boosting算法,采用积分图加快特征提取的速度,通过Boosting方法选出若干个分类性能较好的弱分类器,串联起来提升为强分类器,召回率能够超过90%。
2009年,Urbach等[68]利用能量滤波器和区域滤波器去除一些缺少对比度的区域特征,以及结合尺度、旋转不变的形状滤波器去除与陨石坑形状不可调和的特征。接下来就只需要匹配陨石坑的一对“明-暗”新月区域。使用形态学闭操作,将椭圆作为结构元素,填充新月区域。最后用C4.5决策树方法区分陨石坑和非陨石坑。
2012年,Bandeira等[24]提出一种利用形状纹理特征以及与Adaboost算法相结合的复合方法识别分类亚千米级的陨石坑,对有“明亮和阴影”区域的小型陨石坑使用滤波器进行检测,平滑噪声后借鉴Viola等[69]在人脸识别算法里的特征设计方法,对每个陨石坑使用9个模板生成1089个特征,再利用Adaboost算法进行特征选择和训练。最后利用基于纹理特征的方法允许多个候选陨石坑与单个陨石坑相对应。2015年,Emami等[70]结合边缘凸度提取候选陨石坑区域以及使用CNN方法对这些候选区域进行分类,判断是否为陨石坑区域。他们认为相比于Haar特征和HOG特征,原始特征更适合分类。
目前有很多基于分割网络的陨石坑检测方法,除了Mask-R-CNN模型,一部分研究基于U-Net网络模型检测陨石坑,但是U-Net分割网络并不能直接得到椭圆参数,一般还需要后处理步骤得到椭圆参数,目前已经实现的后处理方法包括模板匹配和拟合方法,比如DeepMoon[71]、PyCDA[72]、LunaNet[64]、ResUNET[73]等。复合检测这类方法融合了前两类检测方法,可以提高检测精度,鲁棒性高,但是同时也增加了检测流程的复杂性,不如端到端网络直接输出拟合椭圆参数方法直接。
陨石坑检测三类方法的共同点都在于提取陨石坑边缘,无论是边缘检测算子等传统方法,还是目标检测分割等深度学习方法,最后都需要拟合出圆形或椭圆形陨石坑。传统的非监督方法侧重于用图像的灰度信息或斜率信息等拟合边缘,而监督方法侧重于通过大量数据学习陨石坑边缘,比如目标检测网络往往先学习出陨石坑中心和锚框长宽,再拟合圆形陨石坑。目标分割网络则是在学习到掩模后,再结合传统拟合方法得到椭圆陨石坑,也就是复合方法的融合检测。
4 陨石坑识别方法研究进展
陨石坑识别通过描述符将已经检测到的陨石坑与数据库中的陨石坑进行匹配比较,描述符由位置、半径、长短半轴、陨石坑组合等参数进行构建,当描述符在一定距离度量上相近时,就认为识别正确[74]。
陨石坑识别问题是一个多尺度模式识别问题,一般可以建立全局、局部的匹配识别模式,1 km大小的陨石坑可以构成局部陨石坑模式,100 km的陨石坑可以构成全局陨石坑模式。当离月球很近时,陨石坑近乎共面,当离月球很远时,航天器会看到较大的陨石坑,且不是共面的。所以一般绕轨段导航就建立全局数据库,而着陆段导航就根据预定着陆地点建立局部数据库。
表 5. 陨石坑识别评价指标
Table 5. Evaluation indicators in crater recognition
|
根据有无初始姿态分为LIS识别和跟踪识别[75]。LIS识别没有良好的外部姿态预测信息可利用,而跟踪识别有可以参考的位姿参数,可以将下降图像投影到导航地图上再进行特征匹配,LIS识别难度比跟踪识别难度大。不论是LIS识别还是跟踪识别,又可以根据导航阶段将陨石坑识别方法分为绕轨段识别[37,76]和着陆段识别[77],从陨石坑投影变形程度和尺度大小考虑,后者难度比前者大。分别考虑选用特征、匹配方法、约束、适用情况等方面,对陨石坑识别方法进行对比分析,如
表 6. 陨石坑识别方法对比
Table 6. Comparison of crater identification methods
|
4.1 跟踪识别
跟踪识别可以根据先验姿态信息预测数据库中的陨石坑是否会出现在图像平面。如
4.1.1 绕轨段跟踪识别
绕轨段跟踪识别已知初始位姿信息,且陨石坑尺度变化较小,一般通过陨石坑模式进行图像匹配,且在绕轨过程中,相机垂直向下拍摄,其视线角(LOS)较小。理想情况下,如果相机位置、方向以及内参矩阵都足够准确的话,那么检测到的陨石坑和对应匹配的目录中的陨石坑投影过来的椭圆应该在同一个位置,当初始位姿估计误差较小时,投影过来的陨石坑与检测到的陨石坑非常接近,所以可以通过分配阈值来限制椭圆中心坐标和椭圆大小的最大允许差异,可以采用直接匹配(DM)算法得到对应匹配对,如
图 7. 陨石坑图像匹配[40]。(a)在不同扰动强度下直接匹配;(b)三角形匹配
Fig. 7. Crater image matching[40]. (a) Direct matching with different perturbing; (b) triangle matching
2007年,Bandeira等[80]提出通过快速傅里叶变换(FFT)实现相关性计算,所用陨石坑模板半径覆盖5到100个像素,最终实现陨石坑图像的模板匹配。2010年,冯军华等[81]根据探测器的初始位置、姿态和相机参数,对当前所拍摄图像在目标天体表面的位置进行初步估计,以减少匹配的搜索范围。对检测出的陨石坑,基于平面二次曲线的几何不变特性,采用投票策略实现与陨石坑数据库的匹配,并设计陨石坑误匹配及失配的校正策略,从而有效地确定陨石坑在目标天体表面的全局位置。
2018年,Wang等[52]提出一个端到端的卷积神经网络CraterIDNet,它以任意大小的遥感行星图像作为输入,并输出检测到的陨石坑位置、直径和识别结果。该网络包括两条管道,一个是陨石坑检测管道,另一个是陨石坑识别管道,其中在陨石坑识别管道中,主要提出一个网格图案层生成具有旋转和尺度不变性的网格图案。网格模式整合了附近陨石坑的分布和规模信息,与CNN框架结合后将显著提高识别的鲁棒性。
2020年,Downes等[63]根据初始位姿,利用扩展EKF估计出航天器的位姿变化,将陨石坑转换到图像坐标系中,判断陨石坑数据库中可见的陨石坑数量并丢弃不在视角内的陨石坑。最后利用最小二乘法将序列图像中的陨石坑与投影陨石坑做匹配,通过随机采样一致(RANSAC)筛选出错误匹配对数。
2020年,Shao等[82]提出一种基于特征描述符的陨石坑匹配方法,首先通过高斯金字塔和边缘线段提取(ELSD)算法提取陨石坑圆弧特征,并提出了一个圆弧带描述符,最后利用最近邻距离比例和欧氏距离约束作为匹配条件与数据库中的陨石坑进行匹配。
4.1.2 着陆段跟踪识别
着陆段的跟踪识别通过其他传感器提供初始姿态,在序列图像之间进行匹配,传统的模板匹配方法适用于陨石坑变化不大的情况[80,83]。2005年,Cheng等[14]研究了基于陨石坑的光学辅助导航方法。在匹配过程中,首先需要用陨石坑半径和方向去除不可能的匹配,然后利用航天器位置的初始估计来过滤掉不可行的匹配,这其中用到其他传感器的信息帮助缩小搜索范围。最后用椭圆对不变量修正惯性导航。
2010年,Clerc等[84]提出主要使用RANSAC方法在已匹配集合中去除误匹配陨石坑对,该方法对平移、旋转等变换具有较强的鲁棒性。何江[43]利用二次曲线对仿射不变量,研究了基于投票策略的陨石坑匹配算法,针对可能出现的误匹配及失配情况,提出了基于闭合曲线面积仿射特性的匹配校正算法。利用多幅真实月表图像进行的实验结果表明,陨石坑匹配及校正算法的匹配率达85%以上,误匹配率小于5%。
2016年,Lu等[85]提出使用基于多个陨石坑几何模式的鲁棒陨石坑匹配算法。首先对陨石坑数据库进行预处理,接着校正陨石坑到度量下降图像平面,最后根据陨石坑三角形的几何相似性对检测到的陨石坑与陨石坑数据库进行匹配。2016年,高锡珍[48]在提取出不同尺度的边缘信息后,用一组特征维数保持不变的描述符向量对不同尺度下的边缘信息进行描述,并用最近邻距离比率的方法对陨石坑边缘曲线进行匹配。同年,余萌[86]提出一种结合图像边缘与区域信息的陨石坑检测匹配算法,在基于赢者通吃(WTA)思想的匹配结果基础上,利用陨石坑明暗区域面积比辅助降低陨石坑误匹配率。
2021年,Chen等[41]实现了当前图像中陨石坑与全局数据库中陨石坑的匹配,并实现了当前帧与前一帧中陨石坑的匹配。使用加权二分图最佳匹配算法,匹配两个陨石坑集合,构建陨石坑特征模式,同时利用物理空间上目标框的交并比,在特征空间上利用欧氏距离进行级联匹配,通过对序列图像运动的建模,使用卡尔曼滤波器技术在时间上融合序列图像信息。
组合匹配方法也是跟踪识别中的常用方法,2020年,Maass等[40]提出一种三角形匹配(TM)方法,如
4.2 LIS识别
LIS识别是在缺少初始姿态信息的情况下识别陨石坑,关键点就在于如何在射影变换中寻找陨石坑的不变关系,而不变量理论证明了陨石坑投影不变量的存在性[75]。在非退化二次曲面(比如球面和椭球面)的任意位置上放置锥体,会存在投影不变量,而火星和月球等行星恰好近似一个球体,局部表面可以近似为一个平面,所以在火星或月球表面的投影陨石坑会具有投影不变量。由相关定理可以直接证明共面二次曲线不变量的数量关系,两个共面二次曲线有2个不变量,3个共面二次曲线有7个不变量,d元共面二次曲线有5d-8个不变量。
大多数现有陨石坑匹配算法都是基于一个共同的假设,即所有陨石坑都是局部共面的。而在任意形状的天体上,任意二次曲线的投影不存在不变量。然而,一般有陨石坑的天体都不是任意形状的,比如行星、卫星和矮行星总体上一般都是椭球形的,而较小的小行星可认为是局部椭球形的,因此在规则天体的二次曲面上的非共面二次曲线存在投影不变量。
4.2.1 绕轨段LIS识别
2009年,NASA的Hanak[37,76]提出一种针对“低轨迷失”(LOL)情况的陨石坑匹配方法,采用投票法得到最大概率匹配。主要应用在低轨环绕段并缺乏先验姿态的情况下,匹配陨石坑并求解姿态,初始化导航状态,即使在飞行器与地球跟踪设备失去通信的情况下,也能产生一个有效的车载导航状态。该算法假设相机是处于受限轨道的最低点垂直向下拍摄的,且拍摄到的陨石坑近似共面,那么使用三角形内角或者陨石坑中心距离对三角形进行索引,这类不变量仅限于低轨环绕段以及相似变换,这些不变量不是完全仿射不变的,只适用于低轨状态和相机垂直拍摄的情况。
2021年,Christian等[78]研究绕轨段LIS识别方法,构建月球陨石坑的分层全局数据库,设计出共面和非共面的两种陨石坑射影变换不变量及其描述符,并设计出一种新的椭圆距离度量函数,满足距离的四个特性。2021年,Doppenberg[42]在绕轨段同时使用陨石坑对不变量和陨石坑三角形不变量进行LIS识别,在匹配过程中考虑三角形陨石坑的顺序不变性,建立特征描述符匹配陨石坑。
2021年,Alfredo等[28]也研究了基于陨石坑和不变量的匹配方法。首先利用Mask R-CNN提取陨石坑边缘,接着利用陨石坑三角形进行匹配,选择的不变量是内角和陨石坑半径与质心距离的比值。Alfredo提出一种新的位置估计算法,结合EKF在每个时间步输出航天器实际位置的测量值,最小位置误差小于400 m,最大位置误差可到20 km。
4.2.2 着陆段LIS识别
在完全没有任何相机初始信息的情况下,图像空间中测量的许多椭圆必须与天体固定坐标系中给出的陨石坑目录匹配。这意味着无法将目录中的陨石坑投影到图像中。着陆段LIS匹配的条件是最苛刻的,匹配准确度也是最低的。
着陆段导航具有更大的姿态变化,同时考虑到射影不变量受噪声扰动较大的问题。2019年,Park等[77]通过增加约束条件进行解决,使用陨石坑三角形的30个射影不变量,按照三角形排列顺序建立数据库,采用欧氏距离进行匹配,提高陨石坑LIS识别率,但是这样会造成数据库更加庞大,在一定程度上会增加陨石坑三角形搜索冗余,限制LIS识别率的进一步提高。
LIS识别与星图识别方法类似,2004年Mortari等[87]在星图识别领域提出金字塔算法,金字塔是建立在一个由四颗星组成的多边形结构基础上,可以识别和丢弃很多的假星。一般都是将图像中所有的星随机选取三个,但是后面再次选取三颗星时就需要注意与前面选取的组合不能重合,这样就需要记住前面所有的三角形索引组合。该金字塔算法同样可以应用于着陆段的陨石坑LIS识别,2022年,Xu等[79]建立小容量高效率的导航陨石坑数据库,提出动态阈值减少筛选冗余,并基于迭代金字塔算法得到大于80%的LIS识别率,如
图 8. 金字塔算法示意图,该算法不断增加第四个陨石坑l构成金字塔结构减少冗余匹配[79]
Fig. 8. Diagram of pyramid algorithm which continuously increases fourth crater l to form a pyramid structure and reduces redundant matches[79]
图像平面的椭圆是空间圆形边缘陨石坑的透视变换,为了获得陨石坑的深度信息,德国航天中心[40]建立了相关假设:观测到的陨石坑所在的月球表面是大范围平滑的、能够观测到投影过去的陨石坑边缘的圆形度、相机的针孔模型是有效的。第一个假设保证可以在陨石坑表面建立任意法向量,第二个和第三个假设保证可以从陨石坑的投影椭圆和相机的针孔模型重建此过程中所需的空间陨石坑边缘法向量。按照一定筛选条件找到满足所有平滑条件的陨石坑法向量,并对所有检测到的陨石坑的相对深度进行估计。但是以上LIS识别方法匹配率很低,且必须与DM、TM方法融合匹配,如
图 9. 直接匹配、三角形匹配、LIS匹配组合的匹配系统流程图[40]
Fig. 9. Flow chart of matching system including direct matching, triangle matching, and LIS matching[40]
目前,陨石坑识别方法的共同点在于需要设计匹配描述符。无论是跟踪识别还是LIS识别,抑或是着陆段或绕轨段识别,高识别率往往都依赖于鲁棒的描述符。跟踪识别由于序列图像之间时间间隔较短,一般采用多陨石坑的组合模式作为匹配描述符。绕轨段LIS识别由于高度较高,所以在与数据库匹配的过程中可以采用陨石坑的仿射不变量作为匹配描述符。着陆段LIS识别难度最大,可以将陨石坑近似为二次曲线,采用二次曲线对的射影不变量进行识别。
5 位姿解算方法研究进展
探测器位姿解算是估计出探测器相对目标天体的位置和姿态信息。如
图 10. 世界坐标系 、机体坐标系 、相机坐标系 和图像坐标系 。位姿包括旋转矩阵R和平移矩阵t[79]
Fig. 10. World coordinate , machine coordinate , camera coordinate , and image coordinate . Pose includes rotation matrix R and translation matrix t[79]
总结目前已有的几种评价指标如
表 7. 位姿解算评价指标
Table 7. Evaluation indicators in pose calculation
|
将着陆器的真实着陆轨迹记作
式中,trans表示取括号内部变量的平移部分,因为从整条轨迹上看,旋转出现误差后,随后的轨迹在平移上也会出现误差。
TRN的位姿解算方法可以通过视觉导航策略分为基于地形相对的相对导航方法(TRRN)和基于地形相对的绝对导航方法(TRAN)[85]。TRAN是指提供相对于天体表面地图位置的绝对测量信息,其中天体表面地图是在绕轨阶段建立的,所需的着陆点在该全局地图中指定,因此可以使用关于该地图的位置估计来引导着陆器到达所需的着陆点,在下降过程中使用全局位置估计来实现较高的着陆精度。TRRN提供的位置信息是相对于前一帧的位置估计,所以局部位置估计比全局位置估计更精准,因此这类方法可以更好地让着陆器避开危险地带,然而,局部位置估计不能用来改进绝对位置。
另外,还可以根据是否依赖动力学模型分为基于图像信息和结合动力学模型的两类导航方法。前者只依赖图像信息,可以根据图像特征坐标,通过视觉几何约束求解位姿,该种方法简单可靠,适用于航天器交会对接及弱引力天体着陆过程,但是无法直接获得探测器的速度信息[89]。后者依赖动力学模型,融合运动信息之后通过滤波方法跟踪位姿,该种方法实时性更高,同时求解位姿信息更精确,但是求解复杂,且有时候估计的动力学模型准确度不够。
5.1 基于图像信息求解位姿
经典的基于图像信息估计位姿的算法是通过缩放正交,从图像点迭代找到旋转矩阵和平移矩阵来近似真实的透视投影变换,也称POSIT算法[90-91]。2001年,Sharp等[92]基于标记的特征点估计着陆器姿态。将它转换为基于模型的相机姿态估计问题。同时应用了线性和非线性优化算法,线性优化算法具有全局鲁棒性但对噪声敏感,非线性优化算法需要足够的初始化,但对噪声更稳健。所以,他们首先解决线性优化问题得到非精确结果,接着用来初始化非线性算法求解姿态。
2005年,Cheng等[14]提出跟踪小行星表面陨石坑的自主导航方案,采用基于特征自动检测、图像配准和特征跟踪的视觉导航方式来确定着陆器与目标天体之间的相对位置和姿态,基于此提出了利用已知位置陨石坑的火星着陆纯视觉导航方法。但是,它需要在每幅图像中同时检测至少3个位置已知的特征,且只能获得成像时刻的探测器位姿,导致状态估计不连续[89]。同样地,Cheng等[93]提出第一个用于估计行星下降过程中着陆器速度的下降图像运动估计系统(DIMES),使用图像相关性计算图像之间的水平位移,并估计图像的水平速度值。
2010年,朱圣英等[94]针对使用导航陆标进行六自由度状态估计这一非线性、模糊性问题,对星际着陆器自主位姿确定技术进行了研究。该文基于欧氏变换下角度不变性,提出以导航陆标观测视线之间所形成的夹角作为观测量,对像素观测方程中位置、姿态状态进行解耦求解。2016年,NASA计划从小行星上收集一些岩石样本并将其送回月球轨道,开发了小行星重定向机器人任务(ARRM)[10],开发机载相对地形成像导航算法。该算法采用立体光测角测量方法,将陆标与在航天器上拍摄的图像配准,并使用这些测量值估计航天器相对小行星的位置和方向。Lu等[85]通过射影变换分解和基于范数的优化方法,从匹配的陨石坑中计算着陆器姿态
2020年,Zhu等[90]在POSIT算法的基础上进行改进,提出一种基于陨石坑测量不确定度的航天器姿态和位置估计新方法。首先,结合陨石坑图像边缘检测特点,介绍陨石坑定位的误差分布。然后,用误差椭圆描述了陨石坑定位的误差不确定性,并分析了相关因素对陨石坑定位误差的影响。进一步地,考虑到定位误差具有各向异性、相关性和非同一分布的特点,通过对误差不确定矩阵进行奇异值分解(SVD)来构造不同陨石坑的加权矩阵。最后,将加权矩阵集成到姿态和位置估计算法中,形成了基于陨石坑位姿估计的加权测量不确定度方法。
2022年,邵巍等[95]提出一种利用不规则曲线上的点-切线估计着陆器位姿的算法。首先,通过构建不规则曲线描述符完成着陆图像中的不规则曲线匹配,曲线可以通过提取陨石坑边缘获得;其次,建立位姿与点-切线之间的约束关系;然后,通过曲线参数化的方法求解高阶方程组,并利用约束条件求得位姿参数唯一解与多条匹配曲线的最小二乘解。
姿态解算问题与同时定位建图(SLAM)问题类似[96],SLAM方法通过重复观测环境特征定位自身位置和姿态,再根据自身位置构建增量式地图,达到未知环境下定位与地图构建的目的[97]。SLAM中一些估计位姿的方法在着陆导航中得到广泛应用,其中PNP问题主要描述了如何从多个对应三维(3D)-二维(2D)点对中计算位姿,例如,估计位姿的P3P[98]、EPnP[99]、UPnP[100]或者迭代求解等方法。基于陨石坑的导航问题可以作为PNP问题求解[39-41],虽然P3P方法可以用三对点求解出位姿,但还是需要第四对点消除奇异性,因此求解PNP问题需要至少四对3D-2D点。还有SLAM中的迭代最近点(ICP)问题主要描述了如何从多个对应3D-3D点对中计算位姿,和PNP类似,ICP的求解方式可以采用SVD[101-103]或者利用非线性优化方式[104]求解。另外还可以对两帧图像之间进行特征匹配之后,通过对极几何估计出相机之间的相对运动[105]。
近几年,仍然有很多研究[41,106]基于EPNP算法,根据匹配的陨石坑估计航天器位姿。但是基于PNP或ICP问题,只使用陨石坑中心存在误差。Tian等[12]指出直接利用陨石坑中心的对应关系存在一致连续性误差,且误差随着高度下降而增大,并以此分别提出基于3个、2个和1个陨石坑的位姿解算方法。
5.2 结合动力学模型求解位姿
目前很多研究机构和人员都会设计导航滤波系统,融合着陆器的运动信息求解位姿。根据观测数据处理方式的不同[107],导航滤波优化算法可分为批处理算法和递推算法。批处理算法是基于某一段时间的一批观测数据的反复迭代运算,得出该时间段内某一特定时刻的最优轨道估计。常用方法为最小二乘法,着陆器初始参数的确定一般利用此方法,也用其改进形式,如加权最小二乘法。递推处理方法通过即时观测数据来更新现有估计,从而得出新的估计,一般用于轨道观测实时处理。常用的递推滤波方法包括卡尔曼滤波(KF)、EKF、无迹卡尔曼滤波(UKF)、粒子滤波、预测滤波方法等
KF是Kalman[108]于1960年提出的一种递归式数据处理算法,通过对系统动态模型和观测模型做出高斯分布的特定假设,以最小均方差为准则,对系统进行最优估计,成功应用于阿波罗登月计划。KF算法只适用于线性系统,对于非线性系统,可以使用EKF。EKF是在KF基础上提出的,对非线性系统使用一阶泰勒级数的线性化技术,通过构造雅可比矩阵对状态方程和观测方程进行线性化,再使用KF算法对线性化后的系统状态进行估计[109]。
20世纪末,兴起了基于采样原理的滤波算法,其中包括基于随机采样原理的粒子滤波算法和基于确定性采样原理的UKF算法[110]。粒子滤波引入定量参考分布的随机粒子,然后将这些粒子代入系统方程,通过粒子的概率分布完成对系统状态的估计,该方法虽然避免了系统线性化而带来的误差影响,但是需要大量随机粒子,导致计算量显著增加,而且还存在粒子退化问题[111-113]。UKF算法根据无迹变换原理,通过采样的方法对非线性系统进行近似,再借助KF原理对系统状态进行估计。对于一般的非线性系统,其估计精度可以达到二阶,采用适当的方法可以获得更高的估计精度[114]。
2007,Johnson等[29]将特征对应关系与EKF相结合,滤波器估计着陆器的位置、速度和姿态。2008年,Singh等[115]将图像特征与数据库匹配的绝对导航与包含特征流跟踪的相对导航集成在一起,并使用EKF进行导航。2016年,Xu等[116]提出一种基于陆标的自主导航方案,开发了从连续下降图像中提取坐标已知的陆标和坐标未知的陆标的测量模型,并分别用于计算EKF中的状态校正。该状态校正是由协方差交集融合算法得到执行状态更新。实现两种观察陆标类型的紧密耦合,并产生准确和稳健的状态估计。
由于探测器惯导存在测量偏差和噪声,经常会引起导航误差的累积,所以基于陨石坑的视觉导航技术往往可以和惯导组合,提高导航精度。2010年,冯军华等[107]融合多种导航测量方法弥补单一导航方式存在的不足,提高导航精度和可靠性,包括组合绝对定位与帧间相对运动的导航方法和视觉与惯性组合的导航方法。
自2010年起,德国航空航天中心[117]一直致力于自主地形视觉导航(ATON)项目开发,使航天器能够在环绕月球、行星、小行星和彗星等天体的轨道上和着陆期间进行自主导航。该项目开发了不同的图像处理技术和光学导航方法以及传感器数据融合,如
2018年,Trigo等[39]在图像帧之间利用陨石坑匹配辅助校正惯性导航,弥补累积误差,提高导航精度。导航滤波器基于EKF,通过闭环松耦合的混合设置校正高速惯性测量以及频率不高的陨石坑导航定位。大多数基于陨石坑的方法需要至少三个陨石坑才能实现陨石坑匹配,这在陨石坑稀少的情况下存在较大限制。Yu等[118]提出基于新的2D-3D陨石坑重投影模型实现单个陨石坑的匹配。基于EKF,重投影模型参考惯导测量的位姿信息,将3D陨石坑模型重投影到下降图像上,实现对应匹配。
基于图像信息和基于动力学模型的两类方法分别是基于优化和滤波的两类方法,两者都可以应用于跟踪识别。LIS识别只能使用基于图像信息的方法求解位姿,这类方法计算量较大,可以考虑所有帧图像信息求解位姿。基于动力学模型的方法往往具有相关假设,当前时刻的状态只与前一时刻的状态有关,但是这类方法计算量较少,大量应用于位姿跟踪应用。
6 总结与展望
未来行星探测任务为了获得更高的科学回报,其任务形式会更加复杂,一方面会选择陨石坑较多的复杂地形区域进行探测,另一方面对导航精度要求会更高,这给基于陨石坑的自主视觉导航技术提出了更高的要求。根据行星视觉导航的发展现状与技术难点分别对陨石坑检测、陨石坑识别和位姿解算三项关键技术进行了如下总结与展望:
1)陨石坑特征的精准提取。在复杂地形条件下,探测器会在不同高度、不同视角和不同运动状态下拍摄行星表面图像,图像中的陨石坑会存在尺度不一、旋转各异、阴影遮挡、边缘模糊等情况。虽然已经有了监督检测、非监督检测和复合检测等方法,但是还没有一种通用的检测方法,相比于陨石坑检测的准确率和快速性,陨石坑边缘的拟合精度对后续陨石坑匹配和导航精度更为重要,所以如何在已有方法的基础上快速提取精准正确的陨石坑数据仍然需要进一步研究。
2)异构陨石坑的准确识别。各个行星上的陨石坑数以万计,导航陨石坑的数量和位置是影响导航精度的重要因素。一般情况下,导航特征数量越多,导航精度越高,但是现阶段板载计算机的运算能力和存储空间有限,因此有必要研究导航匹配数据库的优化方法,减少数据库的容量。同时,目前着陆段的陨石坑LIS识别率较低,如何在没有初始姿态的情况下,实现着陆复杂情况下的陨石坑鲁棒识别仍然是研究难题。如果使用射影不变量进行匹配,又需要进一步研究如何降低噪声扰动带来的影响。
3)高精度的位姿解算。目前基于检测识别到的陨石坑中心,边缘曲线以及切点可以解算相对位姿和绝对位姿,基于优化的方法高效率地融合跟踪图像的相对位姿信息和全局图像的绝对位姿信息是未来可以研究的方向。同时,当着陆环境未知、行星表面地形特征绝对位置无法获取时,有必要针对未知形貌环境下探测器绝对运动估计这一问题,设计一种有效的探测器导航方法。除了陨石坑信息,紧密融合多类型形貌特征及扩展不规则曲线导航也值得深入研究,以进一步提高导航精度和保证导航。
[1] 于登云, 张哲, 泮斌峰, 等. 深空探测人工智能技术研究与展望[J]. 深空探测学报, 2020, 7(1): 11-23.
Yu D Y, Zhang Z, Pan B F, et al. Development and trend of artificial intelligent in deep space exploration[J]. Journal of Deep Space Exploration, 2020, 7(1): 11-23.
[2] 叶培建, 孟林智, 马继楠, 等. 深空探测人工智能技术应用及发展建议[J]. 深空探测学报, 2019, 6(4): 303-316, 383.
Ye P J, Meng L Z, Ma J N, et al. Suggestions on artificial intelligence technology application and development in deep space exploration[J]. Journal of Deep Space Exploration, 2019, 6(4): 303-316, 383.
[3] 欧阳威. 火星探测器自主导航方案设计与分析[D]. 长沙: 国防科技大学, 2017.
OuyangW. Mars autonomous navigation scheme design and analysis[D]. Changsha: National University of Defense Technology, 2017.
[8] 丁萌, 曹云峰, 吴庆宪. 月面灰度图像中的陨石坑检测[J]. 应用科学学报, 2009, 27(2): 156-160.
Ding M, Cao Y F, Wu Q X. Crater detection from gray image of the moon surface[J]. Journal of Applied Sciences, 2009, 27(2): 156-160.
[9] 张成渝, 梁潇, 吴奋陟, 等. 小行星探测下降着陆段光学导航技术发展综述[J]. 红外与激光工程, 2020, 49(5): 20201009.
[11] . Japanese probe landed on asteroid ryugu and collected underground materials[J]. Space Debris Research, 2019, 19(3): 56.
. 日本探测器“龙宫”上着陆采地下物质[J]. 空间碎片研究, 2019, 19(3): 56.
[12] Tian Y, Yu M, Yao M B, et al. Crater edge-based flexible autonomous navigation for planetary landing[J]. Journal of Navigation, 2019, 72(3): 649-668.
[13] JohnsonA E, MontgomeryJ F. Overview of terrain relative navigation approaches for precise lunar landing[C]∥2008 IEEE Aerospace Conference, March 1-8, 2008, Big Sky, MT, USA. New York: IEEE Press, 2008.
[14] ChengY, AnsarA. Landmark based position estimation for pinpoint landing on Mars[C]∥Proceedings of the 2005 IEEE International Conference on Robotics and Automation, April 18-22, 2005, Barcelona, Spain. New York: IEEE Press, 2006: 1573-1578.
[15] AnderssonL E, WhitakerE A. Nasa catalogue of lunar nomenclature[M]. Washington, D.C.: NASA Reference Publication, 1982.
[16] J W Ⅲ Head, Fassett C I, Kadish S J, et al. Global distribution of large lunar craters: implications for resurfacing and impactor populations[J]. Science, 2010, 329(5998): 1504-1507.
[17] Neumann G A, Zuber M T, Wieczorek M A, et al. Lunar impact basins revealed by Gravity Recovery and Interior Laboratory measurements[J]. Science Advances, 2015, 1(9): e1500852.
[18] Neumann G A, Zuber M T, Wieczorek M A, et al. Lunar impact basins revealed by Gravity Recovery and Interior Laboratory measurements[J]. Science Advances, 2015, 1(9): e1500852.
[19] Povilaitis R Z, Robinson M S, Van Der Bogert C H, et al. Crater density differences: exploring regional resurfacing, secondary crater populations, and crater saturation equilibrium on the moon[J]. Planetary and Space Science, 2018, 162: 41-51.
[21] Salamunićcar G, Lončarić S. GT-57633 catalogue of Martian impact craters developed for evaluation of crater detection algorithms[J]. Planetary and Space Science, 2008, 56(15): 1992-2008.
[22] Salamunićcar G, Lončarić S, Mazarico E. LU60645GT and MA132843GT catalogues of Lunar and Martian impact craters developed using a crater shape-based interpolation crater detection algorithm for topography data[J]. Planetary and Space Science, 2012, 60(1): 236-247.
[23] Salamunićcar G, Lončarić S, Pina P, et al. MA130301GT catalogue of Martian impact craters and advanced evaluation of crater detection algorithms using diverse topography and image datasets[J]. Planetary and Space Science, 2011, 59(1): 111-131.
[24] Bandeira L, Ding W, Stepinski T F. Detection of sub-kilometer craters in high resolution planetary images using shape and texture features[J]. Advances in Space Research, 2012, 49(1): 64-74.
[25] Robbins S J, Hynek B M. A new global database of Mars impact craters ≥1 km: 2. Global crater properties and regional variations of the simple-to-complex transition diameter[J]. Journal of Geophysical Research: Planets, 2012, 117(E6): E06001.
[26] Robbins S J, Hynek B M. A new global database of Mars impact craters ≥1 km: 1. Database creation, properties, and parameters[J]. Journal of Geophysical Research: Planets, 2012, 117(E5): E05004.
[27] Salamunićcar G, Lončarić S, Pina P, et al. Integrated method for crater detection from topography and optical images and the new PH9224GT catalogue of Phobos impact craters[J]. Advances in Space Research, 2014, 53(12): 1798-1809.
[28] RobertoD P, AlfredoR. A robust crater matching algorithm for autonomous vision-based spacecraft navigation[C]∥2021 IEEE 8th International Workshop on Metrology for AeroSpace (MetroAeroSpace), June 23-25, 2021, Naples, Italy. New York: IEEE Press, 2021: 322-327.
[29] JohnsonA, AnsarA, MatthiesL, et al. A general approach to terrain relative navigation for planetary landing[C]∥AIAA 2007 Conference and Exhibit, May 7-10, 2007, Rohnert Park, California. Virginia: AIAA Press, 2007: 2854.
[30] 丁萌, 李海波, 曹云峰, 等. 基于光学图像的撞击坑识别研究综述[J]. 深空探测学报, 2015, 2(3): 195-202.
Ding M, Li H B, Cao Y F, et al. Research survey of passive image-based impact crater detection[J]. Journal of Deep Space Exploration, 2015, 2(3): 195-202.
[31] 刘宇轩, 刘建军, 牟伶俐, 等. 撞击坑识别方法综述[J]. 天文研究与技术, 2012, 9(2): 203-212.
Liu Y X, Liu J J, Mu L L, et al. A review of impact-crater detection[J]. Astronomical Research & Technology, 2012, 9(2): 203-212.
[32] Delatte D M, Crites S T, Guttenberg N, et al. Automated crater detection algorithms from a machine learning perspective in the convolutional neural network era[J]. Advances in Space Research, 2019, 64(8): 1615-1628.
[33] Denevi B W, Chabot N L, Murchie S L, et al. Calibration, projection, and final image products of MESSENGER’s mercury dual imaging system[J]. Space Science Reviews, 2018, 214(1): 2.
[35] Salamunićcar G, Lončarić S. Open framework for objective evaluation of crater detection algorithms with first test-field subsystem based on MOLA data[J]. Advances in Space Research, 2008, 42(1): 6-19.
[37] HanakF C. Lost in low lunar orbit crater pattern detection and identification[D]. Austin: The University of Texas at Austin, 2009.
[38] Yu M, Cui H T, Tian Y. A new approach based on crater detection and matching for visual navigation in planetary landing[J]. Advances in Space Research, 2014, 53(12): 1810-1821.
[39] Trigo G F, Maass B, Krüger H, et al. Hybrid optical navigation by crater detection for lunar pin-point landing: trajectories from helicopter flight tests[J]. CEAS Space Journal, 2018, 10(4): 567-581.
[40] Maass B, Woicke S, Oliveira W M, et al. Crater navigation system for autonomous precision landing on the moon[J]. Journal of Guidance, Control, and Dynamics, 2020, 43(8): 1414-1431.
[41] Chen Z H, Jiang J. Crater detection and recognition method for pose estimation[J]. Remote Sensing, 2021, 13(17): 3467.
[42] DoppenbergW. Autonomous lunar orbit navigation with Ellipse R-CNN[D]. Netherlands: Delft University of Technology, 2021.
[43] 何江. 基于陨石坑匹配的月球精确着陆导航方法研究[D]. 哈尔滨: 哈尔滨工业大学, 2010.
HeJ. Research on crater matching based navigation method for lunar precise landing[D]. Harbin: Harbin Institute of Technology, 2010.
[44] Leroy B, Medioni G, Johnson E. Crater detection for autonomous landing on asteroids[J]. Image and Vision Computing, 2001, 19(11): 787-792.
[46] Sawabe Y, Matsunaga T, Rokugawa S. Automated detection and classification of lunar craters using multiple approaches[J]. Advances in Space Research, 2006, 37(1): 21-27.
[47] SadhukhanP, PalitS. Fast autonomous crater detection by image analysis-for unmanned landing on unknown terrain[M]∥Mansouri A, Nouboud F, Chalifour A, et al. Image and Signal Processing. Lecture notes in computer science. Cham: Springer, 2016, 9680: 293-303.
[48] 高锡珍. 基于陨石坑拟合椭圆的着陆器位姿估计方法研究[D]. 青岛: 青岛科技大学, 2016.
GaoX Z. Research on lander position and attitude determination based on crater fitting ellipse for precision landing[D]. Qingdao: Qingdao University of Science & Technology, 2016.
[49] Sood R, Chappaz L, Melosh H J, et al. Detection and characterization of buried lunar craters with GRAIL data[J]. Icarus, 2017, 289: 157-172.
[50] Zhou Y, Zhao H, Chen M, et al. Automatic detection of lunar craters based on DEM data with the terrain analysis method[J]. Planetary and Space Science, 2018, 160: 1-11.
[51] WetzlerP G, HondaR, EnkeB, et al. Learning to detect small impact craters[C]∥2005 Seventh IEEE Workshops on Applications of Computer Vision, January 5-7, 2005, Breckenridge, CO, USA. New York: IEEE Press, 2007: 178-184.
[52] Wang H, Jiang J, Zhang G J. CraterIDNet: an end-to-end fully convolutional neural network for crater detection and identification in remotely sensed planetary images[J]. Remote Sensing, 2018, 10(7): 1067.
[53] RonnebergerO, FischerP, BroxT. U-Net: convolutional networks for biomedical image segmentation[M]∥Navab N, Hornegger J, Wells W M, et al. International conference on medical image computing and computer-assisted intervention-MICCAI 2015. Lecture notes in computer science. Cham: Springer, 2015, 9351: 234-241.
[54] SzegedyC, LiuW, JiaY Q, et al. Going deeper with convolutions[C]∥2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 7-12, 2015, Boston, MA, USA. New York: IEEE Press, 2015.
[55] GirshickR. Fast R-CNN[C]∥2015 IEEE International Conference on Computer Vision (ICCV), December 7-13, 2015, Santiago, Chile. New York: IEEE Press, 2016: 1440-1448.
[56] Ren S Q, He K M, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.
[58] HeK M, ZhangX Y, RenS Q, et al. Deep residual learning for image recognition[C]∥2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 27-30, 2016, Las Vegas, NV, USA. New York: IEEE Press, 2016: 770-778.
[59] ZeilerM D, FergusR. Visualizing and understanding convolutional networks[M]∥Fleet D, Pajdla T, Schiele B, et al. Computer Vision-ECCV 2014. Lecture notes in computer science. Cham: Springer, 2014, 8689: 818-833.
[60] SainathT N, VinyalsO, SeniorA, et al. Convolutional, Long Short-Term Memory, fully connected Deep Neural Networks[C]∥2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), April 19-24, 2015, South Brisbane, QLD, Australia. New York: IEEE Press, 2015: 4580-4584.
[61] Ali-Dib M, Menou K, Jackson A P, et al. Automated crater shape retrieval using weakly-supervised deep learning[J]. Icarus, 2020, 345: 113749.
[62] HeK M, GkioxariG, DollárP, et al. Mask R-CNN[C]∥2017 IEEE International Conference on Computer Vision (ICCV), October 22-29, 2017, Venice, Italy. New York: IEEE Press, 2017: 2980-2988.
[63] DownesL M, SteinerT J, HowJ P. Lunar terrain relative navigation using a convolutional neural network for visual crater detection[C]∥2020 American Control Conference (ACC), July 1-3, 2020, Denver, CO, USA. New York: IEEE Press, 2020: 4448-4453.
[64] DownesL, SteinerT J, HowJ P. Deep learning crater detection for lunar terrain relative navigation[C]∥AIAA Scitech 2020 Forum, January 6-10, 2020, Orlando, FL. Virginia: AIAA Press, 2020: 1838.
[65] Dong W B, Roy P, Peng C, et al. Ellipse R-CNN: learning to infer elliptical object from clustering and occlusion[J]. IEEE Transactions on Image Processing, 2021, 30: 2193-2206.
[66] Kim J R, Muller J P, van Gasselt S, et al. Automated crater detection, a new tool for Mars cartography and chronology[J]. Photogrammetric Engineering & Remote Sensing, 2005, 71(10): 1205-1217.
[67] Martins R, Pina P, Marques J S, et al. Crater detection by a boosting approach[J]. IEEE Geoscience and Remote Sensing Letters, 2009, 6(1): 127-131.
[68] Urbach E R, Stepinski T F. Automatic detection of sub-km craters in high resolution planetary images[J]. Planetary and Space Science, 2009, 57(7): 880-887.
[69] ViolaP, JonesM. Robust real-time face detection[C]∥Proceedings Eighth IEEE International Conference on Computer Vision, July 7-14, 2001, Vancouver, BC, Canada. New York: IEEE Press, 2002: 747.
[70] EmamiE, BebisG, NefianA, et al. Automatic crater detection using convex grouping and convolutional neural networks[M]∥Bebis G, Boyle R, Parvin B, et al. Advances in visual computing. Lecture notes in computer science. Cham: Springer, 2015, 9475: 213-224.
[71] Silburt A, Ali-Dib M, Zhu C C, et al. Lunar crater identification via deep learning[J]. Icarus, 2019, 317: 27-38.
[73] Lee C, Hogan J. Automated crater detection with human level performance[J]. Computers & Geosciences, 2021, 147: 104645.
[74] Solarna D, Gotelli A, Le Moigne J, et al. Crater detection and registration of planetary images through marked point processes, multiscale decomposition, and region-based analysis[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(9): 6039-6058.
[76] Hanak C, Crain T, Bishop R. Crater identification algorithm for the lost in low lunar orbit scenario[J]. Advances in the Astronautical Sciences, 2010, 137(32): 2010.
[77] Park W, Jung Y, Bang H, et al. Robust crater triangle matching algorithm for planetary landing navigation[J]. Journal of Guidance, Control, and Dynamics, 2018, 42(2): 402-410.
[78] Christian J A, Derksen H, Watkins R. Lunar crater identification in digital images[J]. The Journal of the Astronautical Sciences, 2021, 68(4): 1056-1144.
[79] Xu L H, Jiang J, Ma Y. Ellipse crater recognition for lost-in-space scenario[J]. Remote Sensing, 2022, 14(23): 6027.
[80] Bandeira L, Saraiva J, Pina P. Impact crater recognition on Mars based on a probability volume created by template matching[J]. IEEE Transactions on Geoscience and Remote Sensing, 2007, 45(12): 4008-4015.
[81] 冯军华, 崔祜涛, 崔平远, 等. 行星表面陨石坑检测与匹配方法[J]. 航空学报, 2010, 31(9): 1858-1863.
Feng J H, Cui H T, Cui P Y, et al. Autonomous crater detection and matching on planetary surface[J]. Acta Aeronautica et Astronautica Sinica, 2010, 31(9): 1858-1863.
[82] Shao W, Xie J C, Cao L, et al. Crater matching algorithm based on feature descriptor[J]. Advances in Space Research, 2020, 65(1): 616-629.
[83] BarataT, AlvesE I, SaraivaJ, et al. Automatic recognition of impact craters on the surface of Mars[M]∥Campilho A, Kamel M. Image Analysis and Recognition. Lecture notes in computer science. Heidelberg: Springer, 2004, 3212: 489-496.
[84] Clerc S, Spigai M, Simard-Bilodeau V. A crater detection and identification algorithm for autonomous lunar landing[J]. IFAC Proceedings Volumes, 2010, 43(16): 527-532.
[85] Lu T T, Hu W D, Liu C, et al. Relative pose estimation of a lander using crater detection and matching[J]. Optical Engineering, 2016, 55(2): 023102.
[86] 余萌. 行星着陆巡视自主视觉导航方法研究[D]. 哈尔滨: 哈尔滨工业大学, 2016.
YuM. Research on autonomous visual navigation method for planetary landing and exploration mission[D]. Harbin: Harbin Institute of Technology, 2016.
[87] Mortari D, Samaan M A, Bruccoleri C, et al. The pyramid star identification technique[J]. Navigation, 2004, 51(3): 171-183.
[88] 高翔, 张涛, 刘毅. 视觉SLAM十四讲: 从理论到实践[M]. 北京: 电子工业出版社, 2017: 17-22.
GaoX, ZhangT, LiuY. Fourteen lectures on visual SLAM: from theory to practice[M]. Beijing: Publishing House of Electronics Industry, 2017: 17-22.
[89] 崔平远, 高锡珍, 朱圣英, 等. 行星着陆复杂形貌特征匹配与自主导航研究进展[J]. 宇航学报, 2022, 43(6): 713-722.
Cui P Y, Gao X Z, Zhu S Y, et al. Progress in complex topography feature matching and autonomous navigation for planetary landing[J]. Journal of Astronautics, 2022, 43(6): 713-722.
[90] Zhu S Y, Xiu Y, Zhang N, et al. Crater-based attitude and position estimation for planetary exploration with weighted measurement uncertainty[J]. Acta Astronautica, 2020, 176: 216-232.
[91] 马晓东, 吕昊, 张杰, 等. 基于双目视觉的固定翼无人机自主着陆技术研究[J]. 兵器装备工程学报, 2019, 40(11): 193-198.
Ma X D, Lü H, Zhang J, et al. Research on autonomous landing of fixed wing UAV based on binocular vision[J]. Journal of Ordnance Equipment Engineering, 2019, 40(11): 193-198.
[92] SharpC S, ShakerniaO, SastryS S. A vision system for landing an unmanned aerial vehicle[C]∥Proceedings 2001 ICRA. IEEE International Conference on Robotics and Automation (Cat. No.01CH37164), May 21-26, 2001, Seoul, Republic of Korea. New York: IEEE Press, 2003: 1720-1727.
[93] Cheng Y, Goguen J, Johnson A, et al. The Mars exploration rovers descent image motion estimation system[J]. IEEE Intelligent Systems, 2004, 19(3): 13-21.
[94] 朱圣英, 崔平远, 崔祜涛, 等. 基于路标观测角的星际着陆器自主位姿确定技术[J]. 航空学报, 2010, 31(2): 318-326.
Zhu S Y, Cui P Y, Cui H T, et al. Autonomous position and attitude determination for interplanetary landers based on landmark observation angles[J]. Acta Aeronautica et Astronautica Sinica, 2010, 31(2): 318-326.
[95] 邵巍, 王博宁, 窦凌飞, 等. 基于不规则曲线匹配的小天体着陆器视觉导航算法[J]. 中国科学: 物理学 力学 天文学, 2022, 52(1): 83-93.
Shao W, Wang B N, Dou L F, et al. Visual navigation algorithm for asteroid lander based on irregular curve matching[J]. Scientia Sinica: Physica, Mechanica & Astronomica, 2022, 52(1): 83-93.
[96] WokesD, WokesS. Surveying and pose estimation of a lander using approximative crater modelling[C]∥AIAA Guidance, Navigation, and Control Conference, August 2-5, 2010, Toronto, Ontario, Canada. Virginia: AIAA Press, 2010: 8342.
[97] Li M Y, Mourikis A I. High-precision, consistent EKF-based visual-inertial odometry[J]. The International Journal of Robotics Research, 2013, 32(6): 690-711.
[98] Gao X S, Hou X R, Tang J L, et al. Complete solution classification for the perspective-three-point problem[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(8): 930-943.
[99] Lepetit V, Moreno-Noguer F, Fua P. EPnP: an accurate O(n) solution to the PnP problem[J]. International Journal of Computer Vision, 2009, 81(2): 155-166.
[100] Penate-Sanchez A, Andrade-Cetto J, Moreno-Noguer F. Exhaustive linearization for robust camera pose and focal length estimation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(10): 2387-2400.
[101] Arun K S, Huang T S, Blostein S D. Least-squares fitting of two 3-D point sets[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1987, 9(5): 698-700.
[102] Eggert D W, Lorusso A, Fisher R B. Estimating 3-D rigid body transformations: a comparison of four major algorithms[J]. Machine Vision and Applications, 1997, 9(5): 272-290.
[103] AlsadatS M, LaurendeauD. Analysis of camera pose estimation using 2D scene features for augmented reality applications[M]∥Mansouri A, Moataz A E, Nouboud F, et al. Image and signal processing. Lecture notes in computer science. Cham: Springer, 2018, 10884: 243-251.
[104] DemmelN, SommerC, CremersD, et al. Square root bundle adjustment for large-scale reconstruction[C]∥2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 20-25, 2021, Nashville, TN, USA. New York: IEEE Press, 2021: 11718-11727.
[105] 林士琪, 王纪凯, 赵皓, 等. 基于多元环境特征的视觉定位方法综述[C]∥第22届中国系统仿真技术及其应用学术年会(CCSSTA22nd 2021)论文集. 北京: 中国自动化学会, 2021: 402-406.
LinS Q, WangJ K, ZhaoH, et al. A survey of visual localization methods based on multiple environmental features[C]∥The 22nd China System Simulation Technology and Its Application Academic Annual Conference (CCSSTA22nd 2021). Beijing: Chinese Association of Automation, 2021: 402-406.
[106] KimP, ColtinB, AlexandrovO, et al. Robust visual localization in changing lighting conditions[C]∥2017 IEEE International Conference on Robotics and Automation (ICRA), May 1, 2017, Singapore. New York: IEEE Press, 2017: 5447-5452.
[107] 冯军华. 月球探测器软着陆自主光学导航方法研究[D]. 哈尔滨: 哈尔滨工业大学, 2010.
FengJ H. Research on autonomous optical navigation for pinpoint lunar soft landing[D]. Harbin: Harbin Institute of Technology, 2010.
[108] Kalman R E. A new approach to linear filtering and prediction problems[J]. Journal of Basic Engineering, 1960, 82(1): 35-45.
[109] 王青竹. 光照不良情况下小行星着陆器光学导航的研究[D]. 北京: 北京工业大学, 2020.
WangQ Z. Study on optical navigation of asteroid lander under poor illumination[D]. Beijing: Beijing University of Technology, 2020.
[110] 王啸宇. 小天体探测着陆段自主导航技术研究[D]. 青岛: 青岛科技大学, 2022.
WangX Y. Reseach on autonomous navigation technology of small celestial body detection landing segment[D]. Qingdao: Qingdao University of Science & Technology, 2022.
[111] Zaritskii V, Svetnik V, Šimelevič L. Monte-Carlo technique in problems of optimal information processing[J]. Avtomatika i telemekhanika, 1975(12): 95-103.
[112] Handschin J E, Mayne D Q. Monte Carlo techniques to estimate the conditional expectation in multi-stage non-linear filtering[J]. International Journal of Control, 1969, 9(5): 547-559.
[113] Smith A F M, Gelfand A E. Bayesian statistics without tears: a sampling-resampling perspective[J]. The American Statistician, 1992, 46(2): 84-88.
[114] Julier S J, Uhlmann J K. Unscented filtering and nonlinear estimation[J]. Proceedings of the IEEE, 2004, 92(3): 401-422.
[115] SinghL, LimS. On lunar on-orbit vision-based navigation: terrain mapping, feature tracking driven EKF[C]∥AIAA Guidance, Navigation and Control Conference and Exhibit, August 18-21, 2008, Honolulu, Hawaii. Virginia: AIAA Press, 2008: 6834.
[116] Xu C, Wang D Y, Huang X Y. Landmark-based autonomous navigation for pinpoint planetary landing[J]. Advances in Space Research, 2016, 58(11): 2313-2327.
[117] Theil S, Ammann N, Andert F, et al. ATON (Autonomous Terrain-based Optical Navigation) for exploration missions: recent flight test results[J]. CEAS Space Journal, 2018, 10(3): 325-341.
[118] Yu M, Li S, Wang S Q, et al. Single crater-aided inertial navigation for autonomous asteroid landing[J]. Advances in Space Research, 2019, 63(2): 1085-1099.
Article Outline
许利恒, 江洁, 马岩. 基于陨石坑的视觉导航技术综述[J]. 激光与光电子学进展, 2023, 60(11): 1106013. Liheng Xu, Jie Jiang, Yan Ma. Review of Visual Navigation Technology Based on Craters[J]. Laser & Optoelectronics Progress, 2023, 60(11): 1106013.