偏振光辅助的视觉惯性导航系统
1 引言
导航定位技术对于机器人、无人驾驶、增强现实等作用重大。不同的应用领域对导航系统的精度、刷新频率、可靠性、成本、尺寸、质量等方面均有不同的要求。应用较为广泛的导航技术有天文导航、惯性导航、卫星导航、地磁导航、视觉导航等。为了提高导航系统的状态估计精度和鲁棒性,多传感器融合的组合导航解决方案近年来越来越受到学者们的关注和研究[1-2]。
利用相机导航的同步定位与建图(Simultaneous location and mapping,SLAM)技术是机器人与自主导航领域的研究热点和关键技术。学者们尝试将惯性测量单元(Inertial measurement unit,IMU)等传感器与视觉相机融合,以提升导航性能。惯性器件和视觉器件的特性不同:对于短期高动态运动,惯性器件能够很好地保证运动导航精度,但长期工作会导致误差累积,并导致状态发散;视觉器件可获取高精度的定位信息,且可以在闭环状况下抑制误差,但其导航效果受到光照、采样频率等的限制。视觉惯性的组合导航系统能够在复杂环境下实现具有鲁棒性和高精度的组合导航,实现更好的导航效果[3-6]。
Mourikis等[7]首次提出利用MSCKF(Multi-state constraint Kalman filter)的视觉惯性导航滤波算法,该算法建立的状态模型无需包含特征点空间位置,但其可能产生错误的可观性信息。Li等[8]提出的FEJ-EKF(First estimate Jacobian-extended Kalman filter)算法、Huang等[9]提出的UKF(Unscented Kalman filter)算法,以及Castellanos等[10]提出的Robocentric Mapping算法均致力于解决视觉惯性滤波估计不一致的问题。Lupton等[11-12]提出了预积分理论,通过增量方法成功求解视觉惯性组合导航算法的优化方法;但此方法缺乏闭环检测,故无法用于长时间的精密导航。沈劭劼课题组提出的VINS(Visual-inertial navigation system)算法能够实现动态初始化、外参自动估计、闭环优化、重定位等功能[13]。
在视觉惯性导航系统中,由于偏航角的不可观,里程计漂移是不可避免的问题。通过观察昆虫等采用的导航方式,学者们提出了仿生偏振导航。这种模拟昆虫复眼的导航方式能够利用大气偏振分布模式获得航向角,具有抗电磁波干扰、自主性强、无累积误差等优点[14-16],目前已经有广泛的应用。Chu等[17]将偏振光传感器与光电编码盘组合成航位推算系统,并将该系统用于移动机器人的室外导航。褚金奎等[18]在四旋翼飞行器导航系统中加入仿生偏振定向传感器,通过EKF算法设计了融合导航算法,提高了导航系统的抗电磁干扰能力。王玉杰等[19]、王道斌[20]设计了偏振光组合导航方案,验证了偏振组合导航的可行性。学者们将偏振光与惯性导航、卫星导航等进行了信息融合,但目前偏振光与SLAM的组合局限于纯视觉SLAM的滤波松耦合,其解算精度不高、鲁棒性不强,有关偏振光与多传感器融合SLAM的研究较少。
本文在视觉惯性SLAM的基础上引入仿生偏振导航,设计了偏振光辅助的视觉惯性SLAM系统,利用非线性优化方法建立目标方程,获取载体的运动估计,实现了多传感器融合算法,并在户外开展了车载导航实验。与传统的SLAM导航相比,该系统能够测量方位角,使得偏航角和姿态估计的准确度得到了提高,可更好地估计地面载体的运动姿态,有着抗电磁干扰、自主性强和成本低的优势。
2 偏振光传感器原理及IMU数据模型
2.1 偏振定向传感器工作原理
研究表明,大气层中的浮游粒子会散射和吸收自然光。在晴朗无云的天气状况下,大气中主要为N2、O2、CO2、O3等小直径的原子和分子,天空中能够产生有规律且稳定分布的偏振光场,故可采用瑞利散射理论模型建立大气偏振光场分布模型。偏振光定向传感器可根据偏振分布场进行导航,其模拟沙漠蚂蚁头背部的偏振敏感复眼可确定自身体轴与太阳子午线的夹角,进而确认二维平面内的航向角信息[21]。
导航系统选用东北天坐标系(ENU),右前上坐标系为载体坐标系(b);载体上固连偏振光传感器,偏振光传感器的体坐标系与载体坐标系重合。3个姿态角为俯仰角(
偏振E矢量在世界坐标系(n)中表示为
理想状况下,观测点即为天顶点,此时用于计算余弦矩阵的P点坐标为Pn=[0 0 1],方向余弦矩阵
太阳视线的投影坐标表示为
由瑞利散射规律可以得到
联立上述各式即可得到航向角
2.2 IMU数据模型
IMU可测量运动载体瞬时的线性加速度和旋转角速度,进而计算载体的位置、速度和方向,其由加速度计和陀螺仪组成。IMU通过积分采集的相邻时刻数据求解位姿信息,载体在第i时刻到第j时刻之间位姿变换的求解方法为
式中:t代表时间间隔;δ代表微分;
陀螺仪和加速度计存在着零偏(Bias)、白噪声(Noise)、比例因子(Scale)等误差,其中的确定性误差可以通过采用标定手段进行补偿[22]。考虑高斯白噪声N和零偏B,IMU的模型可表示为
式中:下标g代表陀螺仪,下标a代表加速度计;
3 传感器融合导航关键算法
组合导航核心算法的流程图如
图 2. 偏振光辅助的组合导航系统框架图
Fig. 2. Block diagram of integrated navigation system assisted by polarized light
3.1 系统的数据采集和初始化
由于多个传感器的频率不同,需在对系统采集的传感器数据添加时间戳和序列号后重新发布,并在初始化阶段同步各个传感器的时间戳,集中存储和批量处理属于同一时间间隔内的传感器数据。良好的初始化对于系统的运动估计精度和稳定性至关重要。初始化阶段,需估计系统正常运行时所需的状态变量。由于系统的非线性,一个错误的初始化可能会损害整个估计过程,易使系统运行后期出现跟踪丢失、重定位以及估计误差过大等情况。相邻时刻k与k+1视觉测量的姿态变化
根据
为了估计载体坐标系的速度、视觉估计的尺度因子和相机坐标系下的重力矢量,需要利用相机和IMU的测量值进行联合初始化,建立约束,求解出相机与IMU之间的外部参数后,估计陀螺仪零偏B,进而估算图像帧的速度、视觉估计的尺度因子、重力矢量在相机坐标系下的测量值。
完成重力矢量的估计后,通过将重力加速度g在初始时刻相机坐标系下的表达式
3.2 系统的位姿估计
由于各传感器存在误差和缺陷,对于视觉跟踪和IMU初步估计的运动位姿与相关状态量还需进行最小二乘优化估计。利用多传感器数据进行融合优化以获取高精度的运动估计,记优化的状态量为
式中:各变量分别表示m时刻运动载体的载体坐标系相对于世界坐标系的位置、速度、姿态,以及惯性器件中加速度计与陀螺仪的零偏;
式中:I代表IMU的测量范围;l和j代表相机相邻观测时刻;C代表相机的测量范围;
式中:
由相邻2个数据帧的IMU数据积分值得到的航向角的变化量为
4 导航平台设计及实验
4.1 导航平台的结构
搭建的组合导航实验平台如
表 1. 组合导航系统传感器信息
Table 1. Information of integrated navigation system sensor
|
4.2 实验流程
实验平台内各传感器的坐标系朝向以及平台在车顶的固定位置如
实验一于辽宁省大连市甘井子区高新园小平岛别墅中心广场(北纬38.831°,东经121.499°)开展,实验实际轨迹为一个半径为70 m的近似圆形,其周长约为377 m,航向角随时间的变化接近线性。实验当日天空无云,天气晴朗。偏振定向传感器的测量精度与天空偏振分布模式有关,为了实现较为良好的实验效果,选择下午进行测试。实验平台没有障碍物的遮挡,能够较好地接收自然光。载体行进轨迹如
使用误差分析工具EVO对导航结果进行分析,评估估计轨迹的相对位姿误差(Relative pose error,RPE;记为RRPE),计算方法为:每隔相同的时间,计算基准轨迹与算法估计的位姿的变化量,对同一区间内的理论值与估计值的变化量作差,从而获得误差值。此计算方法也可用于估计系统漂移。对算法估计的位姿与基准轨迹的记录值进行时间戳对齐和比例自动缩放后,计算其误差。
实验一的行驶距离较短,但载体在行驶过程中,航向角持续变化,且实验时光线较强,故系统的视觉特征提取与跟踪效果一般,最终计算得出的平均位置误差和角度误差结果如
表 2. 导航方式误差对比(实验一)
Table 2. Navigation mode error comparison (experiment 1)
|
实验二地点位于辽宁省大连市博广路锦绣华城附近(北纬38.898°,东经121.513°),实验当日天气良好,各传感器工作正常。载体行驶距离大于2 km,轨迹相对第一次实验更加复杂。
本次实验最终得到如
表 3. 导航方式误差对比(实验二)
Table 3. Navigation mode error comparison (experiment 2)
|
5 结论
为了实现偏振光传感器在SLAM中的应用,并改善组合导航系统的导航性能与抗电磁干扰能力,提出了一种仿生偏振定向传感器辅助的视觉惯性导航方法,完成了导航实验平台的搭建,并进行了户外车载实验。与传统的视觉惯性SLAM的位姿估计结果相比,在2 km的长距离运动中,提出的导航方案的位置误差降低了 16.7%,航向角精度提升了23.4%,证明该组合导航系统可应用于机器人户外导航和建图。
组合导航系统位姿估计的精度和鲁棒性受到多个因素的影响,包括传感器特性、解算过程、系统初始化效果和载体运动过程中的速度和角度变化。在方案设计和实现过程中,已尽量考虑各影响因素,但该方案仍然存在缺陷。目前,在相机过曝、光线不佳时,导航系统存在提取和跟踪特征点不稳定的情况。后续还需考虑在阴雨天气下偏振光传感器工作状态不良的情况,研究天气适应性更强的成像式偏振定向传感器的应用,并针对地图复用环节等展开研究。
[1] 段国文, 何庆顺, 刘伟. 国外导航系统发展现状与趋势[J]. 电子技术与软件工程, 2021(19): 29-31.
Duan G W, He Q S, Liu W. Development status and trend of navigation system abroad[J]. Electronic Technology & Software Engineering, 2021(19): 29-31.
[2] GrovesPaul D.. GNSS与惯性及多传感器组合导航系统原理. 练军想, 译[M]. 2版. 北京: 国防工业出版社, 2015. 10.1109/maes.2014.14110
GrovesP D. Principles of GNSS, inertial, and multisensor integrated navigation systems. Liang J X, Transl[M]. 2nd ed. Beijing: National Defense Industry Press, 2015.
[3] 高翔, 张涛, 刘毅. 视觉SLAM十四讲从理论到实践[M]. 北京: 电子工业出版社, 2017.
GaoX, ZhangT, LiuY. Lecture 14 of visual SLAM: from theory to practice[M]. Beijing: Publishing House of Electronics Industry, 2017.
[4] 吴建清, 宋修广. 同步定位与建图技术发展综述[J]. 山东大学学报(工学版), 2021, 51(5): 16-31.
Wu J Q, Song X G. Review on development of simultaneous localization and mapping technology[J]. Journal of Shandong University (Engineering Science), 2021, 51(5): 16-31.
[5] 宋薇, 梁晶, 张海桥, 等. 基于楼宇场景分类的激光导航与地图构建[J]. 激光与光电子学进展, 2021, 58(14): 1404001.
[6] Cadena C, Carlone L, Carrillo H, et al. Past, present, and future of simultaneous localization and mapping: toward the robust-perception age[J]. IEEE Transactions on Robotics, 2016, 32(6): 1309-1332.
[7] MourikisA I, RoumeliotisS I. A multi-state constraint Kalman filter for vision-aided inertial navigation[C]∥Proceedings 2007 IEEE International Conference on Robotics and Automation, April 10-14, 2007, Rome, Italy. New York: IEEE Press, 2007: 3565-3572.
[8] Li M Y, Mourikis A I. High-precision, consistent EKF-based visual-inertial odometry[J]. The International Journal of Robotics Research, 2013, 32(6): 690-711.
[9] Huang G P, Mourikis A I, Roumeliotis S I. A quadratic-complexity observability-constrained unscented Kalman filter for SLAM[J]. IEEE Transactions on Robotics, 2013, 29(5): 1226-1243.
[10] Castellanos J A, Martinez-Cantin R, Tardós J D, et al. Robocentric map joining: improving the consistency of EKF-SLAM[J]. Robotics and Autonomous Systems, 2007, 55(1): 21-29.
[11] Lupton T, Sukkarieh S. Visual-inertial-aided navigation for high-dynamic motion in built environments without initial conditions[J]. IEEE Transactions on Robotics, 2012, 28(1): 61-76.
[12] Forster C, Carlone L, Dellaert F, et al. On-manifold preintegration for real-time visual: inertial odometry[J]. IEEE Transactions on Robotics, 2017, 33(1): 1-21.
[13] Qin T, Li P L, Shen S J. VINS-mono: a robust and versatile monocular visual-inertial state estimator[J]. IEEE Transactions on Robotics, 2018, 34(4): 1004-1020.
[14] 朱志飞, 杨江涛, 王晨光, 等. 基于瑞利大气偏振模式的太阳自主定位方法及其实现[J]. 激光与光电子学进展, 2017, 54(2): 022901.
[15] 褚金奎, 时超, 王寅龙, 等. 偏振光实时定位系统的设计[J]. 中国激光, 2018, 45(3): 0310002.
[16] 褚金奎, 田连标, 成昊远, 等. 天空光主导的波浪水面下偏振分布模型仿真[J]. 光学学报, 2020, 40(20): 2001002.
[17] ChuJ K, WangH Q, ChenW J, et al. Application of a novel polarization sensor to mobile robot navigation[C]∥2009 International Conference on Mechatronics and Automation, August 9-12, 2009, Changchun, China. New York: IEEE Press, 2009: 3763-3768.
[18] 褚金奎, 武进, 李金山, 等. 偏振光传感器在四旋翼飞行器中的应用[J]. 电子学报, 2020, 48(1): 198-203.
Chu J K, Wu J, Li J S, et al. Application of polarization sensor in quadrotor helicopter[J]. Acta Electronica Sinica, 2020, 48(1): 198-203.
[19] 王玉杰, 胡小平, 练军想, 等. 仿生偏振视觉定位定向机理与实验[J]. 光学 精密工程, 2016, 24(9): 2109-2116.
[20] 王道斌. 基于天空偏振光的SLAM方法的研究[D]. 合肥: 中国科学技术大学, 2014.
WangD B. The research of SLAM algorithm based on the sky polarized light[D]. Hefei: University of Science and Technology of China, 2014.
[21] 褚金奎, 张慧霞, 王寅龙, 等. 多方向偏振光实时定位样机的设计与搭建[J]. 光学 精密工程, 2017, 25(2): 312-318.
[22] 汪志刚, 郭杭, 敖龙辉. 利用Vicon系统进行IMU标定[J]. 测绘通报, 2021(7): 121-125.
Wang Z G, Guo H, Ao L H. IMU calibration using Vicon system[J]. Bulletin of Surveying and Mapping, 2021(7): 121-125.
Article Outline
褚金奎, 胡瀚珮, 万振华, 李金山. 偏振光辅助的视觉惯性导航系统[J]. 激光与光电子学进展, 2023, 60(7): 0726002. Jinkui Chu, Hanpei Hu, Zhenhua Wan, Jinshan Li. Visual Inertial Navigation System Aided by Polarized Light[J]. Laser & Optoelectronics Progress, 2023, 60(7): 0726002.