室内移动机器人双目视觉全局定位 下载: 1489次
1 引言
当前解决室内移动机器人定位问题有很多种方法[1-2],如基于惯性导航、激光雷达、地图匹配、视觉定位等。其中,视觉定位方法因可采集到丰富的环境信息、探测范围广等优点,已成为室内机器人定位研究领域的一个热点。
室内移动机器人视觉定位方法可分为相对定位和全局定位。相对定位一般是将相机安装在移动机器人的上方,在定位过程中相机随机器人一起运动,如基于路标的定位[3] 和视觉同步定位与地图构建(SLAM)[4] 等。而全局定位是基于全局静态相机获取移动机器人位置等场景信息的一种方法。相较于相对定位,全局定位方法具有成本低的优点,尤其在多机器人工作的场景中,无需为每个机器人安装相机,只需一套全局静态视觉设备即可实现对多个机器人的定位,且后期维护成本低[5]。
近年来,国内外学者在移动机器人全局视觉定位方面进行了广泛的研究。Weitzenfeld等[6]通过全局摄像头采集足球机器人的颜色模板,结合图像处理算法,计算出机器人的位姿,但其大量工作集中在颜色模板设计和分析算法上。张枭[7]使用全局视觉摄像头和并行计算技术,开展了仿生机器鱼的实时定位研究,但所使用的目标匹配等算法过程复杂,对计算机硬件要求高。在文献[ 5]中,黄瑞民提出使用二进制鲁棒不变可伸缩关键点(BRISK)特征对移动机器人进行定位的方法,但定位精度易受到视频图像特征点提取和匹配准确度的影响。王聪媛[8]设计了基于顶视相机的全局视觉定位系统,实现了对移动机器人位姿信息的获取,但其在全局范围内的相机标定方面使用了较为复杂的单应矩阵求解算法。陈军[9]基于静态CCD摄像机对室内移动机器人的全局定位进行了研究,但算法中涉及到的彩色图像分割等算法易受到光照等因素的影响,定位的准确度受影响。赵文闯[10]通过固定于顶棚的单目相机,较好地实现了移动机器人的定位,但在定位过程中涉及到卡尔曼滤波、特征点提取和配对、迭代和递推搜索等算法,这些算法会影响定位的实时性。何俊[11]对室内移动机器人的定位和分布式控制技术进行了研究,但其所使用的CamShift和卡尔曼滤波算法会降低定位的实时性。Lee等[12]在室内环境下,使用低成本的单目相机和色标实现了对移动机器人的全局视觉定位,但其使用的色标易受到环境光的影响。Krajník等[13]开发了一套移动机器人视觉定位软件,该软件的核心算法是对黑白条纹的模板进行检测,但定位算法涉及到大量的图像处理运算,对硬件运算单元要求高。
以上所述的基于视觉的移动机器人全局定位方法,采用的全局视觉传感器主要为单目相机,视野较小。尽管单目相机的硬件成本低,但会涉及到特征点提取和匹配、图像分割等算法,而且相关算法易受室内环境影响,在算法时间复杂度增加的同时,全局定位的准确性和实时性也受到影响。
因此,本文针对以上问题,在总结归纳当前室内移动机器人全局视觉定位方法的基础上,结合实际工程对全局定位实时性和准确度等的需求,提出基于室内移动机器人的双目视觉全局定位方法。在给出基于标定板的双目全局定位方案的基础上,介绍了双目视觉全局定位的实现算法,最后对相关的理论算法进行了实验验证和分析。
2 基于标定板的双目视觉全局定位方案
如
但在对室内移动机器人进行双目视觉全局定位过程中,双目相机固定于室内屋顶,与地面上的移动机器人距离远,若基于SURF特征提取算子对双目采集的图像进行特征点匹配,如
图 1. 移动机器人图像特征匹配。(a)近景匹配;(b)远景匹配
Fig. 1. Image feature matching of mobile robot. (a) Matching in near scene; (b) matching in far scene
因此,在室内移动机器人运动过程中,为了保证稳定的特征提取,提出了在移动机器人的上方安装白色标定板的定位方案,如
3 移动机器人双目视觉全局定位算法
3.1 移动机器人双目视觉全局定位原理和数学模型
移动机器人双目视觉全局定位原理如
由左、右相机的理想成像模型[16] 及双目视觉系统的旋转矩阵R和平移向量T[17],可得如下关系式:
图 3. 移动机器人双目视觉全局定位原理
Fig. 3. Global localization principle of mobile robot based on binocular vision
式中:(ul,vl)、(ur,vr)为点p在左、右相机图像平面的坐标。
式中:flx, fly分别为左相机图像平面x,y轴向的等效焦距;frx, fry分别为右相机图像平面x,y轴向的等效焦距;(uOl,vOl) 、(uOr,vOr) 为左、右相机图像平面的坐标原点;R为3×3的矩阵,T为 3×1的矩阵,[R T]为3×4的矩阵;H为3×4的矩阵,矩阵元素由双目视觉系统的内、外参数构成,其矩阵元素为hi'j'(i'=1,2,3; j'=1,2,3,4)。
由(1)式和左相机的理想成像模型,可得点p在左目相机坐标系下的坐标为
由点p 在左、右相机图像平面的坐标和双目相机的内、外参数,可得移动机器人标定板中心点p在左目相机坐标系下的三维空间坐标。双目相机的内、外参数可通过对相机进行标定得到,而标定板中心点p的图像坐标需提取其四个角点的图像坐标求得。
3.2 移动机器人标定板角点的提取
为实现移动机器人标定板角点的提取,首先对视频图像中的移动机器人进行区域检测,将角点提取的范围缩小到检测到的移动机器人运动区域。
3.2.1 移动机器人运动区域的检测
在对移动机器人进行全局定位的室内场景下,一般会存在行人、光照变化等,使得双目视觉采集到的视频背景具有多模态特性。因此,借鉴文献[ 18]中的运动目标提取方法,应用解决多模态问题的基于高斯混合模型背景减除法[19]对室内移动机器人运动区域进行检测。
对于移动机器人场景视频图像中像素值为M的像素点,用k个高斯分布模型表示其像素值的概率,建立高斯混合背景模型,更新[20]后,将k个高斯分布模型的ωi,t/
式中:ωi,t为t时刻第i个高斯分布的权重;T为阈值,表示B背景模型在k个高斯分布中所占的比例大小。在ωi,t/
M更新后,将新像素值Mt+1与前b个高斯分布比较,如果Mt+1 与背景分布满足
则M对应的点为图像背景点,否则为前景点。式中:μi,t为t时刻第i个高斯分布的均值,i=1,2,…,b;λ为调整常数,一般取值2.5。
取高斯分布模型个数k=3,T=0.8,以
在
图 4. 移动机器人运动区域检测。 (a)原图;(b)基于高斯混合模型的处理结果;(c)形态学处理结果;(d)最小矩形框标注
Fig. 4. Motion area detection of mobile robot. (a) Original image; (b) processed result based on Gaussian mixture model; (c) processed result based on morphology; (d) minimum rectangle mark
3.2.2 标定板角点的提取
在3.2.1节移动机器人运动区域检测的基础上,为实现标定板角点的提取,首先对移动机器人运动区域整体进行角点检测。在计算机视觉的图像处理领域中,SURF、FAST[23]等是应用较广的特征提取算法,其中FAST算法的优点是角点检测效率高[24]。因此,为保证双目视觉全局定位的实时性,选用FAST算法对移动机器人运动区域进行角点检测,以左目相机中的一帧图像为例,对移动机器人的角点检测的结果如
式中:fi″为移动机器人身上提取的任一角点;n为角点的总数。
进一步建立标定板角点的判据:当角点fi″的灰度值大于阈值时,判定该角点为标定板的角点,否则就不是角点。取灰度阈值为215,如
4 实验及分析
室内移动机器人双目视觉全局定位实验平台如
图 7. 室内移动机器人双目视觉全局定位实验平台
Fig. 7. Global localization experiment platform for indoor mobile robot based on binocular vision
4.1 双目相机标定实验
在双目相机标定实验中,使用棋盘格平面靶标标定双目相机的内、外参数。棋盘格内角点数为6×5,每个方格边长为99 mm。由左、右目相机分别采集12幅不同位姿状态下的棋盘格图像标定相机内参数。基于Matlab工具箱,左、右目相机标定后的内参数如
利用双目相机同时采集10幅不同位姿状态下的棋盘格图像来标定相机间的外参数。基于Matlab工具箱,对双目相机进行标定后,左、右目相机间的外参数R和T分别为
表 1. 相机内参数标定结果
Table 1. Calibration results of camera intrinsic parameters
|
4.2 室内移动机器人的双目视觉全局定位实验
利用3.2节中标定板角点的提取方法,对双目相机中的图像进行处理,可得标定板四个角点的图像坐标,进而可计算出标定板中心点p在双目相机中的图像坐标pl和pr,结合(3)式和4.1节中标定完成的双目相机内、外参数,可求得点p在左目相机下的三维空间坐标Pl(Xl,Yl,Zl)。
在对移动机器人的全局定位实验中,控制移动机器人沿2 m×2 m的正方形轨迹运动2圈,如
图 9. 全局定位误差。 (a)第1圈定位误差;(b)第2圈定位误差
Fig. 9. Global localization error. (a) Localization error of 1st lap; (b) localization error of 2nd lap
经统计计算可知,
为进一步验证本文全局定位方法的可行性和有效性,控制移动机器人沿半径为1 m的圆形轨迹运动1圈,如
经统计计算可知,
影响全局定位精度的主要误差源包括:1)移动机器人身上标定板顶点的提取误差,其中主要涉及到图像处理的精度;2)双目相机参数的标定误差,其中涉及到标定算法和棋盘格靶标自身的精度。通过减小误差,可进一步提高对移动机器人的全局定位精度。
5 结论
提出室内移动机器人双目视觉全局定位的方法。针对室内移动机器人与双目相机距离远,难以保证图像特征点匹配的准确性和移动机器人定位的精度等问题,给出了基于标定板的双目视觉定位方案,并通过相关的理论分析和工程实验验证了该方法的可行性和有效性,为室内移动机器人的全局视觉定位提供一种新的方法。
由于双目视觉的视场只能覆盖室内部分区域,为实现移动机器人在室内任意位置的全局定位,后续将开展移动机器人在多相机下的全局定位研究。下一步的目标将针对影响全局定位精度的各误差,分析研究如何减小相关误差源,以进一步提高移动机器人的双目视觉全局定位精度,并针对移动机器人运动速度对双目视觉定位精度的具体影响进行分析研究。
[1] 李月华. 基于无源信标的移动机器人室内定位技术研究[D]. 杭州: 浙江大学, 2018.
Li YH. Research on indoor localization technology for mobile robot based on passive beacon[D]. Hangzhou: Zhejiang University, 2018.
[2] Martín F, Matellán V, Rodríguez F J, et al. Octree-based localization using RGB-D data for indoor robots[J]. Engineering Applications of Artificial Intelligence, 2019, 77: 177-185.
[3] 夏华. 基于自然路标的室内机器人双目视觉定位系统的研究[D]. 长春: 吉林大学, 2017.
XiaH. Research on binocular vision localization system for indoor robot based on natural landmarks[D]. Changchun: Jilin University, 2017.
[4] 李想. 基于SLAM的室内移动机器人导航技术研究[D]. 哈尔滨: 哈尔滨工业大学, 2018.
LiX. Research on navigation technology of indoor mobile robot based on SLAM[D]. Harbin: Harbin Institute of Technology, 2018.
[5] 黄瑞民. 基于视觉的移动机器人全局定位算法设计与实现[D]. 秦皇岛: 燕山大学, 2017.
Huang RM. Design and implementation of global positioning algorithm for mobile robot based on vision[D]. Qinhuangdao: Yanshan University, 2017.
[6] WeitzenfeldA, BiswasJ, AkarM, et al. RoboCup small-size league: past, present and future[M] ∥Bianchi R, Akin H, Ramamoorthy S, et al. RoboCup 2014: robot world cup XVIII. Lecture notes in computer science. Cham: Springer, 2015, 8992: 611- 623.
[7] 张枭. C/S全局视觉仿生机器鱼并行跟踪定位控制系统的设计与实现[D]. 北京: 中国地质大学, 2016.
ZhangX. Design and realization of the parallel tracking control system by Client/Server mode for bio-mimetic robotic fish based on global vision[D]. Beijing: China University of Geosciences, 2016
[8] 王聪媛. 基于视觉的移动机器人定位系统设计与实现[D]. 天津: 南开大学, 2015.
Wang CY. Design and implementation of vision-based mobile robot localization system[D]. Tianjin: Nankai University, 2015.
[9] 陈军. 基于静态摄像机的室内移动机器人全局定位研究[D]. 南京: 东南大学, 2004.
ChenJ. Research on global localization of indoor mobile robot using a static camera[D]. Nanjing: Southeast University, 2004.
[10] 赵文闯. 基于视觉的多机器人实验系统室内实时定位研究[D]. 哈尔滨: 哈尔滨工业大学, 2007.
Zhao WC. Research on real-time visual localizaton for indoor exprimental multiple-robot system[D]. Harbin: Harbin Institute of Technology, 2007.
[11] 何俊. 室内多机器人系统定位与分布式控制技术[D]. 南京: 南京理工大学, 2017.
HeJ. Positioning and distributed control technology of indoor multi-robot system[D]. Nanjing: Nanjing University of Science & Technology, 2017
[12] Lee S, Tewolde G, Lim J, et al. Vision based localization for multiple mobile robots using low-cost vision sensor[J]. International Journal of Handheld Computing Research, 2016, 7(1): 12-25.
[13] Krajník T, Nitsche M, Faigl J, et al. A practical multirobot localization system[J]. Journal of Intelligent & Robotic Systems, 2014, 76(3/4): 539-562.
[14] 徐德, 谭民, 李原. 机器人视觉测量与控制[M]. 3版. 北京: 国防工业出版社, 2016.
XuD, TanM, LiY. Visual measurement and control for robots[M]. 3rd ed. Beijing: National Defense Industry Press, 2016.
[15] 靳京京, 卢文龙, 郭小庭, 等. 基于SURF和RANSAC算法的同步相移干涉图位置配准方法[J]. 光学学报, 2017, 37(10): 1012002.
[16] 苏建东, 齐晓慧, 段修生. 基于单目视觉和棋盘靶标的平面姿态测量方法[J]. 光学学报, 2017, 37(8): 0815002.
[17] Zhang Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.
[18] 李鹏, 张炎. 基于高斯混合模型和卷积神经网络的视频烟雾检测[J]. 激光与光电子学进展, 2019, 56(21): 211502.
[19] 邵奇可, 周宇, 李路, 等. 复杂场景下自适应背景减除算法[J]. 中国图象图形学报, 2015, 20(6): 756-763.
Shao Q K, Zhou Y, Li L, et al. Adaptive background subtraction approach of Gaussian mixture model[J]. Journal of Image and Graphics, 2015, 20(6): 756-763.
[20] Stauffer C. Grimson W E L. Learning patterns of activity using real-time tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(8): 747-757.
[21] 刘让, 王德江, 贾平, 等. 基于全方位形态学滤波和局部特征准则的点目标检测[J]. 光学学报, 2017, 37(11): 1104001.
[22] 张思雨, 李从利. 基于改进Criminisi算法的航拍图像厚云修复[J]. 激光与光电子学进展, 2018, 55(12): 121012.
[23] RostenE, DrummondT. Machine learning for high-speed corner detection[M] ∥Leonardis A, Bischof H, Pinz A. Computer vision-ECCV 2006. Lecture notes in computer science. Berlin, Heidelberg: Springer, 2006, 3951: 430- 443.
[24] 王蒙, 戴亚平. 基于FAST角点检测的局部鲁棒特征[J]. 北京理工大学学报, 2013, 33(10): 1045-1050.
Wang M, Dai Y P. Local robust feature based on FAST corner detection[J]. Transactions of Beijing Institute of Technology, 2013, 33(10): 1045-1050.
Article Outline
李鹏, 张洋洋. 室内移动机器人双目视觉全局定位[J]. 激光与光电子学进展, 2020, 57(4): 041503. Peng Li, Yangyang Zhang. Global Localization for Indoor Mobile Robot Based on Binocular Vision[J]. Laser & Optoelectronics Progress, 2020, 57(4): 041503.