基于点线特征结合的单目相对位姿测量方法

李涛; 关棒磊; 张家铭; 孙放; 尚洋

doi:doi:10.3788/LOP57.081102

激光与光电子学进展, 2020, 57 (8): 081102, 网络出版: 2020-04-03

基于点线特征结合的单目相对位姿测量方法下载： 1410次

Relative Pose Measurement Method for Monocular Cameras By Combining the Point and Line Features

论文大纲

李涛关棒磊 ^*张家铭孙放尚洋

作者单位

国防科技大学空天科学学院图像测量与视觉导航湖南省重点实验室, 湖南长沙 410073

AI 词云图 AI语音精读 AI语音超短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

利用点特征求解单目相对位姿是现在普遍采用的方法,但在纹理不明显、角点少的场景下,仅依靠点特征难以得到理想的结果。鉴于此,结合惯性测量单元的测量数据和平面场景存在的单应性约束,提出了基于点线特征结合的单目相对位姿估计算法。先利用惯性测量单元提供的旋转角信息将2帧连续图像校正为正下视图像;再对图像中的点线特征进行检测和匹配;最后根据点线特征的单应性约束求解正下视图像之间的相对位姿,进而转化获得原始图像之间的相对位姿。仿真实验和实物实验结果证明,所提算法能够有效地求解单目相对位姿。

Abstract

The relative pose estimation in case of monocular cameras is generally based on point features. However, it would be difficult to obtain ideal results using this method in a scene, where the textures are not obvious and corners are small. Therefore, we combine the measurement data obtained from an inertial measurement unit based on the homography constraint associated with a planar scene and propose a monocular relative pose estimation algorithm by combining the point and line features. The images of the two consecutive frames can be initially rectified to downward view images using the angle information provided by the inertial measurement unit. Subsequently, the point-line features are detected and matched. Finally, the relative pose of the downward view images can be solved by transforming the relative pose of the original images according to the homography constraint associated with the combination of point and line features. The simulation and real experiments prove that the proposed algorithm is effective and that the relative pose for monocular cameras can be effectively measured.

1 引言

视觉定位技术^[1-3]是近些年迅速发展起来的一种新型技术,其在导航定位中的应用也越来越受到人们的重视。尽管现有的视觉导航定位算法^[4]种类多,但在搬运型机器人^[5]、智能叉车^[6]等一些特殊背景下,确定高精度位姿仍面临一定挑战。

准确的点线特征检测和匹配是位姿估计技术^[7]的前提,点线特征匹配精度的高低直接影响最终位姿求解结果。点特征检测和匹配较为常用的算法有SIFT(Scale-Invariant Feature Transform)^[8]、SURF(Speeded Up Robust Features)^[9]、ORB(Oriented FAST and Rotated BRIEF)^[10]等,均可以提供较好的检测匹配效果。与点特征不同,单相机下的直线匹配^[11]一直是一个难点。因为难以选取一个固定区域对线特征进行描述,极线约束^[12]也不能为直线提供有效的位置约束,而且当多条直线相交时,检测的直线在交点处被分割成若干个小线段,致使端点的提取存在不稳定性。因此,现有的基于线特征的位姿估计主要应用在双目^[13-14]或多目视觉中,在单目视觉^[15-16]中运用较少。对于单目图像之间的直线匹配,Jia等^[17]根据匹配好的点特征和LSD(Line Segment Detector)^[18-19]算法检测的直线,通过构造投影不变量来进行直线匹配,该算法具有较好的匹配性能,即使在纹理少的条件下仍能较好地完成直线匹配。本文将图像中的点特征通过ORB算法实时检测和匹配,ORB特征由关键点和描述子两部分组成。其中,关键点具有尺度不变性和旋转不变性的优点;描述子采用二进制形式,可显著提高点特征的检测匹配速度。对于线特征,本文使用LSD算法和贾棋提出的算法对直线进行检测和匹配。其中,LSD检测线特征具有速度快、使用方便的优点,而且提取的直线有主方向,进行线段匹配时可排除一些误匹配。根据检测到的直线以及直线邻域的点特征,可构建直线邻域的特征数,进而计算两条直线的相似度。这样,对任意2帧图像可构建一个相似矩阵,矩阵中相似度最大的两条直线即为最终直线匹配结果。

同时,对于单相机和惯性测量单元结合的位姿估计的应用越来越普及,标定好相机与惯性测量单元后,利用惯性测量单元测量的姿态角信息可有效减少相机相对位姿估计的参数量^[20-21]。由于惯性测量单元提供的偏航角精度低于俯仰角和滚转角精度,因此相机坐标系通常仅采用惯性测量单元提供的俯仰角和滚转角^[20-21]。针对平面场景存在的单应性约束,Saurer等^[22]提出了基于单应性的两点法,该算法可高效稳定地求解已知垂直方向的相机运动位姿。

本文借鉴贾棋和Saurer的研究思路,提出了基于点线特征结合的单目相对位姿测量方法。该方法充分利用了平面场景的有用信息,并将直线特征应用在单目相对位姿估计上,适用于自主导航^[23]和增强现实^[24]等领域,具有重要的理论研究意义和广泛的应用前景。

2 相机校正模型

测量系统由惯性测量单元(IMU)与相机^[25]构成,如图1所示。图中P和L为空间中的点特征和线特征,p和l对应于点线特征在相机上的投影。

图 1. 测量系统

Fig. 1. Measurement system

下载图片查看所有图片

其中,惯性测量单元可实时提供准确的俯仰角和滚转角,相机可测得准确的偏航角和平移向量。利用惯性测量单元实时提供的俯仰角和滚转角信息,可将图像平面校正为正下视方向。如图2所示,通过相机坐标系校正,原先的相机被校正为正下视地面的方向^[26]。经过相机坐标系校正后,可将相机之间6自由度的运动减少到3自由度,即包括一个1自由度的旋转角度和一个2自由度的平移向量。

图 2. 相机坐标系校正。(a)校正前;(b)校正后

Fig. 2. Camera coordinates system correction. (a) Before correction; (b) after correction

下载图片查看所有图片

设空间中一点P_w,在第1帧相机坐标系下的坐标为P_c1,在第2帧中对应的坐标为P_c2,相机相对于世界坐标系的旋转矩阵、平移向量分别为R_wc_i、t_wc_i(i=1,2),则P_w和P_c1、P_c2之间的关系满足:

\begin{matrix} \{\begin{matrix} P_{w} = R_{wc 1} P_{c 1} + t_{wc 1} \\ P_{w} = R_{wc 2} P_{c 2} + t_{wc 2} \end{matrix} 。 (1) \end{matrix}

设惯性测量单元相对世界坐标系的旋转矩阵为R_w_i= $\begin{matrix} R_{z}^{i} \end{matrix} \begin{matrix} R_{y}^{i} \end{matrix} \begin{matrix} R_{x}^{i} \end{matrix}$ ,其中 $\begin{matrix} R_{y}^{i} \end{matrix}$ 、 $\begin{matrix} R_{x}^{i} \end{matrix}$ 为俯仰角和滚转角对应的旋转矩阵,精确已知。相机相对于惯性测量单元的旋转矩阵记为R_calib,精确已知。由于惯性测量单元测量偏航角的精度较低, $\begin{matrix} R_{z}^{i} \end{matrix}$ 设为未知,则相机相对世界坐标系的旋转矩阵为

\begin{matrix} \{\begin{matrix} R_{wc 1} = R_{z}^{1} R_{y}^{1} R_{x}^{1} R_{calib} \\ R_{wc 2} = R_{z}^{2} R_{y}^{2} R_{x}^{2} R_{calib} \end{matrix} 。 (2) \end{matrix}

将(2)式代入(1)式可得

\begin{matrix} \{\begin{matrix} P_{w} = R_{wc 1} P_{c 1} + t_{wc 1} = R_{z}^{1} R_{y}^{1} R_{x}^{1} R_{calib} P_{c 1} + t_{wc 1} = R_{z}^{1} P'_{c 1} + t_{wc 1} \\ P_{w} = R_{wc 2} P_{c 2} + t_{wc 2} = R_{z}^{2} R_{y}^{2} R_{x}^{2} R_{calib} P_{c 2} + t_{wc 2} = R_{z}^{2} P'_{c 2} + t_{wc 2} \end{matrix} 。 (3) \end{matrix}

将(3)式中的两个方程相减,可得到

\begin{matrix} P'_{c 2} = (R_{z}^{2})^{- 1} R_{z}^{1} P'_{c 1} + (R_{z}^{2})^{- 1} (t_{wc 1} - t_{wc 2}) = R_{z}^{21} P'_{c 1} + t_{z}^{21}, (4) \end{matrix}

式中: $\begin{matrix} R_{z}^{21} \end{matrix}$ = $\begin{matrix} (R_{z}^{2})^{- 1} \end{matrix} \begin{matrix} R_{z}^{1} \end{matrix}$ 和 $\begin{matrix} t_{z}^{21} \end{matrix}$ = $\begin{matrix} (R_{z}^{2})^{- 1} \end{matrix}$ (t_wc1-t_wc2)分别为待求解的偏航角旋转矩阵和平移向量。由(3)式可知

\begin{matrix} \{\begin{matrix} P'_{c 1} = R_{y}^{1} R_{x}^{1} R_{calib} P_{c 1} \\ P'_{c 2} = R_{y}^{2} R_{x}^{2} R_{calib} P_{c 2} \end{matrix}, (5) \end{matrix}

式中: $\begin{matrix} R_{y}^{i} \end{matrix} \begin{matrix} R_{x}^{i} \end{matrix}$ R_calib(i=1,2)为校正矩阵。通过校正矩阵可将图像校正为正下视图像,即校正后相机坐标系的z轴方向与重力方向一致。

3 基于点线特征结合的位姿估计

3.1 基于点特征的约束方程

设空间点在第i帧相机坐标系的坐标为q_i= $\begin{matrix} [x_{i}, y_{i}, w_{i}]^{T} \end{matrix}$ ,在第j帧对应的坐标为q_j= $\begin{matrix} [x_{j}, y_{j}, w_{j}]^{T} \end{matrix}$ 。根据单应性,满足的约束条件为

\begin{matrix} λ q_{j} = H q_{i}, (6) \end{matrix}

式中:λ为尺度因子;H为单应性矩阵,则

\begin{matrix} H = R_{z}^{21} - \frac{t_{z}^{21} n^{T}}{d}, (7) \end{matrix}

式中:d为相机到平面的垂直距离;n为平面的法向向量,即n=[0,0,-1]^T。相机坐标系和地面垂直方向对齐后,只有偏航角是未知的。设偏航角为θ,则 $\begin{matrix} R_{z}^{21} \end{matrix}$ 可表示为

\begin{matrix} R_{z}^{21} = [\begin{matrix} cosθ & - sinθ & 0 \\ sinθ & cosθ & 0 \\ 0 & 0 & 1 \end{matrix}] 。 (8) \end{matrix}

将(8)式代入(7)式中,可得

\begin{matrix} \begin{matrix} H = [\begin{matrix} cosθ & - sinθ & 0 \\ sinθ & cosθ & 0 \\ 0 & 0 & 1 \end{matrix}] - \frac{t_{z}^{21}}{d} {[\begin{matrix} 0 \\ 0 \\ - 1 \end{matrix}]}^{T} = \\ [\begin{matrix} cosθ & - sinθ & 0 \\ sinθ & cosθ & 0 \\ 0 & 0 & 1 \end{matrix}] - [\begin{matrix} t_{x} \\ t_{y} \\ t_{z} \end{matrix}] {[\begin{matrix} 0 \\ 0 \\ - 1 \end{matrix}]}^{T} = [\begin{matrix} cosθ & - sinθ & t_{x} \\ sinθ & cosθ & t_{y} \\ 0 & 0 & 1 + t_{z} \end{matrix}], (9) \end{matrix} \end{matrix}

式中:t_x、t_y和t_z是指矢量t在x、y和z轴3个方向的具体数值。

因此,根据H的形式,可将其表示为

\begin{matrix} H = [\begin{matrix} h_{1} & - h_{2} & h_{3} \\ h_{2} & h_{1} & h_{4} \\ 0 & 0 & h_{5} \end{matrix}] 。 (10) \end{matrix}

(6)式两端左叉乘q_j,可得

\begin{matrix} q_{j} \times H q_{i} = 0 。 (11) \end{matrix}

将(10)式代入(11)式,可得

\begin{matrix} [\begin{matrix} x_{j} \\ y_{j} \\ w_{j} \end{matrix}] \times [\begin{matrix} h_{1} & - h_{2} & h_{3} \\ h_{2} & h_{1} & h_{4} \\ 0 & 0 & h_{5} \end{matrix}] [\begin{matrix} x_{i} \\ y_{i} \\ w_{i} \end{matrix}] = 0 。 (12) \end{matrix}

整理后,可得基于点匹配的约束方程,即

\begin{matrix} [\begin{matrix} - w_{j} y_{i} & - w_{j} x_{i} & 0 & - w_{i} w_{j} & w_{i} y_{j} \\ w_{j} x_{i} & - w_{j} y_{i} & w_{i} w_{j} & 0 & - w_{i} x_{j} \end{matrix}] \cdot [\begin{matrix} h_{1} \\ h_{2} \\ h_{3} \\ h_{4} \\ h_{5} \end{matrix}] = 0 。 (13) \end{matrix}

3.2 基于线特征的约束方程

第i帧图像中,设线L₀的直线方程为ax+by+1=0,表示成矩阵形式,即

\begin{matrix} [\begin{matrix} a & b & 1 \end{matrix}] [\begin{matrix} x \\ y \\ 1 \end{matrix}] = 0 。 (14) \end{matrix}

进一步可表示为

\begin{matrix} m^{T} x_{i} = 0, m^{T} = [\begin{matrix} a & b & 1 \end{matrix}] 。 (15) \end{matrix}

同理,第j帧图像中,与直线L₀匹配的直线L₁的方程为cx+dy+1=0,可表示为

\begin{matrix} n^{T} x_{j} = 0, n^{T} = [\begin{matrix} c & d & 1 \end{matrix}] 。 (16) \end{matrix}

根据单应性,x_i和x_j满足λx_j=Bx_i约束。方程两端左乘以n^T,可得

\begin{matrix} \begin{matrix} λ n^{T} x_{j} = n^{T} B x_{i}, \\ n^{T} x_{j} = λ^{- 1} n^{T} B x_{i} 。 (17) \end{matrix} \end{matrix}

根据(16)式,可知(17)式的左端为0,因此右端也等于0,即

\begin{matrix} λ^{- 1} n^{T} B x_{i} = 0 。 (18) \end{matrix}

根据(15)式和(18)式,可推导出

\begin{matrix} λ^{- 1} n^{T} B = m^{T} 。 (19) \end{matrix}

对(19)式的两端进行变换,得

\begin{matrix} \begin{matrix} λ^{- 1} B^{T} n = m, \\ B^{T} n = λm 。 (20) \end{matrix} \end{matrix}

为消除尺度因子,(20)式两端左叉乘m,可得

\begin{matrix} m \times B^{T} n = 0 。 (21) \end{matrix}

值得注意的是,本小节的B与3.1节的H不同,这里B=KBK^-1,里面含有关于内参矩阵K的变换。为此,需进一步对(20)式进行变换,即

\begin{matrix} (KB K^{- 1})^{T} n = λm, (22) \end{matrix}

移项,得

\begin{matrix} B^{T} K^{T} n = λ K^{T} m, (23) \end{matrix}

式中:令K^Tn=n',K^Tm=m',则可将(23)式化简成与(20)式类似的形式,即B^Tn'=λm'。进而可得

\begin{matrix} m' \times B^{T} n' = 0 。 (24) \end{matrix}

设n'= $\begin{matrix} {[\begin{matrix} n_{1} & n_{2} & 1 \end{matrix}]}^{T} \end{matrix}$ ,m'= $\begin{matrix} {[\begin{matrix} m_{1} & m_{2} & 1 \end{matrix}]}^{T} \end{matrix}$ ,代入(24)式,可得基于直线特征的约束方程,即

\begin{matrix} [\begin{matrix} \begin{matrix} - n_{2} & n_{1} & m_{2} n_{1} & m_{2} n_{2} & m_{2} \end{matrix} \\ \begin{matrix} n_{1} & n_{2} & - m_{1} n_{1} & - m_{1} n_{2} & - m_{1} \end{matrix} \end{matrix}] [\begin{matrix} h_{1} \\ h_{2} \\ h_{3} \\ h_{4} \\ h_{5} \end{matrix}] = 0 。 (25) \end{matrix}

3.3 基于点线特征结合的约束方程

基于点特征和线特征得到的约束方程,即可求解H。如选取1个匹配特征点和1条匹配特征线,联立方程可得

\begin{matrix} [\begin{matrix} \begin{matrix} - w_{j} y_{i} & - w_{j} x_{i} & 0 & - w_{i} w_{j} & w_{i} y_{j} \end{matrix} \\ \begin{matrix} w_{j} x_{i} & - w_{j} y_{i} & w_{i} w_{j} & 0 & - w_{i} x_{j} \end{matrix} \\ \begin{matrix} - n_{2} & n_{1} & m_{2} n_{1} & m_{2} n_{2} & m_{2} \end{matrix} \\ \begin{matrix} n_{1} & n_{2} & - m_{1} n_{1} & - m_{1} n_{2} & - m_{1} \end{matrix} \end{matrix}] [\begin{matrix} h_{1} \\ h_{2} \\ h_{3} \\ h_{4} \\ h_{5} \end{matrix}] = 0 。 (26) \end{matrix}

待求解问题的自由度为3,而(26)式矩阵的秩为4,因此可求解H。利用公式

\begin{matrix} \begin{matrix} R_{z}^{21} = [\begin{matrix} h_{1} & - h_{2} & 0 \\ h_{2} & h_{1} & 0 \\ 0 & 0 & 0 \end{matrix}], \\ t_{z}^{21} = {[\begin{matrix} h_{3} & h_{4} & h_{5} - 1 \end{matrix}]}^{T}, (27) \end{matrix} \end{matrix}

进而可分解出 $\begin{matrix} R_{z}^{21} \end{matrix}$ 和 $\begin{matrix} t_{z}^{21} \end{matrix}$ ,转化为校正前结果,即

\begin{matrix} \begin{matrix} R = (R_{calib})^{- 1} (R_{x}^{2})^{- 1} (R_{y}^{2})^{- 1} R_{z}^{21} R_{y}^{1} R_{x}^{1} R_{calib}, \\ t = (R_{calib})^{- 1} (R_{x}^{2})^{- 1} (R_{y}^{2})^{- 1} t_{z}^{21} 。 (28) \end{matrix} \end{matrix}

式中:R、t即为最终位姿求解结果。

4 实验

4.1 仿真实验

仿真实验中,相机的参数设置如下:主点为[500 pixel,500 pixel],焦距为[1000 pixel,1000 pixel]。噪声设置为[0 pixel∶0.05 pixel∶1.00 pixel],角度测量误差为[0°∶0.05°∶1.00°],每个测量点仿真计算50次。

利用算法,可求解出旋转矩阵和平移向量的测量结果。与真值对比,计算得到旋转矩阵和平移向量测量误差的平均值、中间值及测量结果的均方差。旋转矩阵和平移向量误差的计算公式为

\begin{matrix} \{\begin{matrix} ξ_{R} = \arccos [\frac{tr (R_{gt} R^{T}) - 1}{2}] \\ ξ_{t} = \arccos (\frac{{t^{T}}_{gt} t}{‖ t_{gt} ‖ \cdot ‖ t ‖}) \end{matrix}, (29) \end{matrix}

式中:R_gt、t_gt为真值;‖t_gt‖、‖t‖分别为t_gt和t的二范数。

仿真结果如图3所示,点划线为测量误差的平均值,实线为测量误差的中间值,双划线为测量误差的均方差值。图3(a)和3(b)为仿真旋转矩阵误差和平移向量误差受图像噪声的影响程度。随着图像噪声的增加,旋转矩阵和平移向量的测量误差曲线总体呈上升趋势。当图像噪声值为1 pixel时,旋转矩阵和平移向量的测量误差均在0.002°以内,精度满足要求。图3(c)~3(f)分析旋转矩阵误差和平移向量误差受IMU数据误差的影响程度,IMU数据误差包括滚转角和俯仰角的测量误差。结果表明,随着IMU数据误差值的增加,旋转矩阵和平移向量的测量误差曲线总体呈上升趋势。在图3中,曲线的波动现象由数据的随机性和计算误差造成,曲线形状总体为向上倾斜。相比于滚转角,IMU俯仰角的测量误差对结果的影响更大。当IMU数据误差值为1°时,旋转矩阵和平移向量的测量误差均小于0.25°,仿真结果满足精度要求。

图 3. 仿真实验结果。(a)(b)误差随噪声变化曲线;(c)(d)误差随滚转角测量误差变化曲线;(e)(f)误差随俯仰角测量误差变化曲线

Fig. 3. Results of simulation experiment. (a)(b) Residual value with varying noise; (c)(d) residual value with varying roll angle error; (e)(f) residual value with varying pitch angle error

下载图片查看所有图片

4.2 实物实验

为研究点线特征结合算法在实物图像上的运行效果,实验利用Vicon^[22]数据集来验证算法的可行性。具体流程如下。

4.2.1 直线匹配

实物实验中,对Vicon数据集中的连续帧图像进行点线特征匹配。由于连续帧之间的相机运动变化不利于直观观察匹配效果,因此,选取第1帧图像分别和第5帧、第10帧图像进行匹配,结果如图4所示。对于第1帧和第5帧图像,算法可匹配到353对直线,其中直线用横线标出,数字代表匹配的序号。相较于第5帧图像,第10帧图像对应的相机无论是旋转还是平移都会发生较大的运动变化,但直线匹配算法仍能较好地完成任务,可检测出162对匹配直线。

对第1帧和第10帧图像中的点特征进行检测和匹配,结果如图5所示。利用ORB算法一共检测出278对点特征,其中点特征用圆圈标出,数字代表匹配的序号。在图5(b)椭圆范围内,可明显地观察到错误的匹配点。点特征检测的数量尽管比线特征多,但其匹配结果的准确性不如线特征高。

实验采用点线特征结合的方法,结果如图6所示。在同样的2张图片中,可检测出440对点线特征,其中点特征用圆圈表示,线特征用横线表示。相比于仅依靠点特征的方法,点线结合的方法能够获得更多的特征信息。这样,可以充分利用场景的有用信息,进而能够构建更强的约束。

4.2.2 相机运动轨迹

基于点线特征结合算法求解的相机运动轨迹结果如图7所示。左图为相机的运动轨迹,其中,实心圆圈表示轨迹的测量值,空心圆圈为轨迹的真值;右图表示相机坐标系的方向信息,其中相机坐标系的X轴、Y轴和Z轴分别用虚线、点划线和实线表示。左图和右图均包含轨迹的三维视图和三视图。

图 4. 直线匹配结果。(a)(b)第1帧和第5帧的匹配;(c)(d)第1帧和第10帧的匹配

Fig. 4. Results of line matching. (a)(b) Matching results of 1^st frame and 5^th frame; (c)(d) matching results of 1^st frame and 10^th frame

下载图片查看所有图片

图 5. 点特征的匹配结果。(a)第1帧;(b)第10帧

Fig. 5. Results of point matching. (a) 1^st frame; (b) 10^th frame

下载图片查看所有图片

图 6. 点线特征的匹配结果。(a)第1帧;(b)第10帧

Fig. 6. Results of point-line matching. (a) 1^st frame; (b) 10^th frame

下载图片查看所有图片

图 7. 相机运动轨迹。(a)(b)三维视图;(c)(d) X-Y视图;(e)(f) X-Z视图;(g)(h) Y-Z视图

Fig. 7. Track maps of camera movement. (a)(b) 3D view; (c)(d) X-Y view; (e)(f) X-Z view; (g)(h) Y-Z view

下载图片查看所有图片

实验以数据集的第100帧为起点,画出相机运动轨迹,其形状类似于一个非规则圆形。相机运动轨迹在X轴、Y轴和Z轴的取值范围分别为[-1500 mm,1500 mm]、 [-200 mm,1600 mm]和[-1400 mm,200 mm]。比较相机运动轨迹,可验证平移向量t的准确性。在左图中,实心圆和空心圆的轨迹基本重合,说明轨迹的测量值和真值基本保持一致。

为验证旋转矩阵R的准确性,在轨迹的基础上添加相机坐标系的方向信息。在右图中,每帧相机实线轴的朝向与对应真值实线轴的朝向基本保持一致,可说明相机Z轴方向与真值基本吻合。同理,比较虚线轴和点划线轴朝向,可说明相机的X、Y轴方向也基本与真值吻合。

4.2.3 误差分析

对于平移向量的残差,由于相差一个尺度因子,所以采用平移向量之间的夹角来衡量平移向量结果的准确性。旋转矩阵和平移向量误差的计算公式等同于(29)式,误差结果如表1所示。

表 1. 旋转矩阵和平移向量的残差

Table 1. Residual of rotation matrix and translation vector

Method	Rotation matrix error /rad		Translation vector error /rad
Method	Mean	Median	Mean	Median
Our method	0.02110900	0.01282300	0.34297008	0.28486700

查看所有表

从表1可知,求解平移向量有较大误差,分析原因主要有三方面:一是点特征匹配误差、线特征匹配误差和惯性测量误差等对计算结果有影响;二是平移向量的残差值是个相对量,而帧与帧之间的相机运动范围本身就很小,因此造成求解的误差较大;三是求解过程中,算法忽略了相机相对于惯性测量单元的位移,造成最终求解结果不理想。旋转矩阵的求解误差较小,残差均值和中间值均在0.03 rad以内,求解精度较高。

5 结论

针对纹理不明显、角点少的场景,提出了基于惯性测量单元和点线特征结合的单目位姿测量算法。相比于仅依靠点特征的位姿求解方法,该算法能够充分利用场景的有效特征信息。同时,算法融合了惯性测量单元和视觉测量,仅利用1个匹配点和1条匹配线就能求解相机的运动轨迹和相机姿态,简单高效。通过仿真实验和实物实验,结果表明所提算法可有效地求解单目相对位姿。

参考文献

[1] HartleyR, ZissermanA. Multiple view geometry in computer vision[M]. USA: Cambridge University Press, 2003.

[2] 沈峘, 李舜酩, 柏方超, 等. 路面车辆实时检测与跟踪的视觉方法[J]. 光学学报, 2010, 30(4): 1076-1083.

Shen H, Li S M, Bai F C, et al. On road vehicles real-time detection and tracking using vision based approach[J]. Acta Optica Sinica, 2010, 30(4): 1076-1083.

[3] 吴华, 秦世引. 基于视觉流形正则化的机器人实时定位新方法[J]. 光学学报, 2010, 30(1): 153-162.

Wu H, Qin S Y. New approach to robot localization in real-time based on visual manifold regularization[J]. Acta Optica Sinica, 2010, 30(1): 153-162.

[4] LemaireT, LacroixS. Monocular-vision based SLAM using line segments[C]∥Proceedings 2007 IEEE International Conference on Robotics and Automation, April 10-14, 2007, Roma, Italy. New York: IEEE, 2007: 2791- 2796.

[5] TamuraT, KurebayashiH, TanakaY, et al. High speed intelligent handling robot for food and pharmaceutical products[C]∥2009 IEEE Workshop on Advanced Robotics and its Social Impacts, November 23-25, 2009, Tokyo, Japan. New York: IEEE, 2009: 60- 64.

[6] Paschalidis IC, Li KY, Estanjini RM, et al. Intelligent forklift dispatching in warehouses using a sensor network[C]∥2009 17th Mediterranean Conference on Control and Automation, June 24-26, 2009, Thessaloniki, Greece. New York: IEEE, 2009: 112- 114.

[7] Ansar A, Daniilidis K. Linear pose estimation from points or lines[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(5): 578-589.

[8] Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[9] Bay H, Ess A, Tuytelaars T, et al. Speeded-up robust features (SURF)[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359.

[10] RubleeE, RabaudV, KonoligeK, et al. ORB: an efficient alternative to SIFT or SURF[C]∥Proceedings of IEEE International Conference on Computer Vision, November 6-13, 2011, Barcelona, Spain. New York: IEEE, 2011: 2564- 2571.

[11] Wang Z, Wu F, Hu Z. MSLD: a robust descriptor for line matching[J]. Pattern Recognition, 2009, 42(5): 941-953.

[12] ChumO, WernerT, MatasJ. Epipolar geometry estimation via RANSAC benefits from the oriented epipolar constraint[C]∥Proceedings of the 17th International Conference on Pattern Recognition, 2004. ICPR 2004., August 26-26, 2004, Cambridge, UK. New York: IEEE, 2004: 8206267.

[13] LoopC, Zhang ZY. Computing rectifying homographies for stereo vision[C]∥Proceedings. 1999 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (Cat. No PR00149), June 23-25, 1999, Fort Collins, CO, USA. New York: IEEE, 1999: 125- 131.

[14] Nalpantidis L, Gasteratos A. Stereo vision for robotic applications in the presence of non-ideal lighting conditions[J]. Image and Vision Computing, 2010, 28(6): 940-951.

[15] 王可, 贾松敏, 李秀智, 等. 基于地面特征的移动机器人单目视觉里程计算法[J]. 光学学报, 2015, 35(5): 0515002.

Wang K, Jia S M, Li X Z, et al. Mobile robot monocular visual odometry algorithm based on ground features[J]. Acta Optica Sinica, 2015, 35(5): 0515002.

[16] 何斐彦, 林嘉睿, 高扬, 等. 单目视觉与倾角仪组合优化的位姿测量系统[J]. 光学学报, 2016, 36(12): 1215002.

He F Y, Lin J R, Gao Y, et al. Optimized pose measurement system combining monocular vision with inclinometer sensors[J]. Acta Optica Sinica, 2016, 36(12): 1215002.

[17] JiaQ, Gao XK, FanX, et al. Novel coplanar line-points invariants for robust line matching across views[M] ∥Leibe B, Matas J, Sebe N, et al. Computer vision-ECCV 2016. Lecture notes in computer science. Cham: Springer, 2016, 9912: 599- 611.

[18] von Gioi R G, Jakubowicz J, Morel J M, et al. LSD: a fast line segment detector with a false detection control[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(4): 722-732.

[19] Zhang L, Koch R. An efficient and robust line segment matching approach based on LBD descriptor and pairwise geometric consistency[J]. Journal of Visual Communication and Image Representation, 2013, 24(7): 794-805.

[20] Guan B, Yu Q, Fraundorfer F. Minimal solutions for the rotational alignment of IMU-camera systems using homography constraints[J]. Computer vision and image understanding, 2018, 170: 79-91.

[21] FraundorferF, TanskanenP, PollefeysM. A minimal case solution to the calibrated relative pose problem for the case of two known orientation angles[M] ∥Daniilidis K, Maragos P, Paragios N. Computer vision-ECCV 2010. Lecture notes in computer science. Berlin, Heidelberg: Springer, 2010, 6314: 269- 282.

[22] Saurer O, Vasseur P, Boutteau R, et al. Homography based egomotion estimation with a common direction[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(2): 327-341.

[23] Lee GH, FaundorferF, PollefeysM. Motion estimation for self-driving cars with a generalized camera[C]∥2013 IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2013, Portland, OR, USA. New York: IEEE, 2013: 2746- 2753.

[24] Azuma R, Baillot Y, Behringer R, et al. Recent advances in augmented reality[J]. IEEE Computer Graphics and Applications, 2001, 21(6): 34-47.

[25] Nützi G, Weiss S, Scaramuzza D, et al. Fusion of IMU and vision for absolute scale estimation in monocular SLAM[J]. Journal of Intelligent & Robotic Systems, 2011, 61: 287-299.

[26] Guan BL, VasseurP, DemonceauxC, et al. Visual odometry using a homography formulation with decoupled rotation and translation estimation using minimal solutions[C]∥2018 IEEE International Conference on Robotics and Automation (ICRA), May 21-25, 2018, Brisbane, QLD, Australia. New York: IEEE, 2018: 2320- 2327.

李涛, 关棒磊, 张家铭, 孙放, 尚洋. 基于点线特征结合的单目相对位姿测量方法[J]. 激光与光电子学进展, 2020, 57(8): 081102. Tao Li, Banglei Guan, Jiaming Zhang, Fang Sun, Yang Shang. Relative Pose Measurement Method for Monocular Cameras By Combining the Point and Line Features[J]. Laser & Optoelectronics Progress, 2020, 57(8): 081102.

基于点线特征结合的单目相对位姿测量方法下载： 1410次

1 引言

2 相机校正模型

图 1. 测量系统

Fig. 1. Measurement system

图 2. 相机坐标系校正。(a)校正前;(b)校正后

Fig. 2. Camera coordinates system correction. (a) Before correction; (b) after correction

3 基于点线特征结合的位姿估计

3.1 基于点特征的约束方程

3.2 基于线特征的约束方程

3.3 基于点线特征结合的约束方程

4 实验

4.1 仿真实验

图 3. 仿真实验结果。(a)(b)误差随噪声变化曲线;(c)(d)误差随滚转角测量误差变化曲线;(e)(f)误差随俯仰角测量误差变化曲线

Fig. 3. Results of simulation experiment. (a)(b) Residual value with varying noise; (c)(d) residual value with varying roll angle error; (e)(f) residual value with varying pitch angle error

4.2 实物实验

图 4. 直线匹配结果。(a)(b)第1帧和第5帧的匹配;(c)(d)第1帧和第10帧的匹配

Fig. 4. Results of line matching. (a)(b) Matching results of 1^st frame and 5^th frame; (c)(d) matching results of 1^st frame and 10^th frame

图 5. 点特征的匹配结果。(a)第1帧;(b)第10帧

Fig. 5. Results of point matching. (a) 1^st frame; (b) 10^th frame

图 6. 点线特征的匹配结果。(a)第1帧;(b)第10帧

Fig. 6. Results of point-line matching. (a) 1^st frame; (b) 10^th frame

图 7. 相机运动轨迹。(a)(b)三维视图;(c)(d) X-Y视图;(e)(f) X-Z视图;(g)(h) Y-Z视图

Fig. 7. Track maps of camera movement. (a)(b) 3D view; (c)(d) X-Y view; (e)(f) X-Z view; (g)(h) Y-Z view

表 1. 旋转矩阵和平移向量的残差

Table 1. Residual of rotation matrix and translation vector

5 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于点线特征结合的单目相对位姿测量方法 下载： 1410次

1 引言

2 相机校正模型

图 1. 测量系统

Fig. 1. Measurement system

图 2. 相机坐标系校正。(a)校正前;(b)校正后

Fig. 2. Camera coordinates system correction. (a) Before correction; (b) after correction

3 基于点线特征结合的位姿估计

3.1 基于点特征的约束方程

3.2 基于线特征的约束方程

3.3 基于点线特征结合的约束方程

4 实验

4.1 仿真实验

图 3. 仿真实验结果。(a)(b)误差随噪声变化曲线;(c)(d)误差随滚转角测量误差变化曲线;(e)(f)误差随俯仰角测量误差变化曲线

Fig. 3. Results of simulation experiment. (a)(b) Residual value with varying noise; (c)(d) residual value with varying roll angle error; (e)(f) residual value with varying pitch angle error

4.2 实物实验

图 4. 直线匹配结果。(a)(b)第1帧和第5帧的匹配;(c)(d)第1帧和第10帧的匹配

Fig. 4. Results of line matching. (a)(b) Matching results of 1st frame and 5th frame; (c)(d) matching results of 1st frame and 10th frame

图 5. 点特征的匹配结果。(a)第1帧;(b)第10帧

Fig. 5. Results of point matching. (a) 1st frame; (b) 10th frame

图 6. 点线特征的匹配结果。(a)第1帧;(b)第10帧

Fig. 6. Results of point-line matching. (a) 1st frame; (b) 10th frame

图 7. 相机运动轨迹。(a)(b)三维视图;(c)(d) X-Y视图;(e)(f) X-Z视图;(g)(h) Y-Z视图

Fig. 7. Track maps of camera movement. (a)(b) 3D view; (c)(d) X-Y view; (e)(f) X-Z view; (g)(h) Y-Z view

表 1. 旋转矩阵和平移向量的残差

Table 1. Residual of rotation matrix and translation vector

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于点线特征结合的单目相对位姿测量方法下载： 1410次

Fig. 4. Results of line matching. (a)(b) Matching results of 1^st frame and 5^th frame; (c)(d) matching results of 1^st frame and 10^th frame

Fig. 5. Results of point matching. (a) 1^st frame; (b) 10^th frame

Fig. 6. Results of point-line matching. (a) 1^st frame; (b) 10^th frame