一种无公共视场的多相机系统相对位姿解耦估计方法

田苗; 关棒磊; 孙放; 苑云; 于起峰

doi:doi:10.3788/AOS202141.0515001

光学学报, 2021, 41 (5): 0515001, 网络出版: 2021-04-07

一种无公共视场的多相机系统相对位姿解耦估计方法下载： 1094次封面文章

Decoupling Relative Pose Estimation Method for Non-Overlapping Multi-Camera System

论文大纲

田苗 ^1,2关棒磊 ^1,2,*孙放 ³苑云 ⁴于起峰 ^1,2

作者单位

¹ 国防科技大学空天科学学院, 湖南长沙 410073

² 图像测量与视觉导航湖南省重点实验室, 湖南长沙 410073

³ 陆军航空兵学院, 北京 101123

⁴ 火箭军研究院, 北京 100089

机器视觉位姿估计多相机系统自动驾驶 machine vision pose estimation multi-camera system automatic driving

AI 词云图 AI语音精读 AI语音超短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

自动驾驶应用中,基于视觉的相对位姿估计是实现无人驾驶汽车自动定位的核心技术之一。针对单目视觉系统的视场范围较小以及双目视觉系统需要公共视场等问题,提出一种无公共视场的多相机系统相对位姿解耦估计方法。利用场景中远、近点的不同特性对旋转矩阵和平移向量进行解耦估计。对远处场景特征点采用直方图投票法求解相对旋转矩阵,在相对旋转矩阵已知的条件下,对近处场景特征点采用采样高度法求解相对平移。通过仿真模拟和实际实验对所提方法的可行性、鲁棒性和精度进行验证。实验结果表明,所提方法的相对姿态精度优于0.05°,相对平移向量方向精度优于2.5°,具有较高的精度和较好的鲁棒性。

Abstract

In autonomous driving applications, the vision-based relative pose estimation is one of the core technologies to realize self-positioning of driverless cars. Aiming at the problems that the monocular vision system has a small field of view and the binocular vision system needs a overlapping field of view, a method for decoupling relative pose estimation of multi-camera systems with non-overlapping field of view is proposed. Use the different characteristics of the near and far points in the scene to decouple the rotation matrix and the translation vector. The relative rotation matrix is solved by the histogram voting method for the feature points of the distant scene, and the relative translation is solved by the sampling height method for the feature points of the near scene under the condition that the relative rotation matrix is known. The feasibility, robustness and accuracy of the proposed method are verified through simulation and actual experiment. Experimental results show that the relative attitude accuracy of the proposed method is better than 0.05°, and the relative translation vector direction accuracy is better than 2.5°, which has higher accuracy and better robustness.

1 引言

自动驾驶场景中,获取无人驾驶汽车的相对位姿是实现无人驾驶技术的基础,为此采用基于视觉的方法解决相对位姿估计的问题。基于视觉的相对位姿估计方法根据相机配置分为单目视觉、双目视觉和多目视觉位姿估计法^[1-4]。单目位姿估计法存在视场范围小和观测信息较少等问题,双目位姿估计法虽然增大了视场范围,但是要求两个相机有公共视场,因此研究无需公共视场的多相机系统位姿估计法是十分有必要的。由于多相机系统可以配置任意数量的相机,并且相机朝向可以任意放置,这大大增加了视场范围,为此能够获取更多的环境信息,提高位姿估计算法的鲁棒性。近年来,多相机系统在自动驾驶、同时定位与地图构建等领域得到了广泛的应用。

目前,比较常用的相机模型是中心投影模型,该模型中的所有光束均交于同一个中心点,即光心,但是多相机系统的光束通常不交于同一个空间点。文献[ 5-6]推导了广义相机模型的对极约束。众多学者基于广义相机的对极约束提出了一系列多相机系统位姿估计算法。Stewénius等^[7]提出了基于Gröbner基的最小配置解方法,该方法需要6对匹配点对以产生64组候选解,但该方法的计算复杂度较高,不适用于实际场景。Li等^[8]提出了线性解法,该算法需要17对匹配点对。Kneip等^[9]提出了一种基于特征值最小化策略的非线性优化算法,该算法需要7个或7个以上的匹配点对。Ventura等^[10]提出了一种基于旋转矩阵一阶近似的相对位姿估计方法,该方法简化了相对位姿的求解过程,适用于连续的相机运动估计,但该方法需要求解一个20阶多项式,因此对噪声敏感。为了减少相对位姿估计的自由度,国内外学者引入了额外的传感器信息和运动模型所假设的位姿估计算法^[11-14]。Lee等^[15]提出了两点法并将相机运动模型近似为阿克曼模型。为了更好地适应实际场景,Lee等^[16]提出了最小4点和线性8点算法,利用了垂直方向的信息将相对运动的自由度减少为4个。Sweeney等^[17]在已知旋转轴的条件下,将相对位姿估计问题推导为二次特征值的求解问题,但最少需要4对匹配点对。Liu等^[18]对旋转矩阵进行一阶近似并利用惯性测量元件提供的滚转角和俯仰角,将多相机系统的位姿估计问题转换为4阶多项式求解问题,从而利用4对匹配点对产生4个候选解。

实际应用场景中,由于相对平移对场景中远点的前、后两帧图像坐标变化的影响很小^[19-20],因此当只利用远处场景点估计相对位姿时,可以假设相对平移向量t为0。根据该假设条件,本文提出一种无公共视场的多相机系统相对位姿解耦估计方法。

2 基本原理

所提方法的处理流程如图1所示,其中IMU为惯性测量元件,R为旋转矩阵,处理步骤如下。

图 1. 所提方法的处理流程

Fig. 1. Processing flow of proposed method

下载图片查看所有图片

1) 采用直方图投票法并利用远处场景点和惯性测量元件的测量数据估计R。由于一对匹配点对就可以得到两个候选解,因此采用直方图投票法来估计相对旋转矩阵的最终解。直方图投票法赋予给每一对匹配点对投票权,使相对位姿估计的最终解是所有匹配点对的综合贡献结果。

2) 采用采样相对高度变化法并利用近处场景点和R估计t。平移向量中有三个参数,若其中一个参数已知,则可以使用两对匹配点对来求解平移向量。由于在自动驾驶场景中,汽车在连续时刻的高度变化较小,因此可以对汽车在连续时刻的高度变化进行离散采样,通过穷举搜索法来找到全局最优解。

2.1 广义多相机对极约束

三维欧氏空间的一条直线L可以用直线的方向向量u和直线上的点p∈L来表示。直线L的Plücker坐标为L= ${[\begin{array}{l} u^{T} & q^{T} \end{array}]}^{T}$ ∈R⁶,其中u∈R³,q∈R³为直线L和坐标系原点C构成的平面π的法向量,被称为直线的矩,即q=p×u,如图2所示。在Plücker坐标系中,直线L₁和L₂相交的充要条件为

u_{1} q_{2} + q_{1} u_{2} = 0 。 (1)

图 2. 三维欧氏空间中直线的Plücker坐标

Fig. 2. Plücker coordinates of line in 3D Euclidean space

下载图片查看所有图片

实验的目的是求解连续帧O₁和O₂之间的相对运动问题,广义相机对极几何约束如图3所示。设从坐标系O₁到坐标系O₂的变换矩阵T= $[\begin{array}{l} R & t \\ 0 & 1 \end{array}]$ ,相机C_i在坐标系中的位姿为 $[\begin{array}{l} R_{C_{i}} & t_{C_{i}} \end{array}]$ ,i=1,2,空间点P投影到相机C_i的成像平面后分别得到像点p₁和p₂,直线L₁在坐标系O₁中的方向向量可以表示为u₁= $R_{C_{i}} {\hat{p}}_{i}$ ,其中 ${\hat{p}}_{i}$ 为像点p_i的归一化图像坐标。则直线L₁在坐标系O₁中的Plücker坐标为

L_{1} = {[\begin{array}{l} {u^{T}}_{1} & {q^{T}}_{1} \end{array}]}^{T} = {[\begin{array}{l} {u^{T}}_{1} & {(t_{C_{i}} \times u_{1})}^{T} \end{array}]}^{T} 。 (2)

直线L₁在坐标系O₂中的Plücker坐标为

L'_{1} = [\begin{array}{l} R & 0 \\ {[t]}_{\times} R & R \end{array}] L_{1} = [\begin{array}{l} R u_{1} \\ R q_{1} + {[t]}_{\times} R u_{1} \end{array}], (3)

图 3. 广义相机对极几何约束

Fig. 3. Generalized camera polar geometric constraints

下载图片查看所有图片

式中:[·]_×表示向量的反对称矩阵。直线L₁和L₂在空间中相交的充要条件为

q_{2} R u_{1} + u_{2} R q_{1} + u_{2} {[t]}_{\times} R u_{1} = 0 。 (4)

整理(4)式可得广义相机对极约束^[5],表达式为

{L^{T}}_{2} [\begin{array}{l} {[t]}_{\times} R & R \\ R & 0 \end{array}] L_{1} = 0 。 (5)

2.2 相对姿态估计

为了减少多相机系统相对位姿估计的自由度,将IMU对齐垂直方向,即将多相机系统坐标系的Z轴方向校正为重力方向,使相对旋转矩阵只有一个未知量,即偏航角。

设定世界坐标系的X轴指向左,Y轴指向前,Z轴指向下,校正后的多相机系统坐标系的Z轴方向与重力方向一致,竖直向下。利用IMU提供关于世界坐标系的俯仰角R_yaw(绕X轴)、滚转角R_roll(绕Y轴)和偏航角R_pitch(绕Z轴),可以得到相应的三个旋转矩阵,因此相邻两帧关于世界坐标系的旋转矩阵可以分别表示为

\begin{array}{l} R_{1} = R_{yaw}^{1} R_{pitch}^{1} R_{roll}^{1}, (6) \\ R_{2} = R_{yaw}^{2} R_{pitch}^{2} R_{roll}^{2} 。 (7) \end{array}

相邻两帧的相对旋转矩阵ΔR可以表示为

Δ R = (R_{roll}^{2})^{T} (R_{pitch}^{2})^{T} Δ R_{yaw} R_{pitch}^{1} R_{roll}^{1}, (8)

式中:ΔR_yaw表示相邻两帧相对偏航角的旋转矩阵,ΔR_yaw=( $R_{yaw}^{2}$ )^T $R_{yaw}^{1}$ 。

将(8)式代入(5)式可得

{L^{T}}_{2} [\begin{array}{l} {[t]}_{\times} {(R_{roll}^{2})}^{T} (R_{pitch}^{2})^{T} Δ R_{yaw} R_{pitch}^{1} R_{roll}^{1} & (R_{roll}^{2})^{T} (R_{pitch}^{2})^{T} Δ R_{yaw} R_{pitch}^{1} R_{roll}^{1} \\ (R_{roll}^{2})^{T} (R_{pitch}^{2})^{T} Δ R_{yaw} R_{pitch}^{1} R_{roll}^{1} & 0 \end{array}] L_{1} = 0 。 (9)

为了简化(9)式,设平移向量为

t = (R_{roll}^{2})^{T} (R_{pitch}^{2})^{T} \hat{t}, (10)

式中: $\hat{t}$ 表示对齐垂直方向后 ${\hat{L}}_{1}$ 和 ${\hat{L}}_{2}$ 之间的平移向量。将(10)式代入(9)式并提出 $R_{pitch}^{1} R_{roll}^{1}$ 和 $R_{pitch}^{2} R_{roll}^{2}$ ,可得新的广义相机对极几何约束,表达式为

{\hat{L}}^{T}_{2} [\begin{array}{l} {[\hat{t}]}_{\times} Δ R_{yaw} & Δ R_{yaw} \\ Δ R_{yaw} & 0 \end{array}] {\hat{L}}_{1} = 0, (11)

其中

\begin{array}{l} {\hat{L}}_{2} = [\begin{array}{l} R_{pitch}^{2} R_{roll}^{2} & 0 \\ 0 & R_{pitch}^{2} R_{roll}^{2} \end{array}] L_{2}, (12) \\ {\hat{L}}_{1} = [\begin{array}{l} R_{pitch}^{1} R_{roll}^{1} & 0 \\ 0 & R_{pitch}^{1} R_{roll}^{1} \end{array}] L_{1} 。 (13) \end{array}

由(11)~(13)式可知,对齐垂直方向后,多相机系统的相对位姿只剩两个未知量,即绕Z轴旋转θ的旋转矩阵ΔR_yaw以及对齐垂直方向后 ${\hat{L}}_{1}$ 和 ${\hat{L}}_{2}$ 之间的平移向量 $\hat{t}$ 。

对于远处的场景点,可以假设相邻两帧的平移向量 $\hat{t}$ 为0,因此(11)式中的广义相机对极约束可以简化为

{\hat{L}}^{T}_{2} [\begin{array}{l} 0 & Δ R_{yaw} \\ Δ R_{yaw} & 0 \end{array}] {\hat{L}}_{1} = 0 。 (14)

使用欧拉角来构造旋转矩阵ΔR_yaw,表达式为

Δ R_{yaw} = [\begin{array}{l} \cos θ & - \sin θ & 0 \\ \sin θ & \cos θ & 0 \\ 0 & 0 & 1 \end{array}] 。 (15)

将(15)式代入(14)式并利用三角函数约束cos²θ+sin²θ=1展开(14)式,整理后可得一个关于偏航角正弦函数sin θ的一元二次方程,表达式为

A si n^{2} θ + B \sin θ + C = 0, (16)

式中:A、B和C由 ${\hat{L}}_{1}$ 和 ${\hat{L}}_{2}$ 的各元素系数。

由(16)式可知,只需一对匹配点对就可解出偏航角θ的两个候选解,采用直方图投票法可以确定θ的最终解^[21]。将偏航角θ代入(16)式即可求解旋转矩阵ΔR_yaw,需要指出的是ΔR_yaw并不是多相机系统相邻两帧的相对旋转矩阵ΔR,ΔR可以由ΔR_yaw以及IMU提供的滚转角和俯仰角矩阵得到,将ΔR_yaw代入(8)式即可得到多相机系统相邻两帧的相对旋转矩阵ΔR。

2.3 相对平移估计

确定相对旋转矩阵后,由于近处场景点既包含旋转矩阵的信息,又包含平移向量的信息,因此可利用近处场景点估计多相机系统的相对平移向量。

将 ${\hat{L}}_{1}$ 绕多相机坐标系的Z轴旋转,可得

\hat{L}'_{1} = [\begin{array}{l} Δ R_{yaw} & 0 \\ 0 & Δ R_{yaw} \end{array}] {\hat{L}}_{1} 。 (17)

将(17)式代入(11)式,则广义相机对极约束可以简化为

{\hat{L}}^{T}_{2} [\begin{array}{l} {[\hat{t}]}_{\times} & E \\ E & 0 \end{array}] \hat{L}'_{1} = 0, (18)

式中:E表示单位矩阵。由(18)式可知, $\hat{L}$ '₁和 ${\hat{L}}_{2}$ 之间只存在平移变换,不存在旋转变换。

展开(18)式可以得到关于平移向量 $\hat{t}$ =[t_x,t_y,t_z]^T的三元一次方程,表达式为

m_{1} t_{x} + m_{2} t_{y} + m_{3} t_{z} = n, (19)

式中:m₁、m₂、m₃和n均由 $\hat{L}$ '₁和 ${\hat{L}}_{2}$ 的各元素系数。由于在自动驾驶场景中,前、后两帧之间的高度变化较小,因此对高度变化(相对平移向量 $\hat{t}$ 的t_z分量)进行离散采样以求解平移向量。

对高度变化t_z进行离散采样,则(19)式仅剩两个未知数t_x和t_y,因此只需要两对匹配点对即可求出未知数t_x和t_y,表达式为

\{\begin{array}{l} t_{x} = \frac{m_{2}^{2} (n^{1} - m_{3}^{1} t_{z}) - m_{2}^{1} (n^{2} - m_{3}^{2} t_{z})}{m_{1}^{1} m_{1}^{1} - m_{2}^{1} m_{1}^{2}} \\ t_{y} = \frac{m_{1}^{1} (n^{1} - m_{3}^{1} t_{z}) - m_{1}^{2} (n^{2} - m_{3}^{2} t_{z})}{m_{1}^{1} m_{1}^{1} - m_{2}^{1} m_{1}^{2}} \end{array} 。 (20)

采用(20)式可以求解出 $\hat{L}$ '₁和 ${\hat{L}}_{2}$ 之间的平移向量 $\hat{t}$ =[t_x t_y t_z]^T。依据实际应用场景设置相对高度t_z的采样范围和采样间隔,采用穷举搜索的方法来选取最大内点集的解并作为平移向量 $\hat{t}$ 的最终解,再由(10)式即可恢复出多相机系统的相对平移向量t。

3 分析与讨论

3.1 仿真模拟

仿真模拟KITTI数据集的配置和两个无公共视场的相机,基线l=0.5 m。测试相机的等效焦距f=1000 pixel。多相机系统的坐标系设置为X轴指向左、Y轴指向前和Z轴指向下。由于在自动驾驶场景中,前、后两帧的位姿变化较小,因此在仿真模拟中,每次随机产生三个在-1°~1°之间的欧拉角并将其转换成R,平移距离设为0.5 m。空间点分为两部分,即100个远处点(距离相机5~1000 m)和100个近处点(距离相机0~5 m)。将200个空间点投影到图像平面上即可得到理想的像点坐标,加入期望为0和标准差为σ的高斯噪声可以得到实际的像点坐标。

为了测试所提方法在不同图像噪声水平下的表现,使高斯噪声的标准差σ从0 pixel增加到2 pixel,间隔为0.2 pixel,分别采用所提方法、17-Li^[8]、6pt-Stewénius^[7]和4pt-Lee^[16]方法求解相对位姿,结果如图4所示。为了得到准确有效的统计结果,对每一级图像噪声进行1000次独立重复实验,取中值误差来评估相对位姿估计精度。定义旋转矩阵和平移向量的误差为

\begin{array}{l} E_{R} = \arccos {[trace (R_{gt}^{T} R_{est}) - 1] / 2}, (19) \\ E_{t} = \arccos [(t_{gt}^{T} t_{est}) / (‖ t_{gt} ‖ \cdot ‖ t_{est} ‖)], (20) \end{array}

式中:R_gt和R_est分别表示旋转矩阵的真值和估计值;t_gt和t_est分别表示平移向量的真值和估计值;trace(·)表示矩阵的迹。

图 4. 加入噪声后相对位姿在不同运动状况下的误差。(a)(b)向前运动;(c)(d)随机运动;(e)(f)侧向运动

Fig. 4. Error of relative pose under different motion condition after adding noise. (a)(b) Forward motion; (c)(d) random motion; (e)(f) sideways motion

下载图片查看所有图片

从图4(a)和图4(b)可以看到,随着图像高斯噪声水平的增加,当多相机系统向前运动时,所提方法的位姿估计精度优于其他方法。从4(e)和图4(f)可以看到,当未加入图像噪声时,所提方法有一定的误差,这是因为其假设平移向量对远处场景点的图像坐标变化造成的影响可忽略不计,所以该假设条件会带来一定的误差,但随着图像噪声水平的不断增加,所提方法表现出较高的精度,说明该假设条件对精度的影响较小。从图4(e)可以看到,当多相机系统侧向运动时,所提方法并未发生明显的趋势变化,这说明对于旋转矩阵直方图投票法,侧向运动对精度的影响比图像噪声更大。

3.2 KITTI数据集实验

KITTI数据集^[22]是目前自动驾驶领域最重要的测试数据集之一,使用KITTI数据集的00序列对所提方法进行验证。使用SURF算子提取相邻两帧的匹配点对,由于所提方法适用于无公共视场的多相机系统,因此只提取相同相机前、后两帧的匹配点对以模拟无公共视场的配置。

3.2.1 筛选场景中的远点

观察实际的应用场景,平移向量对场景中远点的图像坐标变化的影响几乎可以忽略不计,平移向量模拟图像坐标变化的示意图如图5所示,其中U为物距,F为焦距,t为车辆前进距离,则空间点P在前、后两帧图像上的纵坐标变化为

Δ y = F (\frac{Y}{U - t} - \frac{Y}{U}) 。 (23)

自动驾驶场景中连续运动的车辆,其前进距离较小,即t值较小。由(23)式可知,当U值较大时,则t对图像坐标变化的影响可以忽略不计,因此可以利用图像匹配点对的纵坐标变化对所有特征点进行分类以筛选远处场景点。以KITTI数据集00序列中第2021 frame和第2022 frame左、右相机的图像为例,判断图像匹配点对的纵坐标变化是否小于1 pixel,若满足条件则对特征点进行分类,结果如图6所示。从图6可以看到,该准则能够区分场景中的远近点。

图 5. 平移向量模拟图像坐标变化的示意图

Fig. 5. Schematic of translation vector simulating image coordinate change

下载图片查看所有图片

图 6. 不同图像的区分效果。(a)左相机的第2021 frame;(b)右相机的第2021 frame;(c)左相机的第2022 frame;(d)右相机的第2022 frame

Fig. 6. Distinguishing effects of different images. (a) 2021^th frame of left camera; (b) 2021^th frame of right camera; (c) 2022^th frame of left camera; (d) 2022^th frame of right camera

下载图片查看所有图片

3.2.2 相对位姿解耦估计算法的效率与精度评估

为了验证所提方法的计算效率与精度,采用所提方法对KITTI数据集的00序列进行相对位姿估计,并与17-Li ^[8]、6pt-Stewénius^[7]和4pt-Lee^[16]方法进行对比,其中17-Li方法^[8]和6pt-Stewénius方法^[7]由OpenGV库^[23]提供,4pt-Lee方法^[16]和所提方法在C++上编程实现。实验平台的配置:CPU为intel i7-7700HQ处理器,内存16 GB,主频2.8 GHz。不同方法处理一对图像的运行时间,如表1所示。从表1可以看到,所提方法的运行速度较快,且能够满足无人驾驶汽车系统的实时性要求。

利用KITTI数据集提供的真值对各方法的估计值进行误差统计,采用中值误差来衡量方法的精度,精度的统计结果如表2所示,位姿估计误差分布如图7所示,图中峰值对应的横轴坐标越小,说明方法的精度越高。从表2和图7可以看到,所提方法的相对姿态精度优于0.05°,相对平移向量方向精度优于2.5°,所提方法的精度优于其他方法,可适用于自动驾驶场景下无公共视场的多相机系统。

表 1. 不同相对位姿估计方法的运行时间

Table 1. Running time of different relative pose estimation methods

Method	17pt-Li^[8]	6pt-Stewénius^[7]	4pt-Lee^[16]	Proposed method
Time /s	57.320	92.840	0.720	0.026

查看所有表

表 2. 位姿估计的精度

Table 2. Accuracy of pose estimation

Method	17pt-Li^[8]	6pt-Stewénius^[7]	4pt-Lee^[16]	Proposed method
Rotation /(°)	0.1464	0.2564	0.0691	0.0465
Translation /(°)	2.8045	5.4519	2.8556	2.4594

查看所有表

图 7. 位姿估计误差分布曲线。(a)旋转矩阵误差;(b)平移向量误差

Fig. 7. Error distribution curves of pose estimation. (a) Rotation matrix error; (b) translation vector error

下载图片查看所有图片

4 结论

针对单目和双目视觉系统的视野范围小以及朝向受限等问题,提出一种基于多相机系统的相对位姿解耦估计方法。该方法适用于无公共视场的多相机系统,多个相机的任意角度位置组合安装可以增加视场范围,从而获取丰富的纹理信息。通过仿真模拟和实际实验对所提方法进行验证并与现有方法进行对比,结果表明所提方法正确有效,精度可靠,可适用于自动驾驶场景中无人驾驶汽车的自定位。

参考文献

[1] Guan BL, ZhaoJ, LiZ, et al. Minimal solutions for relative pose with a single affine correspondence[C]∥2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 13-19, 2020, Seattle, WA, USA. New York: IEEE, 2020: 1926- 1935.

[2] 张雄锋, 刘海波, 尚洋. 单目相机位姿估计的稳健正交迭代方法[J]. 光学学报, 2019, 39(9): 0915004.

Zhang X F, Liu H B, Shang Y. Robust orthogonal iteration algorithm for single camera pose estimation[J]. Acta Optica Sinica, 2019, 39(9): 0915004.

[3] 李鑫, 张跃强, 刘进博, 等. 基于直线段对应的相机位姿估计直接最小二乘法[J]. 光学学报, 2015, 35(6): 0615003.

Li X, Zhang Y Q, Liu J B, et al. A direct least squares method for camera pose estimation based on straight line segment correspondences[J]. Acta Optica Sinica, 2015, 35(6): 0615003.

[4] 关棒磊, 孙祥一, 尚洋, 等. 晃动平台上对空拍摄大视场摄像机的标定方法[J]. 光学学报, 2015, 35(7): 0712003.

Guan B L, Sun X Y, Shang Y, et al. A camera calibration method for large field camera pointing at sky on sway platform[J]. Acta Optica Sinica, 2015, 35(7): 0712003.

[5] Pless R. Using many cameras as one[C]∥2003 IEEE Computer Society Conference on Computer Vision and PatternRecognition, June 18-20, 2003, Madison, WI,USA. New York: IEEE, 2003: II-587.

[6] SturmP. Multi-view geometry for general camera models[C]∥2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05), June 20-25, 2005, San Diego, CA, USA. New York: IEEE, 2005: 206- 212.

[7] StewéniusH, NistérD. Solutions to minimal generalized relative pose problems[EB/OL]. [2020-09-26].https:∥www.ixueshu.com/document/3df075ef2b672811318947a18e7f9386.html.

[8] Li HD, HartleyR, Kim JH. A linear approach to motion estimation using generalized camera models[C]∥2008 IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2008, Anchorage, AK, USA. New York: IEEE, 2008: 10139850.

[9] KneipL, Li HD. Efficient computation of relative pose for multi-camera systems[C]∥2014 IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2014, Columbus, OH, USA. New York: IEEE, 2014: 446- 453.

[10] VenturaJ, ArthC, LepetitV. An efficient minimal solution for multi-camera motion[C]∥2015 IEEE International Conference on Computer Vision (ICCV), December 7-13, 2015, Santiago, Chile. New York: IEEE, 2015: 747- 755.

[11] FraundorferF, TanskanenP, PollefeysM. A minimal case solution to the calibrated relative pose problem for the case of two known orientation angles[M] ∥Daniilidis K, Maragos P, Paragios N. Computer vision-ECCV 2010. Lecture notes in computer science. Heidelberg: Springer, 2010, 6314: 269- 282.

[12] Naroditsky O, Zhou X S, Gallier J, et al. Two efficient solutions for visual odometry using directional correspondence[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(4): 818-824.

[13] Saurer O, Vasseur P, Boutteau R, et al. Homography based egomotion estimation with a common direction[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(2): 327-341.

[14] Guan B L, Yu Q F, Fraundorfer F. Minimal solutions for the rotational alignment of IMU-camera systems using homography constraints[J]. Computer Vision and Image Understanding, 2018, 170: 79-91.

[15] Lee GH, FaundorferF, PollefeysM. Motion estimation for self-driving cars with a generalized camera[C]∥2013 IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2013, Portland, OR, USA. New York: IEEE, 2013: 2746- 2753.

[16] Lee GH, PollefeysM, FraundorferF. Relative pose estimation for a multi-camera system with known vertical direction[C]∥2014 IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2014, Columbus, OH, USA. New York: IEEE, 2014: 540- 547.

[17] SweeneyC, FlynnJ, TurkM. Solving for relative pose with a partially known rotation is a quadratic eigenvalue problem[C]∥2014 2nd International Conference on 3D Vision, December 8-11, 2014, Tokyo, Japan. New York: IEEE, 2014: 483- 490.

[18] Liu L, Li H D, Dai Y C, et al. Robust and efficient relative pose with a multi-camera system for autonomous driving in highly dynamic environments[J]. IEEE Transactions on Intelligent Transportation Systems, 2018, 19(8): 2432-2444.

[19] Guan BL, VasseurP, DemonceauxC, et al. Visual odometry using a homography formulation with decoupled rotation and translation estimation using minimal solutions[C]∥2018 IEEE International Conference on Robotics and Automation (ICRA), May 21-25, 2018, Brisbane, QLD, Australia. New York: IEEE, 2018: 2320- 2327.

[20] 康轶非, 宋永端, 宋宇, 等. 动态环境下基于旋转-平移解耦的立体视觉里程计算法[J]. 机器人, 2014, 36(6): 758-768.

Kang Y F, Song Y D, Song Y, et al. Stereo visual odometry algorithm with rotation-translation decoupling for dynamic environments[J]. Robot, 2014, 36(6): 758-768.

[21] ScaramuzzaD, FraundorferF, SiegwartR. Real-time monocular visual odometry for on-road vehicles with 1-point RANSAC[C]∥2009 IEEE International Conference on Robotics and Automation, May 12-17, 2009, Kobe, Japan. New York: IEEE, 2009: 4293- 4299.

[22] Geiger A, Lenz P, Stiller C, et al. Vision meets robotics: the KITTI dataset[J]. The International Journal of Robotics Research, 2013, 32(11): 1231-1237.

[23] KneipL, FurgaleP. OpenGV: a unified and generalized approach to real-time calibrated geometric vision[C]∥2014 IEEE International Conference on Robotics and Automation (ICRA), May 31 - June 7, 2014, Hong Kong, China. New York: IEEE, 2014: 14616693.

田苗, 关棒磊, 孙放, 苑云, 于起峰. 一种无公共视场的多相机系统相对位姿解耦估计方法[J]. 光学学报, 2021, 41(5): 0515001. Miao Tian, Banglei Guan, Fang Sun, Yun Yuan, Qifeng Yu. Decoupling Relative Pose Estimation Method for Non-Overlapping Multi-Camera System[J]. Acta Optica Sinica, 2021, 41(5): 0515001.

一种无公共视场的多相机系统相对位姿解耦估计方法下载： 1094次封面文章

1 引言

2 基本原理

图 1. 所提方法的处理流程

Fig. 1. Processing flow of proposed method

2.1 广义多相机对极约束

图 2. 三维欧氏空间中直线的Plücker坐标

Fig. 2. Plücker coordinates of line in 3D Euclidean space

图 3. 广义相机对极几何约束

Fig. 3. Generalized camera polar geometric constraints

2.2 相对姿态估计

2.3 相对平移估计

3 分析与讨论

3.1 仿真模拟

图 4. 加入噪声后相对位姿在不同运动状况下的误差。(a)(b)向前运动;(c)(d)随机运动;(e)(f)侧向运动

Fig. 4. Error of relative pose under different motion condition after adding noise. (a)(b) Forward motion; (c)(d) random motion; (e)(f) sideways motion

3.2 KITTI数据集实验

图 5. 平移向量模拟图像坐标变化的示意图

Fig. 5. Schematic of translation vector simulating image coordinate change

图 6. 不同图像的区分效果。(a)左相机的第2021 frame;(b)右相机的第2021 frame;(c)左相机的第2022 frame;(d)右相机的第2022 frame

Fig. 6. Distinguishing effects of different images. (a) 2021^th frame of left camera; (b) 2021^th frame of right camera; (c) 2022^th frame of left camera; (d) 2022^th frame of right camera

表 1. 不同相对位姿估计方法的运行时间

Table 1. Running time of different relative pose estimation methods

表 2. 位姿估计的精度

Table 2. Accuracy of pose estimation

图 7. 位姿估计误差分布曲线。(a)旋转矩阵误差;(b)平移向量误差

Fig. 7. Error distribution curves of pose estimation. (a) Rotation matrix error; (b) translation vector error

4 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

一种无公共视场的多相机系统相对位姿解耦估计方法 下载： 1094次封面文章

1 引言

2 基本原理

图 1. 所提方法的处理流程

Fig. 1. Processing flow of proposed method

2.1 广义多相机对极约束

图 2. 三维欧氏空间中直线的Plücker坐标

Fig. 2. Plücker coordinates of line in 3D Euclidean space

图 3. 广义相机对极几何约束

Fig. 3. Generalized camera polar geometric constraints

2.2 相对姿态估计

2.3 相对平移估计

3 分析与讨论

3.1 仿真模拟

图 4. 加入噪声后相对位姿在不同运动状况下的误差。(a)(b)向前运动;(c)(d)随机运动;(e)(f)侧向运动

Fig. 4. Error of relative pose under different motion condition after adding noise. (a)(b) Forward motion; (c)(d) random motion; (e)(f) sideways motion

3.2 KITTI数据集实验

图 5. 平移向量模拟图像坐标变化的示意图

Fig. 5. Schematic of translation vector simulating image coordinate change

图 6. 不同图像的区分效果。(a)左相机的第2021 frame;(b)右相机的第2021 frame;(c)左相机的第2022 frame;(d)右相机的第2022 frame

Fig. 6. Distinguishing effects of different images. (a) 2021th frame of left camera; (b) 2021th frame of right camera; (c) 2022th frame of left camera; (d) 2022th frame of right camera

表 1. 不同相对位姿估计方法的运行时间

Table 1. Running time of different relative pose estimation methods

表 2. 位姿估计的精度

Table 2. Accuracy of pose estimation

图 7. 位姿估计误差分布曲线。(a)旋转矩阵误差;(b)平移向量误差

Fig. 7. Error distribution curves of pose estimation. (a) Rotation matrix error; (b) translation vector error

4 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

一种无公共视场的多相机系统相对位姿解耦估计方法下载： 1094次封面文章

Fig. 6. Distinguishing effects of different images. (a) 2021^th frame of left camera; (b) 2021^th frame of right camera; (c) 2022^th frame of left camera; (d) 2022^th frame of right camera