基于正交迭代的参考点不确定相机位姿估计

李丽媛; 李文韬; 许海燕; 张卓; 谢迎娟; 张学武

doi:doi:10.3788/LOP56.011503

激光与光电子学进展, 2019, 56 (1): 011503, 网络出版: 2019-08-01

基于正交迭代的参考点不确定相机位姿估计下载： 1373次

Camera Pose Estimation with Uncertain Reference Point Based on Orthogonal Iterative

论文大纲

李丽媛 ¹李文韬 ¹许海燕 ¹张卓 ¹谢迎娟 ¹张学武 ^1,2,*

作者单位

¹ 河海大学物联网工程学院, 江苏常州 213022

² 江苏省“世界水谷”与水世界生态文明协同创新中心, 江苏南京 211100;

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

相机的位姿估计广泛应用于计算机视觉和机器人学等领域。针对相机位姿估计的稳定性与实时性,基于正交迭代算法,提出了一种考虑空间参考点不确定性的相机位姿估计算法。该算法的关键思想是在考虑摄像头畸变的情况下,根据参考点的位置特征获得相应权值,并利用加速正交迭代思想对迭代过程中的重复计算进行规整,最小化加权重投影物方残差函数获得相机位姿。模拟数据实验和真实图像实验表明,该算法计算精度更高,速度更快,时间复杂度较低。在空间参考点深度较大或者偏离摄像头光轴的情况下,该算法的时间复杂度和精度均优于现有的正交迭代算法,从而实现了相机位姿估计的实时性。

Abstract

Camera pose estimation is widely used in computer vision and robotics. Aiming at the stability and real-time performance of camera pose estimation, a camera pose estimation algorithm considering the uncertainty of spatial reference points based on orthogonal iterative algorithm is proposed. The key idea of the algorithm is to obtain the weights of the corresponding feature points in consideration of camera distortion and use an accelerated orthogonal iterative algorithm to regularize the repeated calculations in the iterative process. And the camera pose is obtained by minimizing the weighted re-projection object residual function. Results of simulation data experiments and real image experiment show that the proposed algorithm has higher calculation accuracy, faster speed, and lower time complexity. In the case of deep spatial feature points or the feature points deviating from the optical axis of the camera, the time complexity and accuracy of the algorithm are better than the existing orthogonal iterative algorithms, indicating its feasibility in the real-time estimation of camera pose.

1 引言

相机的位姿估计是相机参数估计中的外参数估计,是计算机视觉、摄影测量学、计算机图形学等学科所要研究的关键问题,在目标识别与跟踪^[1]、相机标定^[2-3]、移动机器人导航和定位^[4]、增强现实^[5]等领域都有重要应用。其中,基于空间参考点的单目视觉位姿估计,也称为透视n点定位问题(PnP),是指在相机内参数已知的情况下,对图像中的目标进行检测,提取定位特征,根据参考点的空间信息与检测的图像点间的映射关系,得到世界坐标系和摄像机坐标系之间的位姿关系,最后结合相机的内参数进行目标定位^[6-7]。

PnP问题的求解,可以分为非迭代方法(闭式解法)和迭代方法(数值解法)。非迭代方法适用于参考点数目较少的情况,通过构造多项式方程组来求解相机位姿^[8-10]。常用的非迭代算法有三点透视算法(P3P)^[11-12]、稳健PnP(RPnP)^[13]、直接线性变换法(DLT)^[14]、高效PnP(EPnP)^[15]、直接最小二乘法(DLS)^[16]及最佳PnP(OPnP)^[17]等。上述方法的计算速度快,实时性好,但对噪声引起的图像误差以及参考点的错误对应较为敏感,位姿估计精度较低^[18]。为了提高非迭代方法的精度,相关学者对这些算法作出了改进。Ke等^[2]使用相应的几何约束制定三角方程,根据代数方法确定未知的旋转矩阵并随后确定相机的位置,降低了P3P方法的计算复杂度。杨森等^[19]利用加权求精的思想,提出了加权直接线性变换法(WDLT)和加权高效透视n点定位法(WEPnP),考虑了参考点的深度变化,有效地提高了相机位姿的估计精度,但是增加了算法的时间复杂度。Wang等^[20]将姿态估计问题转化为最优问题,通过分别求解七阶和四阶单变量多项式获得相机位姿,该算法具有良好的稳健性。

当空间参考点的数目大于5时,一般采用迭代方法,利用优化理论最小化物方或像方目标函数求得相机的位姿^[15-16]。常用的非线性算法有最大似然估计(ML)^[21]、比例正交投影迭代变换(POSIT)^[22]及正交迭代算法^[23]等。针对迭代算法存在的局部收敛及收敛速度慢的问题,许多学者提出了改进方法。Haralick等^[24]提出了一种基于点特征的相机位姿迭代求解算法,引入空间参考点的景深变量使算法全局收敛,但是收敛速度较慢。Lu等^[25]利用单目视觉中的逆投影思想,通过最小化物体空间共线性误差得到相机位姿,算法的迭代次数较少,但是求解过程容易受到误差的影响,导致估计精度降低。李鑫等^[26]提出了一种加速正交迭代算法,在正交迭代算法的基础上对迭代计算过程中的平移量、投影点以及目标函数进行规整,降低了计算的复杂度,提高了相机位姿估计的实时性。周润等^[27]提出了加权正交迭代方法,根据像面重投影误差确定物方残差函数中参考点的权重系数,算法的精度较高,对测量误差具有抑制作用。

目前,正交迭代算法是性能最优的相机位姿估计算法之一,与其他的算法相比,具有迭代次数少、计算速度快的优点^[28]。但是当图像点受均匀的高斯噪声影响时,正交迭代算法的全局收敛过程会产生偏差,尤其是当参考点远离相机中心时,物体空间共线性误差增大,这种偏差也会增大。

本文针对空间参考点不确定的相机位姿求解,提出了一种结合空间参考点不确定性的位姿估计算法,其关键思想是在正交迭代的基础上,考虑摄像头的畸变,通过初值得到参考点的位置信息,以此确定像点在物方残差函数中的权值,对于深度较小的参考点赋予较大的权值,对深度较大的参考点赋予较小的权值,同时对离摄像头光心较近的参考点赋予较大的权值,对离摄像头光心较远的参考点赋予较小的权值,使得优化过程中每个参考点都能对物方残差具有接近同等的贡献。根据文献[ 25]提出的加速正交迭代算法,对迭代过程中的重复计算进行规整,该方法在降低迭代过程复杂度的同时,提高了算法的稳健性与抗噪能力,提高了相机位姿的计算精度。

2 基于空间参考点不确定性的正交迭代算法

2.1 正交迭代算法

正交迭代算法是一种非线性迭代算法,通过最小化物方残差函数进行迭代优化,从而获得相机的位姿。图1是相机位姿估计物方残差和像方残差的几何意义。

根据理想的小孔成像模型,物体的空间点、归一化图像平面点及投影中心存在线性关系,图像空间共线性方程和物体空间共线性方程定义为

\begin{matrix} \begin{matrix} v_{i} = \frac{1}{{r^{T}}_{3} p_{i} + t_{z}} (R p_{i} + t), (1) \\ R p_{i} + t = V_{i} (R p_{i} + t), (2) \end{matrix} \end{matrix}

式中p_i= $\begin{matrix} (x_{i}, y_{i}, z_{i})^{T} \end{matrix}$ ,i=1,…,n,n≥3是空间参考点的非齐次坐标,v_i= $\begin{matrix} (u_{i}, v_{i} {, 1)}^{T} \end{matrix}$ 是图像中的参考点在归一化图像平面上的投影点,R=( $\begin{matrix} r_{1}^{T} \end{matrix}$ , $\begin{matrix} r_{2}^{T} \end{matrix}$ , $\begin{matrix} r_{3}^{T} \end{matrix}$ )^T和t=(t_x,t_y,t_z)^T分别是世界坐标系下相机位姿的旋转矩阵和平移向量,V_i=v_i $\begin{matrix} v_{i}^{T} \end{matrix}$ / $\begin{matrix} v_{i}^{T} \end{matrix}$ v_i是视线投影矩阵,包含了参考点在归一化图像平面上的所有信息。

通过最小化所有参考点的空间共线性误差之和,可以得到相机的位姿,因此,物方残差函数定义为

\begin{matrix} E (R, t) = \overset{n}{\sum_{i = 1}} {(e_{i})}^{2}, (3) \end{matrix}

图 1. 相机位姿估计物方残差和像方残差的几何意义

Fig. 1. Geometric meaning of object residuals and image residuals in camera pose estimation

下载图片查看所有图片

式中e_i=(I-V_i)(Rp_i+t)是物体空间共线性误差向量,I是单位矩阵,n是空间参考点的个数。由物方残差函数可知,若已知旋转矩阵R的初始值,可以以闭合解的形式求得平移向量t的最优解,即

\begin{matrix} t (R) = \frac{1}{n} {(I - \frac{1}{n} \sum_{j} V_{j})}^{- 1} \sum_{j} (V_{j} - I) R p_{j} 。 (4) \end{matrix}

物方残差的约束最小二乘问题可以通过四元数或者奇异值分解(SVD)求得闭合解^[21]。正交迭代算法使用SVD的绝对定向问题最优解不断迭代更新R,再根据更新的旋转矩阵R不断迭代得到相应的平移向量t(R)及物方残差E(R,t)。当物方残差小于设置的目标函数下界或者收敛容差小于设置的阈值时,迭代终止,此时的R,t(R)就是相机坐标系相对于世界坐标系的旋转和平移量,也就是相机的位姿。

2.2 基于参考点位置信息的正交迭代算法

利用文献[ 26]提出的加速正交迭代思想,在考虑镜头畸变的情况下,首先将相机获取图像中的参考点坐标转换为去畸变归一化的图像平面齐次坐标,即

\begin{matrix} (\begin{matrix} u' \\ v' \\ 1 \end{matrix}) = K^{- 1} (\begin{matrix} u ″ \\ v ″ \\ 1 \end{matrix}), (5) \end{matrix}

式中(u″,v″,1)^T是摄像头拍摄图像中的参考点齐次坐标,(u',v',1)^T是畸变后点的齐次坐标,K是摄像头的内参矩阵,表达式为

\begin{matrix} K = (\begin{matrix} f_{u} & 0 & u_{0} \\ 0 & f_{v} & v_{0} \\ 0 & 0 & 1 \end{matrix}), (6) \end{matrix}

式中(u₀,v₀)是光学中心,也就是光心在图像平面的投影的偏移量,f_u、f_v是相机在u轴和v轴上的归一化焦距。

归一化的图像平面坐标与畸变后点的坐标满足

\begin{matrix} \{\begin{matrix} u' = u (1 + k_{1} r^{2} + k_{2} r^{4} + k_{3} r^{6}) + 2 p_{1} uv + p_{2} (r^{2} + 2 u^{2}) \\ v' = v (1 + k_{1} r^{2} + k_{2} r^{4} + k_{3} r^{6}) + 2 p_{2} uv + p_{1} (r^{2} + 2 v^{2}) \\ r^{2} = u^{2} + v^{2} \end{matrix}, (7) \end{matrix}

式中(u,v)^T是归一化平面点的坐标,k₁、k₂、k₃是摄像头的径向畸变系数,用于纠正由透镜形状引起的径向畸变,p₁,p₂是摄像头的切向畸变系数,用于纠正安装过程中透镜和成像平面的不严格平行,r是归一化平面坐标点与光心的距离。

对参考点坐标p_i=(x_i,y_i,z_i)^T,i=1,…,n,n≥3进行零均值化,即

\begin{matrix} p'_{i} = p_{i} - \bar{p}, (8) \end{matrix}

式中 $\begin{matrix} \bar{p} = \frac{1}{n} \sum_{i}^{=} p_{i} 是所有参考点的质心。 \end{matrix}$

引入矩阵计算公式,

\begin{matrix} vec (ABC) = (C^{T} \otimes A) vec (B), (9) \end{matrix}

式中vec(X)表示将矩阵X按列堆栈成一个列向量,⊗表示克罗内克积。

由初始值R和(4)式,利用(9)式可以得到初始值t,即

\begin{matrix} t (R) = Avec (R), (10) \end{matrix}

式中 $\begin{matrix} A_{3 \times 9} = \frac{1}{n} {(I - \frac{1}{n} \sum_{j}^{=} V_{j})}^{- 1} \sum_{j}^{=} ({p^{T}}_{j} \otimes V_{j}) vec (R) 。 \end{matrix}$

再根据

\begin{matrix} p_{ic} = Rp'_{i} + t, (11) \end{matrix}

得到参考点在相机坐标系下的参考坐标p_i_c(x_i_c,y_i_c,z_i_c)。

由物方残差函数(3)式,对深度较小的参考点赋予较大的权值,对深度较大的参考点赋予较小的权值,同时对离摄像头光心较近的参考点赋予较大的权值,对离摄像头光心较远的参考点赋予较小的权值,使得优化过程中每个参考点都能对物方残差具有接近同等的贡献。

加权后的物方残差函数为

\begin{matrix} E (R, t) = \overset{n}{\sum_{i = 1}} {(W_{id} W_{io} (I - V_{i}) (R p_{i} + t))}^{2}, (12) \end{matrix}

式中W_i_d=1/z_i_c是参考点的深度权重,W_i_o=1/ $\begin{matrix} \sqrt[]{x_{ic}^{2} + y_{ic}^{2}} \end{matrix}$ 是参考点与摄像头光心距离的权重。迭代过程使用SVD的绝对定向问题最优解更新旋转矩阵R,计算样本交叉协方差矩阵,即

\begin{matrix} B = \overset{n}{\sum_{i = 1}} W_{id} W_{io} (q_{i} - \bar{q}) p'^{T}_{i}, (13) \end{matrix}

式中q_i=V_iq_i-₁是参考点的投影点, $\begin{matrix} \bar{q} \end{matrix}$ = $\begin{matrix} \frac{1}{n} \sum_{i}^{=} q_{i} 是 q_{i} 的质心, \end{matrix}$ 根据文献[ 26]对投影点进行规整,有

\begin{matrix} \begin{matrix} B = \overset{n}{\sum_{i = 1}} W_{id} W_{io} q_{i} p'^{T}_{i} = \overset{n}{\sum_{i = 1}} W_{id} W_{io} V_{i} (Rp'_{i} + t) p'^{T}_{i} = \\ \overset{n}{\sum_{i = 1}} W_{id} W_{io} (p'^{T}_{i} \otimes V_{i} + V_{i} A) vec (R) p'^{T}_{i}, (14) \end{matrix} \end{matrix}

对矩阵B进行奇异值分解,有B=UΣV^T,则更新的旋转矩阵R为

\begin{matrix} R = U V^{T}, (15) \end{matrix}

根据更新的旋转矩阵R,对于加权最小二乘函数(12)式,得到新的误差:

\begin{matrix} \begin{matrix} E (R, t) = \overset{n}{\sum_{i = 1}} {(W_{id} W_{io} (I - V_{i}) (Rp'_{i} + t))}^{2} = \\ \overset{n}{\sum_{i = 1}} {(W_{id} W_{io} (I - V_{i}) (IRp'_{i} + t))}^{2} = \\ \overset{n}{\sum_{i = 1}} {(W_{id} W_{io} (I - V_{i}) (p'^{T}_{i} \otimes I + A) vec (R))}^{2} = \\ vec {(R)}^{T} Cvec (R), (16) \end{matrix} \end{matrix}

式中矩阵 $\begin{matrix} C_{9 \times 9} = \sum_{i}^{=} W_{id} W_{io} (p_{i} \otimes I + A^{T}) (I - V_{i}) (p'^{T}_{i} \otimes I + A) 。 \end{matrix}$

当物方残差小于设置的目标函数下界或者收敛容差小于设置的阈值时,迭代终止,由于开始时对参考点的坐标进行了零均值化,所以输出的平移向量为

\begin{matrix} t_{out} = t - R \bar{p} 。 (17) \end{matrix}

综上所述,基于参考点位置信息的正交迭代算法的具体步骤为,根据旋转矩阵的初始值及归一化的像点,得到平移向量的初始值,从而计算出空间参考点在相机坐标系下的参考位置。根据参考点在相机坐标系下的深度以及距离摄像头光心的距离得到加权物方残差目标函数,进行迭代运算。在迭代开始前,计算A、C矩阵,根据(14)和(15)式计算出更新的旋转矩阵R,再根据(16)式求得加权最小二乘物方残差,不断迭代,直到满足迭代停止条件,此时的旋转矩阵R包含了摄像头坐标系相对于世界坐标系在三个坐标轴上的旋转角度,最后根据(17)式计算出摄像头在世界坐标系下的位置。

3 实验

实验分为模拟数据实验和真实图像实验。实验平台为Inter(R)Core(TM)i5-6500 CPU,主频为3.2 GHz,内存大小为8.00 GB;软件平台为Win10 64位操作系统,Matlab R2016a。实验使用旋转矩阵误差e_rot(degree)= $\begin{matrix} \max_{k \in (1,2, 3)} \end{matrix}$ cos^-1( $\begin{matrix} r_{k, true}^{T} \end{matrix}$ r_k)×180/π和平移向量误差t_trans(%)= $\begin{matrix} (t_{true} - t) \end{matrix}$ / $\begin{matrix} (t_{true}) \end{matrix}$ ×100两个指标来评估各种算法的精度,其中,r_k_,true和r_k分别是R_true和R的第k列。

3.1 模拟数据实验

在模拟数据实验中,假定摄像头的内参矩阵为

\begin{matrix} K = [\begin{matrix} 150 & 0 & 360 \\ 0 & 150 & 240 \\ 0 & 0 & 1 \end{matrix}], (18) \end{matrix}

镜头的径向畸变系数为k₁=0.2733,k₂=-1.5633,k₃=2.8348,切向畸变系数为p₁=0.0015,p₂=-8.3147×10^-4。参考点随机分布在[-20,20]×[-20,20]×[40,80]的范围内,并随机产生三个欧拉角,生成对应的旋转矩阵R,根据不同实验产生平移向量t。以R和t作为相机位姿的真实值,由相机内参,将随机生成的三维空间点根据空间参考点和像点的几何约束关系生成对应的图像坐标点(u,v),作为图像的真实坐标点,用于计算误差。图像点添加均值为0、标准差为1的高斯噪声。

为了验证改进的正交迭代算法的有效性,比较下列算法的计算时间与计算精度:1) EPnP,文献[ 15]提出的EPnP算法;2) ML,文献[ 21]提出的最大似然估计算法;3) RPnP,文献[ 13]提出的稳健位姿估计方法;4) LHM,文献[ 23]提出的以弱透视为初值的正交迭代算法;5) LHM+:文献[ 26]提出的以RPnP为初值的加速正交迭代算法;6) W-OI,文献[ 27]提出的以弱透视为初值的加权正交迭代算法;7) WLHM+,本文提出的WLHM+算法,以RPnP为初值。

3.1.1 参考点数目实验

随机产生平移向量t,参考点数目范围为[10,80],变化步长为10,每个参考点数目进行1000次独立实验,对计算时间和误差求取平均值。图2为不同参考点数目下,不同算法的旋转矩阵误差及平移向量误差。图3为不同参考点数目下,不同算法的计算时间。

图 2. 参考点数目变化时,不同算法的(a)旋转矩阵误差及(b)平移向量误差

Fig. 2. (a) Rotation matrix error and (b) translation vector error with different numbers of reference points

下载图片查看所有图片

图 3. 参考点数目变化时不同算法的计算时间

Fig. 3. Calculation time of different algorithms with different number of reference points

下载图片查看所有图片

由图2可以得到,各个算法的旋转矩阵误差及平移向量误差随着空间参考点数目的增多而降低。在参考点数目不多的情况下,EPnP、ML算法易受噪声的影响,而LHM算法由于使用弱透视模型得到初值,估计精度较低。W-OI算法虽然以弱透视为初值,但是考虑了参考点的重投影误差,因此具有低的旋转及平移误差。由于有较为精确的初始值,LHM+、WLHM+算法的旋转及平移误差都较低。WLHM+算法根据各个空间参考点的位置信息,改变其对目标函数的作用程度,随着参考点数目的增多,位姿估计精度增高。由图3可以得到,随着参考点数目的增多,各种算法的计算时间都有所增加,其中,线性算法EPnP和RPnP的计算时间少于非线性迭代算法ML、LHM、LHM+、W-OI、WLHM+。对于所有的参考点数目,LHM+算法与本文算法WLHM+都显著地减少了原始正交迭代算法LHM的计算时间。在迭代过程中,W-OI需要重新计算每个参考点的重投影误差,因此时间复杂度较高。WLHM+算法在考虑各个空间参考点的位置信息的同时,对迭代过程进行了优化,因此在运行时间上较LHM+算法略有增加。

3.1.2 空间参考点中心与相机距离实验

参考点数目为50,相机光轴与空间参考点中心在同一视线上,空间参考点中心与相机距离变换范围为[10,80],变化步长为10,每个参考点数目进行1000次独立实验,对计算误差求取平均值。图4为空间参考点中心与相机距离变化时,不同算法的旋转计算误差及平移计算误差。

由图4可以得到,在同等条件下,空间参考点中心与相机距离越远,相机位姿估计误差越大。线性算法EPnP、RPnP由于内在的旋转约束,在空间参考点中心离相机距离增加时,得不到较高的精度,其中,RPnP算法的估计精度明显较差且不稳定。在空间参考点深度较高的情况下,LHM、LHM+、W-OI、WLHM+算法在给定初值的前提下,更容易找到全局最优解,因此旋转矩阵误差及平移向量误差都较低。而WLHM+算法在空间参考点中心与相机距离较大时,考虑了参考点的位置信息,得到的计算精度较高。

3.1.3 空间参考点中心与相机光轴距离实验

参考点数目为50,空间参考点中心与相机距离为40,相机光轴与空间参考点中心在相机坐标系的x轴方向的距离保持一致,y轴方向的距离变换范围为[10,80],变化步长为10,每个参考点数目进行1000次独立实验,对计算误差求取平均值。图5为空间参考点中心与相机光轴距离变化时,不同算法的旋转计算误差及平移计算误差。

图 4. 空间参考点中心与相机不同距离时的(a)旋转矩阵误差和 (b)平移向量误差

Fig. 4. (a) Rotation matrix error and (b) translation vector error of different distance between space reference point center and camera

下载图片查看所有图片

图 5. 空间参考点中心与相机光轴不同距离时的(a)旋转矩阵误差和 (b)平移向量误差

Fig. 5. (a) Rotation matrix error and (b) translation vector error of different distance between space reference point center and camera optical axis

下载图片查看所有图片

由图5可以得到,随着空间参考点中心与相机光轴距离的增加,各个算法的旋转矩阵误差及平移向量误差都会增加,相机位姿估计精度降低。LHM+、W-OI、WLHM+算法的计算精度明显高于LHM算法,接近于ML算法。在空间参考点中心与相机光轴距离在60 mm以上时,提出的WLHM+算法能够有效地平衡各个参考点对目标函数的贡献,因此,估计精度较其他算法高,具有较好的稳健性。

3.2 真实图像实验

在真实实验中,固定摄像头在模型车上的位置,采用基于二维平面靶标的张正友相机标定方法对摄像头进行标定,得到摄像头的内参,包括摄像头的内参矩阵、畸变系数。在布上均匀分布12个空间参考点,将布摆放在模型车底面所在平面,以模型车底面中心构建世界坐标系,得到参考点的世界坐标。具体结构如图6所示。根据空间参考点在摄像头获取图像中的梯度特征得到空间参考点的图像坐标。图7是真实图像实验结果,绿色叉代表空间参考点在图像中所对应的像点,红色十字代表空间参考点根据WLHM+算法计算得到的位姿进行重投影的像点,可以看出,重投影像点与真实参考点像点重合度较高。表1为图像真实像点及三维空间参考点利用

图 6. 真实图像实验装置结构图

Fig. 6. Real image experiment device structure

下载图片查看所有图片

图 7. 重投影像点结果

Fig. 7. Result of re-projection in image points

下载图片查看所有图片

表 1. 空间参考点像面重投影结果与真实像点距离之差

Table 1. Difference between re-projection result of spatial reference point on image plane and real image point

Spatialreference point	LHM	LHM+	W-OI	WLHM+	Spatialreference point	LHM	LHM+	W-OI	WLHM+
1	0.040	0.038	0.026	0.021	7	0.035	0.036	0.022	0.024
2	0.031	0.039	0.022	0.022	8	0.036	0.036	0.025	0.027
3	0.030	0.035	0.026	0.029	9	0.037	0.039	0.020	0.024
4	0.032	0.037	0.030	0.026	10	0.034	0.033	0.021	0.022
5	0.030	0.029	0.028	0.028	11	0.036	0.036	0.026	0.026
6	0.039	0.038	0.023	0.025	12	0.039	0.038	0.028	0.029

查看所有表

本文算法及其他算法结果进行像面重投影所得像点坐标之差。可以看出,W-OI、WLHM+算法得到的像面重投影结果与真实像点距离之差低于LHM、LHM+算法。W-OI算法对参考点进行像面重投影计算相机位姿,因此得到的重投影结果接近测量值。WLHM+算法考虑了参考点在相机坐标系下的位置信息,得到的重投影结果与像点的测量值较为吻合。

对4种非线性迭代方法的迭代次数、计算时间、像方残差及物方残差进行了对比,分析结果如表2所示。可以看出,提出的WLHM+算法减少了LHM算法的迭代次数,在计算时间上较LHM+算法略长,在达到相近物方残差与像方残差的条件下,其迭代次数及运行时间明显低于W-OI。由于考虑了目标函数中空间参考点的不确定性,WLHM+有效地减少了相机位姿估计的物方残差及像方残差,提高了估计精度。

表 2. 真实图像实验结果

Table 2. Results of real image experiment

Algorithm	Number ofiterations	Calculatingtime /ms	Re-projectionobject-space error /mm	Re-projectionimage-space error /mm
LHM	19	7.2	0.14	0.035
LHM+	10	2.5	0.14	0.035
W-OI	16	11.4	0.12	0.024
WLHM+	10	2.8	0.10	0.025

查看所有表

4 结论

针对相机位姿估计中的正交迭代算法存在稳定性差、易受噪声干扰等问题,结合空间参考点的不确定性,提出了一种改进算法。根据空间参考点的位置特征确定其对物方残差目标函数的贡献,最优化约束最小二乘物方残差函数,使物方残差近似于重投影的像方残差。利用加速的思想,提前计算迭代过程中的常量,改进算法的时间复杂度和精度均优于正交迭代算法,在达到同等精度的条件下,其时间复杂度明显低于加权正交迭代算法,较加速正交迭代算法在时间复杂度上略有增加,但是相机位姿估计的精度更高,具有更强的抗噪能力。

由于正交迭代法利用正交投影替代相机的透视投影获得位姿的数值解,因此旋转矩阵不满足单位正交约束,由此导致基于连续视频图像的相机位姿跟踪中会出现较大的累积误差,后续拟解决该问题。

参考文献

[1] Caron G, Dame A, Marchand E. Direct model based visual tracking and pose estimation using mutual information[J]. Image and Vision Computing, 2014, 32(1): 54-63.

[2] KeT, Roumeliotis SI. An efficient algebraic solution to the perspective-three-point problem[C]∥IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017: 4618- 4626.

[3] 吴凡路, 刘建军, 任鑫, 等. 基于圆形标志点的深空探测全景相机标定方法[J]. 光学学报, 2013, 33(11): 1115002.

Wu F L, Liu J J, Ren X, et al. Deep space exploration panoramic camera calibration technique based on circular markers[J]. Acta Optica Sinica, 2013, 33(11): 1115002.

[4] TahriO, ChaumetteF. Complex objects pose estimation based on image moment invariants[C]∥Proceedings of the 2005 IEEE International Conference on Robotics and Automation, 2005: 436- 441.

[5] Azuma R, Baillot Y, Behringer R, et al. Recent advances in augmented reality[J]. IEEE Computer Graphics and Applications, 2001, 21(6): 34-47.

[6] Fischler M A, Bolles R C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography[J]. Communications of the ACM, 1981, 24(6): 381-395.

[7] Quan L, Lan Z D. Linear N-point camera pose determination[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1999, 21(8): 774-780.

[8] KneipL, ScaramuzzaD, SiegwartR. A novel parametrization of the perspective-three-point problem for a direct computation of absolute camera position and orientation[C]∥IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2011: 2969- 2976.

[9] KukelovaZ, BujnakM, PajdlaT. Closed-form solutions to minimal absolute pose problems with known vertical direction[C]∥Asian Conference on Computer Vision, 2010: 216- 229.

[10] Nistér D, Stewénius H. A minimal solution to the generalised 3-point pose problem[J]. Journal of Mathematical Imaging and Vision, 2007, 27(1): 67-79.

[11] 王鹏, 孙长库, 张子淼. 单目视觉位姿测量的线性求解[J]. 仪器仪表学报, 2011, 32(5): 1126-1131.

Wang P, Sun C K, Zhang Z M. Linear pose estimation with a monocular vision system[J]. Chinese Journal of Scientific Instrument, 2011, 32(5): 1126-1131.

[12] 吴福朝, 胡占义. 关于P5P问题的研究[J]. 软件学报, 2001, 12(5): 768-775.

Wu F C, Hu Z Y. A study on the P5P problem[J]. Journal of Software, 2001, 12(5): 768-775.

[13] Li S Q, Xu C, Xie M. A robust O(n) solution to the perspective-n-point problem[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(7): 1444-1450.

[14] Abdel-Aziz Y I, Karara H M, Hauck M. Direct linear transformation from comparator coordinates into object space coordinates in close-range photogrammetry[J]. Photogrammetric Engineering & Remote Sensing, 2015, 81(2): 103-107.

[15] Lepetit V, Moreno-Noguer F, Fua P. EPnP: an accurate O(n) solution to the PnP problem[J]. International Journal of Computer Vision, 2009, 81(2): 155-166.

[16] Hesch JA, Roumeliotis SI. A direct least-squares (DLS) method for PnP[C]∥International Conference on Computer Vision, 2011: 383- 390.

[17] Zheng YQ, Kuang YB, SugimotoS, et al. Revisiting the PnP problem: a fast, general and optimal solution[C]∥IEEE International Conference on Computer Vision, 2013: 2344- 2351.

[18] FerrazL, BinefaX, Moreno-NoguerF. Very fast solution to the PnP problem with algebraic outlier rejection[C]∥IEEE Conference on Computer Vision and Pattern Recognition, 2014: 501- 508.

[19] 杨森, 吴福朝. 摄像机位姿的加权线性算法[J]. 软件学报, 2011, 22(10): 2476-2487.

Yang S, Wu F C. Weighted linear methods for the camera pose estimation[J]. Journal of Software, 2011, 22(10): 2476-2487.

[20] Wang P, Xu G L, Cheng Y H, et al. A simple, robust and fast method for the perspective-n-point problem[J]. Pattern Recognition Letters, 2018, 108: 31-37.

[21] HartleyR, ZissermanA. Multipleview geometry in computer vision[M]. Cambridge: Cambridge University Press, 2003: 1865- 1872.

[22] Dementhon D F, Davis L S. Model-based object pose in 25 lines of code[J]. International Journal of Computer Vision, 1995, 15(1/2): 123-141.

[23] Lu C P, Hager G D, Mjolsness E. Fast and globally convergent pose estimation from video images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(6): 610-622.

[24] Haralick R M, Joo H, Lee C, et al. Pose estimation from corresponding point data[J]. IEEE Transactions on Systems, Man, and Cybernetics, 1989, 19(6): 1426-1446.

[25] Lu C P, Hager G D, Mjolsness E. Fast and globally convergent pose estimation from video images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(6): 610-622.

[26] 李鑫, 龙古灿, 刘进博, 等. 相机位姿估计的加速正交迭代算法[J]. 光学学报, 2015, 35(1): 0115004.

Li X, Long G C, Liu J B, et al. Accelerative orthogonal iteration algorithm for camera pose estimation[J]. Acta Optica Sinica, 2015, 35(1): 0115004.

[27] 周润, 张征宇, 黄叙辉. 相机位姿估计的加权正交迭代算法[J]. 光学学报, 2018, 38(5): 0515002.

Zhou R, Zhang Z Y, Huang X H. Weighted orthogonal iteration algorithm for camera pose estimation[J]. Acta Optica Sinica, 2018, 38(5): 0515002.

[28] 岳晓奎, 武媛媛, 吴侃之. 基于视觉信息的航天器位姿估计迭代算法[J]. 西北工业大学学报, 2011, 29(4): 559-563.

Yue X K, Wu Y Y, Wu K Z. A novel binocular OI (orthogonal iteration) fusion algorithm better for estimation of spacecraft position and attitude[J]. Journal of Northwestern Polytechnical University, 2011, 29(4): 559-563.

李丽媛, 李文韬, 许海燕, 张卓, 谢迎娟, 张学武. 基于正交迭代的参考点不确定相机位姿估计[J]. 激光与光电子学进展, 2019, 56(1): 011503. Liyuan Li, Wentao Li, Haiyan Xu, Zhuo Zhang, Yingjuan Xie, Xuewu Zhang. Camera Pose Estimation with Uncertain Reference Point Based on Orthogonal Iterative[J]. Laser & Optoelectronics Progress, 2019, 56(1): 011503.

基于正交迭代的参考点不确定相机位姿估计下载： 1373次

1 引言

2 基于空间参考点不确定性的正交迭代算法

2.1 正交迭代算法

图 1. 相机位姿估计物方残差和像方残差的几何意义

Fig. 1. Geometric meaning of object residuals and image residuals in camera pose estimation

2.2 基于参考点位置信息的正交迭代算法

3 实验

3.1 模拟数据实验

图 2. 参考点数目变化时,不同算法的(a)旋转矩阵误差及(b)平移向量误差

Fig. 2. (a) Rotation matrix error and (b) translation vector error with different numbers of reference points

图 3. 参考点数目变化时不同算法的计算时间

Fig. 3. Calculation time of different algorithms with different number of reference points

图 4. 空间参考点中心与相机不同距离时的(a)旋转矩阵误差和 (b)平移向量误差

Fig. 4. (a) Rotation matrix error and (b) translation vector error of different distance between space reference point center and camera

图 5. 空间参考点中心与相机光轴不同距离时的(a)旋转矩阵误差和 (b)平移向量误差

Fig. 5. (a) Rotation matrix error and (b) translation vector error of different distance between space reference point center and camera optical axis

3.2 真实图像实验

图 6. 真实图像实验装置结构图

Fig. 6. Real image experiment device structure

图 7. 重投影像点结果

Fig. 7. Result of re-projection in image points

表 1. 空间参考点像面重投影结果与真实像点距离之差

Table 1. Difference between re-projection result of spatial reference point on image plane and real image point

表 2. 真实图像实验结果

Table 2. Results of real image experiment

4 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于正交迭代的参考点不确定相机位姿估计 下载： 1373次

1 引言

2 基于空间参考点不确定性的正交迭代算法

2.1 正交迭代算法

图 1. 相机位姿估计物方残差和像方残差的几何意义

Fig. 1. Geometric meaning of object residuals and image residuals in camera pose estimation

2.2 基于参考点位置信息的正交迭代算法

3 实验

3.1 模拟数据实验

图 2. 参考点数目变化时,不同算法的(a)旋转矩阵误差及(b)平移向量误差

Fig. 2. (a) Rotation matrix error and (b) translation vector error with different numbers of reference points

图 3. 参考点数目变化时不同算法的计算时间

Fig. 3. Calculation time of different algorithms with different number of reference points

图 4. 空间参考点中心与相机不同距离时的(a)旋转矩阵误差和 (b)平移向量误差

Fig. 4. (a) Rotation matrix error and (b) translation vector error of different distance between space reference point center and camera

图 5. 空间参考点中心与相机光轴不同距离时的(a)旋转矩阵误差和 (b)平移向量误差

Fig. 5. (a) Rotation matrix error and (b) translation vector error of different distance between space reference point center and camera optical axis

3.2 真实图像实验

图 6. 真实图像实验装置结构图

Fig. 6. Real image experiment device structure

图 7. 重投影像点结果

Fig. 7. Result of re-projection in image points

表 1. 空间参考点像面重投影结果与真实像点距离之差

Table 1. Difference between re-projection result of spatial reference point on image plane and real image point

表 2. 真实图像实验结果

Table 2. Results of real image experiment

4 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于正交迭代的参考点不确定相机位姿估计下载： 1373次