基于目标函数加权优化的相机位姿估计算法

凌寒羽; 王培元

doi:doi:10.3788/LOP56.041503

激光与光电子学进展, 2019, 56 (4): 041503, 网络出版: 2019-07-31

基于目标函数加权优化的相机位姿估计算法下载： 1141次

Method for Camera Pose Estimation Based on Weighted Optimization of Objective Functions

论文大纲

凌寒羽 ^*王培元

作者单位

海军航空大学, 山东烟台 264001

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

提出了一种结合物方残差和像方残差的加权迭代位姿计算方法。在高精度快速位姿估计算法(EPnP)的基础上,加入改进的自适应加权物方残差目标函数迭代算法来优化结果,并以迭代后的平均像方残差作为最小误差判决阈值来修正误差较大的参数。实验结果表明,所提方法可以极大地提高非冗余情况下EPnP算法中位姿参数的计算精度和稳健性。在参考点充足的情况下,维持了EPnP算法的高精度,具有较高的实用价值。

Abstract

A weighted iterative pose estimation method is proposed, which combines the object-space errors and image-space collinearity errors. Based on the efficient perspective-n-point (EPnP) algorithm, an improved iterative algorithm with adaptive weighted object-space collinearity error function is added to optimize the results, and the average image-space collinearity error after iteration is used as the minimum error decision threshold to correct the parameters with relatively large errors. The experimental results show that this proposed method can greatly improve the accuracy and robustness of the pose parameters of the EPnP algorithm in the non-redundant situations. Moreover, it can maintain the high precision of the EPnP algorithm and possess high practical value in the condition of sufficient reference points.

1 引言

透视n点投影(Perspective-n-Point)是计算机视觉中的经典定位问题,又名PnP问题。多数方法是在已知摄像机内参数的前提下,获得n个特征点的世界坐标和成像后所得的二维图像坐标,求取摄像机的位姿关系。

PnP问题已经被研究了一个多世纪,近几年在精度和效率方面展现出很多令人印象深刻的研究成果。PnP的求解手段主要分为迭代和解析两种。解析求解手段有很高的计算效率,但是由于噪声的影响,尤其当点数不足时缺乏稳定性。常见的解析方法包括高精度快速位姿估计算法EPnP(Efficient PnP)^[1]、RPnP(Robust PnP)^[2]、OPnP(Optimal PnP)^[3]等。Lepetit等在传统PnP问题上提出EPnP位姿估计算法,该方法定位准确、计算速度快,是第一个在O(n)时间复杂度下得到封闭形式解的方法。Ferraz等^[4-5]提出EPPnP(Efficient Procrustes PnP)和CEPPnP(Covariant EPPnP)等系列改进算法,用迭代求解手段将冗余点作为额外信息,以此提高结果的稳定性。此种方法求解精度高,但是计算成本高,耗时严重。并且会因目标函数与初值选取对局部极小值十分敏感,产生极大的不稳定性。常见的迭代方法包括正交迭代 (Orthogonal Iteration,OI)算法^[6]、高斯牛顿迭代 (Gauss-Newton,GN)算法和列文伯格 (Levenberg-Marquardt,LM)算法等。迭代方法通常需要一个相对精确的初值,因此许多研究人员首先利用一些优秀的解析方法进行求解,得到一个比较精确的初始结果,将物方残差或像方残差作为目标函数,不断地进行绝对定向迭代,以作最小化寻优处理。Chen等^[7]为了提高EPnP算法的精度和稳健性,提出基于虚拟控制点的迭代算法。

在选取目标函数时,由于物方残差受深度的影响较大,常常会导致计算结果不稳定,故研究人员多采用像方残差进行结果寻优。选择适当的归一化最小化物方残差的方法同样可以得到非常好的结果。杨森等^[8]在此思想基础上提出相机位姿的加权线性算法,在降低时间复杂度的基础上提高了结果的精度。像方残差是图像上坐标的观测值与计算后的估计值之差。图像的观测值存在一定的测量误差,若测量误差满足高斯分布,则像方残差相当于相机投影矩阵的最大似然估计^[9]。而三维世界坐标的观测值同样具有测量的不确定性,会产生一定的计算误差。仅考虑像方残差或物方残差是假设图像坐标和世界坐标二者中一方存在“无限精确”的条件下实现的,在实际应用中往往无法达到如此理想化情况。

鉴于此,本文提出了一种基于目标函数加权优化的相机位姿估计算法。根据EPnP的高精度、高稳健性和高时效性,将它作为解析方法进行位姿估计;对OI算法的物方残差目标函数进行自适应加权优化处理,将其作为迭代优化方法,缓解EPnP在非冗余情况下的高误差性;利用迭代后输出的平均像方残差作为阈值修正求解参数。

2 加权正交迭代算法

物方残差和像方残差均可作为相机位姿结果优化中的代价函数。从图1可以看出物方残差和像方残差的物理意义^[6]。在如图1的相机投影模型下,O_c-X_cY_cZ_c是以摄像机为原点的摄像机坐标系,O_cZ_c垂直于图像平面。X_i为目标参考点在空间点X_i的观测位置坐标向量, $\begin{matrix} {\hat{x}}_{i} \end{matrix}$ 为X_i在图像平面上的投影点 $\begin{matrix} {\underset{^}{x}}_{i} \end{matrix}$ 的坐标估计值;x_i为目标参考点x_i在图像上的实际坐标观测值, $\begin{matrix} {\hat{X}}_{i} \end{matrix}$ 表示x_i在测量视线下目标点 $\begin{matrix} {\hat{X}}_{i} \end{matrix}$ 的估计位置坐标;i为参考点索引;E_A表示参考点的物方残差;E_G表示参考点的像方残差。

图 1. 物方残差与像方残差示意图

Fig. 1. Schematic of object-space and image-space collinearity errors

下载图片查看所有图片

2.1 目标函数的建立

物方残差是如今PnP问题中常用的一种误差优化目标函数,相比于像方残差,它在最小过程中可以进行线性求解,已被诸多方法采用。物方残差可通过计算n个目标点在空间中的测量值和图像点在视线方向按照透视投影模型的空间位置的差值平方求得,即

\begin{matrix} E_{A} = \overset{n}{\sum_{i = 1}} {|X_{i} - {\hat{X}}_{i}|}^{2} 。 (1) \end{matrix}

像方残差是计算图像上目标的观测值x_i和空间参考点X_i按照所估计的相机内参数矩阵A和外参数(旋转矩阵R和平移向量t)进行反投影得到的估计值 $\begin{matrix} {\hat{x}}_{i} \end{matrix}$ 之间的距离差值的平方,又称为重投影误差:

\begin{matrix} E_{G} = \overset{n}{\sum_{i = 1}} {|x_{i} - {\hat{x}}_{i}|}^{2} 。 (2) \end{matrix}

部分方法采用平均重投影误差,表示为

\begin{matrix} {\bar{E}}_{G} = \frac{1}{n} \overset{n}{\sum_{i = 1}} {|x_{i} - {\hat{x}}_{i}|}^{2} 。 (3) \end{matrix}

由摄像机投影矩阵可知:

\begin{matrix} {\hat{x}}_{i} = A (R X_{i} + t) 。 (4) \end{matrix}

OI算法是一种典型的物方残差目标函数迭代算法^[6],将参考点的空间位置在摄像机坐标系下表示,并根据透视投影模型将世界坐标系下参考点和图像坐标系下投影点相互联系,可得

\begin{matrix} E_{A} = \overset{n}{\sum_{i = 1}} ‖ (I - {\hat{V}}_{i}) (R X_{i} + t) ‖^{2}, (5) \end{matrix}

式中:I为三维单位矩阵; $\begin{matrix} {\hat{V}}_{i} \end{matrix}$ = $\begin{matrix} {\hat{u}}_{i} \end{matrix} \begin{matrix} {\hat{u}}_{i}^{T} \end{matrix}$ /( $\begin{matrix} {\hat{u}}_{i}^{T} \end{matrix} \begin{matrix} {\hat{u}}_{i} \end{matrix}$ )为视线的投影矩阵; $\begin{matrix} {\hat{u}}_{i} \end{matrix}$ = $\begin{matrix} (u_{i}, v_{i} {, 1)}^{T} \end{matrix}$ 为空间参考点在归一化平面上的投影坐标;‖x‖为x的范数。目标函数使用物点、像点、摄影中心三点共线的共线误差来表示。

在旋转矩阵R初值已知的前提下,利用平移向量t可求得最优解,接着利用单位四元数(Unit Quaternion,QTN)绝对定向的最优解来更新R,从而不断地进行迭代计算。第k次迭代的平移向量和第k+1次迭代的旋转矩阵可根据(6)式和(7)式计算,目标函数满足迭代条件后即可停止迭代计算。

\begin{matrix} \begin{matrix} t^{(k)} (R) = \frac{1}{n} {(I - \frac{1}{n} \overset{n}{\sum_{i = 1}} {\hat{V}}_{i})}^{- 1} \overset{n}{\sum_{i = 1}} ({\hat{V}}_{i} - I) R^{(k)} X_{i}, (6) \\ R^{(k + 1)} = \arg \min_{R} \overset{n}{\sum_{i = 1}} ‖R X_{i} + t - {\hat{V}}_{i} (R^{(k)} X_{i} + t^{(k)}) ‖^{2} 。 (7) \end{matrix} \end{matrix}

在实际情况下,由于测量仪器的不同和目标所在空间受限等影响,空间点的测量值X_i并不绝对精确,存在一定的测量误差ΔX_i。相比于像方残差,物方残差对于目标深度的变化十分敏感,在目标深度变化剧烈的情况下,往往无法得到良好的误差估计,会影响最终的计算结果。通过选择适当的归一化加权,最小化物方残差的方法可以得到非常好的结果。物方残差的计算结果包含了投影误差和测量误差两个因素的共同作用。

2.2 权值的选取

文献[ 8]给出了在一般情况下物方残差与像方残差之间的关系,同时结合图1两种残差模型可得

\begin{matrix} \begin{matrix} E_{A} = ‖ {X^{c}}_{i} - {\hat{X}}^{c}_{i} ‖, (8) \\ E_{G} = ‖ x_{i} - {\hat{x}}_{i} ‖=‖ u_{i} - \frac{R (X_{i} - {\tilde{C}}^{w})}{R_{3} (X_{i} - {\tilde{C}}^{w})} ‖= \frac{1}{{z^{c}}_{i}} ‖ {X^{c}}_{i} - {\hat{X}}^{c}_{i} ‖, (9) \end{matrix} \end{matrix}

式中: $\begin{matrix} X_{i}^{c} \end{matrix}$ 和 $\begin{matrix} {\hat{X}}^{c} \end{matrix}$ 分别为空间参考点在摄像机坐标系下的测量值和估计值; $\begin{matrix} {\tilde{C}}^{w} \end{matrix}$ 为摄像机中心在世界坐标系中的坐标;C^w= $\begin{matrix} ({\tilde{C}}^{w} {, 1)}^{T} \end{matrix}$ 为对应的齐次坐标;R₃为旋转矩阵R的第3行; $\begin{matrix} z_{i}^{c} \end{matrix}$ 为常数。由(8)式和(9)式可知,物方残差和像方残差成正比:

\begin{matrix} E_{A} = {z^{c}}_{i} E_{G} 。 (10) \end{matrix}

结合图1和图2,在正交迭代方法中,X_i $\begin{matrix} {\hat{X}}_{i} \end{matrix}$ 与O_c $\begin{matrix} {\hat{X}}_{i} \end{matrix}$ 二者相互垂直,然而现有理论无法判断x_i $\begin{matrix} {\underset{^}{x}}_{i} \end{matrix}$ 与O_c $\begin{matrix} {\underset{^}{x}}_{i} \end{matrix}$ 的几何关系,它的物方残差与一般情况相比略微偏小。

图 2. 不同方法中的物方残差对比

Fig. 2. Comparison of object-space collinearity errors for different methods

下载图片查看所有图片

E'_A代表正交迭代方法中物方残差大小,E_A表示一般情况下物方残差大小,ΔE表示两种情况下参考点估计值之差。由图2可知:

\begin{matrix} \begin{matrix} E'_{A} \leq E_{A}, (11) \\ E_{A} = \sqrt[]{E'^{2}_{A} + Δ E^{2}} 。 (12) \end{matrix} \end{matrix}

同时联立(10)式可求得在正交迭代方法中物方残差和像方残差二者之间的运算关系:

\begin{matrix} E'_{A} = \sqrt[]{({z^{c}}_{i} E_{G})^{2} - Δ E^{2}} 。 (13) \end{matrix}

若ΔE取值极小,则可忽略;若其值在总像方残差中的占比无法忽略,由(13)式可以看出物方残差和像方残差呈正相关性。

加权值的选择既要考虑物方残差和像方残差二者的关系,又要反映出图像坐标和世界坐标的相对测量精度,在计算过程中,需要提前统一图像坐标单位(pixel)和三维空间单位(mm)。权值分配在点的测量精度这一问题上应该遵循空间参考点的可信度原则,通过权值的分配调整异常值对整体误差的影响^[10]。赋予测量误差大的点较小的权值,测量误差小的点较大的权值,平衡所有空间参考点物方残差对整体的贡献^[11]。但在大部分实际应用中无法提前预知目标点的测量误差。

这里采用改进的Huber^[12]函数来确定权重系数ω_i,既能够快速收敛,又能够平衡异常值对整体估计的影响。以每一次迭代中归一化图像上的像方残差为量度,根据残差大的点所对应的测量误差和深度影响剧烈这一特点可得权重系数的表达式,即

\begin{matrix} ω_{i} = \{\begin{matrix} 1 & , |r_{i}| \leq r \\ r^{2} / r_{i}^{2} & , |r_{i}| \geq r \end{matrix}, (14) \end{matrix}

式中:r为所有空间参考点初始像方残差的平均值;r_i为第i个参考点的像方残差;ω_i为第i个参考点的权重系数;迭代的初始权值设为1,随着迭代的进行,判别每个参考点 $\begin{matrix} |r_{i}| \end{matrix}$ 与门限r的大小关系,不断地更新权值大小。最终的加权物方残差目标函数为

\begin{matrix} E_{A} = \min_{R, t} \overset{n}{\sum_{i = 1}} ω_{i} ‖ (I - {\hat{V}}_{i}) (R X_{i} + t) ‖^{2} 。 (15) \end{matrix}

为保证加权算法能够收敛至正确解,迭代误差需满足

\begin{matrix} \begin{matrix} E_{R}^{(k + 1)} = \overset{n}{\sum_{i = 1}} ω_{i} ‖ x_{i}^{(k + 1)} - {\hat{V}}_{i} x_{i}^{(k + 1)} ‖^{2} = \overset{n}{\sum_{i = 1}} ω_{i} ‖ x_{i}^{(k + 1)} - {\hat{V}}_{i} x_{i}^{(k)} ‖^{2} - \overset{n}{\sum_{i = 1}} ω_{i} ‖ {\hat{V}}_{i} x_{i}^{(k + 1)} - {\hat{V}}_{i} x_{i}^{(k)} ‖^{2}, (16) \\ \overset{n}{\sum_{i = 1}} ω_{i} ‖ x_{i}^{(k + 1)} - {\hat{V}}_{i} x_{i}^{(k)} ‖^{2} \leq \overset{n}{\sum_{i = 1}} ω_{i} ‖ x_{i}^{(k)} - {\hat{V}}_{i} x_{i}^{(k)} ‖^{2} = E_{R}^{(k)}, (17) \\ E_{R}^{(k + 1)} \leq E_{R}^{(k)} - \overset{n}{\sum_{i = 1}} ω_{i} ‖ {\hat{V}}_{i} x_{i}^{(k + 1)} - {\hat{V}}_{i} x_{i}^{(k)} ‖^{2} 。 (18) \end{matrix} \end{matrix}

式中: $\begin{matrix} E_{R}^{(k + 1)} \end{matrix}$ 为第k次的迭代误差;x_i为X_i在归一化平面上的视线投影向量。由(18)式可知,在迭代停止前, $\begin{matrix} E_{R}^{(k + 1)} \end{matrix}$ ≤ $\begin{matrix} E_{R}^{(k)} \end{matrix}$ 恒成立,满足全局收敛条件,则改进方法是正确且有效的。

3 像方残差的平移向量优化

图像上点的观测值往往无法达到极致精确,伴随着观测值的不确定性^[5,13-14],若测量误差满足高斯分布,则像方残差相当于相机投影矩阵的最大似然估计。图像观测值的不确定性测量误差与在噪声影响下的位姿估计误差的关系如图3所示,图中Δu_i是图3中任意一点的测量误差。该方法既考虑了投影矩阵的估算误差,又考虑了图像点的测量误差,是二维平面上两点之间的几何误差。

图 3. 图像噪声及误差示意图

Fig. 3. Schematic of image noise and errors

下载图片查看所有图片

正交迭代使用初始的旋转矩阵R来迭代平移向量t。仅采用物方残差作为目标函数,忽略了图像点观测值的不确定性。尽管第2节通过更新权值系数来修正输出结果,但最终的平移向量参数t仍会出现较大误差,此时需要使用EPnP中控制点的距离不变性和以上述所求像方残差的阈值限制对平移向量t进行优化。

1) 按照原方法计算出迭代后各参数的最佳解和对应物方残差以及像方残差;2) 按照原EPnP方法,依据刚性变换不变性,对4个控制点在世界坐标系( $\begin{matrix} C_{1}^{w} \end{matrix}$ , $\begin{matrix} C_{2}^{w} \end{matrix}$ , $\begin{matrix} C_{3}^{w} \end{matrix}$ , $\begin{matrix} C_{4}^{w} \end{matrix}$ )和摄像机坐标系( $\begin{matrix} C_{1}^{c} \end{matrix}$ , $\begin{matrix} C_{2}^{c} \end{matrix}$ , $\begin{matrix} C_{3}^{c} \end{matrix}$ , $\begin{matrix} C_{4}^{c} \end{matrix}$ )下坐标距离相等这一特点^[1],可得

\begin{matrix} \begin{matrix} β = \underset{β}{argmin} \overset{4}{\sum_{i, j = 1, i < j}} |‖ {C^{c}}_{i} - \\ {C^{c}}_{j} ‖^{2} - ‖ {C^{w}}_{i} - {C^{w}}_{j} ‖^{2}|, (19) \\ c = \overset{NF}{\sum_{i = 1}} β_{i} w_{i}, c = {[C_{1}^{cT}, C_{2}^{cT}, C_{3}^{cT}, C_{4}^{cT}]}^{T}, (20) \\ {P^{c}}_{i} = \overset{4}{\sum_{j = 1}} α_{ij} {C^{c}}_{j}, \overset{4}{\sum_{j = 1}} α_{ij} = 1, (21) \end{matrix} \end{matrix}

式中:β为目标函数;i,j为参考点索引;通过EPnP中(20)式和(21)式可得虚拟控制点和真实控制点在摄像机坐标系下的坐标集合 $\begin{matrix} \{C_{i}^{c}\} \end{matrix}$ 和 $\begin{matrix} \{P_{i}^{c}\} \end{matrix}$ ;c为4个控制点在摄像机坐标系下的坐标矩阵;N_F为原方法中c的系数矩阵与自身转置的乘积在零空间的维数;w_i可通过该系数矩阵对应的右奇异向量求得;α_ij为控制点的系数。通过一到两步的高斯迭代算法可求得β的最优解^[15]。真实控制点的世界坐标系坐标集合 $\begin{matrix} \{P_{i}^{w}\} \end{matrix}$ 已知,最后通过解控制点在两种三维空间坐标下的绝对定向问题即可求得在(19)式限制条件下的最优位姿R和t。具体操作可参考文献[ 1]。

根据(3)式和(4)式求得此种条件下的像方残差,与2.2节中所求像方残差阈值进行比较,数值小者对应的相机外参数为最优位姿。

4 实验

4.1 仿真实验

仿真实验采用与EPnP方法相同的配置,在一般配置的计算机下使用Matlab2017软件实现。采用640 pixel×480 pixel分辨率、800 pixel等效焦距的虚拟摄像机。在 $\begin{matrix} [- 2 mm, 2 mm] \end{matrix}$ × $\begin{matrix} [- 2 mm, 2 mm] \end{matrix}$ × $\begin{matrix} [4 mm, 8 mm] \end{matrix}$ 范围内随机生成摄像机坐标系下的若干三维参考点坐标。在世界坐标系和对应的图像坐标系下分别加入不同水平的高斯白噪声,对每个水平的噪声分别做1000次独立实验。

不同算法的旋转矩阵计算误差E_R与平移向量的计算误差E_t均可表示为

\begin{matrix} \begin{matrix} E_{R} = ‖ \bar{q} - q ‖ / ‖ q ‖, (22) \\ E_{t} = ‖ \bar{t} - t ‖ / ‖ t ‖, (23) \end{matrix} \end{matrix}

式中: $\begin{matrix} \bar{q} \end{matrix}$ 和q为与旋转矩阵对应的归一化四元数的真实值与计算值; $\begin{matrix} \bar{t} \end{matrix}$ 和t为平移向量的真实值与计算值。

比较如下算法的精度与稳健性:

1) EPnP:当前最优的高效的非迭代PnP算法之一;

2) EPnP+OI:以EPnP为初值,最小化物方残差的正交迭代算法;

3) EPnP+GN:高效EPnP加上几步高斯牛顿迭代;

4) EPnP+OIGN:以EPnP为初值的正交迭代算法,加入几步高斯牛顿迭代进行像方残差参数修正;

5) EPnP+WOIGN:对算法4)进行正交迭代的加权优化处理;

图4给出空间参考点数量从4点增加到15点时的相机外参数平均误差和中值误差的变化情况。与原EPnP和EPnP+GN算法相比,改进方法在缺少冗余点时明显提高了算法的精度。并且随着点数的增大,结果稳定在较高的精度上。EPnP+OI算法与EPnP相比旋转矩阵的计算误差明显下降,但是由于使用最小化物方残差作为目标函数,其平移向量与原方法相比精度有所下降。EPnP+OIGN算法采用的像方残差平移向量优化方法使得平移向量t的精度大幅度提高,甚至超越了原算法,对旋转矩阵R的精度也有一定幅度的修正优化。EPnP+WOIGN算法采用正交迭代的加权优化处理,在一定程度上调整了各参数的求解精度。

图5和图6给出几种算法在不同水平高斯白噪声下的稳健性对比曲线,分别取点数为4和5做了两次不同的仿真实验。可以看出,点数为4时各算法均出现了较大的误差,其中EPnP+OIGN算法和EPnP+WOIGN算法的稳健性较高,且参数的计算误差能够随着噪声的增大保持在一个相对较低的误差水平上。EPnP+OI算法计算旋转矩阵R的稳健性较好,与图4一致的是,在平移向量t的计算上出现了较大偏差。点数为5时,各算法的参数误差均有大幅度减小,其稳健性与4点时一致。

图 4. 各算法精度对比图。(a)旋转矩阵平均误差;(b)旋转矩阵中值误差;(c)平移向量平均误差;(d)平移向量中值误差

Fig. 4. Precision comparison among all algorithms. (a) Mean rotation error; (b) median rotation error; (c) mean translation error; (d) median translation error

下载图片查看所有图片

图 5. 点数为4时各算法稳健性对比图。(a)旋转矩阵平均误差;(b)旋转矩阵中值误差;(c)平移向量平均误差;(d)平移向量中值误差

Fig. 5. Robustness comparison among all algorithms when point number is 4. (a) Mean rotation error; (b) median rotation error; (c) mean translation error; (d) median translation error

下载图片查看所有图片

图 6. 点数为5时各算法稳健性对比图。(a)旋转矩阵平均误差;(b)旋转矩阵中值误差;(c)平移向量平均误差;(d)平移向量中值误差

Fig. 6. Robustness comparison among all algorithms when point number is 5. (a) Mean rotation error; (b) median rotation error; (c) mean translation error; (d) median translation error

下载图片查看所有图片

4.2 真实图像实验

在仿真实验的基础上进行真实图像实验,以此验证算法的有效性。给定大小为800 pixel×600 pixel的图像。使用1529.60 pixel焦距,u₀=400.41 pixel,v₀=303.68 pixel为主点坐标的摄像机进行实验。1) 利用尺度不变特征变换(SIFT)算法匹配输入图像与参考图像之间的特征点,建立临时匹配关系,如图7所示;2) 根据已知参考点的坐标对应关系,按照改进算法计算出相机位姿;3) 在参考图像中,将8个顶点坐标进行反投影,构造出一个黄色边框模型轮廓;4) 按照参考图像和输入图像的匹配关系,将模型轮廓和其余参考点坐标投影到输入图像中。图8(a)给出原始参考图像,精确已知210个参考点的图像坐标对应世界坐标,图8(b)给出输入图像。

图8(b)中,深蓝色加号表示已知的特征点图像坐标,浅蓝色三角表示空间特征点重投影的结果,红色加号表示少许错误匹配的图像特征点。实验表明,计算结果精度越高,模型轮廓与图像边框的吻合度越高。图中模型轮廓与物品轮廓有极好的匹配度,可以看出改进算法有较好的准确性和较强的适用性。

将真实图像对各算法进行测试,可以看出,在点数冗余时5种算法的重投影误差大小不一,原始EPnP在真实图像的测试中具有5 pixel左右的误差;EPnP+GN算法在高斯迭代的作用下减小了近2 pixel的误差;EPnP+OI算法中使用物方残差最小化目标函数反而增大了重投影误差;而最终的像方残差优化以及加权作用极大地减小了最终的重投影误差,实验结果如表1所示。

图 7. SIFT算法下匹配关系示意图

Fig. 7. Schematic of matching relation for SIFT algorithm

下载图片查看所有图片

图 8. 真实影像实验结果。(a) 参考图像;(b)输入图像

Fig. 8. Experimental results of real image. (a) Reference image; (b) input image

下载图片查看所有图片

表 1. 真实实验结果

Table 1. Real experimental resultspixel

Algorithm name	EPnP	EPnP+OI	EPnP+GN	EPnP+OIGN	EPnP+WOIGN
Re-projection error	5.4196	6.1320	3.8357	1.6417	1.5189

查看所有表

5 结论

在相机位姿估计这一问题上分析了物方残差和像方残差的产生原因和物理意义,并根据PnP算法中两种不同的求解手段,提出结合物方残差和像方残差的加权正交高斯牛顿迭代方法,以此修正EPnP算法在非冗余情况下的高误差结果。以图像平均像方残差为阈值,给予正交迭代中各空间点物方残差不同的权值分配;将输出的像方残差作为最小误差的判决阈值,简单使用一到两步高斯牛顿迭代修正误差较大的相机参数。在和原EPnP算法的比较中,改进算法在精度和稳健性上均展示出良好的性能,在仿真实验和真实图像实验中表现出了优良的效果,具有较强的实际应用价值。

参考文献

[1] Lepetit V, Moreno-Noguer F, Fua P. EPnP: An accurate O(n) solution to the PnP problem[J]. International Journal of Computer Vision, 2009, 81(2): 155-166.

[2] Li S Q, Xu C, Xie M. A robust O(n) solution to the perspective-n-point problem[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(7): 1444-1450.

[3] Zheng YQ, Kuang YB, SugimotoS, et al. Revisiting the PnP problem: a fast, general and optimal solution[C]∥IEEE International Conference on Computer Vision, December 1-8, 2013, Sydney, NSW, Australia. New York: IEEE, 2013: 2344- 2351.

[4] FerrazL, BinefaX, Moreno-NoguerF. Very fast solution to the PnP problem with algebraic outlier rejection[C]∥IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2014, Columbus, OH, USA. New York: IEEE, 2014: 501- 508.

[5] FerrazL, BinefaX, Moreno-NoguerF. Leveraging feature uncertainty in the PnP problem[C]∥Proceedings of the British Machine Vision Conference (BMVC), September 1-5, 2014, Nottingham, UK. [S.l.:s.n.], 2014: 1- 13.

[6] 李鑫, 龙古灿, 刘进博, 等. 相机位姿估计的加速正交迭代算法[J]. 光学学报, 2015, 35(1): 0115004.

Li X, Long G C, Liu J B, et al. Accelerative orthogonal iteration algorithm for camera pose estimation[J]. Acta Optica Sinica, 2015, 35(1): 0115004.

[7] ChenP, Hu GD. A simple algorithm for camera pose estimation[C]∥IEEE International Conference on Mechatronics and Automation, August 5-8, 2012, Chengdu, China. New York: IEEE, 2012: 2181- 2186.

[8] 杨森, 吴福朝. 摄像机位姿的加权线性算法[J]. 软件学报, 2011, 22(10): 2476-2487.

Yang S, Wu F C. Weighted linear methods for the camera pose estimation[J]. Journal of Software, 2011, 22(10): 2476-2487.

[9] UrbanS, LeitloffJ, Hinz S. MLPnP -A real-time maximum likelihood solution to the perspective-n-point problem[J]. ISPRS Annals of Photogrammetry, RemoteSensing and Spatial InformationSciences, 2016, III-3: 131- 138.

[10] 周润, 张征宇, 黄叙辉. 相机位姿估计的加权正交迭代算法[J]. 光学学报, 2018, 38(5): 0515002.

Zhou R, Zhang Z Y, Huang X H. Weighted orthogonal iteration algorithm for camera pose estimation[J]. Acta Optica Sinica, 2018, 38(5): 0515002.

[11] 张振杰, 郝向阳, 程传奇, 等. 基于共面直线迭代加权最小二乘的相机位姿估计[J]. 光学精密工程, 2016, 24(5): 1168-1175.

Zhang Z J, Hao X Y, Cheng C Q, et al. Iteratively reweighted least squares method for camera pose estimation based on coplanar line correspondences[J]. Optics and Precision Engineering, 2016, 24(5): 1168-1175.

[12] Du ZY, Robles-KellyA, Lu FF. Robust surface reconstruction from gradient field using the L1 norm[C]∥9 th Biennial Conference of the Australian Pattern Recognition Society on Digital Image Computing Techniques and Applications, December 3-5, 2007, Glenelg, Australia, Australia. [S.l.: s.n.] , 2007: 203- 209.

[13] 苗锡奎, 朱枫, 郝颖明, 等. 基于特征点不确定性加权误差的位姿估计新方法[J]. 光电子·激光, 2012, 23(7): 1348-1355.

Miao X K, Zhu F, Hao Y M, et al. A new pose estimation method based on uncertainty-weighted errors of the feature points[J]. Journal of Optoelectronics·Laser, 2012, 23(7): 1348-1355.

[14] 李丽媛, 李文韬, 许海燕, 等. 基于正交迭代的参考点不确定相机位姿估计[J]. 激光与光电子学进展, 2018, 56(1): 011503.

Li L Y, Li W T, Xu H Y, et al. Camera pose estimation with uncertain reference point based on orthogonal iterative[J]. Laser & Optoelectronics Progress, 2018, 56(1): 011503.

[15] 陈鹏, 王晨骁. IEPnP: 一种基于EPnP的相机位姿迭代估计算法[J]. 光学学报, 2018, 38(4): 0411001.

Chen P, Wang C X. IEPnP: Aniterative camera pose estimation algorithm based on EPnP[J]. Acta Optica Sinica, 2018, 38(4): 0411001.

凌寒羽, 王培元. 基于目标函数加权优化的相机位姿估计算法[J]. 激光与光电子学进展, 2019, 56(4): 041503. Hanyu Ling, Peiyuan Wang. Method for Camera Pose Estimation Based on Weighted Optimization of Objective Functions[J]. Laser & Optoelectronics Progress, 2019, 56(4): 041503.

基于目标函数加权优化的相机位姿估计算法下载： 1141次

1 引言

2 加权正交迭代算法

图 1. 物方残差与像方残差示意图

Fig. 1. Schematic of object-space and image-space collinearity errors

2.1 目标函数的建立

2.2 权值的选取

图 2. 不同方法中的物方残差对比

Fig. 2. Comparison of object-space collinearity errors for different methods

3 像方残差的平移向量优化

图 3. 图像噪声及误差示意图

Fig. 3. Schematic of image noise and errors

4 实验

4.1 仿真实验

图 4. 各算法精度对比图。(a)旋转矩阵平均误差;(b)旋转矩阵中值误差;(c)平移向量平均误差;(d)平移向量中值误差

Fig. 4. Precision comparison among all algorithms. (a) Mean rotation error; (b) median rotation error; (c) mean translation error; (d) median translation error

图 5. 点数为4时各算法稳健性对比图。(a)旋转矩阵平均误差;(b)旋转矩阵中值误差;(c)平移向量平均误差;(d)平移向量中值误差

Fig. 5. Robustness comparison among all algorithms when point number is 4. (a) Mean rotation error; (b) median rotation error; (c) mean translation error; (d) median translation error

图 6. 点数为5时各算法稳健性对比图。(a)旋转矩阵平均误差;(b)旋转矩阵中值误差;(c)平移向量平均误差;(d)平移向量中值误差

Fig. 6. Robustness comparison among all algorithms when point number is 5. (a) Mean rotation error; (b) median rotation error; (c) mean translation error; (d) median translation error

4.2 真实图像实验

图 7. SIFT算法下匹配关系示意图

Fig. 7. Schematic of matching relation for SIFT algorithm

图 8. 真实影像实验结果。(a) 参考图像;(b)输入图像

Fig. 8. Experimental results of real image. (a) Reference image; (b) input image

表 1. 真实实验结果

Table 1. Real experimental resultspixel

5 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于目标函数加权优化的相机位姿估计算法 下载： 1141次

1 引言

2 加权正交迭代算法

图 1. 物方残差与像方残差示意图

Fig. 1. Schematic of object-space and image-space collinearity errors

2.1 目标函数的建立

2.2 权值的选取

图 2. 不同方法中的物方残差对比

Fig. 2. Comparison of object-space collinearity errors for different methods

3 像方残差的平移向量优化

图 3. 图像噪声及误差示意图

Fig. 3. Schematic of image noise and errors

4 实验

4.1 仿真实验

图 4. 各算法精度对比图。(a)旋转矩阵平均误差;(b)旋转矩阵中值误差;(c)平移向量平均误差;(d)平移向量中值误差

Fig. 4. Precision comparison among all algorithms. (a) Mean rotation error; (b) median rotation error; (c) mean translation error; (d) median translation error

图 5. 点数为4时各算法稳健性对比图。(a)旋转矩阵平均误差;(b)旋转矩阵中值误差;(c)平移向量平均误差;(d)平移向量中值误差

Fig. 5. Robustness comparison among all algorithms when point number is 4. (a) Mean rotation error; (b) median rotation error; (c) mean translation error; (d) median translation error

图 6. 点数为5时各算法稳健性对比图。(a)旋转矩阵平均误差;(b)旋转矩阵中值误差;(c)平移向量平均误差;(d)平移向量中值误差

Fig. 6. Robustness comparison among all algorithms when point number is 5. (a) Mean rotation error; (b) median rotation error; (c) mean translation error; (d) median translation error

4.2 真实图像实验

图 7. SIFT算法下匹配关系示意图

Fig. 7. Schematic of matching relation for SIFT algorithm

图 8. 真实影像实验结果。(a) 参考图像;(b)输入图像

Fig. 8. Experimental results of real image. (a) Reference image; (b) input image

表 1. 真实实验结果

Table 1. Real experimental resultspixel

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于目标函数加权优化的相机位姿估计算法下载： 1141次