P4P法相机姿态标定精度分析

朱帆; 于芳苏; 吴易明; 郝冲

doi:doi:10.3788/AOS201838.1115005

光学学报, 2018, 38 (11): 1115005, 网络出版: 2019-05-09

P4P法相机姿态标定精度分析下载： 1700次

Analysis of Attitude Calibration Precision of P4P Camera

论文大纲

朱帆 ^1,2,*于芳苏 ²吴易明 ²郝冲 ^1,2

作者单位

¹ 中国科学院大学, 北京 100049

² 中国科学院西安光学精密机械研究所光学定向与测量技术研究室, 陕西西安 710119

机器视觉摄影测量单目视觉相机标定 machine vision photogrammetry monocular vision camera calibration

AI 词云图 AI语音精读 AI语音超短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

为便于在相机标定系统设计前,对标定误差进行预估,分析影响标定误差的因素,指导相机标定系统工程设计,针对P4P相机标定算法,提出新的算法模型。解决原算法中方位角、俯仰角及横滚角各姿态角相互耦合的问题,使姿态角求解仅与相机内参和特征点图像坐标相关。在此基础上,建立误差分析模型,从理论上分析图像定位误差、畸变、主点误差、焦距误差、特征点位置误差对姿态角标定的影响,并进行仿真和实验。实验结果表明,标定精度仿真结果和实验值一致,误差分析模型准确有效。该模型能够指导标定系统工程设计,具有较高的工程应用价值。

Abstract

In order to estimate the calibration error, analyze the factors affecting the calibration error, and guide the camera calibration system engineering design before the calibration system design, we propose a new algorithm model for the P4P camera calibration algorithm. This model solves the problem that the azimuth, pitch angle and roll angle are coupled to each other, and makes the attitude angle solution only related to the camera internal parameters and the image coordinates of feature points. On this basis, the model of error analysis is built which can theoretically analyze the influence of image position errors, aberration, principal point, focal length, and locations of feature points on calibration of attitude angles. The simulation and experiment are carried out. The conclusion hints that the data of simulation and experiment of calibration accuracy are consistent and the error analysis model is accurate and valid. The model can guide the design of calibration system and has great engineering application value.

1 引言

相机标定是摄影测量研究领域的热点问题之一,是实现高精度摄影测量的基础^[1-4],相机姿态参数的标定精度严重影响着三维重建和视觉测量的精度^[5-6]。相机标定技术通常用于三个方面:一是用于摄影测量的相机标定,为多相机交会测量或结构光辅助测量提供先验信息^[7];二是测量目标相对于相机的位姿,如机器臂上相机对被抓取物体的位姿测量;三是用于相机相对于目标的位姿测量,如飞机起飞前对地面合作目标的测量,以确定飞机初始方位角度,飞机落地前对地面合作目标的测量,以引导飞机降落等^[8]。这三个方面的测量原理相同,只是用途或基准坐标系的选取不同而已。

在一些资料中,对标定原理有比较详尽的描述。目前常用的方法是PnP标定技术,PnP标定技术利用图像上特征点的二维图像坐标和特征点在靶标坐标系中的三维坐标计算相机坐标系和靶标坐标系之间的位姿关系^[9-10], 表述为相机坐标系与靶标坐标系的转换矩阵和平移向量。在PnP标定方法中,当 n<3时,PnP问题有无穷多解^[11-12],因而PnP问题的研究主要针对3个特征点以上的情况,P3P标定法中,解不唯一,通常要采用其他方法判断多解的合理性,以获取正确解。n取5以上时,存在异面点,可获取唯一解,但不是解析解,且异面特征点靶标制作困难,特征点三维坐标测量过程复杂、误差较大。n取4时,若4点共面,利用坐标系转换矩阵的单位正交性,仍可求得唯一的解析解。由于共面靶标制作简单,特征点坐标定位方便,故P4P为常用的相机标定方法。为了消除图像提取误差和计算误差,在专门的相机标定场合,将靶标共面4点扩展到多点,利用最小二乘法提升标定精度,如棋盘格靶标、多点阵靶标等,实际上是P4P法的一种延伸。本研究只对最基本的4点法进行研究分析,多点共面情况类似。

由于P4P相机标定算法都以矩阵形式解算,各个姿态角相互耦合,各因素对姿态标定精度的影响分离起来比较困难,在目前调研到的跟相机标定精度相关文献中,基本包括了两类问题:第一类是对标定算法本身进行研究,对算法本身进行创新和改进;第二类是对光照、靶标平面性、标定图片数量、相机参数及图像处理误差等因素进行实验分析。在第一类问题中,陈小林^[13]提出了采用最小二乘法进行单目视觉姿态角优化求解,来提高姿态测量精度的方法;周婧等^[14]提出了基于自适应算法的单目视觉姿态解算算法,加速了算法计算速度,提高了测量精度;周润等^[15]提出了加权迭代正交算法,使系统对特征点的位置测量误差适应性更高,姿态解算精度更高,稳健性更好;Martin等^[16]提出了利用空间异面点,在相机焦距未知的情况下,解算相机位姿的算法。在第二类问题中,凡芳等^[17]以实验的形式,验证了光照形式、标定板平面性及特征点位置精度对相机姿态标定的影响;刘长英等^[18]对像点坐标提取精度、特征点位置精度及特征点分布范围等因素对相机姿态标定精度的影响进行了实验分析。综上所述,目前尚未调研到建立完整的误差理论分析模型的国内外资料,即相机姿态标定误差只能事后测量或实验分析,无法在设计前精确评估系统参数和各误差源对相机姿态测量的影响,使相机姿态测量系统的设计具有很大的不确定性。

本文在P4P标定算法理论基础上,建立对图像定位误差、畸变等误差因素的理论分析模型,研究这些因素对最终姿态角标定精度的影响,并进行仿真分析和实验,对深度理解P4P标定算法、设计标定系统参数具有一定的理论指导意义。

2 姿态标定算法模型

定义图像坐标系左上点为坐标原点,横向为x轴,纵向为y轴,图像坐标系以像素数为单位。如图1所示,定义相机坐标系O_CX_CY_CZ_C和靶标坐标系OXYZ,相机坐标系原点在光心处,Z_C轴为光轴,X_C轴与图像x方向一致,Y_C与图像y方向一致,坐标系符合右手定则。为简化分析,设靶标坐标系上4个特征点成正方形分布,靶标坐标系原点设在4个特征点中心处,以4点所在平面为XOY平面,即为靶标坐标系Z=0平面,X轴沿特征点1和特征点2的连线,Y轴沿特征点1和特征点4的连线,X_C与X、Y_C与Y、Z_C与Z轴均成锐角,坐标系均符合右手定则。

图 1. 坐标系定义。(a)相机坐标系;(b)靶标坐标系

Fig. 1. Definition of coordinate system. (a) Camera coordinate system; (b) target coordinate system

下载图片查看所有图片

对物空间一点,若该点在相机坐标系中的坐标值为(X_C,Y_C,Z_C),则成像公式可表述为

\begin{matrix} \{\begin{matrix} \frac{x - C_{x}}{F_{x}} = \frac{X_{C}}{Z_{C}} \\ \frac{y - C_{y}}{F_{y}} = \frac{Y_{C}}{Z_{C}} \end{matrix}, (1) \end{matrix}

式中:x、y为物点在图像坐标系上的像素坐标;(C_x,C_y)为光轴与探测器交点的像素坐标;F_x和F_y为焦距与单像元尺寸的商,通常,像元尺寸为正方形,故F_x和F_y相等。记

\begin{matrix} \{\begin{matrix} k_{xi} = \frac{x_{i} - C_{x}}{F_{x}} = \frac{X_{Ci}}{Z_{Ci}} \\ k_{yi} = \frac{y_{i} - C_{y}}{F_{y}} = \frac{Y_{Ci}}{Z_{Ci}} \end{matrix}, (2) \end{matrix}

式中:i为靶标上特征点序号,取值为1~4;x_i、y_i为特征点对应像点的图像坐标;X_C_i、Y_C_i、Z_C_i为特征点对应的相机坐标系坐标。

设靶标坐标系原点在相机坐标系中的坐标为(T_X,T_Y,T_Z),靶标坐标系绕Z轴旋转A_Z,再绕X轴旋转A_X,再绕Y轴旋转A_Y后与相机坐标系重合,在这种旋转顺序下,A_Z为相机坐标系相对于靶标坐标系的方位角,A_X为相机坐标系相对于靶标坐标系的俯仰角,A_Y为相机坐标系相对于靶标坐标系的横滚角,则靶标坐标系中的坐标向相机坐标系中转换的关系为

\begin{matrix} [\begin{matrix} X_{C} \\ Y_{C} \\ Z_{C} \end{matrix}] = R [\begin{matrix} X \\ Y \\ Z \end{matrix}] + [\begin{matrix} T_{X} \\ T_{Y} \\ T_{Z} \end{matrix}] = R_{Y} R_{X} R_{Z} [\begin{matrix} X \\ Y \\ Z \end{matrix}] + [\begin{matrix} T_{X} \\ T_{Y} \\ T_{Z} \end{matrix}], (3) \end{matrix}

式中,R_X、R_Y、R_Z分别表示绕X轴、Y轴和Z轴的旋转矩阵,表达式为

\begin{matrix} \{\begin{matrix} R_{X} = [\begin{matrix} 1 & 0 & 0 \\ 0 & \cos A_{X} & \sin A_{X} \\ 0 & - \sin A_{X} & \cos A_{X} \end{matrix}] \\ R_{Y} = [\begin{matrix} \cos A_{Y} & 0 & \sin A_{Y} \\ 0 & 1 & 0 \\ - \sin A_{Y} & 0 & \cos A_{Y} \end{matrix}] \\ R_{Z} = [\begin{matrix} \cos A_{Z} & \sin A_{Z} & 0 \\ - \sin A_{Z} & \cos A_{Z} & 0 \\ 0 & 0 & 1 \end{matrix}] \end{matrix} 。 (4) \end{matrix}

通过R_Y、R_X、R_Z表达式,计算出R的表达式:

\begin{matrix} \begin{matrix} R = [\begin{matrix} r_{0} & r_{1} & r_{2} \\ r_{3} & r_{4} & r_{5} \\ r_{6} & r_{7} & r_{8} \end{matrix}] = \\ [\begin{matrix} \cos A_{Y} \cos A_{Z} + \sin A_{X} \sin A_{Y} \sin A_{Z} & \cos A_{Y} \sin A_{Z} - \cos A_{Z} \sin A_{X} \sin A_{Y} & \cos A_{X} \sin A_{Y} \\ - \cos A_{X} \sin A_{Z} & \cos A_{X} \cos A_{Z} & \sin A_{X} \\ \cos A_{Y} \sin A_{X} \sin A_{Z} - \cos A_{Z} \sin A_{Y} & - \sin A_{Y} \sin A_{Z} - \cos A_{Y} \cos A_{Z} \sin A_{X} & \cos A_{X} \cos A_{Y} \end{matrix}] 。 (5) \end{matrix} \end{matrix}

由于4个特征点成正方形分布,故可记

\begin{matrix} \begin{matrix} \frac{|X_{1}|}{T_{Z}} = & \frac{|Y_{1}|}{T_{Z}} = \frac{|X_{2}|}{T_{Z}} = \frac{|Y_{2}|}{T_{Z}} = \frac{|X_{3}|}{T_{Z}} = \frac{|Y_{3}|}{T_{Z}} = \frac{|X_{4}|}{T_{Z}} = \frac{|Y_{4}|}{T_{Z}} = K 。 (6) \end{matrix} \end{matrix}

将(3)式代入(2)式,并结合(6)式,得到

\begin{matrix} \{\begin{matrix} - K r_{0} - K r_{1} + K k_{x 1} r_{6} + K k_{x 1} r_{7} + \frac{T_{X}}{T_{Z}} = k_{x 1} \\ - K r_{3} - K r_{4} + K k_{y 1} r_{6} + K k_{y 1} r_{7} + \frac{T_{Y}}{T_{Z}} = k_{y 1} \\ K r_{0} - K r_{1} - K k_{x 2} r_{6} + K k_{x 2} r_{7} + \frac{T_{X}}{T_{Z}} = k_{x 2} \\ K r_{3} - K r_{4} - K k_{y 2} r_{6} + K k_{y 2} r_{7} + \frac{T_{Y}}{T_{Z}} = k_{y 2} \\ K r_{0} + K r_{1} - K k_{x 3} r_{6} - K k_{x 3} r_{7} + \frac{T_{X}}{T_{Z}} = k_{x 3} \\ K r_{3} + K r_{4} - K k_{y 3} r_{6} - K k_{y 3} r_{7} + \frac{T_{Y}}{T_{Z}} = k_{y 3} \\ - K r_{0} + K r_{1} + K k_{x 4} r_{4} - K k_{x 4} r_{7} + \frac{T_{X}}{T_{Z}} = k_{x 4} \\ - K r_{3} + K r_{4} + K k_{y 4} r_{6} - K k_{y 4} r_{7} + \frac{T_{Y}}{T_{Z}} = k_{y 4} \end{matrix} 。 (7) \end{matrix}

(7)式的矩阵形式为

\begin{matrix} [\begin{matrix} - K & - K & 0 & 0 & K k_{x 1} & K k_{x 1} & 1 & 0 \\ 0 & 0 & - K & - K & K k_{y 1} & K k_{y 1} & 0 & 1 \\ K & - K & 0 & 0 & - K k_{x 2} & K k_{x 2} & 1 & 0 \\ 0 & 0 & K & - K & - K k_{y 2} & K k_{y 2} & 0 & 1 \\ K & K & 0 & 0 & - K k_{x 3} & - K k_{x 3} & 1 & 0 \\ 0 & 0 & K & K & - K k_{y 3} & - K k_{y 3} & 0 & 1 \\ - K & K & 0 & 0 & K k_{x 4} & - K k_{x 4} & 1 & 0 \\ 0 & 0 & - K & K & K k_{y 4} & - K k_{y 4} & 0 & 1 \end{matrix}] [\begin{matrix} r_{0} \\ r_{1} \\ r_{3} \\ r_{4} \\ r_{6} \\ r_{7} \\ \frac{T_{X}}{T_{Z}} \\ \frac{T_{Y}}{T_{Z}} \end{matrix}] = [\begin{matrix} k_{x 1} \\ k_{y 1} \\ k_{x 2} \\ k_{y 2} \\ k_{x 3} \\ k_{y 3} \\ k_{x 4} \\ k_{y 4} \end{matrix}] 。 (8) \end{matrix}

其解为

\begin{matrix} [\begin{matrix} r_{0} \\ r_{1} \\ r_{3} \\ r_{4} \\ r_{6} \\ r_{7} \\ \frac{T_{X}}{T_{Z}} \\ \frac{T_{Y}}{T_{Z}} \end{matrix}] = [\begin{matrix} \frac{1}{K} \frac{k_{x 1} k_{x 3} k_{y 2} - k_{x 2} k_{x 3} k_{y 1} - k_{x 1} k_{x 4} k_{y 2} + k_{x 2} k_{x 4} k_{y 1} - k_{x 1} k_{x 3} k_{y 4} + k_{x 1} k_{x 4} k_{y 3} + k_{x 2} k_{x 3} k_{y 4} - k_{x 2} k_{x 4} k_{y 3}}{k_{x 1} k_{y 2} - k_{x 2} k_{y 1} - k_{x 1} k_{y 4} + k_{x 2} k_{y 3} - k_{x 3} k_{y 2} + k_{x 4} k_{y 1} + k_{x 3} k_{y 4} - k_{x 4} k_{y 3}} \\ - \frac{1}{K} \frac{k_{x 1} k_{x 2} k_{y 3} - k_{x 1} k_{x 3} k_{y 2} - k_{x 1} k_{x 2} k_{y 4} + k_{x 2} k_{x 4} k_{y 1} + k_{x 1} k_{x 3} k_{y 4} - k_{x 3} k_{x 4} k_{y 1} - k_{x 2} k_{x 4} k_{y 3} + k_{x 3} k_{x 4} k_{y 2}}{k_{x 1} k_{y 2} - k_{x 2} k_{y 1} - k_{x 1} k_{y 4} + k_{x 2} k_{y 3} - k_{x 3} k_{y 2} + k_{x 4} k_{y 1} + k_{x 3} k_{y 4} - k_{x 4} k_{y 3}} \\ \frac{1}{K} \frac{k_{x 1} k_{y 2} k_{y 3} - k_{x 2} k_{y 1} k_{y 3} - k_{x 1} k_{y 2} k_{y 4} + k_{x 2} k_{y 1} k_{y 4} - k_{x 3} k_{y 1} k_{y 4} + k_{x 4} k_{y 1} k_{y 3} + k_{x 3} k_{y 2} k_{y 4} - k_{x 4} k_{y 2} k_{y 3}}{k_{x 1} k_{y 2} - k_{x 2} k_{y 1} - k_{x 1} k_{y 4} + k_{x 2} k_{y 3} - k_{x 3} k_{y 2} + k_{x 4} k_{y 1} + k_{x 3} k_{y 4} - k_{x 4} k_{y 3}} \\ - \frac{1}{K} \frac{k_{x 2} k_{y 1} k_{y 3} - k_{x 3} k_{y 1} k_{y 2} - k_{x 1} k_{y 2} k_{y 4} + k_{x 4} k_{y 1} k_{y 2} + k_{x 1} k_{y 3} k_{y 4} - k_{x 4} k_{y 1} k_{y 3} - k_{x 2} k_{y 3} k_{y 4} + k_{x 3} k_{y 2} k_{y 4}}{k_{x 1} k_{y 2} - k_{x 2} k_{y 1} - k_{x 1} k_{y 4} + k_{x 2} k_{y 3} - k_{x 3} k_{y 2} + k_{x 4} k_{y 1} + k_{x 3} k_{y 4} - k_{x 4} k_{y 3}} \\ \frac{1}{K} \frac{k_{x 1} k_{y 3} - k_{x 3} k_{y 1} - k_{x 1} k_{y 4} - k_{x 2} k_{y 3} + k_{x 3} k_{y 2} + k_{x 4} k_{y 1} + k_{x 2} k_{y 4} - k_{x 4} k_{y 2}}{k_{x 1} k_{y 2} - k_{x 2} k_{y 1} - k_{x 1} k_{y 4} + k_{x 2} k_{y 3} - k_{x 3} k_{y 2} + k_{x 4} k_{y 1} + k_{x 3} k_{y 4} - k_{x 4} k_{y 3}} \\ - \frac{1}{K} \frac{k_{x 1} k_{y 2} - k_{x 2} k_{y 1} - k_{x 1} k_{y 3} + k_{x 3} k_{y 1} + k_{x 2} k_{y 4} - k_{x 4} k_{y 2} - k_{x 3} k_{y 4} + k_{x 4} k_{y 3}}{k_{x 1} k_{y 2} - k_{x 2} k_{y 1} - k_{x 1} k_{y 4} + k_{x 2} k_{y 3} - k_{x 3} k_{y 2} + k_{x 4} k_{y 1} + k_{x 3} k_{y 4} - k_{x 4} k_{y 3}} \\ \frac{k_{x 1} k_{x 2} k_{y 3} - k_{x 2} k_{x 3} k_{y 1} - k_{x 1} k_{x 2} k_{y 4} + k_{x 1} k_{x 4} k_{y 2} - k_{x 1} k_{x 4} k_{y 3} + k_{x 3} k_{x 4} k_{y 1} + k_{x 2} k_{x 3} k_{y 4} - k_{x 3} k_{x 4} k_{y 2}}{k_{x 1} k_{y 2} - k_{x 2} k_{y 1} - k_{x 1} k_{y 4} + k_{x 2} k_{y 3} - k_{x 3} k_{y 2} + k_{x 4} k_{y 1} + k_{x 3} k_{y 4} - k_{x 4} k_{y 3}} \\ \frac{k_{x 1} k_{y 2} k_{y 3} - k_{x 3} k_{y 1} k_{y 2} - k_{x 2} k_{y 1} k_{y 4} + k_{x 4} k_{y 1} k_{y 2} - k_{x 1} k_{y 3} k_{y 4} + k_{x 3} k_{y 1} k_{y 4} + k_{x 2} k_{y 3} k_{y 4} - k_{x 4} k_{y 2} k_{y 3}}{k_{x 1} k_{y 2} - k_{x 2} k_{y 1} - k_{x 1} k_{y 4} + k_{x 2} k_{y 3} - k_{x 3} k_{y 2} + k_{x 4} k_{y 1} + k_{x 3} k_{y 4} - k_{x 4} k_{y 3}} \end{matrix}] 。 (9) \end{matrix}

由于转换矩阵R是单位正交阵,故有

\begin{matrix} [\begin{matrix} r_{2} \\ r_{5} \\ r_{8} \end{matrix}] = [\begin{matrix} r_{0} \\ r_{3} \\ r_{6} \end{matrix}] \times [\begin{matrix} r_{1} \\ r_{4} \\ r_{7} \end{matrix}] 。 (10) \end{matrix}

至此,转换矩阵R的所有元素求解完毕,r₀~r₇均可表示成 $\begin{matrix} {(k_{xi}, k_{yi})|}_{i = 1 ~ 4} \end{matrix}$ 的函数。

根据(5)式和(9)式,可知方位角为

\begin{matrix} \begin{matrix} A_{Z} = - \arctan \frac{r_{3}}{r_{4}} = \\ \arctan (\frac{k_{x 1} k_{y 2} k_{y 3} - k_{x 2} k_{y 1} k_{y 3} - k_{x 1} k_{y 2} k_{y 4} + k_{x 2} k_{y 1} k_{y 4} - k_{x 3} k_{y 1} k_{y 4} + k_{x 4} k_{y 1} k_{y 3} + k_{x 3} k_{y 2} k_{y 4} - k_{x 4} k_{y 2} k_{y 3}}{k_{x 2} k_{y 1} k_{y 3} - k_{x 3} k_{y 1} k_{y 2} - k_{x 1} k_{y 2} k_{y 4} + k_{x 4} k_{y 1} k_{y 2} + k_{x 1} k_{y 3} k_{y 4} - k_{x 4} k_{y 1} k_{y 3} - k_{x 2} k_{y 3} k_{y 4} + k_{x 3} k_{y 2} k_{y 4}}) 。 \\ (11) \end{matrix} \end{matrix}

同理,可求得横滚角A_Y和俯仰角A_X,在这些公式中, A_X、A_Y、A_Z不再相互耦合,而是只包含了与4个特征点主光线相关的 $\begin{matrix} {(k_{xi}, k_{yi})|}_{i = 1 ~ 4} \end{matrix}$ ,为进一步分析姿态解算误差因素奠定了基础。为了节省篇幅,本研究只列出了A_Z的表达式,并只推导A_Z的误差评估模型,A_Y和A_X的误差分析类似。

3 姿态标定误差评估模型

3.1 AZ测量精度影响因素

从(11)式可以看出,观测量为k_xi和k_yi,被测量为A_Z,记观测量的误差为Δk_xi和Δk_yi,其物理意义是表征特征点成像主光线与光轴的夹角测量误差。由(2)式可以看出,k_xi和k_yi是像素坐标x_i和y_i、图像主点C_x和C_y、焦距误差F_x和F_y的函数(由于像元尺寸精度比较高,故可认为F_x和F_y仅受镜头焦距影响),而影响像素坐标x_i和y_i的因素包括特征点图像定位误差、镜头畸变和特征点位置误差。

1) 图像定位误差

图像定位误差为图像判别的随机误差,直接表现为(2)式中x和y的像素坐标误差,该误差大小与合作目标形式和具体图像提取算法有关。设图像定位误差引起的k_xi和k_yi误差表示为Δk_n_xi和Δk_n_yi,根据(2)式,有

\begin{matrix} \{\begin{matrix} Δ k_{nxi} = \frac{\partial k_{xi}}{\partial x} Δ x_{i} = \frac{1}{F_{x}} Δ x_{ni} \\ Δ k_{nyi} = \frac{\partial k_{yi}}{\partial x} Δ y_{i} = \frac{1}{F_{y}} Δ y_{ni} \end{matrix}, (12) \end{matrix}

式中,Δx_n_i和Δy_n_i为x和y方向的图像定位误差。由于图像定位误差是随机的,结合(11)式,图像定位误差对A_Z的影响可采用平方和再开方的方式进行计算:

\begin{matrix} {Δ A_{Z}|}_{n} = \sqrt[]{\overset{4}{\sum_{i = 1}} {(\frac{\partial A_{Z}}{\partial k_{xi}} Δ k_{nxi})}^{2} + \overset{4}{\sum_{i = 1}} {(\frac{\partial A_{Z}}{\partial k_{yi}} Δ k_{nyi})}^{2}} 。 (13) \end{matrix}

2) 畸变

畸变是与光学镜头设计相关的误差,是实际像点偏离理想像点的距离,误差大小随像点偏离主点(C_x,C_y)的距离的改变而改变,在(C_x,C_y)处畸变为0,实际像点沿理想像点与(C_x,C_y)的连线偏离理想像点。畸变有两种形式,一种是沿连线偏向(C_x,C_y),一种是沿连线偏向图像边缘,镜头设计完成后,偏离方向即是固定的。在(2)式中,畸变也是像素坐标x和y定位误差的一种,设畸变引起的k_xi和k_yi误差表示为Δk_E_xi和Δk_E_yi:

\begin{matrix} \{\begin{matrix} Δ k_{Exi} = \frac{\partial k_{xi}}{\partial x} Δ x_{i} = \frac{1}{F_{x}} Δ x_{Ei} \\ Δ k_{Eyi} = \frac{\partial k_{yi}}{\partial y} Δ y_{i} = \frac{1}{F_{y}} Δ y_{Ei} \end{matrix}, (14) \end{matrix}

式中Δx_E_i、Δy_E_i为畸变引起的图像坐标变化,其对A_Z的影响采用求和方式计算:

\begin{matrix} {Δ A_{Z}|}_{E} = \overset{4}{\sum_{i = 1}} \frac{\partial A_{Z}}{\partial k_{xi}} Δ k_{Exi} + \overset{4}{\sum_{i = 1}} \frac{\partial A_{Z}}{\partial k_{yi}} Δ k_{Eyi} 。 (15) \end{matrix}

3) 主点误差

主点误差是(C_x,C_y)参数的误差,即是姿态解算时,参与计算的主点(C_x,C_y)和镜头实际光轴与探测器交点的偏离量,根据(2)式,主点误差ΔC_x和ΔC_y对k_xi和k_yi的影响可表示为Δk_C_xi和Δk_C_yi,有

\begin{matrix} \{\begin{matrix} Δ k_{Cxi} = \frac{\partial k_{xi}}{\partial C_{x}} Δ C_{x} = - \frac{1}{F_{x}} Δ C_{x} \\ Δ k_{Cyi} = \frac{\partial k_{yi}}{\partial C_{y}} Δ C_{y} = - \frac{1}{F_{y}} Δ C_{y} \end{matrix} 。 (16) \end{matrix}

ΔC_x和ΔC_y在系统内参输入和装配完毕后,其大小和方向均是固定的,结合(11)式,主点误差对A_Z的影响可采用求和方式计算:

\begin{matrix} {Δ A_{Z}|}_{C} = \overset{4}{\sum_{i = 1}} \frac{\partial A_{Z}}{\partial k_{xi}} Δ k_{Cxi} + \overset{4}{\sum_{i = 1}} \frac{\partial A_{Z}}{\partial k_{yi}} Δ k_{Cyi} 。 (17) \end{matrix}

4) 焦距误差

焦距误差在内参输入和装配完毕后即确定,同理,焦距误差ΔF_x和ΔF_y对k_xi和k_yi的影响表示为Δk_F_xi和Δk_F_yi:

\begin{matrix} \{\begin{matrix} Δ k_{Fxi} = \frac{\partial k_{xi}}{\partial F_{x}} Δ F_{x} = - \frac{(x_{i} - C_{x})}{F_{x}^{2}} Δ F_{x} = - \frac{k_{xi}}{F_{x}} Δ F_{x} \\ Δ k_{Fyi} = \frac{\partial k_{yi}}{\partial F_{y}} Δ F_{y} = - \frac{(y_{i} - C_{y})}{F_{y}^{2}} Δ F_{y} = - \frac{k_{yi}}{F_{y}} Δ F_{y} \end{matrix} 。 (18) \end{matrix}

ΔF_x和ΔF_y在系统内参输入和装配完毕后,大小和方向均是固定的,焦距误差对A_Z的影响采用求和方式计算:

\begin{matrix} {Δ A_{Z}|}_{F} = \overset{4}{\sum_{i = 1}} \frac{\partial A_{Z}}{\partial k_{xi}} Δ k_{Fxi} + \overset{4}{\sum_{i = 1}} \frac{\partial A_{Z}}{\partial k_{yi}} Δ k_{Fyi} 。 (19) \end{matrix}

5) 特征点位置误差

特征点位置标定完毕后,可认为该标定值是一个理想值,实际特征点位置与该理想值存在一定偏差,理想的k_xi和k_yi表征该理想位置所成图像主光线与光轴的夹角,而实际的k_xi和k_yi由于位置误差的影响,与理想的k_xi和k_yi存在偏差,在俯仰角和横滚角为小角度的前提下,将物方定位误差归一化到像方来考虑,该误差表示为Δk_D_xi和Δk_D_yi,约为

\begin{matrix} \{\begin{matrix} Δ k_{Dxi} = \frac{Δ X_{i}}{T_{Z}} \\ Δ k_{Dyi} = \frac{Δ Y_{i}}{T_{Z}} \end{matrix}, (20) \end{matrix}

式中ΔX_i和ΔY_i为特征点位置误差。

虽然特征点加工、装配完毕后,其位置误差就已经是固定的,但4个合作目标位置误差是不相关的,故特征点位置误差对A_Z的影响可采用平方和再开方的方式计算:

\begin{matrix} {Δ A_{Z}|}_{D} = \sqrt[]{\overset{4}{\sum_{i = 1}} {(\frac{\partial A_{Z}}{\partial k_{xi}} Δ k_{Dxi})}^{2} + \overset{4}{\sum_{i = 1}} {(\frac{\partial A_{Z}}{\partial k_{yi}} Δ k_{Dyi})}^{2}} 。 (21) \end{matrix}

3.2 AZ总误差

先估算标定系统图像定位误差Δx_n_i和Δy_n_i、畸变Δx_E_i和Δy_E_i、主点误差ΔC_x和ΔC_y、焦距误差ΔF_x和ΔF_y及特征点位置误差ΔX_i和ΔY_i,再根据(12)、(14)、(16)、(18)和(20)式计算这些误差源所引起的Δk_xi和Δk_yi,根据(13)、(15)、(17)、(19)、(21)式计算各误差源对测量值的影响 $\begin{matrix} {Δ A_{Z}|}_{n} \end{matrix}$ 、 $\begin{matrix} {Δ A_{Z}|}_{E} \end{matrix}$ 、 $\begin{matrix} {Δ A_{Z}|}_{C} \end{matrix}$ 、 $\begin{matrix} {Δ A_{Z}|}_{F} \end{matrix}$ 、 $\begin{matrix} {Δ A_{Z}|}_{D} \end{matrix}$ ,总误差计算公式为

\begin{matrix} Δ A_{Z} = \sqrt[]{({Δ A_{Z}|}_{n})^{2} + ({Δ A_{Z}|}_{E})^{2} + ({Δ A_{Z}|}_{C})^{2} + ({Δ A_{Z}|}_{F})^{2} + ({Δ A_{Z}|}_{D})^{2}} 。 (22) \end{matrix}

由于A_Z表达式(11)式较长,对其求偏导的表达式也较长,故本研究未描述各误差项(13)、(15)、(17)、(19)、(21)式和总误差(22)式的具体表达式,读者可采用Matlab等计算软件自行求解。

4 姿态标定测量精度仿真与实验研究

为了验证姿态标定误差评估模型的正确性,首先,设计实验系统,并对实验系统中的误差源进行估计,将实验系统参数和误差源代入到姿态标定误差评估模型中,对各误差项和总误差进行计算。然后,按设计的实验系统,进行单误差项符合性仿真和总误差符合性实验,根据误差项与总误差评估值和实验值的符合程度,证明姿态标定误差评估模型的正确性。

4.1 实验系统参数设计与误差预估

设合作目标的分布为450 mm×450 mm,特征点1~4的坐标、相机内参和其他系统参数如表1所示。

表 1. 系统参数输入

Table 1. Input of system parameters

Serial number	Item	Value
1	Coordinate of feature point 1 /mm	(-225,-225,0)
2	Coordinate of feature point 2 /mm	(225,-225,0)
3	Coordinate of feature point 3 /mm	(225,225,0)
4	Coordinate of feature point 4 /mm	(-225,225,0)
5	Focal length /mm	35
6	Pixel size /(μm×μm)	5.5×5.5
7	(C_X,C_Y) /pixel	(1024.5,1024.5)
8	Resolution of camera /(pixel×pixel)	4096×4096
9	(T_X,T_Y,T_Z) /mm	(100,100,2000)

查看所有表

各误差源估计值如表2所示。

表 2. 误差源估计值

Table 2. Estimate values of error sources

Serial number	Item	Value
1	Errors of image orientations Δx_n_i and Δ $\begin{matrix} {y_{ni}}_{} \end{matrix}$ /pixel	0.3
2	Aberration Δx_E_i and Δ $\begin{matrix} {y_{Ei}}_{} \end{matrix}$ /%	0.1
3	Error of principal point ΔC_x and Δ $\begin{matrix} {C_{y}}_{} \end{matrix}$ /pixel	10
4	Error of focal length ΔF_x and ΔF_y	91
5	Errors of locations of feature points ΔX_i and Δ $\begin{matrix} {Y_{i}}_{} \end{matrix}$ /mm	0.1

查看所有表

根据表1的系统参数和表2的误差源估计,对应相机不同姿态A_X、A_Y、A_Z,按误差评估模型,计算各误差项评估值及总误差评估值,计算结果如表3所示。

从表3可以看出,对标定精度影响最大的是图像定位误差和特征点位置精度,在标定系统设计中,必须采用精确的特征点提取算法,并保证靶标加工和标校的准确性;主点误差对测量精度影响较小,即使该误差达到10 pixel,带来的误差不大于0.0079°,可以设定图像中心坐标为主点坐标,无需进行严格标定;畸变对测量结果的影响趋近于0,由于畸变具有方向性,靶标基本位于视场中心,畸变造成的各特征点成像位置变化对测量结果的影响相互抵消,在表2中,畸变的估计量均按0.1%设定,实际镜头的畸变与镜头视场角相关,不是固定值,抵消效果减弱,对姿态角测量的影响变大;焦距误差对测量结果的影响趋近于0,可以在标定系统中按镜头焦距设计值设定相机焦距参数。

表 3. 误差项

Table 3. Error items(°)

Error	Attitude
	A_Z	0	5	5	-5	-5	30	30	-30	-30
	A_X	0	3	-3	3	-3	5	-5	5	-5
	A_Y	0	3	3	-3	-3	5	5	-5	-5
ΔA_Z\|_n		0.0200	0.0201	0.0200	0.0202	0.0200	0.0301	0.0301	0.0305	0.0302
ΔA_Z\|_E		0	0	0	0	0	0	0	0	0
ΔA_Z\|_C		0	-0.0047	-0.0047	0.0047	0.0047	-0.0079	-0.0079	0.0079	0.0079
ΔA_Z\|_F		0	0	0	0	0	0	0	0	0
ΔA_Z\|_D		0.0106	0.0107	0.0106	0.0107	0.0106	0.0109	0.0109	0.0111	0.0110
ΔA_Z		0.0226	0.0233	0.0231	0.0233	0.0231	0.0330	0.0330	0.0334	0.0331

查看所有表

4.2 单误差项评估符合性仿真分析

误差评估模型中,包括了对 $\begin{matrix} {Δ A_{Z}|}_{n} \end{matrix}$ 、 $\begin{matrix} {Δ A_{Z}|}_{E} \end{matrix}$ 、 $\begin{matrix} {Δ A_{Z}|}_{C} \end{matrix}$ 、 $\begin{matrix} {Δ A_{Z}|}_{F} \end{matrix}$ 、 $\begin{matrix} {Δ A_{Z}|}_{D} \end{matrix}$ 5个单误差项的评估,本研究选取图像定位误差项 $\begin{matrix} {Δ A_{Z}|}_{n} \end{matrix}$ 进行重点分析,以验证误差评估模型对单误差评估的正确性。

按表1设定系统参数,相机姿态角A_X=5°、A_Y=5°、A_Z=30°时,相机对4个特征点P₁、P₂、P₃、P₄所成的像素定位理论上应为(381.357,1080.685)、(1605.487,374.791)、(2337.195,1613.724)、(1074.699,2329.641),对各像素坐标叠加-0.3或0.3的随机数,模拟0.3 pixel的图像定位误差,再按叠加图像定位误差之后的像素坐标,进行相机姿态角解算(数据太多,此处不一一列举解算结果)。观察多次解算结果可知,当像素点P₁、P₂、P₃、P₄坐标取值分别为(381.657,1080.985)、(1605.187,374.491)、(2337.495,1613.424)、(1074.399,2329.941)时,测量结果取最大值,A_Z为30.0303°;当像素点P₁、P₂、P₃、P₄坐标取值分别为(381.057,1080.385)、(1605.787,375.091)、(2336.895,1614.024)、(1074.999,2329.341)时,测量结果取最小值,A_Z为29.9697°。误差绝对值均为0.0303°,与理论计算值0.0301°具有很高的一致性。证明误差评估模型对单误差的评估有效。

4.3 总误差评估符合性实验分析

按表1系统参数,架设验证实验,实验平台如图2所示。靶标为450 mm×450 mm分布的圆形合作目标,以圆形中心为特征点,相机架设在三维旋转台上,三维转台吊装,方位转台(Z轴转台)安装在最上层,其次是俯仰转台(X轴转台),最底层安装横滚转台(Y轴转台),相机吊装在横滚转台上,三维转台各轴系两两正交。这种安装顺序保证了各轴系转台的旋转角度满足(3)式所描述的相机坐标系与靶标坐标系之间的转换关系,使解算角度与旋转角度在物理意义上具有一致性。其中,方位转台精度为0.001°,俯仰和横滚转台精度为0.01°。靶标架设于相机正下方,以质心法进行特征点图像提取,按P4P法解算相机姿态,以A_Z=0°、A_X=0°、A_Y=0°为测量零位,转动三维转台,三维转台的设置值记为A_Z₀、A_X₀和A_Y₀, P4P法解算的方位角记为A_Z,按ΔA_Z=max $\begin{matrix} |A_{Z} - A_{Z 0}| \end{matrix}$ 计算测量误差,测量结果如表4所示。

图 2. 实验平台

Fig. 2. Experimental platform

下载图片查看所有图片

表 4. 测量结果

Table 4. Results of measurements(°)

Serial number	A_X₀	A_Y₀	A_Z₀	Measuring value A_Z	ΔA_Z
1	0	0	0	0	0
2	3	3	5	5.021	0.021
3	-3	3	5	4.982	0.018
4	3	-3	-5	-5.019	0.019
5	-3	-3	-5	-4.980	0.020
6	5	5	30	30.029	0.029
7	-5	5	30	29.972	0.028
8	5	-5	-30	-30.025	0.025
9	-5	-5	-30	-29.972	0.028

查看所有表

误差源估计值是按测量系统设计和装调水平预估的,虽然与实际误差源存在一定偏差,但偏差不大,实际测量结果与仿真结果的一致性能够表征误差模型的正确性。从表4可以看出,当方位角为±5°时,误差实测值最大为0.021°,误差仿真值最大为0.0233°;当方位角为±30°时,误差实测值最大为0.029°,误差仿真值最大为0.0330°,实测值与仿真值符合性较好,说明误差评估模型有效。

5 结论

本研究就P4P相机姿态标定算法进行理论分析,在简化理论模型的基础上,将P4P算法按传统的矩阵形式,表示为姿态角的直接计算公式,从而消除算法中姿态角计算相互耦合的问题,使姿态角仅与相机内参和特征点的图像坐标相关。在此基础上,以方位角为例,建立各误差因素对姿态角测量误差的评估模型,并进行仿真和实验分析,结果表明,误差理论分析结果和实验值相符,误差模型有效。该误差模型的建立,能够指导相机姿态测量系统的设计,具有一定的工程应用价值。

参考文献

[1] 张征宇, 朱龙, 黄叙辉, 等. 基于前方交会的5点相对定向[J]. 光学学报, 2015, 35(1): 0115001.

Zhang Z Y, Zhu L, Huang X H, et al. Five-point relative orientation based on forward intersection[J]. Acta Optica Sinica, 2015, 35(1): 0115001.

[2] 孙楠, 张丽艳, 叶南, 等. 基于十字靶标的双目立体测量系统标定[J]. 光学学报, 2012, 32(4): 0412001.

Sun N, Zhang L Y, Ye N, et al. Calibration of binocular stereo measurement system based on calibration cross[J]. Acta Optica Sinica, 2012, 32(4): 0412001.

[3] 刘震, 尚砚娜. 立体视觉传感器的一种灵活靶标新标定方法[J]. 光学学报, 2013, 33(3): 0315001.

Liu Z, Shang Y N. Novel calibration method for stereo vision sensor using flexible target[J]. Acta Optica Sinica, 2013, 33(3): 0315001.

[4] 张征宇, 黄诗捷, 罗川, 等. 基于共面条件的摄像机非线性畸变自校正[J]. 光学学报, 2012, 32(1): 0115002.

Zhang Z Y, Huang S J, Luo C, et al. Nonlinear distortion correction of camera based on coplanar condition equations[J]. Acta Optica Sinica, 2012, 32(1): 0115002.

[5] Wong KH, Yu YK, Fung HY, et al. Robust and efficient pose tracking using perspective-four-point algorithm and Kalman filter[C]∥2017 International Conference on Mechanical, System and Control Engineering (ICMSC 2017), 2017: 240- 244.

[6] Zhang BS, Zhang QZ, Wang YS, et al. The method of solving the non-coplanar perspective-four-point(P4P) problem[C]∥Proceedings of the 33rd Chinese Control Conference, 2014: 1039- 1043.

[7] 王艳, 袁峰, 姜宏, 等. 基于三线阵CCD空间目标的高精度位姿解算[J]. 光学学报, 2018, 38(5): 0515004.

Wang Y, Yuan F, Jiang H, et al. High precision pose calculation of space target based on three linear array CCD[J]. Acta Optica Sinica, 2018, 38(5): 0515004.

[8] 苏建东, 齐晓慧, 段修生. 基于单目视觉和棋盘靶标的平面姿态测量方法[J]. 光学学报, 2017, 37(8): 0815002.

Su J D, Qi X H, Duan X S. Plane pose measurement method based on monocular vision and checkerboard target[J]. Acta Optica Sinica, 2017, 37(8): 0815002.

[9] 陈洋, 林嘉睿, 高扬, 等. 视觉与倾角传感器组合相对位姿测量方法[J]. 光学学报, 2015, 32(12): 1212003.

Chen Y, Lin J R, Gao Y, et al. A hybrid of vision and inclination sensor method for estimating relative pose[J]. Acta Optica Sinica, 2015, 35(12): 1212003.

[10] 陈鹏, 胡广大, 刘晓军. 基于虚拟控制点的像机姿态测量算法[J]. 中国激光, 2012, 39(11): 1108003.

Chen P, Hu G D, Liu X J. Camera pose estimation based on virtual control points[J]. Chinese Journal of Lasers, 2012, 39(11): 1108003.

[11] 王子辰, 戴明, 李刚, 等. 机载光电平台相对角位移测量系统设计[J]. 中国激光, 2013, 40(9): 0908007.

Wang Z C, Dai M, Li G, et al. Apparatus design for surveying relative angular translation of airborne optoelectronic platform[J]. Chinese Journal of Lasers, 2013, 40(9): 0908007.

[12] 吴福朝, 胡占义. PnP问题的线性求解算法[J]. 软件学报, 2003, 14(3): 682-688.

Wu F C, Hu Z Y. A linear method for the PnP problem[J]. Journal of Software, 2003, 14(3): 682-688.

[13] 陈小林. 单目视觉系统的姿态解算算法研究[J]. 仪器仪表学报, 2014, 35(6): 45-48.

Chen X L. Research of attitude calculation of single camera visual system[J]. Chinese Journal of Scientific Instrument, 2014, 35(6): 45-48.

[14] 周婧, 高印寒, 刘长英, 等. 基于自适应算法的单目视觉系统的姿态解算[J]. 光学精密工程, 2012, 20(12): 2796-2803.

Zhou J, Gao Y H, Liu C Y, et al. Attitude calculation of single camera visual system based on adaptive algorithm[J]. Optics and Precision Engineering, 2012, 20(12): 2796-2803.

[15] 周润, 张征宇, 黄叙辉. 相机位姿估计的加权正交迭代算法[J]. 光学学报, 2018, 38(5): 0515002.

Zhou R, Zhang Z Y, Huang X H. Weighted orthogonal iteration algorithm for camera pose estimation[J]. Acta Optica Sinica, 2018, 38(5): 0515002.

[16] BujnakM, PajdlaT, KukelovaZ. A general solution to the P4P problem for camera with unknown focal length[C]∥2008 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2008: 10140097.

[17] 凡芳, 王振伟, 刘双印, 等. 面向视觉测量的相机标定误差分析[J]. 实验科学与技术, 2016, 14(6): 14-31.

Fan F, Wang Z W, Liu S Y, et al. Analysis of factors on errors of the CCD camera calibration[J]. Experiment Science and Technology, 2016, 14(6): 14-31.

[18] 刘长英, 高印寒, 车仁生. 单目视觉测量系统不确定度的分析[J]. 机械工程学报, 2008, 44(7): 75-78.

Liu C Y, Gao Y H, Che R S. Analysis of measurement uncertainty of single camera vision measurement system[J]. Chinese Journal of Mechanical Engineering, 2008, 44(7): 75-78.

朱帆, 于芳苏, 吴易明, 郝冲. P4P法相机姿态标定精度分析[J]. 光学学报, 2018, 38(11): 1115005. Fan Zhu, Fangsu Yu, Yiming Wu, Chong Hao. Analysis of Attitude Calibration Precision of P4P Camera[J]. Acta Optica Sinica, 2018, 38(11): 1115005.

P4P法相机姿态标定精度分析下载： 1700次

1 引言

2 姿态标定算法模型

图 1. 坐标系定义。(a)相机坐标系;(b)靶标坐标系

Fig. 1. Definition of coordinate system. (a) Camera coordinate system; (b) target coordinate system

3 姿态标定误差评估模型

3.1 AZ测量精度影响因素

3.2 AZ总误差

4 姿态标定测量精度仿真与实验研究

4.1 实验系统参数设计与误差预估

表 1. 系统参数输入

Table 1. Input of system parameters

表 2. 误差源估计值

Table 2. Estimate values of error sources

表 3. 误差项

Table 3. Error items(°)

4.2 单误差项评估符合性仿真分析

4.3 总误差评估符合性实验分析

图 2. 实验平台

Fig. 2. Experimental platform

表 4. 测量结果

Table 4. Results of measurements(°)

5 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

P4P法相机姿态标定精度分析 下载： 1700次

1 引言

2 姿态标定算法模型

图 1. 坐标系定义。(a)相机坐标系;(b)靶标坐标系

Fig. 1. Definition of coordinate system. (a) Camera coordinate system; (b) target coordinate system

3 姿态标定误差评估模型

3.1 AZ测量精度影响因素

3.2 AZ总误差

4 姿态标定测量精度仿真与实验研究

4.1 实验系统参数设计与误差预估

表 1. 系统参数输入

Table 1. Input of system parameters

表 2. 误差源估计值

Table 2. Estimate values of error sources

表 3. 误差项

Table 3. Error items(°)

4.2 单误差项评估符合性仿真分析

4.3 总误差评估符合性实验分析

图 2. 实验平台

Fig. 2. Experimental platform

表 4. 测量结果

Table 4. Results of measurements(°)

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

P4P法相机姿态标定精度分析下载： 1700次