精密角度基准下的多相机定位系统高精度标定

徐秋宇; 杨凌辉; 牛志远; 刘博文; 张正吉; 邾继贵

doi:doi:10.3788/AOS201939.0115001

光学学报, 2019, 39 (1): 0115001, 网络出版: 2019-05-10

精密角度基准下的多相机定位系统高精度标定下载： 1557次

High-Accuracy Calibration of Multi-Camera Positioning System Based on Precision Angle Reference

论文大纲

徐秋宇 ^*杨凌辉 ^*牛志远刘博文张正吉邾继贵

作者单位

天津大学精密仪器与光电子工程学院精密测试技术及仪器国家重点实验室, 天津 300072

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

在视觉定位测量领域中的大尺寸测量、运动追踪、三维重建、视觉定位中,针对多相机定位系统中相机之间无公共视场或公共视场较小时系统标定困难、方法繁琐、精度低等问题,提出了一种基于精密二轴转台的多相机定位系统一体化标定方法。利用二轴转台提供角度基准,当转台一次转过所有相机视场时,各个相机依次拍摄标定图片,求解出各个相机内参以及各相机到转台的外参,利用转台坐标系中转计算相机之间的外参。整个标定过程由程序控制,实现了多相机系统采图标定的集成化、自动化,降低了标定工作量。分析了多相机定位系统的标定原理,并进行了实验验证。两相机内参重投影误差在0.17 pixel以内,系统定位精度在1 mm以内。结果表明,所提方法切实可行,精度较高,可操作性强,可应用于各种无公共视场或公共视场较小的多相机定位系统标定过程。

Abstract

As for the large size measurement, motion tracking, 3D reconstruction and visual positioning in the field of visual positioning measurement, there exist many problems of system calibration difficulty, method complexity, low precision and so on for a multi-camera positioning system with no public or less public field of view. Thus an integrated calibration method for a multi-camera positioning system is proposed based on a precision two-axis turntable, in which the two-axis turntable provides an angle reference. When the turntable passes through the fields of view of all cameras at once, each camera shoots sequentially the calibration images. The internal parameters of each camera and the external parameters from each camera to the turntable are solved. The turntable coordinates are used to calculate the external parameters of cameras. The whole calibration process is controlled by programming. The integration and automation of figure-collection calibration for the multi-camera system are achieved, which greatly reduces the workload of calibration. The calibration principle of this multi-camera positioning system is analyzed and verified by experiments as well. The reprojection errors of the internal parameters of two cameras are less than 0.17 pixel and the system positioning accuracy is less than 1 mm. The results show that the proposed method is feasible, accurate and operable, which can be applied in the calibration process of a multi-camera positioning system with no public or small public field of view.

1 引言

在航空、航天、船舶建造领域的智能制造背景下,以自动导引装置、智能机器人为代表的可移动柔性平台和集成测量、定位功能的智能工具已成为公认的发展方向。针对现场工作人员、智能装备的实时多自由度位置信息的同步获取正成为支撑智能制造过程的必要条件。在现有的面向现场的大空间多自由度测量定位手段中,基于计算机视觉成像的多自由度测量方法以其非接触、高精度等独特优势逐渐成为研究重点。基于计算机视觉的多自由度测量定位方式分为全局相机网络外测定位和视觉自主定位^[1-2]。全局相机网络外测定位在测量空间中布置多相机测量网络,通过在测量对象中粘贴标志点,对测量对象进行定位;视觉自主定位直接集成视觉相机系统与被测对象,通过空间已知坐标的几何特征和先验知识与相机成像系统间的几何约束关系,测量相机位置姿态,进而获得被测对象的6个自由度,该定位方式广泛应用于室内定位、融入式测量、虚拟现实、机器人自主定位导航系统中,灵活性较高,环境适应性更强。

目前基于机器视觉的自主定位测量系统主要有单目、双目和多目系统。单目视觉定位测量系统成本低,设备简单,得到了广泛应用,但无法直接获取空间点的三维信息,需要借助已标定好的精密靶标进行测量,适用性差,精度不高。双目视觉定位测量系统通过两相机同一视场内的目标点在图像中的视差来确定点的三维信息,但受限于相机视场角度和交汇关系,测量范围较小。多目视觉定位测量系统则补充了单目视觉定位测量系统和双目视觉定位测量系统的不足,视场范围更广,精度相对更高,前景更加可观。例如,在虚拟现实领域,全景视觉中应用的多相机多角度成像方式可识别空间不同区域的特征标记,形成周向覆盖的几何约束条件,有效提高系统测量定位精度。

多相机定位系统面临的首要问题是标定相机之间的参数关系,将不同角度的多相机坐标系统一到整体坐标系,相机标定主要标定相机内参和外参。多相机系统标定主要是准确求解系统中多个相机的内参和相机之间的外参。多相机系统的内参标定一般与单目、双目系统的内参标定相差无几。目前相机内参部分的标定主要分为传统标定、基于主动视觉的标定和自标定方法。传统标定方法一般采用已经过精密加工的高精度标定物进行标定,通过标定物的三维世界坐标和二维图像像点坐标的对应关系建立约束模型,优化相机内参^[3-5];此方法的标定精度较高,是目前使用较广泛的标定方法,包括Tsai的两步标定法^[6]、张正友的平面标定法^[7]、倪爱伟的非线性优化法^[8]等。对于多相机系统的外参标定,主要分为有公共视场和无公共视场或公共视场较小两种情况。国内外对有公共视场情况下的研究比较成熟,多相机外参标定和双目系统标定方法类似,在内参已知的情况下,可在相机公共视场内通过多个视角使相机同时拍摄多幅图像,通过图像特征匹配求解相机之间的外参。而当相机之间公共视场小或无公共视场时,无法进行特征点匹配,常规外参标定方法不再适用。

针对该问题,王刚等^[9]提出了无重叠视场多相机组安装关系的灵活标定方法,采用基于机器人领域手眼标定的方法,将两相机背靠背放置,移动多相机系统并同时拍摄合作靶标,根据相机运动轨迹以及不同位置间各个相机与靶标之间的位姿求解相机之间的外参;此方法适用于系统相机数量较少的情况,系统相机数量较多时,相机会遮挡视场,导致采集信息不完全、靶标不易放置等问题。胡潇琨等^[10]提出了用带有平面标定靶标的标定杆标定无公共视场相机外参的方法,该方法在标定杆两端固定两个平面靶标,首先通过相机1标定两个平面靶标之间的外参,然后将标定杆两端分别置于两个相机视场内,标定两个相机分别相对于靶标的外参,通过两个靶标之间的位置关系求解相机之间的外参;但该方法只适用于双相机光轴较小的情况。鲁亚楠等^[11]利用二轴转台转动拍摄固定不动的标定板,通过相机主点坐标在旋转前后世界坐标系中的坐标关系求出世界坐标系和转台坐标系的外参,利用世界坐标系和转台坐标系之间的关系求出不同相机之间的外参;此方法需多次求出不同位置相机与世界坐标系的外参以及相机原点在世界坐标系中的坐标,进而求出世界坐标系与转台坐标系之间的外参,最后求解不同相机之间的外参,因此该方法比较繁琐,易产生累计误差,精度较低。

与传统单目、双目视觉测量系统相比,目前多相机定位系统标定的主要问题有:1)当无公共视场或公共视场较小时,很难通过图像特征匹配标定相机间的相互关系;2)标定标准构建困难,需根据不同系统相机的位置关系单独制定标定靶标或者构建覆盖所有相机视场的高精密控制场,费时费力。本文考虑引入精密二轴转台,利用转台带动相机转动代替以往的相机不动靶标动,构建角度控制场,转台转动角度范围覆盖相机视场。当转台转动并经过各个相机视场时拍摄靶标信息,求解相机内参,利用转台角度基准求解相机坐标系与转台坐标系外参,从而求得相机之间的外参。搭建了实验平台并对标定算法的可行性和精度进行了验证,整个标定过程由程序控制,自动完成。

2 多相机系统定位模型

多相机系统的定位问题即求解多相机系统在世界坐标系下的位姿。多相机系统定位模型包括5个坐标系:图像像素坐标系O₀-uv、物理坐标系O₁-xy、相机坐标系O_C_i-X_C_iY_C_iZ_C_i、相机系统坐标系O_C-X_CY_CZ_C和世界坐标系O_W-X_WY_W $\begin{matrix} {Z_{W}}^{[12]} \end{matrix}$ ,坐标系间的映射关系如图1所示。

图 1. 多相机系统投影映射模型

Fig. 1. Multi-camera system projection mapping model

下载图片查看所有图片

相机1作为系统坐标系,世界坐标系中点P(X_W,Y_W,Z_W)与系统坐标系中的坐标P(X_C,Y_C,Z_C)之间的变换关系为

\begin{matrix} [\begin{matrix} X_{C} \\ Y_{C} \\ Z_{C} \end{matrix}] = [\begin{matrix} R_{W} & T_{W} \end{matrix}] [\begin{matrix} X_{W} \\ Y_{W} \\ Z_{W} \\ 1 \end{matrix}], (1) \end{matrix}

式中:R_W为3×3旋转矩阵;T_W为平移矩阵。R_C_i和T_C_i为相机i到系统坐标系的旋转矩阵和平移矩阵,则点P在相机i坐标系中可表示为

\begin{matrix} [\begin{matrix} X_{Ci} \\ Y_{Ci} \\ Z_{Ci} \\ 1 \end{matrix}] = {[\begin{matrix} R_{Ci} & T_{Ci} \\ 0 & 1 \end{matrix}]}^{- 1} [\begin{matrix} X_{C} \\ Y_{C} \\ Z_{C} \\ 1 \end{matrix}] 。 (2) \end{matrix}

相机成像是空间点三维坐标到二维图像平面的投影映射。根据经典相机针孔成像模型^[12-14], 世界坐标系中点P(X_W,Y_W,Z_W)经过投影变换到相机i像素平面的坐标为(u_i,v_i),其投影变换关系为

\begin{matrix} ρ [\begin{matrix} u_{i} \\ v_{i} \\ 1 \end{matrix}] = [\begin{matrix} 1 / d_{x} & 0 & u_{0 i} \\ 0 & 1 / d_{y} & v_{0 i} \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} f_{i} & 0 & 0 & 0 \\ 0 & f_{i} & 0 & 0 \\ 0 & 0 & 1 & 0 \end{matrix}] [\begin{matrix} X_{Ci} \\ Y_{Ci} \\ Z_{Ci} \\ 1 \end{matrix}] = H_{i} {[\begin{matrix} R_{Ci} & T_{Ci} \\ 0 & 1 \end{matrix}]}^{- 1} [\begin{matrix} R_{W} & T_{W} \\ 0 & 1 \end{matrix}] [\begin{matrix} X_{W} \\ Y_{W} \\ Z_{W} \\ 1 \end{matrix}], (3) \end{matrix}

式中:ρ为比例因子;H_i为相机i的内参矩阵; d_x、d_y为单位像素的距离;(u₀_i,v₀_i) 为相机i的物理坐标系原点O₁在像素坐标系下的坐标;f_i为焦距。在多相机系统内外参标定过程中,H_i、R_C_i、T_C_i均已求得,为已知量。在实际定位过程中,点的像面坐标(u_i,v_i)和三维坐标(X_W,Y_W,Z_W)为已知量,(3)式中只有相机系统坐标系和世界坐标系间外参R_w、T_w为未知量,共6个自由度。多相机系统至少拍摄世界坐标系中的3个点,从而可求得系统在世界坐标系中位姿,实现定位。

以上模型建立在理想针孔成像基础上,在实际成像中,受相机内透镜形状对光线传播的影响或透镜和成像平面没有完全平行等影响,空间点投影到成像平面的位置会产生非线性变化,即产生了畸变。相机畸变主要包括径向畸变、切向畸变、仿射和非正交变形畸变,一般只考虑前二者的影响^[15]。为使标定结果更准确,需引入附加参数进行补偿,一般包括径向畸变参数(k₁,k₂,k₃)和切向畸变参数(p₁,p₂)。将三维空间点投影后归一化到图像物理平面进行畸变校正,归一化坐标为(x,y),校正模型可表示为^[16-18]

\begin{matrix} \begin{matrix} \{\begin{matrix} x_{distort} = x (1 + k_{1} r^{2} + k_{2} r^{4} + k_{3} r^{6}) + \\ 2 p_{1} xy + p_{2} (r^{2} + 2 x^{2}) \\ y_{distort} = y (1 + k_{1} r^{2} + k_{2} r^{4} + k_{3} r^{6}) + \\ p_{1} (r^{2} + 2 y^{2}) + 2 p_{2} xy \end{matrix} \end{matrix}, (4) \end{matrix}

式中:r= $\begin{matrix} \sqrt[]{x^{2} + y^{2}} \end{matrix}$ 为空间点归一化到图像物理平面后到坐标系原点的距离,(x_distort,y_distort)为校正后点的坐标。

为了保证定位精度,在实际相机参数标定和定位过程中,需要进行畸变校正,参数(f,u₀,v₀, k₁, k₂, k₃, p₁, p₂)即为内参标定时要求取的目标。

3 多相机定位系统内外参标定原理

所提出的多相机系统标定方法通过引入精密二轴转台,将整个相机系统固定在转台内框,并将相机坐标系与转台坐标系联系起来,转台转动带动相机移动,通过拍摄多个位置靶标图片提取特征点并优化内参,利用转台坐标系间接求解相机之间的外参。

基于精密二轴转台的多相机系统标定模型如图2所示。标定模型中涉及4个坐标系:世界坐标系O_W-X_WY_WZ_W,转台坐标系O_T-X_TY_TZ_T,相机坐标系O_C1-X_C1Y_C1Z_C1、O_C2-X_C2Y_C2Z_C2、O_C3-X_C3Y_C3Z_C3和相机系统坐标系O_C-X_CY_CZ_C。世界坐标系即标定板坐标系,满足右手系准则。转台坐标系原点设在转台回转中心处,内框旋转轴即为X轴,转台内框沿X轴垂直方向转动,外框旋转轴为Y轴,转台外框沿Y轴水平方向转动,Z轴由右手系得出。相机坐标系原点建立在光心处,坐标系关系如图2所示。为使图片清晰整洁,图中只画出相机1坐标系,设定相机1坐标系为相机系统坐标系。

图 2. 基于二轴转台的多相机系统标定模型

Fig. 2. Multi-camera system calibration model based on two-axis turntable

下载图片查看所有图片

假设R_CT和T_CT分别为相机坐标系到转台坐标系的旋转矩阵和平移矩阵,则相机中一点S(X_C,Y_C,Z_C)在转台坐标系下的坐标S_T(X_T,Y_T,Z_T)变为

\begin{matrix} [\begin{matrix} X_{T} \\ Y_{T} \\ Z_{T} \end{matrix}] = [\begin{matrix} R_{CT} & T_{CT} \end{matrix}] [\begin{matrix} X_{C} \\ Y_{C} \\ Z_{C} \\ 1 \end{matrix}] 。 (5) \end{matrix}

转台转动后,标定点的坐标由S_T1(X_T1,Y_T1,Z_T1)变为S_T1'(X_T1',Y_T1',Z_T1'),转台旋转关系可以用旋转矩阵R_T表示为

\begin{matrix} \begin{matrix} R_{T} = R_{Z} R_{Y} R_{X} = [\begin{matrix} cosγ & sinγ & 0 \\ - sinγ & cosγ & 0 \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} cosβ & 0 & - sinβ \\ 0 & 1 & 0 \\ sinβ & 0 & cosβ \end{matrix}] [\begin{matrix} 1 & 0 & 0 \\ 0 & cosα & sinα \\ 0 & - sinα & cosα \end{matrix}], (6) \\ [\begin{matrix} X_{T 1'} \\ Y_{T 1'} \\ Z_{T 1'} \end{matrix}] = R_{T} [\begin{matrix} X_{T 1} \\ Y_{T 1} \\ Z_{T 1} \end{matrix}], (7) \end{matrix} \end{matrix}

式中:R_X、R_Y、R_Z分别为转台绕X、Y、Z坐标轴的旋转矩阵;α、β、γ分别为转台绕X、Y、Z坐标轴旋转的角度。由(5)式和(7)式可得到转台旋转前后两个不同位置的相机坐标系(O_C-X_C1Y_C1Z_C1)与(O_C-X_C1'Y_C1'Z_C1')之间的变换关系为

\begin{matrix} [\begin{matrix} X_{C 1'} \\ Y_{C 1'} \\ Z_{C 1'} \\ 1 \end{matrix}] = {[\begin{matrix} R_{CT} & T_{CT} \\ 0 & 1 \end{matrix}]}^{- 1} [\begin{matrix} R_{T} & 0 \\ 0 & 1 \end{matrix}] [\begin{matrix} R_{CT} & T_{CT} \\ 0 & 1 \end{matrix}] [\begin{matrix} X_{C 1} \\ Y_{C 1} \\ Z_{C 1} \\ 1 \end{matrix}] 。 (8) \end{matrix}

初始位置相机与世界坐标系的关系为

\begin{matrix} [\begin{matrix} X_{C} \\ Y_{C} \\ Z_{C} \\ 1 \end{matrix}] = [\begin{matrix} R_{1} & T_{1} \\ 0 & 1 \end{matrix}] [\begin{matrix} X_{W} \\ Y_{W} \\ Z_{W} \\ 1 \end{matrix}] 。 (9) \end{matrix}

由(8)式可推出转台旋转多次后相机与世界坐标系间的外参关系式为

\begin{matrix} [\begin{matrix} R_{k} & T_{k} \\ 0 & 1 \end{matrix}] = {[\begin{matrix} R_{CT} & T_{CT} \\ 0 & 1 \end{matrix}]}^{- 1} [\begin{matrix} R_{Tk} & 0 \\ 0 & 1 \end{matrix}] [\begin{matrix} R_{CT} & T_{CT} \\ 0 & 1 \end{matrix}] [\begin{matrix} R_{1} & T_{1} \\ 0 & 1 \end{matrix}], (10) \end{matrix}

式中:[R₁T₁]为初始位置相机与世界坐标系外参;[R_k T_k]为转台旋转k次时相机与世界坐标系外参。

对于初始图像,根据相机针孔成像模型和(10)式,可推出转台转动后其他位置图像中的角点坐标关系为

\begin{matrix} Z_{Ck} [\begin{matrix} u_{k} \\ v_{k} \\ 1 \end{matrix}] = [\begin{matrix} 1 / d_{x} & 0 & u_{0} \\ 0 & 1 / d_{y} & v_{0} \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} f & 0 & 0 & 0 \\ 0 & f & 0 & 0 \\ 0 & 0 & 1 & 0 \end{matrix}] {[\begin{matrix} R_{CT} & T_{CT} \\ 0 & 1 \end{matrix}]}^{- 1} [\begin{matrix} R_{Tk} & 0 \\ 0 & 1 \end{matrix}] [\begin{matrix} R_{CT} & T_{CT} \\ 0 & 1 \end{matrix}] [\begin{matrix} R_{1} & T_{1} \\ 0 & 1 \end{matrix}] [\begin{matrix} X_{W} \\ Y_{W} \\ Z_{W} \\ 1 \end{matrix}] 。 (11) \end{matrix}

多次转动转台,根据(11)式构建最小化目标函数,F_min为所有像点的重投影误差平方和,f_i为实际像点坐标,f'_i为经过畸变补偿的重投影像点坐标。F_min可表示为

\begin{matrix} \begin{matrix} F_{\min} = & \overset{n}{\sum_{i = 1}} [f_{i} - f'_{i} (H, k_{1}, k_{2}, k_{3}, p_{1}, p_{2}, R_{CT}, T_{CT}, R_{1}, T_{1} {)]}^{2} 。 (12) \end{matrix} \end{matrix}

此方程求解属于非线性最小二乘问题,采用重投影误差最小原则。利用Levenberg-Marquardt(LM)迭代算法^[19]求解非线性最小二乘问题时的收敛速度快,稳定性高,因此采用LM迭代算法求解相机内参和相机与转台之间的外参。对于待解参数(H,k₁,k₂,k₃,p₁,p₂,R_CT,T_CT,R₁,T₁)迭代初值的选择,内参用相机出厂参数替代,畸变系数初值设为0,R_CT初值用欧拉角表示,R_CT初值和T_CT初值根据精心设计的相机连接件工装参数给出或通过(11)式线性求解,根据给出的相机内参初值和初始位置靶标像点的空间坐标求出(R₁,T₁)。

根据上述原理求出各个相机到转台之间的外参,通过转台坐标系中转,将相机坐标系统一到系统坐标系即相机1坐标系下,即

\begin{matrix} \begin{matrix} P_{C 1} = {[\begin{matrix} R_{CT 1} & T_{CT 1} \\ 0 & 1 \end{matrix}]}^{- 1} [\begin{matrix} R_{CT 2} & T_{CT 2} \\ 0 & 1 \end{matrix}] P_{C 2}, (13) \\ P_{C 1} = {[\begin{matrix} R_{CT 1} & T_{CT 1} \\ 0 & 1 \end{matrix}]}^{- 1} [\begin{matrix} R_{CTn} & T_{CTn} \\ 0 & 1 \end{matrix}] P_{Cn} 。 (14) \end{matrix} \end{matrix}

4 实验验证

实验目的是实现无公共视场多相机系统内外参标定,整个标定系统由精密二轴转台、无公共视场多相机定位系统、系统机械件、平面靶标和计算机构成。设计相机系统连接的机械件,尽量使相机光心与转台回转中心在同一平面内,以保证较好的成像质量。二轴转台外框和内框分别沿水平、垂直两个方向转动多个位置,尽量覆盖所有相机视场,利用转台转动获取多个位置间的靶标图像信息。由于多相机系统多用于视觉定位、运动追踪等领域,考虑到系统的便捷性,实验采用2个工业相机。所用镜头分辨率为1920 pixel×1080 pixel, 焦距为3.6 mm,像元尺寸为3 μm×3 μm。实验所用精密二轴转台的两轴角位置精度均≤±1″,将相机系统固定在设计的机械件上,尽量保证各相机光心和转台回转中心在同一水平面上。棋盘格有效尺寸为50 cm×35 cm,棋盘格标定板的方格尺寸为5 cm×5 cm。

实验过程中,首先将相机系统固定在转台内框,将系统连接到计算机,接通电源,将转台转到初始位置,每隔3°转动一次,转台转动沿坐标轴Y、X方向进行,即先水平方向转动外框覆盖相机水平视场,然后垂直方向转动一次,再进行水平方向采图,如此反复转过每个相机视场,共转动4×4×2次。转动过程中,相应相机拍摄靶标,转过首个相机视场后进入下一个相机视场,直至转过所有相机视场,记录转台转动角度及初始位置,整个过程由程序控制自动完成,实验示意图如图3所示。

图 3. 多相机系统标定实验示意图。(a)转台标定实验;(b)大空间精密控制场标定实验

Fig. 3. Schematic of multi-camera system calibration experiment. (a) Turntable calibration experiment; (b) calibration experiment of precision control field in large space

下载图片查看所有图片

两相机内参分别由各自拍摄的16张图片求出,得到内参结果如表1所示,相应的重投影误差分布如图4所示。

表 1. 相机内参标定结果

Table 1. Calibration results of internal parameters of cameras

Parameter	Camera 1	Camera 2
f /mm	3.7665	3.8045
u₀ /pixel	923.5320	948.7576
v₀ /pixel	510.6671	519.3200
k₁	-0.4059	-0.4074
k₂	0.2369	0.2401
k₃	-0.0906	-0.0944
p₁	-2.8159×10^-4	0
p₂	-2.2624×10^-4	0
Average reprojection error /pixel	0.1700	0.1598

查看所有表

由图4可以发现,两相机各个点的重投影误差集中在0.2 pixel左右,由表1中的相机内参标定结果可以看出,两相机内参标定的平均重投影误差在0.17 pixel以内,结果具有较高的可信度。

为进一步验证精密二维角度基准下的多相机系统标定精度,利用大小为5 m×5 m×3 m、标定精度为0.1 mm的标有特征点的大空间高精密控制场对多相机系统进行外参标定, 此精密控制场已通过V-STARS测量系统精确标定^[20-24]。标定过程中,两个相机同时拍摄控制场内的标志点,基于PnP(perspective-n-point)算法的优化结果分别得到两个相机在控制场下的位姿,进而得到两个相机之间的相对位置关系,取多次优化结果的平均值作为外参终值。PnP算法测量问题是指通过已知控制点求解相机位姿,即相机内参已知,通过给定指定坐标系中任意n点的三维坐标及其对应的像面坐标,求解相机坐标系与给定坐标系外参^[25-26]。两种标定方法的相机外参结果如表2所示,表2中RT代表相机2到相机1的外参。

图 4. 相机内参重投影误差分布图。(a)相机1;(b)相机2

Fig. 4. Reprojection error distributions of internal parameters of cameras. (a) Camera 1; (b) camera 2

下载图片查看所有图片

表 2. 相机外参标定结果

Table 2. Calibration results of external parameters of cameras

RT (camera 2 to camera 1)	Control field	Turntable
α /(°)	-2.0212	-1.8867
β /(°)	30.7388	31.1378
γ /(°)	-1.9993	-1.8957
T_x /mm	-87.9472	-88.2148
T_y /mm	-0.5636	-0.3486
T_z /mm	-19.2366	-19.6598

查看所有表

将多相机系统固定在直线导轨上,直线导轨带动多相机系统移动,移动间隔为200 mm,共移动5次,计算多相机系统坐标系原点的位移误差,结果如表3所示。

表 3. 多相机系统定位精度

Table 3. Multi-camera system positioning accuracy

No.	Control field	Error 1 /mm	Turntable	Error 2 /mm
1	201.3303	1.3303	200.2301	0.2301
2	399.4483	-0.5517	400.6472	0.6472
3	600.5341	0.5341	599.3791	-0.6209
4	801.6092	1.6092	799.8802	-0.1198
5	1002.0324	2.0324	1000.9861	0.9861

查看所有表

表3所示为多相机系统的定位精度,控制场标定方法的定位误差在2.1 mm以内,提出的转台标定方法的定位误差在1 mm以内,精度为亚毫米量级,这表明提出的标定算法是可行的,具有较高精度,基本满足了多相机定位系统的精度要求,可应用于实际工作场合。

5 结论

针对视觉测量领域中无公共视场或公共视场较小的多相机定位系统标定困难、方法繁琐、精度较低等问题,提出了一种基于精密二维角度基准的无公共视场多相机定位系统内外参标定方法,引入精密二轴转台进行中转,将相机坐标系转化到转台坐标系下,建立了相机系统、转台、靶标、图像平面4个坐标系之间的关系,利用LM迭代算法同时得到相机内外参及相机之间的外参,对标定环境无特殊要求。主要对多相机定位系统的定位原理以及所提方法的内外参标定原理进行了阐述,并进行了实验验证,经所提标定算法标定后,多相机系统定位精度在1 mm以内,较基于PnP算法的控制场标定方法2.1 mm的定位精度提高了1个数量级。结果表明,所提多相机系统标定方法切实可行,基本满足了多相机系统标定的精度要求,实现了无公共视场多相机定位系统内外参一体标定,大大降低了标定工作量,该方法快捷高效,可操作性强,可用于视觉定位、大尺寸测量、三维重建等多个视觉定位测量领域。

参考文献

[1] 赵成运. 基于立体靶标的多摄像机标定方法研究[D]. 合肥: 合肥工业大学, 2016.

Zhao CY. Research on multi-cameras calibration method based on spherical targets[D]. Hefei: Hefei University of Technology, 2016.

[2] 杨帆, 刘巍, 张洋, 等. 结合四角共线约束的大视场双目相机标定方法[J]. 光学学报, 2016, 36(7): 0715001.

Yang F, Liu W, Zhang Y, et al. Binocular camera calibration method combined with the four collinear constraints[J]. Acta Optica Sinica, 2016, 36(7): 0715001.

[3] 李洪海, 王敬东. 摄像机标定技术研究[J]. 光学仪器, 2007, 29(4): 7-12.

Li H H, Wang J D. A research on camera calibration technique[J]. Optical Instruments, 2007, 29(4): 7-12.

[4] 杨博文, 张丽艳, 叶南, 等. 面向大视场视觉测量的摄像机标定技术[J]. 光学学报, 2012, 32(9): 0915001.

Yang B W, Zhang L Y, Ye N. Camera calibration technique of wide-area vision measurement[J]. Acta Optica Sinica, 2012, 32(9): 0915001.

[5] 李倩倩. 非量测数码相机标定技术的分析与研究[D]. 成都: 西南交通大学, 2016.

Li QQ. The Research on calibration of the non-metric digital camera[D]. Chengdu: Southwest Jiaotong University, 2016.

[6] Tsai R Y. An efficient and accurate camera calibration technique for 3D machine vision[J]. Proceedings of Computer Vision & Pattern Recognition, 1986: 364-374.

[7] Zhang Z Y. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

[8] 倪爱伟. 基于双目立体视觉的三维重建技术研究[D]. 南京: 南京航空航天大学, 2009.

Ni AW. Study on three dimension reconstruction technique based on stereo vision[D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2009.

[9] 王刚, 尚洋, 关棒磊, 等. 无重叠视场多相机组安装关系的灵活标定[J]. 中国激光, 2017, 44(6): 0604004.

Wang G, Shang Y, Guan B L, et al. Flexible calibration of setting relation of a multi-camera rig for non-overlapping views[J]. Chinese Journal of Lasers, 2017, 44(6): 0604004.

[10] 胡潇琨, 毕远伟. 一种无公共视场双摄像机位置关系的求取方法[J]. 烟台大学学报(自然科学与工程版), 2010, 23(2): 138-141.

Hu X K, Bi Y W. Stereo vision calibration method of no common view cameras[J]. Journal of Yantai University, 2010, 23(2): 138-141.

[11] 鲁亚楠, 万子敬, 王向军. 一种无公共视场相机位置关系的求解方法[J]. 应用光学, 2017, 38(3): 400-405.

Lu Y N, Wan Z J, Wang X J, et al. Solution to relative position of cameras without public FOV[J]. Journal of Applied Optics, 2017, 38(3): 400-405.

[12] 杨振先. 多摄像机标定技术研究及其应用[D]. 长沙: 湖南大学, 2011.

Yang ZX. Multi-camera calibration technique research and its application[D]. Changsha: Hunan University, 2011.

[13] 顾国华, 王佳节, 陈钱, 等. 二维旋转平台下的相机参数标定[J]. 光学精密工程, 2017, 25(7): 1890-1899.

Gu G H, Wang J J, Chen Q, et al. Camera parameter calibration based on two-dimensional rotating platform[J]. Optics & Precision Engineering, 2017, 25(7): 1890-1899.

[14] 姜广文, 晁志超, 伏思华, 等. 基于可控旋转的像机高精度标定技术[J]. 光学学报, 2010, 30(5): 1308-1314.

Jiang G W, Chao Z C, Fu S H, et al. High-accurate camera calibration technique based on controllable rotation[J]. Acta Optica Sinica, 2010, 30(5): 1308-1314.

[15] 高翔, 张涛, 刘毅, 等. 视觉SLAM十四讲:从理论到实践[M]. 北京: 电子工业出版社, 2017.

GaoX, ZhangT, LiuY, et al.Visual SLAM fourteen lectures: From theory to practice[M]. Beijing: Electronic Industry Press, 2017.

[16] 邾继贵, 于之靖. 视觉测量原理与方法[M]. 北京: 机械工业出版社, 2012.

Zhu JG, Yu ZJ. The principle of vision metrology[M]. Beijing: China Machine Press, 2012.

[17] 张敏, 金龙旭, 李国宁, 等. 基于直线特征的摄像机镜头畸变标定方法[J]. 光学学报, 2015, 35(6): 0615001.

Zhang M, Jin L X, Li G N, et al. Camera distortion calibration method based on straight line characteristics[J]. Acta Optica Sinica, 2015, 35(6): 0615001.

[18] 朱嘉, 李醒飞, 徐颖欣. 摄像机的一种主动视觉标定方法[J]. 光学学报, 2010, 30(5): 1297-1303.

Zhu J, Li X F, Xu Y X. Camera calibration technique based on active vision[J]. Acta Optica Sinica, 2010, 30(5): 1297-1303.

[19] Moré J J. The Levenberg-Marquardt algorithm: Implementation and theory[J]. Lecture Notesin Mathematics, 1977, 630: 105-116.

[20] 赵艳, 黄敏, 张强. V-STARS摄影测量系统及其在抛物面天线测量中的应用[J]. 河北工业大学学报, 2012, 41(3): 6-9.

Zhao Y, Huang M, Zhang Q. V-STARS based photogrametry system and its application in paraboloid antenna testing[J]. Journal of Hebei University of Technology, 2012, 41(3): 6-9.

[21] 李东明. V-STARS摄影测量系统的原理与应用[J]. 水利电力机械, 2006, 28(10): 26-27.

LI D M. The principle and application of V-STARS photographic surveying system[J]. Water Conservancy & Electric Power Machinery, 2006, 28(10): 26-27.

[22] 黄桂平, 钦桂勤, 卢成静. 数字近景摄影大尺寸三坐标测量系统V-STARS的测试与应用[J]. 宇航计测技术, 2009, 29(2): 5-9.

Huang G P, Qin G Q, Lu C J. Study on the key technologies of digital close range industrial photogrammetry and applications[J]. Journal of Astronautic Metrology and Measurement, 2009, 29(2): 5-9.

[23] 张曦, 程东勤, 李伟. 构建虚拟立体靶标的大视场高精度视觉标定[J]. 光学精密工程, 2017, 25(4): 891-899.

Zhang X, Cheng D Q, Li W. High precision calibration of vision measurement system in large FOV based on virtual 3D target[J]. Optics & Precision Engineering, 2017, 25(4): 891-899.

[24] 刘建伟, 梁晋, 梁新合, 等. 大尺寸工业视觉测量系统[J]. 光学精密工程, 2010, 18(1): 126-134.

Liu J W, Liang J, Liang X H, et al. Industrial vision measuring system for large dimension work-pieces[J]. Optics & Precision Engineering, 2010, 18(1): 126-134.

[25] Horaud R, Conio B, Leboulleux O. et al. An analytic solution for the perspective 4-point problem[J]. Computer Vision, Graphics, and Image Processing, 1989, 47(1): 33-44.

[26] Fischler M A, Bolles R C. Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography[J]. Readings in Computer Vision, 1987: 726-740.

徐秋宇, 杨凌辉, 牛志远, 刘博文, 张正吉, 邾继贵. 精密角度基准下的多相机定位系统高精度标定[J]. 光学学报, 2019, 39(1): 0115001. Qiuyu Xu, Linghui Yang, Zhiyuan Niu, Bowen Liu, Zhengji Zhang, Jigui Zhu. High-Accuracy Calibration of Multi-Camera Positioning System Based on Precision Angle Reference[J]. Acta Optica Sinica, 2019, 39(1): 0115001.

精密角度基准下的多相机定位系统高精度标定下载： 1557次

1 引言

2 多相机系统定位模型

图 1. 多相机系统投影映射模型

Fig. 1. Multi-camera system projection mapping model

3 多相机定位系统内外参标定原理

图 2. 基于二轴转台的多相机系统标定模型

Fig. 2. Multi-camera system calibration model based on two-axis turntable

4 实验验证

图 3. 多相机系统标定实验示意图。(a)转台标定实验;(b)大空间精密控制场标定实验

Fig. 3. Schematic of multi-camera system calibration experiment. (a) Turntable calibration experiment; (b) calibration experiment of precision control field in large space

表 1. 相机内参标定结果

Table 1. Calibration results of internal parameters of cameras

图 4. 相机内参重投影误差分布图。(a)相机1;(b)相机2

Fig. 4. Reprojection error distributions of internal parameters of cameras. (a) Camera 1; (b) camera 2

表 2. 相机外参标定结果

Table 2. Calibration results of external parameters of cameras

表 3. 多相机系统定位精度

Table 3. Multi-camera system positioning accuracy

5 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

精密角度基准下的多相机定位系统高精度标定 下载： 1557次

1 引言

2 多相机系统定位模型

图 1. 多相机系统投影映射模型

Fig. 1. Multi-camera system projection mapping model

3 多相机定位系统内外参标定原理

图 2. 基于二轴转台的多相机系统标定模型

Fig. 2. Multi-camera system calibration model based on two-axis turntable

4 实验验证

图 3. 多相机系统标定实验示意图。(a)转台标定实验;(b)大空间精密控制场标定实验

Fig. 3. Schematic of multi-camera system calibration experiment. (a) Turntable calibration experiment; (b) calibration experiment of precision control field in large space

表 1. 相机内参标定结果

Table 1. Calibration results of internal parameters of cameras

图 4. 相机内参重投影误差分布图。(a)相机1;(b)相机2

Fig. 4. Reprojection error distributions of internal parameters of cameras. (a) Camera 1; (b) camera 2

表 2. 相机外参标定结果

Table 2. Calibration results of external parameters of cameras

表 3. 多相机系统定位精度

Table 3. Multi-camera system positioning accuracy

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

精密角度基准下的多相机定位系统高精度标定下载： 1557次