基于归一化算法的一维标定物多相机标定

全燕鸣; 覃镇波; 李维诗; 张瑞

doi:doi:10.3788/AOS201939.0415001

光学学报, 2019, 39 (4): 0415001, 网络出版: 2019-05-10

基于归一化算法的一维标定物多相机标定下载： 1282次

Multi-Camera Calibration of One-Dimensional Calibration Objects Based on Normalization Algorithm

论文大纲

全燕鸣 ^1,*覃镇波 ^1,2李维诗 ²张瑞 ²

作者单位

¹ 华南理工大学机械与汽车工程学院, 广东广州 510640

² 合肥工业大学广东研究院智能检测团队, 广东佛山 528137

机器视觉一维标定物多相机标定归一化算法 machine vision one-dimensional calibration objects multi-camera calibration normalization algorithm

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

为了提高多相机一维标定的精度,提出了一种基于归一化算法的分层逐步标定法,由基本矩阵获得射影投影矩阵,进而转换成度量投影矩阵。对标定物图像特征点的坐标进行归一化预处理,以提高标定精度,同时又保持线性方法快速、易实现的优点。在所提标定方法中,一维标定物可自由运动,不受场地环境约束,使用灵活。通过仿真和真实实验,验证了归一化特征点坐标可以显著提高标定结果的精度和稳健性。

Abstract

In order to improve the accuracy of one-dimensional (1D) multi-camera calibration, a gradual calibration method based on the normalization algorithm is proposed, where the projective projection matrices are first obtained from the fundamental matrices and then transformed into the metric projection matrices. The coordinates of the image feature points of the calibration object are pre-processed by normalization, improving the accuracy of calibration and simultaneously maintaining the advantages of fast and easy implementation of the linear method. In the proposed calibration method, the 1D calibration objects can move freely without restriction of the site environment and are flexible to use as well. The simulation and real experiments demonstrate that the normalized feature point coordinates can substantially improve the accuracy and robustness of calibration results.

1 引言

多相机标定的目的是确定相机模型的内外参数,是视觉测量必不可少的步骤。通常,要完成相机标定需要一种几何信息已知的标定物。一维标定物是一种包含一组两点间距离已知的共线点的新型标定物,相对三维^[1-2]和二维^[3-4]标定物,具有结构简单、成本低和操作方便等优点。此外,一维标定物难以出现自遮挡,比三维、二维标定物更适合用于多相机标定。自标定仅依靠自然场景信息,难以获得稳健的特征,因此一维标定相对自标定^[5-6]精度更高。

为方便起见,称一维标定物为标定杆。Zhang^[7]提出了一种基于标定杆的相机内参标定方法,该方法要求标定杆的其中一端固定,另一端多次移动。Hammarstedt等^[8]指出某些特殊运动会使相机标定失败,即单相机一维标定有很大的限制。

付仲良等^[9]提出了基于像对基本矩阵的一维多相机标定法,该方法同时考虑了一阶径向畸变。de França等^[10]提出从射影投影矩阵到仿射投影矩阵再到度量投影矩阵的分层逐步标定法,该方法不需要标定杆做特殊运动,使用灵活。Summan等^[11]使用两个相互垂直的标定杆完成了大范围的多相机标定。

为了提高相机标定精度,Wang等^[12]提出用凸优化算法获得优化的内参。史坤峰等^[13]提出一种最优加权线性算法优化相机的内参。王亮等^[14]提出一种基于变量含异质噪声的模型优化线性解。以上三种算法虽然可以明显提高相机标定的精度,但是所使用的标定模型与文献[ 7]基本相同,只优化了部分中间变量,仍然需要标定杆做特殊运动。Halloran等^[15]采用文献[ 7]的方法标定相机内参,然后使用光束平差法和高斯置信传播获得多相机组的外参。

Hartley等^[16]指出采用归一化的特征点计算单应矩阵和基本矩阵可以大幅提高结果的精度和稳健性。在精确数据和无限精度的算术运算条件下,结果与归一化变换无关。但是,在有噪声存在时,所得的解将偏离其正确结果,而大条件数会放大这种偏离。归一化可以大幅降低条件数,从而缩小估计值与正确结果的偏离。本文在文献[ 10]的基础上应用归一化算法并优化基本矩阵以提高多相机标定精度。归一化处理先对特征点的图像坐标进行归一化、对特征点进行平移和放缩,然后标定多相机组,解除归一化即可完成相机标定。

2 多相机模型

在有K+1个相机的集合中,参考相机和其他相机分别组成双目视觉,因此共有K个双目视觉。参考相机记为“相机0”,因此某个相机被记为“相机k”,k=0,1,…,K,相机k的内参是A_k。点m的齐次坐标为 $\tilde{m}$ ,即 $\tilde{m}$ =[m^T 1]^T。根据针孔成像模型,空间点M_ij和其在相机k的图像坐标m_kij的关系如下:

\begin{array}{r} {\tilde{m}}_{kij} = & A_{k} [R_{k} | t_{k}] {\tilde{M}}_{ij} = [\begin{array}{l} α_{k} & s_{k} & u_{k} \\ 0 & β_{k} & v_{k} \\ 0 & 0 & 1 \end{array}] [R_{k} | t_{k}] {\tilde{M}}_{ij} = P_{k} {\tilde{M}}_{ij}, (1) \end{array}

式中:下标i代表标定杆的第i次位置;下标j代表标定杆上第j个标志;R_k为旋转矩阵,是相机k相对相机0的方向的3×3矩阵;t_k为平移向量,是相机k相对相机0的位置的3×1向量;α_k和β_k分别为图像u和v轴的放缩因子;s_k表示扭曲因子;(u_k,v_k)为主点坐标;P_k为相机k的投影矩阵,也称为度量投影矩阵。(1)式的示意图及空间点、图像点的说明如图1所示。

图 1. 针孔成像示意图

Fig. 1. Schematic of pinhole imaging

下载图片查看所有图片

3 多相机标定算法

3.1 归一化及解除归一化

在所有相机的公共视场内随意地移动标定杆N次,得到大量的标定杆的标志图像点,以下称为特征点。对特征点的坐标进行归一化处理,即建立新的图像坐标系。归一化处理包括平移和放缩两个步骤。通过平移使得坐标系原点在特征点集合的中心,通过放缩使得特征点到原点的平均距离为 $\sqrt[]{2}$ 。归一化的点 $\tilde{m}$ '_kij与原始的点 ${\tilde{m}}_{kij}$ 之间的关系为

\tilde{m}'_{kij} = T_{k} {\tilde{m}}_{kij} = [\begin{array}{l} d_{k} & 0 & - d_{k} u_{ck} \\ 0 & d_{k} & - d_{k} v_{ck} \\ 0 & 0 & 1 \end{array}] {\tilde{m}}_{kij}, (2)

式中:(u_ck,v_ck)为相机k采集的特征点集合的中心,记为m_ck;d_k为归一化处理的放缩因子。d_k与特征点坐标的关系为

d_{k} = \frac{\sqrt[]{2} Nn}{\overset{N}{\sum_{i = 1}} \overset{n}{\sum_{j = 1}} ‖ m_{kij} - m_{ck} ‖}, (3)

式中:n为标定杆上标志的数量;‖·‖表示2范数。

归一化特征点等价于用相机0'和相机k'代替原来的相机0和相机k,相机0'和相机k'的度量投影矩阵分别是P'₀和P'_k,由(2)式得P_k和P'_k满足

P'_{k} {\tilde{M}}_{ij} = T_{k} P_{k} {\tilde{M}}_{ij} 。 (4)

用归一化后的数据完成相机标定,即求出了P'_k,解除归一化即可完成标定。由(4)式知解除归一化如下:

P_{k} = T_{k}^{- 1} P'_{k} 。 (5)

3.2 射影投影矩阵

基于8点算法,由相机0'与相机k'采集到的特征点可得基本矩阵F_k的初值。M估计是对每组对应点的残差进行加权处理:

\sum_{i} \sum_{j} w_{ij} (\tilde{m}'_{kij} F_{k} \tilde{m}'_{0 ij})^{2} 。 (6)

M估计可减小噪声对基本矩阵精度的影响。因为 $\tilde{m}$ '_kijF_k $\tilde{m}$ '₀_ij没有几何意义,为了获得更好的效果,所以改为最小化Sampson残差^[17]:

\sum_{i} \sum_{j} w_{ij} r_{ij}^{2} = \sum_{i} \sum_{j} w_{ij} \frac{(\tilde{m} {'^{T}}_{kij} F_{k} \tilde{m}'_{0 ij})^{2}}{(F_{k} {\tilde{m}}_{0 ij})_{1}^{2} + (F_{k} {\tilde{m}}_{0 ij})_{2}^{2} + ({F^{T}}_{k} \tilde{m}'_{kij})_{1}^{2} + ({F^{T}}_{k} \tilde{m}'_{kij})_{2}^{2}}, (7)

式中:(F_k ${\tilde{m}}_{0 ij}$ )₁、(F_k ${\tilde{m}}_{0 ij}$ )₂表示向量F_k ${\tilde{m}}_{0 ij}$ 的第1、2个元素;( $F_{k}^{T} \tilde{m}$ '_kij)₁、( $F_{k}^{T} \tilde{m}$ '_kij)₂表示向量 $F_{k}^{T} \tilde{m}$ '_kij的第1、2个元素;r_ij为Sampson残差。选择Turkey权重函数,其表达为

w_{ij} = \{\begin{array}{l} {[1 - {(\frac{r_{ij}}{4.6851})}^{2}]}^{2} & | r_{ij} | \leq 4.6851 σ \\ 0 & otherwise \end{array}, (8)

式中:σ为标准差,可表示为

σ = 1.4826 (1 + \frac{5}{Nn - 7}) median | r_{ij} |, (9)

式中: median(·)为取中值函数。由于噪声的存在,基本矩阵的秩不为2。对极点的获取依赖于基本矩阵的秩为2这一性质。因此,奇异性约束可使基本矩阵的秩变为2。设新的基本矩阵为F'_k,则‖F'_k‖=0且Frobenius范数‖F'_k-F_k‖_F取最小值。令F_k=Udiag(r,s,t)V^T是F_k的奇异值分解,r≥s≥t,其中U为左奇异向量,V为右奇异向量,diag(r,s,0)为奇异值矩阵;令F'_k=Udiag(r,s,0)V^T。

当基本矩阵已知,可得^[16]

{\bar{P}}_{0} = [I | 0], {\bar{P}}_{k} = [H_{\infty k} | {\tilde{e}}_{k}], (10)

式中: ${\bar{P}}_{0}$ 和 ${\bar{P}}_{k}$ 分别为相机0'和相机k'的射影投影矩阵; ${\tilde{e}}_{k}$ 为相机k的对极点,F'_k $\tilde{e}$ '_k=0; $H_{\infty k}$ =[ $\tilde{e}$ '_k]_×F'_k;[v]_×为向量v=(v₁,v₂,v₃)^T的反对称矩阵,[v]_×v=0。

射影投影矩阵和度量投影矩阵之间相差一个射影变换,即

{\bar{P}}_{0} = P'_{0} H_{k}, {\bar{P}}_{k} = P'_{k} H_{k}, (11)

其中

H_{k} = μ_{k} [\begin{array}{l} A'_{0}^{- 1} & 0 \\ {w^{T}}_{k} & w_{k} \end{array}], (12)

式中:μ_k为非零常数;A'₀为相机0'的内参;W_k=( $w_{k}^{T}$ ,w_k)^T代表无穷远平面。

3.3 寻找无穷远平面

基于三角测量法,由 ${\bar{P}}_{0}$ 、 ${\bar{P}}_{k}$ 和对应点集合(m'₀_ij↔m'_kij)可得射影重建点 ${\tilde{\bar{M}}}_{kij}$ , ${\tilde{\bar{M}}}_{kij}$ 和 ${\tilde{M}}_{ij}$ 满足

{\tilde{M}}_{ij} = H_{k} {\tilde{\bar{M}}}_{kij} 。 (13)

由(12)、(13)式可得

M_{ij} = \frac{μ_{k}}{{\tilde{\bar{M}}}^{T}_{kij} W_{k}} A'_{0}^{- 1} {\bar{M}}_{kij} 。 (14)

标定杆上各点之间的关系满足

M_{ij} = λ_{1 j} M_{i 1} + λ_{nj} M_{in}, (15)

式中:λ₁_j和λ_nj为由标定杆长度决定的常数。由(14)、(15)式可得

\frac{1}{{\tilde{\bar{M}}}^{T}_{kij} W_{k}} {\bar{M}}_{kij} = \frac{λ_{1 j}}{{\tilde{\bar{M}}}^{T}_{kij} W_{k}} {\bar{M}}_{ki 1} + \frac{λ_{nj}}{{\tilde{\bar{M}}}^{T}_{kij} W_{k}} {\bar{M}}_{kin} 。 (16)

(16)式叉乘 ${\bar{M}}_{kij}$ ,可得

0 = \frac{λ_{1 j}}{{\tilde{\bar{M}}}^{T}_{kij} W_{k}} {\bar{M}}_{ki 1} \times {\bar{M}}_{kij} + \frac{λ_{nj}}{{\tilde{\bar{M}}}^{T}_{kij} W_{k}} {\bar{M}}_{kin} \times {\bar{M}}_{kij} 。 (17)

(17)式点乘 ${\bar{M}}_{kin}$ × ${\bar{M}}_{kij}$ ,并经变形可得

{u^{T}}_{kij} W_{k} = {[{\tilde{\bar{M}}}_{ki 1} + \frac{λ_{1 j} ({\bar{M}}_{ki 1} \times {\bar{M}}_{kij}) ({\bar{M}}_{kin} \times {\bar{M}}_{kij})}{λ_{nj} ({\bar{M}}_{kin} \times {\bar{M}}_{kij}) ({\bar{M}}_{kin} \times {\bar{M}}_{kij})}]}^{T} W_{k} = 0 。 (18)

3.4 度量投影矩阵

根据(1)式,仅考虑相机0',可得

M_{ij} = Z_{ij} A'_{0}^{- 1} \tilde{m}'_{0 ij}, (19)

式中:Z_ij为M_ij的z坐标。由(13)、(19)式可得

\frac{μ_{k}}{{\tilde{\bar{M}}}^{T}_{kij} W_{k}} A'_{0}^{- 1} {\bar{M}}_{kij} = Z_{ij} A'_{0}^{- 1} \tilde{m}'_{0 ij} 。 (20)

展开点 ${\bar{M}}_{kij}$ =( ${\bar{X}}_{kij}$ , ${\bar{Y}}_{kij}$ , ${\bar{Z}}_{kij}$ )^T和 $\tilde{m}$ '₀_ij= $(u'_{0 ij}, v'_{0 ij} {, 1)}^{T}$ 可得

\frac{μ_{k}}{{\tilde{\bar{M}}}^{T}_{kij} W_{k}} [\begin{array}{l} {\bar{X}}_{kij} \\ {\bar{Y}}_{kij} \\ {\bar{Z}}_{kij} \end{array}] = Z_{ij} [\begin{array}{l} u'_{0 ij} \\ v'_{0 ij} \\ 1 \end{array}] 。 (21)

由(21)式第3行可得

Z_{ij} = \frac{{\bar{Z}}_{kij}}{{\tilde{\bar{M}}}^{T}_{kij} W_{k}} μ_{k} = μ_{k} η_{kij} 。 (22)

由于标定杆的标志间距离是已知的,L为标定杆的长度,则有

\{\begin{array}{l} ‖ M_{ij} - M_{i 1} ‖ = λ_{nj} L \\ ‖ M_{ij} - M_{in} ‖ = λ_{1 j} L \end{array} 。 (23)

由(19)、(22)、(23)式可得

\{\begin{array}{l} ‖ μ_{k} A'_{0}^{- 1} (η_{kij} \tilde{m}'_{0 ij} - η_{ki 1} \tilde{m}'_{0 i 1}) ‖ = λ_{nj} L \\ ‖ μ_{k} A'_{0}^{- 1} (η_{kij} \tilde{m}'_{0 ij} - η_{kin} \tilde{m}'_{0 in}) ‖ = λ_{1 j} L \end{array} 。 (24)

(24)式等价于

\{\begin{array}{l} {g^{T}}_{kij} B_{k} g_{kij} = [\begin{array}{l} g_{1}^{2} & 2 g_{1} g_{2} & \begin{array}{l} 2 g_{1} g_{3} & g_{2}^{2} & 2 g_{2} g_{3} & g_{3}^{2} \end{array} \end{array}] b_{k} = {D^{T}}_{k} b_{k} = λ_{nj}^{2} L^{2} \\ {q^{T}}_{kij} B_{k} q_{kij} = [\begin{array}{l} q_{1}^{2} & 2 q_{1} g_{2} & \begin{array}{l} 2 q_{1} q_{3} & q_{2}^{2} & 2 q_{2} q_{3} & q_{3}^{2} \end{array} \end{array}] b_{k} = D {'^{T}}_{k} b_{k} = λ_{1 j}^{2} L^{2} \end{array}, (25)

式中:D_k=[ $g_{1}^{2}$ 2g₁g₂ 2g₁g₃ $g_{2}^{2}$ 2g₂g₃ $g_{3}^{2}$ ],g_kij=η_kij $\tilde{m}$ '₀_ij-η_ki₁ $\tilde{m}$ '₀_i₁;q_kij=η_kij $\tilde{m}$ '₀_ij-η_kin $\tilde{m}$ '₀_in;B_k= $μ_{k}^{2}$ A $'_{0}^{- T}$ A $'_{0}^{- 1}$ ,B_k为绝对二次曲线的像(IAC);b_k= $[b_{11} b_{12} b_{22} b_{13} b_{23} b_{33}]^{T}$ ,b_xy为B_k第x行、第y列元素;g_kij=[g₁ g₂ g₃]^T;q_kij=[q₁ q₂ q₃]^T。

求解(25)式可得B_k。对B_k进行Cholesky分解可得μ_kA $'_{0}^{- 1}$ ,A $'_{0}^{- 1}$ 的第3行、第3列为1,从而得到μ_k。此时,射影变换矩阵H_k已经确定,即相机0'和相机k'的度量投影矩阵已经确定。解除归一化即可知道相机0和相机k的度量投影矩阵。

因为条件数分析非常复杂,这里只给出简单的分析。假设存在一个典型的点 ${\tilde{m}}_{0 ij}$ =[100 100 1]^T,则g_kij有接近的数量级。因此,(25)式的向量D_k的各个元素的数量级为[10⁴ 10⁴ 10² 10⁴ 10² 1],矩阵G=[D_k D'_k]^T的行元素的数量级的比例与此相同。归一化后, $\tilde{m}$ '₀_ij=[1 1 1]^T,D_k的各个元素的数量级为[1 1 1 1 1 1]。矩阵G的行数一般超过6行,为简单起见,假设该矩阵只有6行。由条件数的定义可得

cond (G) = ‖ G ‖ \cdot ‖ G^{- 1} ‖, (26)

式中:cond(G)表示矩阵G的条件数。对比归一化前后G的各个元素的数量级,可知归一化处理可以大幅降低条件数。

3.5 光束平差法

第3.4节中得到的相机度量投影矩阵不是最优的,可以通过光束平差法优化相机度量投影矩阵。假设图像点的噪声符合高斯分布,光束平差法可以获得投影矩阵和空间点的最大似然估计。实现光束平差法需要最小化重投影误差。重投影误差可表示为

\min_{e' = P_{k}, M_{ij}} \overset{K}{\sum_{k = 0}} \overset{N}{\sum_{i = 1}} \overset{n}{\sum_{j = 1}} d (m_{kij}, P_{k} {[\begin{array}{l} {M^{T}}_{ij} & 1 \end{array}]}^{T})^{2} (27)

式中:d()为两个图像点之间的欧氏距离;m_kij为图像坐标测量值;P_k[ $\begin{array}{l} M_{ij}^{T} & 1 \end{array}$ ]^T为m_kij对应的图像坐标估计值。通过最小化测量值与估计值之间距离平方和可以获得更好的投影矩阵和空间点坐标。Ila等^[18]详细介绍了光束平差法,完成光束平差法需要以第3.1~3.4节介绍的线性解作为Levenberg-Marquardt (LM)迭代运算的初值。

4 结果与分析

分别采用仿真和实验测试所提方法。在仿真中,特征点分别添加不同水平的噪声,以检验所提方法的稳健性。在真实实验中,用所提方法、文献[ 10]的方法、Zhang提出的二维标定法标定相机,然后测量标称尺寸已知的物体,通过对比测量结果和标称尺寸,检验所提方法的精度。

4.1 仿真

在仿真中,采用3个相机,其内参如表1所示,扭曲因子均为0。

表 1. 三个仿真相机的内参

Table 1. Intrinsic parameters of three simulation cameras

Camera	α_k	β_k	u_k	v_k
0	765	762	385	293
1	763	768	410	305
2	760	755	403	307

查看所有表

所有相机的分辨率都是800 pixel×600 pixel,并且位于同一平面。相机1、相机2和相机0与X轴的角度分别是60°、-60°和0°,如图2所示。相机1、相机2到相机0的距离均是200 mm。标定杆长度是90 mm,其两段长度分别是60 mm和30 mm。在三个相机的公共视场内移动标定杆60次。图2中三角形表示相机,X_k和Z_k分别表示相机坐标系的X、Z轴,k=0, 1, 2。

对图像点添加均值为0、标准差为σ的高斯噪声。标定相机参数并将其与真值进行对比,计算相对误差。内参、平移向量的相对误差计算式为

e = |\frac{v_{m} - v_{r}}{v_{r}}| \times 100 %, (28)

式中:对于内参,v_m为测量值,v_r为真值; 对于平移

图 2. 仿真示意图

Fig. 2. Schematic of simulation

下载图片查看所有图片

向量,v_m=‖t_m‖为平移向量测量值的范数,v_r=‖t_r‖为平移向量真值的范数。旋转角相对误差计算式为

e = \max \{|\frac{ψ}{60 °}|, |\frac{θ}{60 °}|, |\frac{| φ | - 60 °}{60 °}|\}, (29)

式中:ψ、θ和φ分别为绕x、y、z轴的转角的测量值。

改变噪声水平σ,σ的变化范围为0.1~1 pixel,步长为0.1 pixel,在每个噪声水平,执行200次实验。图3显示了由原始数据和归一化数据所得的三个相机内参(不考虑扭曲因子)的相对误差。内参的误差随着噪声几乎是呈线性增长的,对数据进行归一化后,有效焦距的误差从0.9%下降到0.2%。主点两个坐标的误差也从1.2%和1.4%分别下降到0.3%和0.2%。

图 3. 由原始数据和归一化数据所得的内参。(a) αk的相对误差;(b) βk的相对误差;(c) uk的相对误差;(d) vk的相对误差

Fig. 3. Intrinsic parameters from original and normalized data. (a) Relative error of αk; (b) relative error of βk; (c) relative error of uk; (d) relative error of vk

下载图片查看所有图片

图4显示了其他相机相对参考相机的欧拉角误差和平移误差。外参的误差随着噪声几乎也是呈线性增长的。

图 4. 由原始数据和归一化数据所得的外参。(a)欧拉角最大的相对误差;(b)平移向量的相对误差

Fig. 4. Extrinsic parameters from original and normalized data. (a) Maximum relative error of Euler angle; (b) relative error of translation vector

下载图片查看所有图片

同时标定相机0和相机1,分别用原始和归一化的数据,得到(25)式的条件数如图5所示。条件数和噪声水平没有联系,归一化数据可以大幅度降低条件数,从而得到更好的结果。同时标定相机0和相机2时的条件数和上述的条件数区别非常小。

图 5. 归一化对条件数的影响

Fig. 5. Effect of normalization on condition number

下载图片查看所有图片

4.2 实验

K+1个相机可以分为K个双目系统,所以实验中只采用两个相机,其分辨率都是2048 pixel×2048 pixel。标定杆在相机前2.5~4.5 m的范围内移动93次,前73对图像用于相机标定,后20对图像用于测试标定。标定杆如图6所示,记4个标志分别为A、B、C和D。标定杆的AB、BC和CD的长度分别是159.6,319.1,479.5 mm。

图 6. 标定杆

Fig. 6. Calibration stick

下载图片查看所有图片

因为标定杆在图像中视野太小,为了减小提取特征的难度,在相机前安装红外滤镜并使用红外光源,左相机采集的第一张图像如图7(a)所示。采集标定板图像时不需要红外滤镜,标定板移动15次,左相机采集的第一张图像如图7(b)所示。

图 7. 相机组采集的图像。(a)标定杆;(b)标定板

Fig. 7. Images sampled by camera set. (a) Calibration stick; (b) calibration board

下载图片查看所有图片

用亚像素边缘提取算法处理前73对图像得到特征的边缘,用椭圆拟合算法拟合该边缘,以椭圆中心作为特征的中心。分别用所提方法、文献[ 10]方法和Zhang提出的二维标定法^[19]标定相机组。标定的相机参数及(25)式的条件数如表2所示。

完成相机标定后,用20对图像基于不同的三组相机参数测量标定杆的AB、BC和CD的长度。各段的平均长度与标称长度的差及标准差如表3所示。

表 2. 标定结果

Table 2. Results of calibration

Method	Camera	α_k	β_k	u_k	v_k	s_k	Condition number
Proposed method	Left	4880.35	4833.77	1018.66	1009.89	-2.11	4.71×10⁷
	Right	4868.55	4823.98	1023.67	1001.17	2.00
Method in Ref. [10]	Left	4591.12	4675.97	801.73	1194.25	7.18	2.93×10¹⁹
	Right	4565.62	4658.49	979.90	1185.77	2.72
Two-dimensional (2D) method	Left	4640.62	4643.98	984.20	1003.20	0
	Right	4628.86	4630.32	977.77	1042.68	0

查看所有表

表 3. 长度测量结果

Table 3. Results of length measurement

Method	Difference /mm			Standard deviation /mm
Method	AB	BC	CD	AB	BC	CD
Proposed method	0.19		-0.10		-0.02		0.40	0.72	0.53
Method in Ref. [10]	0.24		0.22		0.19		1.08	2.62	5.33
2D method	0.21		0.03		-0.18		0.66	1.10	1.33

查看所有表

采用不同的方法标定相机,然后测量长度已知的物体。所提方法测出的长度更接近标称长度,而且被测物在不同的位置时,所提方法测量的长度差异更小。

5 结论

采用一种简单的归一化方法预处理图像特征点可以显著地提高相机精度。相机标定过程中采用了逐步标定法,首先获得相机的射影投影矩阵,通过寻找无穷远平面和IAC,从而恢复度量投影矩阵。使用归一化的特征点使得求解IAC的方程组的条件数大幅度减少,从而得到更准确的IAC。标定的最后一步是将相机内外参数的线性解作为初值,以光束平差法优化这些参数。通过采用原始的数据和归一化的数据分别进行仿真和真实实验,从实验结果可以看到,归一化算法在相机一维标定中是有效的。

参考文献

[1] Liu T S, Burner A W, Jones T W, et al. Photogrammetric techniques for aerospace applications[J]. Progress in Aerospace Sciences, 2012, 54(10): 1-58.

Liu T S, Burner A W, Jones T W, et al. Photogrammetric techniques for aerospace applications[J]. Progress in Aerospace Sciences, 2012, 54(10): 1-58.

[2] Tsai R. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J]. IEEE Journal on Robotics and Automation, 1987, 3(4): 323-344.

Tsai R. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J]. IEEE Journal on Robotics and Automation, 1987, 3(4): 323-344.

[3] Markov B N, Khokholikov A A, Konov S G. Search for optimal disposition of markers in space in calibration of the camera of a photogrammatic measurement system[J]. Measurement Techniques, 2017, 59(12): 1260-1265.

Markov B N, Khokholikov A A, Konov S G. Search for optimal disposition of markers in space in calibration of the camera of a photogrammatic measurement system[J]. Measurement Techniques, 2017, 59(12): 1260-1265.

[4] 杨东升, 毕树生, 蔡月日, 等. 基于平行面多靶标标定的单目大视场平面测量[J]. 光学学报, 2017, 37(10): 101500.

杨东升, 毕树生, 蔡月日, 等. 基于平行面多靶标标定的单目大视场平面测量[J]. 光学学报, 2017, 37(10): 101500.

Yang D S, Bi S S, Cai Y R, et al. Wide-area monocular plane measurement based on calibration on a parallel plane using multiple targets[J]. Acta Optica Sinica, 2017, 37(10): 101500.

[5] 蔡鸣, 孙秀霞, 刘树光, 等. 基于消隐点无穷单应的摄像机焦距精确自标定方法[J]. 光学学报, 2014, 34(5): 0515003.

蔡鸣, 孙秀霞, 刘树光, 等. 基于消隐点无穷单应的摄像机焦距精确自标定方法[J]. 光学学报, 2014, 34(5): 0515003.

Cai M, Sun X X, Liu S G, et al. An accurate and real-time focal-length self-calibration method based on infinite homography between vanish points[J]. Acta Optica Sinica, 2014, 34(5): 0515003.

[6] 霍炬, 杨卫, 杨明. 基于消隐点几何特性的摄像机自标定方法[J]. 光学学报, 2010, 30(2): 465-472.

霍炬, 杨卫, 杨明. 基于消隐点几何特性的摄像机自标定方法[J]. 光学学报, 2010, 30(2): 465-472.

Huo J, Yang W, Yang M. A self-calibration technique based on the geometry property of the vanish point[J]. Acta Optica Sinica, 2010, 30(2): 465-472.

[7] Zhang Z Y. Camera calibration with one-dimensional objects[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(7): 892-899.

Zhang Z Y. Camera calibration with one-dimensional objects[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(7): 892-899.

[8] HammarstedtP, SturmP, HeydenA. Degenerate cases and closed-form solutions for camera calibration with one-dimensional objects[C]. IEEE International Conference on Computer Vision, 2005: 317- 324.

HammarstedtP, SturmP, HeydenA. Degenerate cases and closed-form solutions for camera calibration with one-dimensional objects[C]. IEEE International Conference on Computer Vision, 2005: 317- 324.

[9] 付仲良, 周凡, 谢艳芳, 等. 基于像对基础矩阵的多像一维标定方法[J]. 光学学报, 2013, 33(6): 0615003.

付仲良, 周凡, 谢艳芳, 等. 基于像对基础矩阵的多像一维标定方法[J]. 光学学报, 2013, 33(6): 0615003.

Fu Z L, Zhou F, Xie Y F, et al. One-dimensional multi-camera calibration based on fundamental matrix[J]. Acta Optica Sinica, 2013, 33(6): 0615003.

[10] de França J A, Stemmer M R, et al. . A new robust algorithmic for multi-camera calibration with a 1D object under general motions without prior knowledge of any camera intrinsic parameter[J]. Pattern Recognition, 2012, 45(10): 3636-3647.

de França J A, Stemmer M R, et al. . A new robust algorithmic for multi-camera calibration with a 1D object under general motions without prior knowledge of any camera intrinsic parameter[J]. Pattern Recognition, 2012, 45(10): 3636-3647.

[11] Summan R, Pierce S G. MacLeod C N, et al. Spatial calibration of large volume photogrammetry based metrology systems[J]. Measurement, 2015, 68: 189-200.

Summan R, Pierce S G. MacLeod C N, et al. Spatial calibration of large volume photogrammetry based metrology systems[J]. Measurement, 2015, 68: 189-200.

[12] Wang L, Wang W W, Shen C, et al. A convex relaxation optimization algorithm for multi-camera calibration with 1D objects[J]. Neurocomputing, 2016, 215: 82-89.

Wang L, Wang W W, Shen C, et al. A convex relaxation optimization algorithm for multi-camera calibration with 1D objects[J]. Neurocomputing, 2016, 215: 82-89.

[13] 史坤峰, 吴福朝. 相机一维标定的最优加权线性算法[J]. 计算机辅助设计与图形学学报, 2014, 26(8): 1251-1257.

史坤峰, 吴福朝. 相机一维标定的最优加权线性算法[J]. 计算机辅助设计与图形学学报, 2014, 26(8): 1251-1257.

Shi K F, Wu F C. Optimally weighted linear algorithm for camera calibration with 1D objects[J]. Journal of Computer-Aided Design & Computer Graphics, 2014, 26(8): 1251-1257.

[14] 王亮, 段福庆, 吕科. 基于HEIV模型的摄像机一维标定[J]. 自动化学报, 2014, 40(4): 643-652.

王亮, 段福庆, 吕科. 基于HEIV模型的摄像机一维标定[J]. 自动化学报, 2014, 40(4): 643-652.

Wang L, Duan F Q, Lü K. Camera calibration with one-dimensional objects based on the heteroscedastic error-in-variables model[J]. Acta Automatica Sinica, 2014, 40(4): 643-652.

[15] HalloranB, PremaratneP, VialP, et al.Distributed one dimensional calibration and localisation of a camera sensor network[M]. Cham: Springer International Publishing, 2017: 581- 593.

HalloranB, PremaratneP, VialP, et al.Distributed one dimensional calibration and localisation of a camera sensor network[M]. Cham: Springer International Publishing, 2017: 581- 593.

[16] HartleyR, ZissermanA. Three-view geometry[M]. Cambridge: Cambridge University Press, 2000: 363- 364.

HartleyR, ZissermanA. Three-view geometry[M]. Cambridge: Cambridge University Press, 2000: 363- 364.

[17] Zheng YQ, SugimotoS, OkutomiM. A branch and contract algorithm for globally optimal fundamental matrix estimation[C]//IEEE Conference on Computer Vision and Pattern Recognition, June 20-25, 2011, Colorado Springs, CO, USA, 2000: 2953- 2960.

Zheng YQ, SugimotoS, OkutomiM. A branch and contract algorithm for globally optimal fundamental matrix estimation[C]//IEEE Conference on Computer Vision and Pattern Recognition, June 20-25, 2011, Colorado Springs, CO, USA, 2000: 2953- 2960.

[18] IlaV, PolokL, SolonyM, et al. Fast incremental bundle adjustment with covariance recovery[C]. International Conference on 3D Vision, 2017: 175- 184.

IlaV, PolokL, SolonyM, et al. Fast incremental bundle adjustment with covariance recovery[C]. International Conference on 3D Vision, 2017: 175- 184.

[19] Zhang Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

Zhang Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

全燕鸣, 覃镇波, 李维诗, 张瑞. 基于归一化算法的一维标定物多相机标定[J]. 光学学报, 2019, 39(4): 0415001. Yanming Quan, Zhenbo Qin, Weishi Li, Rui Zhang. Multi-Camera Calibration of One-Dimensional Calibration Objects Based on Normalization Algorithm[J]. Acta Optica Sinica, 2019, 39(4): 0415001.

基于归一化算法的一维标定物多相机标定下载： 1282次

1 引言

2 多相机模型

图 1. 针孔成像示意图

Fig. 1. Schematic of pinhole imaging

3 多相机标定算法

3.1 归一化及解除归一化

3.2 射影投影矩阵

3.3 寻找无穷远平面

3.4 度量投影矩阵

3.5 光束平差法

4 结果与分析

4.1 仿真

表 1. 三个仿真相机的内参

Table 1. Intrinsic parameters of three simulation cameras

图 2. 仿真示意图

Fig. 2. Schematic of simulation

图 3. 由原始数据和归一化数据所得的内参。(a) αk的相对误差;(b) βk的相对误差;(c) uk的相对误差;(d) vk的相对误差

Fig. 3. Intrinsic parameters from original and normalized data. (a) Relative error of αk; (b) relative error of βk; (c) relative error of uk; (d) relative error of vk

图 4. 由原始数据和归一化数据所得的外参。(a)欧拉角最大的相对误差;(b)平移向量的相对误差

Fig. 4. Extrinsic parameters from original and normalized data. (a) Maximum relative error of Euler angle; (b) relative error of translation vector

图 5. 归一化对条件数的影响

Fig. 5. Effect of normalization on condition number

4.2 实验

图 6. 标定杆

Fig. 6. Calibration stick

图 7. 相机组采集的图像。(a)标定杆;(b)标定板

Fig. 7. Images sampled by camera set. (a) Calibration stick; (b) calibration board

表 2. 标定结果

Table 2. Results of calibration

表 3. 长度测量结果

Table 3. Results of length measurement

5 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于归一化算法的一维标定物多相机标定 下载： 1282次

1 引言

2 多相机模型

图 1. 针孔成像示意图

Fig. 1. Schematic of pinhole imaging

3 多相机标定算法

3.1 归一化及解除归一化

3.2 射影投影矩阵

3.3 寻找无穷远平面

3.4 度量投影矩阵

3.5 光束平差法

4 结果与分析

4.1 仿真

表 1. 三个仿真相机的内参

Table 1. Intrinsic parameters of three simulation cameras

图 2. 仿真示意图

Fig. 2. Schematic of simulation

图 3. 由原始数据和归一化数据所得的内参。(a) αk的相对误差;(b) βk的相对误差;(c) uk的相对误差;(d) vk的相对误差

Fig. 3. Intrinsic parameters from original and normalized data. (a) Relative error of αk; (b) relative error of βk; (c) relative error of uk; (d) relative error of vk

图 4. 由原始数据和归一化数据所得的外参。(a)欧拉角最大的相对误差;(b)平移向量的相对误差

Fig. 4. Extrinsic parameters from original and normalized data. (a) Maximum relative error of Euler angle; (b) relative error of translation vector

图 5. 归一化对条件数的影响

Fig. 5. Effect of normalization on condition number

4.2 实验

图 6. 标定杆

Fig. 6. Calibration stick

图 7. 相机组采集的图像。(a)标定杆;(b)标定板

Fig. 7. Images sampled by camera set. (a) Calibration stick; (b) calibration board

表 2. 标定结果

Table 2. Results of calibration

表 3. 长度测量结果

Table 3. Results of length measurement

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于归一化算法的一维标定物多相机标定下载： 1282次