准确标定摄像机的混合粒子群优化方法

雷阳; 张宏立; 王聪

doi:doi:10.3788/LOP56.211506

激光与光电子学进展, 2019, 56 (21): 211506, 网络出版: 2019-11-02

准确标定摄像机的混合粒子群优化方法下载： 930次

Hybrid Particle-Swarm-Optimization Method for Accurately Calibrating Cameras

论文大纲

雷阳张宏立 ^*王聪

作者单位

新疆大学电气工程学院, 新疆乌鲁木齐 830047

机器视觉混合粒子群优化算法摄像机标定摄像机内外参数 machine vision hybrid particle swarm optimization algorithm camera calibration camera internal and external parameters

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

摄像机标定在机器视觉系统研究中占据十分重要的部分,为更好更快地标定摄像机,提出一种基于混合粒子群算法的摄像机参数优化方法。用最小二乘法求出摄像机的内外参数,并以此作为待优化参数的初始值;然后以最小距离准则建立目标函数,再利用混合粒子群算法对摄像机参数进一步优化计算,最终获得误差小的摄像机参数。实验结果表明混合粒子群优化算法能够快速、高精度地收敛,可在一定程度上提高摄像机的标定精度。

Abstract

Camera calibration is a very important part in machine-vision-system research. To calibrate a camera better and faster, we propose a camera-parameter-optimization method based on hybrid particle-swarm optimization. First, we obtain the internal and external parameters of the camera by the least-squares method and use them as the initial values of the parameters to be optimized. Then, we establish the objective function using the minimum-distance criterion. Next, we use a hybrid particle-swarm optimization algorithm to further optimize the camera parameters, and finally we obtain the camera parameters with only small errors. Our experimental results show that the optimization algorithm can converge quickly and accurately. Therefore, this method is able to improve camera-calibration accuracy of the camera to some extent.

1 引言

摄像机标定即求解出摄像机成像模型的内外参数以及畸变系数,广泛应用在视觉计算、三维重建^[1]、目标识别等计算机视觉问题中,其标定的精度对实际工程的可实现性产生了重要影响。目前,人们提出了许多摄像机标定方法,包括传统标定方法和自标定方法,这两种方法都有局限性,需要进一步改进。

传统标定方法具有精度高的优点,但标定的过程繁琐复杂,且需要高精度的已知结构信息。Tsai^[2]的两步标定法和Zhang^[3]的平面标定法,使传统标定法得到了一定的简化,但仍然存在对标定设备的精度要求高,无法普遍应用等缺点,针对这些问题,学者们在此两种方法^[2-3]的基础上提出许多改进的方法。Zhang等^[4]提出的摄像机线性标定方法,计算速度快,但标定精度不高。黄海贇等^[5]提出的基于遗传算法的优化方案,虽然简化了标定过程,但在控制点的数量较少时无法保证准确度。解则晓等^[6]提出的线结构光传感器内外参数同时标定的方法,标定过程操作简单,但对设备要求较高。柳升龙等^[7]的标定方法操作简便且不依赖高精度合作标志,但精度依然不高。于瑾等^[8]提出一种基于相位标靶的标定方法,该方法标定步骤简单且收敛速度快,但灵活性不高。卢津等^[9]提出的基于新型正交消隐点的摄像机标定方法,收敛速度快且精度高,但标定过程繁琐。孙聪等^[10]提出的基于广义成像模型的Scheimpflug摄像机标定方法,精度高、过程可靠,但依旧具有传统标定法标定过程复杂的缺点。

而摄像机自标定法由于不需要借助任何特殊的标定物,因此具有灵活性,但它缺乏传统方法的精度和稳健性。针对这些不足,Li等^[11]提出结合遗传算法和粒子群优化(PSO)算法的自标定算法,标定精度很高,但却没有考虑摄像机产生的畸变。徐嵩等^[12]提出一种新的摄像机自标定几何方法,对图像噪声不敏感,提高了标定精度和效率,但也仅考虑摄像机的内外参数。洪洋等^[13]基于正交消隐点提出的摄像机内参数的自标定方法,标定结果精度高、实时性强,但同样没有考虑摄像机的畸变。自标定法由于只利用了摄像机内部参数自身存在的约束,而不考虑场景和摄像机运动,这就使得自标定方法只能应用在精度要求不高的场合。

近年来,有学者将粒子群算法应用在传统摄像机标定法研究方面^[14-18],用粒子群及其改进算法对摄像机参数进行优化,得到了精确的摄像机参数,但其收敛速度和精度仍然有待提高。从学者们的研究中不难发现,未来的研究将集中在智能算法的开发上,以使摄像机标定适应多样化的现实应用要求。本文应用一种混合粒子群优化(HPSO)算法对摄像机的参数进行优化,得到了很好的效果。

2 摄像机模型和参数

摄像机模型是对从场景物体成像到成像平面的物理过程的数学描述,可以看作针孔模型。单目摄像机是日常生活中最简单的成像系统,图1为一个在计算机视觉领域经常被引用的单目摄像机模型和4个坐标系。

图 1. 单目摄像机模型(针孔摄像机模型)

Fig. 1. Monocular camera model (pinhole camera model)

下载图片查看所有图片

1)世界坐标系(O_w-X_wY_wZ_w):一个正交的3D参考坐标系,以真实世界的某一物体作为参考物。

2)摄像机坐标系(O_c-X_cY_cZ_c):一个垂直于像平面3D正交的坐标系,它的原点与摄像机的光心重合,Z_c轴与摄像机的光轴重合。

3)数字图像坐标系(o-uv):原点位于图像平面左上角,以像素为单位,对于图像,u是行数,v是列数。

4)摄像机物理坐标系(o-xy):由于数字图像坐标系(o-uv)只表示像素位于数组中的列数和行数,并没有表示出该像素在图像中的具体位置,所以需要建立一个以物理单位表示的图像物理坐标系,即摄像机物理坐标系。该坐标系是一个2D正交的坐标系,它的原点是光轴与图像平面的交点,x轴和y轴分别与X_c轴和Y_c轴平行。

5)鉴于针孔摄像机模型(理想成像模型)没有考虑畸变,从世界坐标系下的坐标转换到摄像机物理坐标系下的坐标可表示为

\begin{matrix} \frac{Z_{c}}{f} [\begin{matrix} x \\ y \\ f \end{matrix}] = [\begin{matrix} X_{c} \\ Y_{c} \\ Z_{c} \end{matrix}] = R [\begin{matrix} X_{w} \\ Y_{w} \\ Z_{w} \end{matrix}] + T, (1) \end{matrix}

式中:R为旋转矩阵;T为平移矢量;f为针孔的焦距;Z_c不为0。

对于空间中任意一点P,由(1)式可进一步得到

\begin{matrix} Z_{c} [\begin{matrix} u \\ v \\ 1 \end{matrix}] = [\begin{matrix} \frac{f}{d_{x}} & γ & u_{0} \\ 0 & \frac{f}{d_{y}} & v_{0} \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} R & T \end{matrix}] [\begin{matrix} X_{w} \\ Y_{w} \\ Z_{w} \\ 1 \end{matrix}] = [\begin{matrix} α & γ & u_{0} \\ 0 & β & v_{0} \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} R & T \end{matrix}] [\begin{matrix} X_{w} \\ Y_{w} \\ Z_{w} \\ 1 \end{matrix}] = K [\begin{matrix} R & T \end{matrix}] [\begin{matrix} X_{w} \\ Y_{w} \\ Z_{w} \\ 1 \end{matrix}], (2) \end{matrix}

式中:K为内参数矩阵,只与摄像机的内部结构有关; $\begin{matrix} [\begin{matrix} R & T \end{matrix}] \end{matrix}$ 为由摄像机相对于世界坐标系的方位决定的外参数矩阵;d_x为每一个像素在x轴方向上的物理尺寸;d_y为每一个像素在y轴方向上的物理尺寸;u₀、v₀、γ、α、β为摄像机的内部参数。

在现实生活中,由于生产制造工艺不完善,导致摄像机的构造、安装及制造等因素会造成参数误差,导致摄像机存在非线性畸变,使得针孔模型不能准确地描述最终的成像关系。所以,为使摄像机标定的结果更加准确,非线性畸变不能忽略,摄像机的畸变主要分为径向畸变、偏心畸变及薄棱镜畸变3种类型^[19-20]。设(x',y')为(x,y)的估计值,则可以得到图像平面上坐标的正确表达式为

\begin{matrix} \{\begin{matrix} x' = x + δ'_{x} = x + k_{1} x (x^{2} + y^{2}) + l_{1} (3 x^{2} + y^{2}) + 2 l_{2} xy + s_{1} (x^{2} + y^{2}) \\ y' = y + δ'_{y} = y + k_{1} y (x^{2} + y^{2}) + l_{2} (x^{2} + 3 y^{2}) + 2 l_{1} xy + s_{2} (x^{2} + y^{2}) \end{matrix}, (3) \end{matrix}

式中:δ'_x和δ'_y为关于(x',y')的畸变误差;k₁为径向畸变系数;l₁、l₂为偏心畸变系数;s₁、s₂为薄棱镜畸变系数。在实际成像过程中,考虑到摄像机的物理结构特性会造成很多种畸变,其中径向畸变对成像效果影响最大,为主要的畸变,本文忽略掉其他两种畸变,只研究径向畸变。则有

\begin{matrix} \{\begin{matrix} x' = x + δ'_{x} = x + x [k_{1} (x^{2} + y^{2}) + k_{2} (x^{2} + y^{2})^{2}] \\ y' = y + δ'_{y} = y + [k_{1} (x^{2} + y^{2}) + k_{2} (x^{2} + y^{2})^{2}] \end{matrix}, (4) \end{matrix}

式中:k₂为径向畸变系数。

可将摄像机标定归结为一个问题,在给定足够数量的控制点P_m及其在世界坐标系下的坐标(x_wm,y_wm,z_wm)和相对应的数字图像坐标(u_m,v_m)的情况下,估计出摄像机的内部参数(α,β,γ,u₀,v₀)、外部参数(R,T)及畸变参数(k₁,k₂)。

3 基于最小二乘法的初始值估计

3.1 摄像机内外参数的估计

令标定图片位于世界坐标系中Z=0的平面,则摄像机理想成像模型为

\begin{matrix} \begin{matrix} s [\begin{matrix} u \\ v \\ 1 \end{matrix}] = K [\begin{matrix} R & T \end{matrix}] [\begin{matrix} X_{w} \\ Y_{w} \\ 0 \\ 1 \end{matrix}] = K [\begin{matrix} r_{1} & r_{2} & r_{3} & T \end{matrix}] \cdot \\ [\begin{matrix} X_{w} \\ Y_{w} \\ 0 \\ 1 \end{matrix}] = K [\begin{matrix} r_{1} & r_{2} & T \end{matrix}] [\begin{matrix} X_{w} \\ Y_{w} \\ 1 \end{matrix}], (5) \end{matrix} \end{matrix}

式中:s为一个任意非零常数;R为摄像机坐标系向世界坐标系转换的旋转矩阵,r₁为旋转矩阵的第一列,r₂为旋转矩阵的第二列,r₃为旋转矩阵的第三列。

根据平面间的单应性,有

\begin{matrix} s [\begin{matrix} u \\ v \\ 1 \end{matrix}] = H [\begin{matrix} X_{w} \\ Y_{w} \\ 1 \end{matrix}], (6) \end{matrix}

式中:H为单应矩阵。

由(5)~(6)式可得,单应矩阵H和摄像机参数矩阵(包含内参和外参)相等,即

\begin{matrix} H = [\begin{matrix} h_{1} & h_{2} & h_{3} \end{matrix}] = λK [\begin{matrix} r_{1} & r_{2} & T \end{matrix}], (7) \end{matrix}

式中: $\begin{matrix} \begin{matrix} h_{1}, & h_{2}, & h_{3} \end{matrix} \end{matrix}$ 分别为单应性矩阵的第一列,第二列,第三列;λ为单应性矩阵的比例系数。

将(7)式写成向量形式,表示为

\begin{matrix} \{\begin{matrix} r_{1} = λ K^{- 1} h_{1} \\ r_{2} = λ K^{- 1} h_{2} \\ T = λ K^{- 1} h_{3} \end{matrix} 。 (8) \end{matrix}

又由于旋转矩阵R是正交矩阵,对于任意一幅标定图像,由正交矩阵的性质可得

\begin{matrix} \{\begin{matrix} {r^{T}}_{1} r_{2} = {h^{T}}_{1} K^{- T} K^{- 1} h_{2} = 0 \\ ‖ r_{1} ‖=‖ r_{2} ‖= {h^{T}}_{1} K^{- T} K^{- 1} h_{1} = {h^{T}}_{2} K^{- T} K^{- 1} h_{2} = 1 \end{matrix} 。 (9) \end{matrix}

同样地,对于任意一幅标定图像,可以得到关于内部参数的两个方程式,令

\begin{matrix} B = K^{- T} K^{- 1} [\begin{matrix} B_{11} & B_{12} & B_{13} \\ B_{21} & B_{22} & B_{23} \\ B_{31} & B_{23} & B_{33} \end{matrix}] = [\begin{matrix} \frac{1}{α^{2}} & - \frac{γ}{α^{2} β} & \frac{v_{0} λ - u_{0} β}{α^{2} β} \\ - \frac{γ}{α^{2} β} & \frac{γ^{2}}{α^{2} β} + \frac{1}{β^{2}} & - \frac{γ (γ v_{0} - u_{0} β)}{α^{2} β} - \frac{v_{0}}{β^{2}} \\ \frac{v_{0} λ - u_{0} β}{α^{2} β} & - \frac{γ (γ v_{0} - u_{0} β)}{α^{2} β} - \frac{v_{0}}{β^{2}} & \frac{(γ v_{0} - u_{0} {β)}^{2}}{α^{2} β^{2}} + \frac{v_{0}}{β^{2}} + 1 \end{matrix}], (10) \end{matrix}

式中:B是一个对称矩阵,它实际上只有6个未知量。将6个未知量组织成一个矢量的形式,即

\begin{matrix} b = {[\begin{matrix} B_{11} & B_{12} & B_{22} & B_{13} & B_{23} & B_{33} \end{matrix}]}^{T} 。 (11) \end{matrix}

利用最小二乘法可求解出b,从而获得矩阵B。根据(10)式可求得摄像机的内部参数为

\begin{matrix} \{\begin{matrix} u_{0} = \frac{γ v_{0}}{β} - \frac{B_{13} α^{2}}{λ} \\ v_{0} = \frac{B_{12} B_{13} - B_{11} B_{23}}{B_{11} B_{22} - B_{12}^{2}} \\ α = \sqrt[]{\frac{λ}{B_{11}}} \\ β = \sqrt[]{\frac{λ B_{11}}{B_{11} B_{22} - B_{12}^{2}}} \\ γ = \frac{- B_{12} α^{2} β}{λ} \\ λ = B_{33} - \frac{B_{13}^{2} + v_{0} (B_{12} B_{13} - B_{11} B_{23})}{B_{11}} \end{matrix} 。 (12) \end{matrix}

再根据单应性矩阵H和内参数矩阵K,可得到不同视点的外部参数为

\begin{matrix} \{\begin{matrix} r_{1} = λ K^{- 1} h_{1} \\ r_{2} = λ K^{- 1} h_{2} \\ r_{3} = r_{1} \times r_{2} \\ T = λ K^{- 1} h_{3} \\ λ = \frac{1}{‖ K^{- 1} h_{1} ‖} = \frac{1}{‖ K^{- 1} h_{2} ‖} \end{matrix} 。 (13) \end{matrix}

3.2 摄像机畸变参数估计

由于偏心畸变和薄棱镜畸变对于日常使用的短焦距镜头成像效果几乎没有影响,于是,本文仅研究对成像效果影响较大的径向畸变,由(4)式和(5)式可得

\begin{matrix} [\begin{matrix} (u - u_{0}) (x^{2} + y^{2}) & (u - u_{0}) (x^{2} + y^{2})^{2} \\ (v - v_{0}) (x^{2} + y^{2}) & (v - v_{0}) (x^{2} + y^{2})^{2} \end{matrix}] \cdot [\begin{matrix} k_{1} \\ k_{2} \end{matrix}] = [\begin{matrix} u' - u \\ v' - v \end{matrix}], (14) \end{matrix}

式中:u'和v'为数字图像坐标的u和v的估计值。

将(14)式写成矩阵Dk=b的形式,其中k= $\begin{matrix} {[\begin{matrix} k_{1} & k_{2} \end{matrix}]}^{T} \end{matrix}$ ,则根据最小二乘法可得

\begin{matrix} k = (D^{T} {D)}^{- 1} D^{T} b 。 (15) \end{matrix}

由于干扰噪声的存在,所求的摄像机内外参数及畸变系数均不满足要求,需要采用以最小距离准则来优化求解,因此应用混合粒子群算法对摄像机的参数进行优化。

4 基于混合粒子群算法的摄像机参数优化

4.1 粒子群算法

PSO算法,首先由Kennedy等^[21]于1995年提出并应用于函数优化。它是一种相对较新的基于种群的求解数值优化问题的搜索技术,有着十分优秀的全局优化能力。在搜索过程中,粒子或群体成员在多维搜索空间中以一定的速度飞行,寻找潜在的解,通过比较个体经验和整个群体所反映的经验对速度和位置进行调整。如在一个S维的搜索空间中,存在一个由N个粒子构成的群体,则有

\begin{matrix} \{\begin{matrix} x_{i} = [x_{i 1}, x_{i 2}, \dots, x_{iS}] \\ v_{i} = [v_{i 1}, v_{i 2}, \dots, v_{iS}] \end{matrix}, (16) \end{matrix}

式中:x_i和v_i分别为第i个粒子的当前位置和飞行速度。为使粒子到达理想的位置,粒子会根据该粒子的历史优位置p_i和整个粒子群的优位置p_g来更新速度和位置。粒子群的算法公式为:

\begin{matrix} \{\begin{matrix} v_{i} (t + 1) = w v_{i} (t) + \\ c_{1} r_{1} [p_{i} - x_{i} (t)] + c_{2} r_{2} [p_{g} - x_{i} (t)] \\ x_{i} (t + 1) = x_{i} (t) + v_{i} (t + 1) \end{matrix}, (17) \end{matrix}

式中: $\begin{matrix} |x_{i}| \end{matrix}$ ∈[x_min,x_max],其中x_min和x_max分别为粒子寻优范围的下限与上限; $\begin{matrix} |v_{i}| \end{matrix}$ ∈[v_min,v_max],其中v_min和v_max分别为粒子飞行的最小速度和最大速度;c₁和c₂为学习因子;r₁和r₂为(0,1)之间的随机数;w为对搜索影响较大的惯性权重系数。惯性权重系数较小则有利于局部搜索,太小则容易陷入局部最优;惯性权重系数应适当取大才有利于全局搜索寻优。

4.2 混合粒子群算法原理

PSO算法结构简单,仅依靠粒子速度完成搜索,搜索速度非常快,调整的参数少,具有工程上易于实现的优点。但PSO缺乏速度的动态调节,易得到局部极值,从而导致精度低或不易收敛等问题。而模拟退火(SA)算法由于在搜索过程中概率地接受差的解,在搜索过程中能够有效地跳出局部最优值。同时,该概率由温度参数控制,并且随温度的降低而逐渐减小,使得SA算法在退火过程中能够很好地找到准确的解。

本文将SA思想与PSO算法结合得到HPSO算法,HPSO算法具有更好更快的全局搜索能力。在搜索的初始阶段,由于PSO算法具有较大的惯性权重系数w,SA算法具有较高的温度,这使得HPSO算法具有较强的全局搜索能力,能对种群进行“快速全局地搜索”,快速接近最优解附近。随着搜索继续进行,HPSO算法将随着PSO算法的惯性权重系数和SA算法的温度降低而逐渐变为局部搜索,首先锁定在最优解区域附近,然后再进行“仔细地搜索”。用PSO使算法中的各个粒子快速地向全局最优位置p_g聚集,而SA通过赋予搜索过程一种时变和最终趋于零的概率突跳性,使得种群概率性地接受差的解,避免了HPSO算法的早熟和陷入局部极优。所以,HPSO相比于单一的SA或PSO更具有较强的全局和局部搜索能力。HPSO算法的寻优过程为

1) 种群初始化:生成N个粒子的位置和速度,设置粒子各维度的边界,即设定粒子速度的上限和下限。将初始标定值设定在一个初始值上下浮动的优化区间,这样是为减少计算时间和避免出现粒子运动范围过大而导致算法无法收敛。

2) 计算每个粒子的适应度值,保存每个粒子的当前位置与适应度值在各微粒的p_i中,找到粒子当前适应度最优个体p_best,在所有p_best中找出适应度值最优个体的位置及适应度值,并将它们存储在p_g中。

3) 按经验确定初始温度为t₀=F(p_g)/ln 5,根据(18)式确定当前温度下各p_i的值为

\begin{matrix} T_{H} (p_{i}) = \frac{\exp {[- F (p_{i}) - F (p_{g})] / t}}{\overset{N}{\sum_{i = 1}} \exp {[- F (p_{i}) - F (p_{g})] / t}}, (18) \end{matrix}

式中:F(·)为各微粒的适应度值;t为当下各微粒的温度;T_H(·)为当前温度下各p_i的适配值。

4) 采用轮盘赌策略概率性地从所有p_i中确定全局较好的替代值p'_g。

5) 更新种群:根据

\begin{matrix} \{\begin{matrix} v_{i, j} (t + 1) = φ {v_{i, j} (t) + c_{1} r_{1} [p_{i, j} - x_{i, j} (t)] + c_{2} r_{2} [p'_{g, j} - x_{i, j} (t)]} \\ x_{i, j} (t + 1) = x_{i, j} (t) + v_{i, j} (t + 1) \end{matrix} (19) \end{matrix}

更新每个粒子的速度和位置。其中,φ= $\begin{matrix} \frac{2}{|2 - C - \sqrt[]{C^{2} - 4 C}|} \end{matrix}$ ,C=c₁+c₂,x为当前微粒的位置,下标i,j分别为第i个粒子的第j次迭代。

6) 进行退温操作,迭代公式为t_k₊₁=ξt_k,其中,t_k为第k次迭代后的温度,ξ为退火常数。

7) 更新种群最优结果:根据新一代种群的适应度值,更新种群的个体最优和全局最优。

8) 确定终止条件是否满足:如果达到最大迭代次数,则循环终止,输出结果,否则转到3)继续以上步骤,直到满足条件为止。

5 测试结果与分析

为验证本文算法的应用性能,本研究对摄像机的内外参数和畸变系数都进行了优化。假设有n个平面模板图像,每个模板图像都有m个角点,每个点大小相等,位于相同的噪声环境中。建立目标函数为

\begin{matrix} \overset{=}{f_{obj}}, (20) \end{matrix}

式中:p_hs是由世界坐标通过摄像机成像模型(2)式得到的理想坐标,表示第h张图片的第s个角点,用(u_hs,v_hs)表示;p'_hs为角点检测得到的实际像素坐标,其坐标用(u'_hs,v'_hs)表示。将两者坐标的像素距离作为目标函数,它的大小直接反映了标定结果的精度,该函数值越小,说明标定的精度越高。为获得像素与实际像素的距离,将目标函数作为适应度评价标准,计算得到初始化种群的个体极值和全局极值。适应度函数表示为

\begin{matrix} F_{fitness} = \min \frac{1}{m} \overset{m}{\sum_{h = 1}} \sqrt[]{(u_{h} - u'_{h})^{2} + (v_{h} - v'_{h})^{2}} 。 (21) \end{matrix}

本文对摄像机的内外参数及径向畸变系数进行优化。生成40个粒子的位置和速度,设置粒子各维度的边界,即设定粒子速度的上限和下限。将初始标定值设定在一个初始值上下浮动的优化区间,具体参数优化的范围如下:α、β、γ、u₀、v₀的初始值基础上下浮动100,R、T的初始值上下浮动50,k₁、k₂的初始值基础上下浮动20。这样既减少计算时间,又可以避免出现粒子运动范围过大而导致算法无法收敛。

为得到更精确的结果,摄像机标定实验采用Camera Calibration Toolbox所提供的案例标定板,规格为6张13×14黑白棋盘标定板,每格的尺寸为 30 mm×30 mm。如图2所示,通过MATLAB编程对不同图像的角点坐标进行提取,每张图片提取156个坐标,然后根据最小二乘法估计出摄像机的内外参数,并以此为初值,最后利用HPSO算法对相机参数进行优化。设置粒子数量N=40,学习因子c₁=c₂=2.05,退火常数ξ=0.5,迭代次数为400次。

图 2. 棋盘格标定板

Fig. 2. Checker board calibration boards

下载图片查看所有图片

从图3和表1可以得到,HPSO算法能够快速、准确地找到所需的摄像机参数,能够更准确地标定摄像机。表1为标定摄像机参数的结果,图3为使用HPSO算法得到摄像机参数的适应度曲线。

表 1. 摄像机标定参数优化结果

Table 1. Optimization results of camera calibration parameters

Parameter	α	β	u₀	v₀	γ	k₁	k₂
Initial value of parameter	663.0130	676.3462	324.8492	255.2341	-8.9706	0.0723	-0.9763
Zhang's method	657.3730	657.8142	301.7822	244.0511	0.5281	-0.2577	0.1344
PSO	669.4958	684.3106	319.3003	251.9557	-3.7394	-0.1439	-1.1690
GA	658.9559	659.4016	302.7685	245.10329	0.64935	-0.2501	0.1043
HPSO	657.2879	658.2075	304.1057	246.8869	0.1760	-0.2476	0.1053

查看所有表

图 3. 使用HPSO得到的适应度曲线

Fig. 3. Fitness curve obtained by HPSO

下载图片查看所有图片

使用重投影误差来评判标定的精度。重投影误差为实际像素坐标与期望像素坐标的偏差,可以很好地体现标定值的精确度。在实验过程中,(u'_h,v'_h)为实际检测到的角点像素坐标,(u_h,v_h)为通过摄像机成像模型计算得到的对应角点坐标的估计值,定义X轴方向的重投影误差为u'_h-u_h,Y轴方向的重投影误差为v'_h-v_h,每张图片的平均重投影误差为

\begin{matrix} e_{rr} = \frac{\overset{N'}{\sum_{h = 1}} \overset{M'}{\sum_{s = 1}} |m'_{h s} - m_{h s}|}{N' \times M'}, (22) \end{matrix}

式中:m_hs为由世界坐标通过摄像机成像模型投影得到的理想坐标;m'_hs为角点检测得到的实际像素坐标;M'和N'分别为标定图像角点的行数和列数。

图 4. 使用HPSO得到的重投影误差。(a)标定图片的重投影误差;(b)标定图片的平均重投影误差

Fig. 4. Reprojection error obtained by HPSO.(a)Reprojection error of calibration image; (b)average projection error of calibration image

下载图片查看所有图片

图 5. 使用张正友标定法得到的重投影误差。(a)标定图片的重投影误差;(b)标定图片的平均重投影误差

Fig. 5. Reprojection error obtained by Zhang's calibration method. (a)Reprojection error of calibration image; (b)average projection error of calibration image

下载图片查看所有图片

图 6. 使用GA得到的重投影误差。(a)标定图片的重投影误差;(b)标定图片的平均重投影误差

Fig. 6. Reprojection error obtained by GA.(a)Reprojection error of calibration image;(b)average reprojection error of calibration image

下载图片查看所有图片

图 7. 平均重投影误差对比图

Fig. 7. Comparison of mean reprojection error

下载图片查看所有图片

现分别用HPSO算法、GA算法和张正友标定法对6张标定图片的重投影误差进行比较,每张标定图片有156个角点。结果如图4~7所示,相比于张正友标定法和GA算法,使用HPSO法得到的重投影误差更小。

6 结论

研究一种可用于摄像机精确标定的优化方法,在摄像机标定参数的过程中,结合工程实际,建立考虑摄像机畸变效应的非线性关系模型,将模拟退火算法思想结合粒子群优化算法应用于摄像机标定,此法提高了标定的精度。在求解最优参数时,先用最小二乘法得到摄像机参数,再将粒子的搜索空间界定在一定的范围内,用HPSO对参数进行非线性优化,最终获得重投影误差最小的摄像机参数。同时本文还将HPSO算法的标定效果与已有的同类标定算法的标定效果进行对比,结果表明HPSO算法具有更高的标定精度和有效性。

参考文献

[1] 马颂德, 张正友. 计算机视觉: 计算理论与算法基础[M]. 北京: 科学出版社, 1998: 52- 53.

Ma SD, Zhang ZY. Computer vision: computational theory and algorithmic basis[M]. Beijing: Science Press, 1998: 52- 53.

[2] Tsai R Y. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J]. IEEE Journal on Robotics and Automation, 1987, 3(4): 323-344.

[3] Zhang Z Y. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

[4] Zhang Z, Zhao R J, Liu E H, et al. A single-image linear calibration method for camera[J]. Measurement, 2018, 130: 298-305.

[5] 黄海贇, 戚飞虎. 一种精确标定摄像机的遗传算法方案[J]. 红外与毫米波学报, 2000, 19(1): 1-6.

Huang H Y, Qi F H. A genetic algorithm approach to accurate calibration of camera[J]. Journal of Infrared and Millimeter Waves, 2000, 19(1): 1-6.

[6] 解则晓, 张安祺. 超大尺度线结构光传感器内外参数同时标定[J]. 光学学报, 2018, 38(3): 0315001.

Xie Z X, Zhang A Q. Simultaneous calibration of the intrinsic and extrinsic parameters of ultra-large-scale line structured-light sensor[J]. Acta Optica Sinica, 2018, 38(3): 0315001.

[7] 柳升龙, 孙聪, 刘海波, 等. 一种新的移轴相机两步标定方法[J]. 中国科学, 2018, 48(8): 836-844.

Liu S L, Sun C, Liu H B, et al. A new two-step method for tilt/shift camera self-calibration[J]. Scientia Sinica Technologica, 2018, 48(8): 836-844.

[8] 于瑾, 陈超, 高楠, 等. 基于相位标靶的相机标定[J]. 激光与光电子学进展, 2018, 55(11): 111203.

Yu J, Chen C, Gao N, et al. Camera calibration based on phase target[J]. Laser & Optoelectronics Progress, 2018, 55(11): 111203.

[9] 卢津, 孙惠斌, 常智勇. 新型正交消隐点的摄像机标定方法[J]. 中国激光, 2014, 41(2): 0208001.

Lu J, Sun H B, Chang Z Y. A novel method for camera calibration with orthogonal vanishing points[J]. Chinese Journal of Lasers, 2014, 41(2): 0208001.

[10] 孙聪, 刘海波, 陈圣义, 等. 基于广义成像模型的Scheimpflug相机标定方法[J]. 光学学报, 2018, 38(8): 0815009.

Sun C, Liu H B, Chen S Y, et al. A general imaging model based method for Scheimpflug camera calibration[J]. Acta Optica Sinica, 2018, 38(8): 0815009.

[11] LiJ, Yang YM, Fu GP. Camera self-calibration method based on GA-PSO algorithm[C]∥2011 IEEE International Conference on Cloud Computing and Intelligence Systems, September 15-17, 2011, Beijing, China. New York: IEEE, 2011: 149- 152.

[12] 徐嵩, 孙秀霞, 刘希, 等. 基于矩形的摄像机自标定几何方法[J]. 光学学报, 2014, 34(11): 1115002.

Xu S, Sun X X, Liu X, et al. Geometry method of camera self-calibration based on a rectangle[J]. Acta Optica Sinica, 2014, 34(11): 1115002.

[13] 洪洋, 孙秀霞, 蔡鸣, 等. 基于正交消隐点无穷单应的摄像机内参数自标定方法[J]. 中国激光, 2015, 42(12): 1208001.

Hong Y, Sun X X, Cai M, et al. An intrinsic parameters self-calibration technique based on infinite homography between orthogonal vanishing points[J]. Chinese Journal of Lasers, 2015, 42(12): 1208001.

[14] 王道累, 胡松. 基于量子粒子群优化算法的摄像机标定优化方法[J]. 激光与光电子学进展, 2018, 55(12): 121502.

Wang D L, Hu S. Optimization method of camera calibration based on quantum-behaved particle swarm optimization algorithm[J]. Laser & Optoelectronics Progress, 2018, 55(12): 121502.

[15] 陈甦欣, 张晓峰. 基于改进粒子群算法的相机标定优化[J/OL]. 中国科技论文在线, ( 2018-04-06)[2019-03-10]. http:∥www.paper.edu.cn/releasepaper/content/201804-74.

Chen SX, Zhang X F. Optimization of camera calibration based on improve particle algorithm[J/OL]. Sciencepaper Online, ( 2018-04-06)[2019-03-10]. http:∥www.paper.edu.cn/releasepaper/content/201804-74.

[16] 郭彤颖, 李宁宁, 刘雍. 基于粒子群算法的摄像机内参数优化方法[J]. 激光与光电子学进展, 2017, 54(11): 111504.

Guo T Y, Li N N, Liu Y. Optimization of camera internal parameters based on particle swarm algorithm[J]. Laser & Optoelectronics Progress, 2017, 54(11): 111504.

[17] 黄伟光, 董安国. 基于粒子群算法的摄像机自标定[J]. 计算机应用与软件, 2015, 32(5): 216-219, 233.

Huang W G, Dong A G. Camera self-calibration based on particle swarm optimisation[J]. Computer Applications and Software, 2015, 32(5): 216-219, 233.

[18] 江祥奎, 范永青, 王婉. 基于粒子群遗传算法的BP神经网络摄像机标定[J]. 计算机科学与探索, 2014, 8(10): 1254-1262.

Jiang X K, Fan Y Q, Wang W. BP neural network camera calibration based on particle swarm optimization genetic algorithm[J]. Journal of Frontiers of Computer Science & Technology, 2014, 8(10): 1254-1262.

[19] Chatterjee C, Roychowdhury V P. Chong E K P. A nonlinear Gauss-Seidel algorithm for noncoplanar and coplanar camera calibration with convergence analysis[J]. Computer Vision and Image Understanding, 1997, 67(1): 58-80.

[20] Weng J, Cohen P, Herniou M. Camera calibration with distortion models and accuracy evaluation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992, 14(10): 965-980.

[21] KennedyJ, EberhartR. Particle swarm optimization[C]∥Proceedings of the IEEE International Conference on Neural Networks, November 27-December 1, 1995, The University of Western Australia, Perth, Western Australia. New York: IEEE, 1995: 1941- 1948.

雷阳, 张宏立, 王聪. 准确标定摄像机的混合粒子群优化方法[J]. 激光与光电子学进展, 2019, 56(21): 211506. Yang Lei, Hongli Zhang, Cong Wang. Hybrid Particle-Swarm-Optimization Method for Accurately Calibrating Cameras[J]. Laser & Optoelectronics Progress, 2019, 56(21): 211506.

准确标定摄像机的混合粒子群优化方法下载： 930次

1 引言

2 摄像机模型和参数

图 1. 单目摄像机模型(针孔摄像机模型)

Fig. 1. Monocular camera model (pinhole camera model)

3 基于最小二乘法的初始值估计

3.1 摄像机内外参数的估计

3.2 摄像机畸变参数估计

4 基于混合粒子群算法的摄像机参数优化

4.1 粒子群算法

4.2 混合粒子群算法原理

5 测试结果与分析

图 2. 棋盘格标定板

Fig. 2. Checker board calibration boards

表 1. 摄像机标定参数优化结果

Table 1. Optimization results of camera calibration parameters

图 3. 使用HPSO得到的适应度曲线

Fig. 3. Fitness curve obtained by HPSO

图 4. 使用HPSO得到的重投影误差。(a)标定图片的重投影误差;(b)标定图片的平均重投影误差

Fig. 4. Reprojection error obtained by HPSO.(a)Reprojection error of calibration image; (b)average projection error of calibration image

图 5. 使用张正友标定法得到的重投影误差。(a)标定图片的重投影误差;(b)标定图片的平均重投影误差

Fig. 5. Reprojection error obtained by Zhang's calibration method. (a)Reprojection error of calibration image; (b)average projection error of calibration image

图 6. 使用GA得到的重投影误差。(a)标定图片的重投影误差;(b)标定图片的平均重投影误差

Fig. 6. Reprojection error obtained by GA.(a)Reprojection error of calibration image;(b)average reprojection error of calibration image

图 7. 平均重投影误差对比图

Fig. 7. Comparison of mean reprojection error

6 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

准确标定摄像机的混合粒子群优化方法 下载： 930次

1 引言

2 摄像机模型和参数

图 1. 单目摄像机模型(针孔摄像机模型)

Fig. 1. Monocular camera model (pinhole camera model)

3 基于最小二乘法的初始值估计

3.1 摄像机内外参数的估计

3.2 摄像机畸变参数估计

4 基于混合粒子群算法的摄像机参数优化

4.1 粒子群算法

4.2 混合粒子群算法原理

5 测试结果与分析

图 2. 棋盘格标定板

Fig. 2. Checker board calibration boards

表 1. 摄像机标定参数优化结果

Table 1. Optimization results of camera calibration parameters

图 3. 使用HPSO得到的适应度曲线

Fig. 3. Fitness curve obtained by HPSO

图 4. 使用HPSO得到的重投影误差。(a)标定图片的重投影误差;(b)标定图片的平均重投影误差

Fig. 4. Reprojection error obtained by HPSO.(a)Reprojection error of calibration image; (b)average projection error of calibration image

图 5. 使用张正友标定法得到的重投影误差。(a)标定图片的重投影误差;(b)标定图片的平均重投影误差

Fig. 5. Reprojection error obtained by Zhang's calibration method. (a)Reprojection error of calibration image; (b)average projection error of calibration image

图 6. 使用GA得到的重投影误差。(a)标定图片的重投影误差;(b)标定图片的平均重投影误差

Fig. 6. Reprojection error obtained by GA.(a)Reprojection error of calibration image;(b)average reprojection error of calibration image

图 7. 平均重投影误差对比图

Fig. 7. Comparison of mean reprojection error

6 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

准确标定摄像机的混合粒子群优化方法下载： 930次