基于球体及平面模型的双Kinect空间位置的标定方法

欧攀; 周锴; 吴帅

doi:doi:10.3788/LOP55.042802

激光与光电子学进展, 2018, 55 (4): 042802, 网络出版: 2018-09-11

基于球体及平面模型的双Kinect空间位置的标定方法下载： 1435次

Dual-Kinect Spatial Position Calibration Method Based on Sphere and Plane Model

论文大纲

欧攀 ^*周锴吴帅

作者单位

北京航空航天大学仪器科学与光电工程学院, 北京 100191

测量标定随机采样一致性算法深度传感器点云 measurement calibration random sample consensus algorithm depth sensor point cloud

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

针对双Kinect扫描大型物体过程中双Kinect外参标定问题,利用改进的随机采样一致性方法提取了点云球体及平面模型的关键参数,分析了不同Kinect坐标系下的球心坐标及平面法向量间的关系,提出了一种基于球体及平面模型的双Kinect空间位置的标定方法,实现了视角位移变化较大的平移旋转矩阵的标定。相对于利用传统迭代最近点(ICP)算法及改进的ICP算法标定两个Kinect外参的方法,所提方法的速度、精度均有较大幅度提高。最后,利用实际模型的配准结果验证了所提方法的可行性,所提方法为视角位移变化较大的双Kinect外参的标定提供了一种快捷、准确的标定方案。

Abstract

In order to solve the dual-Kinect external parameters calibration problem in scanning large object with dual-Kinect, we use an improved random sample consensus (RANSAC) method to extract the key parameters of sphere and plane model of the point cloud. The relationship between sphere center coordinate and normal vector of plane in different Kinect coordinate systems is analyzed. A new calibration method of dual-Kinect spatial position based on sphere and plane model is proposed. The calibration of the rotation translation matrix with large change in view and position movement is realized. Compared with the traditional iterative closest point (ICP) algorithm and improved ICP algorithm to calibrate dual-Kinect external parameters, the proposed method is faster and more accurate. Finally, the feasibility of this calibration method is verified by the actual model registration results. The proposed method provides a quick and accurate calibration scheme for dual-Kinect external parameters calibration with large change in view and position movement.

1 引言

随着计算机图形学以及3D技术的发展,3D电影、虚拟现实(VR)游戏以及逆向工程都对3D建模提出了更高要求。除了价格昂贵的高精度3D扫描仪,微软公司推出的RGB-Depth深度视频摄像机Kinect也在近年崭露头角,这款设备可以基于获取的深度图像形成3D点云数据,从而为3D模型的建立提供了一种崭新的方式^[1]。利用单个Kinect进行3D模型重建时,帧间的移动距离较小,可利用迭代最近点(ICP)算法及其改进算法^[2]逐步进行点云配准。但在大场景下采用双Kinect同步移动扫描大型物体时,Kinect间的距离及角度变化较大,捕捉到的多帧点云模型的非重叠区域也较大。这种情况下直接利用ICP算法进行配准会导致无法快速选定好的配准初值^[3],同时也容易造成ICP算法收敛于局部最小以及配准速度缓慢的问题。此时,可以先标定双Kinect的外参,将两个Kinect统一到一个坐标系后再进行点云配准。

目前,在双Kinect间的旋转平移矩阵标定方面,传统的方法是在红外光源下利用张正友标定法^[4]标定两个深度摄像头,先得到其内参,进而估计其外参,并将其视为Kinect间的位置关系,文献[ 5]就基于此方法将两个深度摄像头间的位置变换关系视为点云间的位置变换关系,这种方法非常依赖于红外光源以及靶标,同时忽略了不同Kinect从深度图转化成点云的差别。利用点云信息进行标定时,更多的研究者利用ICP配准算法直接将建模物体作为模型,提取配准时的位姿变换矩阵作为Kinect间的位置变换关系,如文献[ 6],此方案要求Kinect间的距离很近,否则会没有较好的配准初值用来迭代,结果会进入局部收敛。文献[ 7]通过引入自适应阈值对传统ICP方法进行了改进,改善了有大量非重合区域的点云的配准,主要用于解决几何匹配问题,但不能利用扫描设备获取颜色信息,故而算法的复杂度很高,针对20000个点的点云配准标定时间已将近20 s。本文通过简化配准模型,利用模型表面的颜色及几何信息,提取直观、准确的点云位姿变换参数,摆脱了红外光源及ICP算法的限制^[8],实现了双Kinect便捷准确的位姿标定。

2 标定原理

2.1 实验设备

实验用深度传感器为XBOX360 Kinect 1.0,其有效探测距离为0.8~3.5 m,水平有效视场角为58°,垂直有效视场角为45°,含彩色RGB传感器与红外深度传感器,传感器的分辨率为640 pixel×480 pixel。深度传感器利用光编码技术对目标的空间深度信息进行计算。该技术通过红外传感器结合红外光源获取深度信息,在传感器的有效距离内,每隔一段距离取参考平面,记录下参考平面上红外光源产生的衍射散斑图案,当光源在待测物体上产生衍射图样后,将该图像与几百张参考图像作运算得到一系列的相关度图像。依据相关图像中的峰值得到测量图像的深度信息,这也就是其获得模型3D点云的原理^[9-10]。

2.2 标定原理

提出了一种利用3D点云进行双Kinect间的空间位置关系标定方法。首先利用3个互不平行的空间平面及1个球体形成标定模型,2个Kinect从不同角度进行拍摄形成点云(此时输出的点云坐标系为2个Kinect的自身坐标系),如图1所示。

图 1. 两视角下的标定模型及参数简图。(a)视角1;(b)视角2

Fig. 1. Diagrams of two-view calibration model and parameters. (a) View 1; (b) view 2

下载图片查看所有图片

在图1中,n_x、n_y、n_z分别为3个平面的法向量,P(x,y,z)为球心坐标。由于仅需要平面法向量及球心参数,所以此标定模型对3个平面间的夹角以及距离均无特别要求,只要Kinect均能拍摄到即可。

获取两个视角的点云后,分别进行关键参数的提取,利用每个视角下的点云模型可以获取一组关键参数:3个互不平行的平面法向量及一个球心坐标。再使用四元数方法进行解算,已知法向量集合P、Q,最小化目标函数为min[f(R)]=min $\begin{matrix} (\overset{N}{\sum_{i = 1}} ‖ Q_{i} - R P_{i} ‖_{2}^{2}) \end{matrix}$ (其中P_i为视角1平面法向量,Q_i为视角2平面法向量,R为两个坐标系间的旋转矩阵),以两组平面法向量作为输入参数,解算出两个坐标系间的旋转矩阵R,然后利用R对坐标系1下的点云模型提取的球心坐标P₁进行旋转变换后得到P'₁,进而计算平移矢量T=P₂-P'₁,得到两个坐标系之间的平移向量,此时即可获取完整的外参标定结果R、T,具体计算方法将在2.3~2.4节中详细论述。

2.3 关键参数的提取

Kinect最初采集的点云数据为无序的点云数据,而且它们的密度不均匀,故建立3D k-d Tree^[11]以方便查找点的近邻及索引,然后根据3σ原则除去平均距离方差在全局平均距离与方差之外的点^[12],对每个视角的10帧3D点云数据进行融合,填补由噪声造成的孔洞^[13]。本研究基于平面模型的颜色确定3个平面颜色的RGB范围,并结合点集法向量分布逐个分离平面。

在法向量提取方面,本研究采用随即采样一致性(RANSAC)^[14]方法,并针对实验情况进行了改进,引入余弦抖动值的概念:利用不同的邻域范围计算法向量,获得不同邻域范围内的法向量后,计算每组每个点的法向量与这一组迭代获取的最终法向量N的夹角平均值,用余弦和的均值表示,此参数越大说明这个邻域参数的法向量抖动越小,选取几组法向量中抖动最小的一组的迭代结束法向量,作为最终的平面法向量。对每个平面都如此操作以获得最终的平面法向量,此做法大大提高了法向量获取的精确程度,增强了法向量的代表性。

算法如表1所示,NR为计算法向量邻域范围,p_i为平面上的点,E_T为预设迭代终止值,e_i为法向量模型误差,E_j为第j次迭代总误差,T为预先设定阈值,IT为当前迭代次数,R_E为期望误差率,IPN_j为第j次迭代平面内点的个数,TPN_j为第j次迭代的总点数,Model_j为第j次迭代获得的平面模型,n_i为点对应法向量。随机一部分点作为暂时平面TempPlane,点数为Nums,拟合平面法向量为N_TempPlane,计算剩余点法向量与N_TempPlane的偏差,使用预先设定好的阈值T与偏差进行比较,偏差小于阈值时认为其为平面内的点,否则为平面外的点,重复这个过程,记录每次平面模型Model的法向量N,根据平面内点的个数IPN、总点数TPN、当前迭代次数IT、余弦抖动值以及期望的误差率R_E计算一个迭代结束的评判因子e_t,迭代结束后的法向量就是当前邻域范围最终的平面法向量。

使用最小二乘法提取球心,将多点拟合球心的过程转化为超定方程的求解^[15-16]。如果获得平移向量的过程中不使用球心坐标,而是直接利用3个平面计算交点的方式获取1个点的具体坐标,进而进行计算,则无法避免Kinect噪声对平面位置提取的影响,交点位置通常存在平移误差,配准效果相对于利用球心的方式会有0.3 cm左右的误差,如表2所示(P_std为基于平面交点方法的标准差,S_std为基于球心方法的标准差)。利用平面计算交点的方式获取固定点的坐标时,在7次实验过程中,x、y、z坐标的标准差(std)的和均大于利用球心计算固定点的结果,故而确定采用球心计算固定点的方式计算平移向量。

表 1. 法向量提取算法

Table 1. Extraction algorithm of normal vector

Normal vector extraction algorithm (P, T, E_T, NR, Nums)1: for all p_i in P2: n_i←Compute Normals (p_i, NR)3: end for4: while e_t>E_T5: Temp Plane←Random Extract Points (P, Nums)6: N_TempPlane←Get Normals Average (TempPlane)7: for all p_i in P8: e_i←abs(N_TempPlane-n_i)9: add e_i to E_j10: if e_i<T, then11: add p_i to Model_j12: end if13: end for14: R_E, IPN_j, TPN_j, N_j←Get Params From (Model_j)15: e_t←Calculate Termination Condition (IT, R_E, IPN_j, TPN_j)16: end while17: return N_j

查看所有表

表 2. 利用平面交点与球心获取固定点的误差

Table 2. Error between fixed points obtained by plane intersection and sphere center

P_std /mm	S_std /mm	(P_std-S_std) /mm
5.02	2.34	2.68
4.86	2.45	2.41
5.12	1.84	3.28
4.67	2.03	2.64
4.89	1.76	3.13
4.87	2.13	2.74
5.07	1.98	3.09

查看所有表

2.4 外参解算

求解过程中利用四元数方法,四元数是一种拓展复数的表示方法^[17-18],与复数十分类似,表示1个四维空间。依据四元数的表示方式,可以将两坐标系之间的旋转变化从按次序绕3个轴分别旋转一定的角度变为绕1个特定的轴旋转1个角度。若某个旋转轴经过原点,其单位方向向量为ω=(ω_x,ω_y,ω_z)^T,则绕此轴旋转ϕ可以用四元数表示为

$\begin{matrix} \begin{matrix} q = & \cos \frac{ϕ}{2} + \sin \frac{ϕ}{2} (ω_{x} i + ω_{y} j + ω_{z} k) = q_{0} + q_{1} + q_{2} + q_{3}, (1) \end{matrix} \end{matrix}$

式中q₀、q₁、q₂、q₃为四元数的4个参数。

故由(1)式可以将一点p变换变为p',记为p'=qp $\begin{matrix} \bar{q} \end{matrix}$ =qpq^-1,写成矩阵形式为p'=qp $\begin{matrix} \bar{q} \end{matrix}$ =(Qp) $\begin{matrix} \bar{q} \end{matrix}$ =( $\begin{matrix} {\bar{Q}}^{T} \end{matrix}$ Q)p,此时有:( $\begin{matrix} {\bar{Q}}^{T} \end{matrix}$ Q)= $\begin{matrix} [\begin{matrix} qq & 0 \\ 0 & R \end{matrix}] \end{matrix}$ ,其中旋转矩阵R为

$\begin{matrix} R = [\begin{matrix} q_{0}^{2} + q_{1}^{2} - q_{2}^{2} - q_{3}^{2} & 2 (q_{1} q_{2} - q_{0} q_{3}) & 2 (q_{1} q_{3} + q_{0} q_{2}) \\ 2 (q_{1} q_{2} + q_{0} q_{3}) & q_{0}^{2} - q_{1}^{2} + q_{2}^{2} - q_{3}^{2} & 2 (q_{2} q_{3} - q_{0} q_{1}) \\ 2 (q_{1} q_{3} - q_{0} q_{2}) & 2 (q_{2} q_{3} + q_{0} q_{1}) & q_{0}^{2} - q_{1}^{2} - q_{2}^{2} + q_{3}^{2} \end{matrix}], (2) \end{matrix}$

如果可以求出四元数q,则可以确定旋转矩阵R^[19]。在ICP算法中,利用四元数方法求解旋转矩阵时,需要求出两个点集的重心并中心化控制点集,但在这里进行了简化,利用3个互不平行的平面法向量求解旋转矩阵,不需要进行中心化的步骤,即已知法向量集合P、Q,最小化目标函数为

$\begin{matrix} \min [f (R)] = \min (\overset{N}{\sum_{i = 1}} ‖ Q_{i} - R P_{i} ‖_{2}^{2}) 。 (3) \end{matrix}$

已知旋转矩阵R为正交阵,则‖RP_i $\begin{matrix} ‖_{2}^{2} \end{matrix}$ = $\begin{matrix} ‖ P_{i} ‖_{2}^{2} \end{matrix}$ ,故根据(3)式有:

$\begin{matrix} f (R) = \overset{N}{\sum_{i = 1}} ‖ Q_{i} ‖_{2}^{2} - 2 \overset{N}{\sum_{i = 1}} Q_{i} R P_{i} + \overset{N}{\sum_{i = 1}} ‖ P_{i} ‖_{2}^{2} 。 (4) \end{matrix}$

由(4)式可以看出,当 $\begin{matrix} \overset{N}{\sum_{i = 1}} \end{matrix}$ Q_iRP_i取最大值时,目标函数f(R)取最小值。令 $\begin{matrix} \overset{N}{\sum_{i = 1}} \end{matrix}$ Q_iRP_i最大,用四元数表示为 $\begin{matrix} \overset{N}{\sum_{i = 1}} \end{matrix}$ Q_iRP_i= $\begin{matrix} \overset{N}{\sum_{i = 1}} \end{matrix}$ (qp_i $\begin{matrix} \bar{q} \end{matrix}$ )·q_i= $\begin{matrix} \overset{N}{\sum_{i = 1}} \end{matrix}$ (qp_i)·(q_iq)(其中 $\begin{matrix} \bar{q} \end{matrix}$ 为q的共轭),进而表示为矩阵:

$\begin{matrix} \overset{N}{\sum_{i = 1}} Q_{i} R P_{i} = \overset{N}{\sum_{i = 1}} ({\bar{P}}_{i} q) \cdot (Q_{i} q) = \overset{N}{\sum_{i = 1}} ({\bar{P}}_{i} {q)}^{T} \cdot (Q_{i} q) = q^{T} (\overset{N}{\sum_{i = 1}} ({\bar{P}}_{i} Q_{i})) q = q^{T} (\overset{N}{\sum_{i = 1}} N_{i}) q = q^{T} Nq, (5) \end{matrix}$

可知当q^TNq为最大值时,可以令 $\begin{matrix} \overset{N}{\sum_{i = 1}} \end{matrix}$ Q_iRP_i最大化。令法向量N= $\begin{matrix} \overset{N}{\sum_{i = 1}} \end{matrix} \begin{matrix} {\bar{P}}_{i} \end{matrix}$ Q_i。将N表示为四元数q,令其特征值为λ_i(i=1,2,3,4),特征值λ_i的特征向量为e_i,则有:Ne_i=λ_ie_i。此处四元数q能用4个特征向量e_i(i=1,2,3,4)线性表示:q=a₁e₁+a₂e₂+a₃e₃+a₄e₄,由于q表示旋转矩阵,则有 $\begin{matrix} a_{1}^{2} \end{matrix}$ + $\begin{matrix} a_{2}^{2} \end{matrix}$ + $\begin{matrix} a_{3}^{2} \end{matrix}$ + $\begin{matrix} a_{4}^{2} \end{matrix}$ =1,因此q^TNq= $\begin{matrix} a_{1}^{2} \end{matrix}$ λ₁+ $\begin{matrix} a_{2}^{2} \end{matrix}$ λ₂+ $\begin{matrix} a_{3}^{2} \end{matrix}$ λ₃+ $\begin{matrix} a_{4}^{2} \end{matrix}$ λ₄≤λ_max。由此可知,当q^TNq取最大值时,N取到最大的特征值λ_max,对应λ_max的特征向量就是求得的旋转矩阵的四元数表示。

求解过程中易知矩阵N是对称的,为了使计算量更小,可通过求解协方差矩阵C来构造矩阵N,此处C为

$\begin{matrix} C = \overset{N}{\sum_{i = 1}} P_{i} {Q^{T}}_{i} = [\begin{matrix} \overset{N}{\sum_{i = 1}} p_{i, x} q_{i, x} & \overset{N}{\sum_{i = 1}} p_{i, x} q_{i, y} & \overset{N}{\sum_{i = 1}} p_{i, x} q_{i, z} \\ \overset{N}{\sum_{i = 1}} p_{i, y} q_{i, x} & \overset{N}{\sum_{i = 1}} p_{i, y} q_{i, y} & \overset{N}{\sum_{i = 1}} p_{i, y} q_{i, z} \\ \overset{N}{\sum_{i = 1}} p_{i, z} q_{i, x} & \overset{N}{\sum_{i = 1}} p_{i, z} q_{i, y} & \overset{N}{\sum_{i = 1}} p_{i, z} q_{i, z} \end{matrix}] = [\begin{matrix} c_{xx} & c_{xy} & c_{xz} \\ c_{yx} & c_{yy} & c_{yz} \\ c_{zx} & c_{zy} & c_{z z} \end{matrix}], (6) \end{matrix}$

式中c为∑pq的简易表示。矩阵A=C-C^T。

则依据(6)式,矩阵N可以表示为

$\begin{matrix} N = [\begin{matrix} tr (C) & Δ^{T} \\ Δ & C + C^{T} - tr (C) I_{3} \end{matrix}], (7) \end{matrix}$

式中Δ= $\begin{matrix} {[A_{23} A_{32} A_{12}]}^{T} \end{matrix}$ ,I₃是秩为3的单位阵。由(7)式容易求得矩阵N,其最大的特征值λ_max的特征向量就是要求的旋转矩阵的四元数表示,即可依据(2)式求解出旋转矩阵R。

求出R后,即可利用R旋转坐标系1下的点云模型提取的球心坐标P₁得到P'₁=RP₁,进而计算平移矢量T=P₂-P'₁,即得到外参标定结果为RT。

3 实验结果及分析

以下主要展示经上述处理后的法向量、球心的提取结果,将计算出的旋转平移矩阵后不同视角点云的配准效果以及不同实现方案的耗时进行对比。

3.1 关键参数的提取结果

实验模型选取黄黑白平面及一个红色球体,如图2所示。分别从两个视角利用深度设备重建两组点云,点云1为289752个点,点云2为212079个点,视角差距较大,非重合点云区域的比例大于25%,符合实验的基本要求。图3中绘制了点云的平面分割及法向量提取的结果。

图 2. 不同Kinect视角的点云配准模型。(a)点云1;(b)点云2

Fig. 2. Point cloud calibration models with different Kinect's views. (a) Point cloud 1; (b) point cloud 2

下载图片查看所有图片

图4中绘制的是点云中黄色平面所有点的法向量集合以及提取法向量后局内点的法向量集合,可以看出改进算法能够大量剔除因噪声而导致的无效法向量,从而提取出准确有效的法向量,利用3个平面内所有法向量计算得到的3个平面法向量提取结束总耗时均不大于(67+2)×3=207 ms(此处为最慢一组的实验耗时)。图例中,Y、W、B分别表示黄色平面、白色平面和黑色平面,N_inliers为局内点的法向量集合,B-N_allnormals为当前平面所有点的法向量集合。利用颜色及法向量信息将红色球面的点云部分提取出来后,拟合出的球面与原球面点云的贴合效果如图5所示。

3.2 配准效果

图6为利用经典ICP算法实现的点云配准效果。正如引言中所述,ICP算法不适合帧间视角变换过大、不重合区域过大的配准,因为它需要一个合适的初值,且在不重合区域过大时内部方法导致其很难收敛到全局最小,这是由该算法的局限性导致的。

图 3. 点云的平面分割及法向量提取结果

Fig. 3. Plane segmentation and normal vector extraction results of point cloud

下载图片查看所有图片

图 4. 点云法向量提取效果。(a) RANSAC算法;(b)改进后的RANSAC算法

Fig. 4. Extraction results of point cloud normal vector. (a) RANSAC algorithm; (b) improved RANSAC algorithm

下载图片查看所有图片

图 5. 点云中球面的(a)提取及(b)拟合效果

Fig. 5. (a) Sphere extraction and (b) sphere fitting result of point cloud

下载图片查看所有图片

图7(a)为自适应阈值ICP算法实现的点云配准效果,图7(b)为本研究标定方案的配准效果。

分别根据ICP算法、改进的ICP算法以及本文标定方法获取两个Kinect间的外参变换矩阵RT,利用两坐标系配准后点云1、2中的球心间距判定平移向量T的标定精度,利用两坐标系配准后点云1中对3个平面的法向量与点云2中3个平面法向量夹角的均值判断旋转矩阵R的标定精度,结果如表3所示。表3中,S为球心间距,A为法向量夹角均值,计算得到ICP算法精度评定参数均值为23.7/17.3,自适应配准算法精度评定参数均值为10.7/3.2,本研究标定方法精度评定参数均值为4.7/1.7(斜杠左侧为平移误差,右侧为角度误差)。可见,本研究标定方法的精度评定参数明显小于其他方案,故可以认为对于大角度变换的双Kinect配准情况,本研究标定方案的标定精度要优于直接使用ICP算法或自适应阈值的ICP算法。

图 6. 经典ICP算法的配准效果。(a)未配准的点云;(b)配准效果

Fig. 6. Registration results of classic ICP algorithm. (a) Un-registrated point cloud; (b) registrated point cloud

下载图片查看所有图片

图 7. (a)自适应阈值ICP的配准效果;(b)本研究的配准效果

Fig. 7. (a) Registration result of adaptive threshold ICP; (b) registration result of proposed method in the paper

下载图片查看所有图片

在算法耗时对比方面,文献[ 3]与文献[ 7]中所述的ICP算法与自适应阈值的ICP算法均是利用所有的点云信息进行迭代计算的,每一次迭代都要计算所有最近点对之间的距离,对比之后更新RT矩阵,进行下一步迭代,直至收敛。而本研究方案只需要对点云进行一次遍历,根据颜色提取出的3个平面以及1个球面进行后续法向量提取及球心拟合的处理,得到法向量坐标及球心坐标,然后以3对法向量坐标及1对球心坐标作为输入,利用四元数方法进行外参计算,没有对整个点集进行迭代的过程。前两种方法在点云配准中有较为广泛的应用,但采用其进行双Kinect间的外参标定时,算法复杂程度明显高于本方案,算法耗时对比如表4所示。

表 3. 不同算法的标定精度

Table 3. Calibration accuracy of different algorithms

S /mm			A /(°)
ICP	Improved ICP	Our method	ICP	Improved ICP	Our method
21	12	7	15	3	2
25	13	4	19	3	1
29	10	5	18	4	2
22	13	3	17	5	2
24	9	5	19	3	1
21	7	4	16	4	4

查看所有表

表 4. 不同算法的耗时

Table 4. Time consuming of different algorithms

Algorithm	Time-consuming /s
ICP	20.1
Improved ICP	15.2
Our method	3.4

查看所有表

4 结论

在现有深度设备间标定方案的基础上,深入研究了视角位移变化较大的标定情况,提出了一种新的深度设备间的标定方式,并进行了验证,解决了深度设备间视角位移变化较大时的快速标定问题。结果表明:本研究所提标定方案可以实现双Kinect的外参的准确标定;基于点云颜色与法向量信息的点云平面分割及法向量提取的方法是有效的,且基于改进的RANSAC算法计算得到的平面点集法向量的一致性很好;相较于利用经典ICP及改进ICP算法直接对点云进行配准进而标定深度设备外参的方法,本研究所提标定算法更简洁,耗时更短,标定精度更高。

主要验证了基于球体及平面的点云信息可以标定视角位置变化较大的深度设备间的旋转平移矩阵。在双Kinect标定下的标定效果很好,配准的准确程度与自适应阈值ICP算法基本一致,但设备数量增多时容易存在累积误差,这是后续需要解决的问题。

参考文献

[1] Zhang Z. Microsoft Kinect sensor and its effect[J]. IEEE MultiMedia, 2012, 19(2): 4-10.

[2] Xie Z X, Xu S. A survey on the ICP algorithm and its variants in registration of 3D point clouds[J]. Periodical of Ocean University of China (Natural Science Edition), 2010, 40(1): 99-103.

[3] 张宗华, 彭翔, 胡小唐. 获取ICP匹配深度图像初值的研究[J]. 工程图学学报, 2002, 23(1): 78-84.

Zhang Z H, Peng X, Hu X T. The research on acquiring the initial value of registering range images by ICP[J]. Journal of Engineering Graphics, 2002, 23(1): 78-84.

[4] Zhang Z Y. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2000, 22(11): 1330-1334.

[5] 陈晓明, 蒋乐天, 应忍冬. 基于Kinect深度信息的实时三维重建和滤波算法研究[J]. 计算机应用研究, 2013, 30(4): 1216-1218.

Chen X M, Jiang L T, Ying R D. Research of 3D reconstruction and filtering algorithm based on depth information of Kinect[J]. Application Research of Computers, 2013, 30(4): 1216-1218.

[6] 乔思航. 基于多Kinect的个性化虚拟人三维建模[D]. 长沙: 国防科学技术大学, 2013: 1- 14.

Qiao SH. Personalized virtual human 3D modeling based on multiple Kinect[D]. Changsha: National University of Defense Science and Technology, 2013: 1- 14.

[7] Meng Y, Zhang H. Registration of point clouds using sample-sphere and adaptive distance restriction[J]. The Visual Computer, 2011, 27(6/7/8): 543-553.

[8] 丁少闻, 张小虎, 于起峰, 等. 非接触式三维重建测量方法综述[J]. 激光与光电子学进展, 2017, 54(7): 070003.

Ding S W, Zhang X H, Yu Q F, et al. Overview of non-contact 3D reconstruction measurement methods[J]. Laser & Optoelectronics Progress, 2017, 54(7): 070003.

[9] Chui H, Rangarajan A. A new point matching algorithm for non-rigid registration[J]. Computer Vision & Image Understanding, 2003, 89(2/3): 114-141.

[10] 欧攀, 吴帅, 周锴. 基于深度传感器骨骼追踪的快速人体测量方法[J]. 激光与光电子学进展, 2017, 54(12): 121206.

Ou P, Wu S, Zhou K. Fast human body measurement method based on depth sensor skeleton tracking[J]. Laser & Optoelectronics Progress, 2017, 54(12): 121206.

[11] Schauer J, Nüchter A. Collision detection between point clouds using an efficient k-d tree implementation[J]. Advanced Engineering Informatics, 2015, 29(3): 440-458.

[12] 卢明腾, 苏显渝, 曹益平, 等. 同步扫描的调制度测量轮廓术三维面形重建算法[J]. 中国激光, 2016, 43(3): 0308006.

Lu M T, Su X Y, Cao Y P, et al. 3D shape reconstruction algorithms for modulation measuring profilometry with synchronous scanning[J]. Chinese Journal of Lasers, 2016, 43(3): 0308006.

[13] 许幸芬, 曹益平, 彭旷. 基于相位预测的在线三维测量像素匹配方法[J]. 光学学报, 2016, 36(6): 0612005.

Xu X F, Cao Y P, Peng K. Pixel matching method in on-line three-dimensional measurement based on phase prediction[J]. Acta Optica Sinica, 2016, 36(6): 0612005.

[14] Schnabel R, Wahl R, Klein R. Efficient RANSAC for point-cloud shape detection[J]. Computer Graphics Forum, 2007, 26(2): 214-226.

[15] Ahn S J, Rauh W, Warnecke H J. Least-squares orthogonal distances fitting of circle, sphere, ellipse, hyperbola and parabola[J]. Pattern Recognition, 2001, 34(12): 2283-2303.

[16] Landa J, Procházka D. ?tastn y' J. Point cloud processing for smart systems [J]. Acta Universitatis Agriculturae et Silviculturae Mendelianae Brunensis, 2013, 61(7): 2415-2421.

[17] Wang Y B, Wang Y J, Wu K, et al. A dual quaternion-based, closed-form pairwise registration algorithm for point clouds[J]. ISPRS Journal of Photogrammetry & Remote Sensing, 2014, 94(4): 63-69.

[18] Zhang F Z. Quaternion and matrices of quaternions[J]. Linear Algebra & Its Applications, 1997, 251(2): 21-57.

[19] Zhan QM, YuL, Liang YB. A point cloud segmentation method based on vector estimation and color clustering[C]. 2nd International Conference on Information Science and Engineering, Hangzhou, 2010: 3463- 3466.

欧攀, 周锴, 吴帅. 基于球体及平面模型的双Kinect空间位置的标定方法[J]. 激光与光电子学进展, 2018, 55(4): 042802. Pan Ou, Kai Zhou, Shuai Wu. Dual-Kinect Spatial Position Calibration Method Based on Sphere and Plane Model[J]. Laser & Optoelectronics Progress, 2018, 55(4): 042802.

基于球体及平面模型的双Kinect空间位置的标定方法下载： 1435次

1 引言

2 标定原理

2.1 实验设备

2.2 标定原理

图 1. 两视角下的标定模型及参数简图。(a)视角1;(b)视角2

Fig. 1. Diagrams of two-view calibration model and parameters. (a) View 1; (b) view 2

2.3 关键参数的提取

表 1. 法向量提取算法

Table 1. Extraction algorithm of normal vector

表 2. 利用平面交点与球心获取固定点的误差

Table 2. Error between fixed points obtained by plane intersection and sphere center

2.4 外参解算

3 实验结果及分析

3.1 关键参数的提取结果

图 2. 不同Kinect视角的点云配准模型。(a)点云1;(b)点云2

Fig. 2. Point cloud calibration models with different Kinect's views. (a) Point cloud 1; (b) point cloud 2

3.2 配准效果

图 3. 点云的平面分割及法向量提取结果

Fig. 3. Plane segmentation and normal vector extraction results of point cloud

图 4. 点云法向量提取效果。(a) RANSAC算法;(b)改进后的RANSAC算法

Fig. 4. Extraction results of point cloud normal vector. (a) RANSAC algorithm; (b) improved RANSAC algorithm

图 5. 点云中球面的(a)提取及(b)拟合效果

Fig. 5. (a) Sphere extraction and (b) sphere fitting result of point cloud

图 6. 经典ICP算法的配准效果。(a)未配准的点云;(b)配准效果

Fig. 6. Registration results of classic ICP algorithm. (a) Un-registrated point cloud; (b) registrated point cloud

图 7. (a)自适应阈值ICP的配准效果;(b)本研究的配准效果

Fig. 7. (a) Registration result of adaptive threshold ICP; (b) registration result of proposed method in the paper

表 3. 不同算法的标定精度

Table 3. Calibration accuracy of different algorithms

表 4. 不同算法的耗时

Table 4. Time consuming of different algorithms

4 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于球体及平面模型的双Kinect空间位置的标定方法 下载： 1435次

1 引言

2 标定原理

2.1 实验设备

2.2 标定原理

图 1. 两视角下的标定模型及参数简图。(a)视角1;(b)视角2

Fig. 1. Diagrams of two-view calibration model and parameters. (a) View 1; (b) view 2

2.3 关键参数的提取

表 1. 法向量提取算法

Table 1. Extraction algorithm of normal vector

表 2. 利用平面交点与球心获取固定点的误差

Table 2. Error between fixed points obtained by plane intersection and sphere center

2.4 外参解算

3 实验结果及分析

3.1 关键参数的提取结果

图 2. 不同Kinect视角的点云配准模型。(a)点云1;(b)点云2

Fig. 2. Point cloud calibration models with different Kinect's views. (a) Point cloud 1; (b) point cloud 2

3.2 配准效果

图 3. 点云的平面分割及法向量提取结果

Fig. 3. Plane segmentation and normal vector extraction results of point cloud

图 4. 点云法向量提取效果。(a) RANSAC算法;(b)改进后的RANSAC算法

Fig. 4. Extraction results of point cloud normal vector. (a) RANSAC algorithm; (b) improved RANSAC algorithm

图 5. 点云中球面的(a)提取及(b)拟合效果

Fig. 5. (a) Sphere extraction and (b) sphere fitting result of point cloud

图 6. 经典ICP算法的配准效果。(a)未配准的点云;(b)配准效果

Fig. 6. Registration results of classic ICP algorithm. (a) Un-registrated point cloud; (b) registrated point cloud

图 7. (a)自适应阈值ICP的配准效果;(b)本研究的配准效果

Fig. 7. (a) Registration result of adaptive threshold ICP; (b) registration result of proposed method in the paper

表 3. 不同算法的标定精度

Table 3. Calibration accuracy of different algorithms

表 4. 不同算法的耗时

Table 4. Time consuming of different algorithms

4 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于球体及平面模型的双Kinect空间位置的标定方法下载： 1435次