基于多幅图像的陶瓷碗表面缺陷的局部点云重建

郭萌; 胡辽林; 李捷

doi:doi:10.3788/AOS201737.1215002

光学学报, 2017, 37 (12): 1215002, 网络出版: 2018-09-06

基于多幅图像的陶瓷碗表面缺陷的局部点云重建下载： 1111次

Local Point Cloud Reconstruction of Ceramic-Bowl-Surface Defect Based on Multi-Image Sequences

论文大纲

郭萌胡辽林 ^*李捷

作者单位

西安理工大学机械与精密仪器工程学院, 陕西西安 710048

机器视觉摄像机标定图像匹配三维重建 machine vision camera calibration image matching three-dimensional reconstruction

AI 词云图 AI语音精读 AI语音超短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

为分析陶瓷碗表面缺陷的形状、位置及方向等三维信息,提出了一种基于多幅图像的局部点云重建算法。该算法首先利用已标定的双目摄像头从任意角度获取多张表面缺陷图片,然后采用FAST+SURF+FLANN图像特征点提取及匹配算法得到准确度高的匹配点对,最后采用运动恢复结构算法并结合基于面片的多视角立体重建算法,实现二维表面缺陷的局部三维重建。由于局部三维重建无法很好地描述缺陷方向及位置信息,因此采用手动增加特征点的方法实现陶瓷碗表面的全局重建。结果表明,缺陷重建效果较好,缺陷位置、方向及形状信息完整。

Abstract

In order to analyze the three-dimensional information such as the position, shape and direction of the ceramic bowl, the reconstruction algorithm of a local point cloud based on image sequences is proposed. Firstly, a calibrated binocular camera is used to collect many images of surface defect from different angles. Then the image feature point detection and matching algorithm of FAST+SURF+FLANN is used to get high precision matching point pairs. Finally, the local three-dimensional reconstruction of two-dimensional surface defects is realized through the structure from motion algorithm combined with patch-based multi-view stereo algorithm. However, the direction and location of the defect cannot be perfectly described through the local three-dimensional reconstruction. So the proposed algorithm of manually added feature points is adopted to realize the global reconstruction of the surface of the ceramic bowl. The results show that the defect reconstruction results are clear, and the defect position, direction and shape information is complete.

1 引言

基于Kirsch和Canny算子的陶瓷碗表面缺陷的检测方法可以实现表面缺陷的提取^[1]。为获知该缺陷的位置、方向及形状等三维空间信息,本文采用基于多幅图像的局部点云重建方法。

目前国际上较为成熟的三维重建系统主要有:Faugeras等^[2]提出的利用经典的分层重建、自标定方法直接从图像序列中重建建筑物的三维重建系统;比利时的Pollefeys等^[3]开发的物体三维表面自动生成系统,利用了可变参数下的摄像机自标定技术;英国剑桥大学计算机视觉研究组的Cipolla等^[4]开发的PhotoBuilder三维重建系统。在国内,目前研究的三维重建系统大致可分为两类:一类是利用激光扫描仪、结构光、深度扫描仪等精密的硬件设备,直接获取物体表面点的三维坐标信息及RGB颜色信息;另一类是通过摄像机成像模型,从二维图像中计算出物体的三维结构。第一类方法是直接对三维物体的空间信息进行处理,精度高,但涉及硬件设备多,操作复杂,成本高,不适合进行研究。第二类方法成本低,操作简单,过程中易提出新的算法对其进行改进,适合研究。因此,本文对第二类方法进行讨论。

2 双目摄像机标定

摄像机标定是三维重建的关键环节。目前,摄像机标定方法有传统的摄像机标定法、自标定法及基于主动视觉的标定法等^[5-7]。综合考虑各因素,采用介于传统的摄像机标定和自标定之间的张正友标定法,该方法主要针对存在径向畸变的情况求解摄像机内外参数的标定,具有较强的稳健性和较高的精度。由于摄像机参数精度高低直接影响重建效果好坏,因此采用遗传算法对其进行优化,提高标定参数的准确度。

表1为张正友标定法和遗传算法优化后参数的三维坐标计算结果。为比较优化前后的准确度,需计算理想空间坐标与模型计算获得的空间坐标的相对误差E_w,其表达式为

\begin{matrix} E_{w} = \frac{\overset{N}{\sum_{i = 1}} \sqrt[]{[(X'_{i} - X_{i})^{2} + (Y'_{i} - Y_{i})^{2} + (Z'_{i} - Z_{i})^{2}]}}{N}, (1) \end{matrix}

式中(X'_i,Y'_i,Z'_i)为模型计算的空间坐标,(X_i,Y_i,Z_i)为理想的空间坐标,N为标定中选取的标定点个数。经对比发现,仅采用张正友标定法的相对误差为0.069,利用遗传算法优化后相对误差为0.013,表明优化后的标定方法准确度较高,三维坐标计算结果更为准确,为后续的三维重建效果做好了铺垫。

表 1. 张正友标定法和遗传算法优化后参数的三维坐标计算结果

Table 1. Calculations of three-dimensional coordinates optimized by Zhang’s calibration and genetic algorithm

Ideal three-dimensional coordinates /mm		Three-dimensional coordinates optimized by Zhang’s calibration algorithm /mm			Three-dimensional coordinates optimized by genetic algorithm /mm
30	0	30.007	0.006	0.003	30.004	0.003	0.001
30	15	29.962	15.101	0.002	30.008	15.000	0.001
30	30	30.018	30.028	0.000	30.004	30.001	0.000
30	45	30.014	45.003	0.000	30.003	45.009	0.009
30	60	29.973	60.101	0.007	30.012	60.001	0.001
30	75	30.101	75.032	0.006	30.013	75.021	0.000
30	90	30.022	90.102	0.001	30.006	90.030	0.002
30	105	30.102	105.064	0.000	30.011	105.001	0.000
30	120	29.981	120.031	0.003	30.003	120.021	0.000
45	0	45.013	0.016	0.007	45.003	0.001	0.000
45	15	45.025	15.036	0.004	45.015	14.993	0.001
45	30	45.106	30.063	0.002	45.000	30.012	0.001

查看所有表

3 图像特征点提取及匹配

图像特征点提取及匹配是重建技术的重要部分。基于速度及精度的要求,将FAST(Features From Accelerated Segment Test)角点检测算法、加速稳健特征(SURF)点描述子及FLANN(Fast Library for Approximate Nearest Neighbors )匹配算子相结合完成特征点的提取及匹配。FAST算法^[8-9]是一种快速、有效的特征点检测算法,与尺度不变特征变换(SIFT)、SURF特征检测算法相比,该算法速度快、细节点多、精度高。SURF算子^[10-11]首先确定特征点主方向,然后生成特征点描述符,速度快、准确度高、计算简单。FLANN可实现一系列的查找算法^[12],且具备自动选择最快算法的功能,但其单向的匹配准确度不理想,为提高其准确度,采用双向匹配代替单向匹配。

FAST+SURF+FLANN双向匹配效果如图1所示。图1(a)对应参考图像为图像I₁,待匹配图像为图像I₂的匹配效果,匹配点对数为23;图1(b)对应参考图像为图像I₂,待匹配图像为图像I₁的匹配效果,匹配点对数为17,总耗时215 ms,时间仅为文献[ 10]所报道的1/3。对比图1(a)、(b)可知,单向匹配点对多,存在误匹配,双向匹配点对明显减少,而减少的点对就是误匹配点对。由此可见,本文方法不仅提高了匹配准确度,而且减少了匹配时间。

图 1. 基于FAST+SURF+FLANN的双向匹配效果图。(a)图像I1到图像I2匹配效果图;(b)图像I2到图像I1匹配效果图

Fig. 1. Bidirectional matching results based on FAST+SURF+FLANN. (a) Matching result from I1 to I2; (b) matching result from I2 to I1

下载图片查看所有图片

4 点云重建

4.1 基于运动恢复结构(SFM)算法的稀疏点云重建

SFM是一种从图像中恢复三维模型的算法^[13-14]。该算法是从不同角度观察三维世界中的同一个点,通过相机标定计算得到投影矩阵,从而恢复点的三维坐标。该算法由三角定位、迭代计算、集束调整^[15-16]3个步骤完成。

三角定位的目的是通过投影关系从图像匹配中恢复出匹配点的三维信息点。利用图像特征点匹配法得到基础矩阵F,并结合相机的内参矩阵计算得到本质矩阵E。基础矩阵F为一个3×3的矩阵,秩为2。设获取图像的双目摄像机内参矩阵为K和K',则其本质矩阵E为

\begin{matrix} E = K'^{T} FK 。 (2) \end{matrix}

对E奇异值进行分解,有

\begin{matrix} E = UD V^{T}, (3) \end{matrix}

式中对角矩阵D=diag(r,s,t),U和V是3×3的酉矩阵。若特征点匹配准确无误,则r=s,t=0,但实际的匹配中难免会存在误匹配,因此通常有r>s>t。令 $\begin{matrix} \dot{D} \end{matrix}$ =diag $\begin{matrix} (\frac{r}{s^{2}}, \frac{s}{s^{2}}, \frac{t}{s^{2}}) \end{matrix}$ +(r,s,t),新的本质矩阵为 $\begin{matrix} \dot{E} \end{matrix}$ =U $\begin{matrix} \dot{D} \end{matrix}$ V^T,将 $\begin{matrix} \dot{E} \end{matrix}$ 奇异值分解为 $\begin{matrix} \dot{E} \end{matrix}$ = $\begin{matrix} \dot{U} \end{matrix} \begin{matrix} \dot{D} \end{matrix} \begin{matrix} {\dot{V}}^{T} \end{matrix}$ ,得到摄像机的运动参数(R|t)的候选值( $\begin{matrix} \dot{U} \end{matrix}$ A $\begin{matrix} {\dot{V}}^{T} \end{matrix}$ | $\begin{matrix} \dot{U} \end{matrix}$ (0,0,1)^T),式中A= $\begin{matrix} [\begin{matrix} 0 & 1 & 0 \\ - 1 & 0 & 0 \\ 0 & 0 & 1 \end{matrix}] \end{matrix}$ 。

将第一个摄像机坐标系作为世界坐标系,则左右摄像机的投影矩阵为

\begin{matrix} \{\begin{matrix} P_{1} = K_{1} [\begin{matrix} I & 0 \end{matrix}] \\ P_{2} = K_{2} [\begin{matrix} R & t \end{matrix}] \end{matrix}, (4) \end{matrix}

式中K₁、K₂分别为左右相机内参矩阵,R、t为两相机之间的外参矩阵,I为3×3的单位矩阵。令P₁₁、P₁₂、P₁₃为P₁的行向量, $\begin{matrix} (u_{i}, v_{i} {, 1)}^{T} \end{matrix}$ 为图像上第i个匹配点的齐次像素坐标,X_i为该匹配点的空间齐次坐标,s为常量因子,则可得

\begin{matrix} s [\begin{matrix} u_{i} \\ v_{i} \\ 1 \end{matrix}] = [\begin{matrix} P_{11} \\ P_{12} \\ P_{13} \end{matrix}] X_{i} \geq \{\begin{matrix} s u_{i} = P_{11} X_{i} \\ s v_{i} = P_{12} X_{i} \\ s = P_{13} X_{i} \end{matrix} \geq [\begin{matrix} P_{13} u_{i} & - P_{11} \\ P_{13} v_{i} & - P_{12} \end{matrix}] X_{i} = 0 。 (5) \end{matrix}

同理,投影矩阵P₂,设点 $\begin{matrix} (u_{i}, v_{i} {, 1)}^{T} \end{matrix}$ 对应图像点的像素坐标为 $\begin{matrix} (u'_{i}, v'_{i} {, 1)}^{T} \end{matrix}$ ,可得

\begin{matrix} [\begin{matrix} P_{23} u'_{i} & - P_{21} \\ P_{23} v'_{i} & - P_{22} \end{matrix}] X_{i} = 0 。 (6) \end{matrix}

联立(5)式和(6)式,可得

\begin{matrix} [\begin{matrix} P_{13} u_{i} & - P_{11} \\ P_{13} v_{i} & - P_{12} \\ P_{23} u'_{i} & - P_{21} \\ P_{23} v'_{i} & - P_{22} \end{matrix}] X_{i} = 0 。 (7) \end{matrix}

令A= $\begin{matrix} [\begin{matrix} P_{13} u_{i} & - P_{11} \\ P_{13} v_{i} & - P_{12} \\ P_{23} u'_{i} & - P_{21} \\ P_{23} v'_{i} & - P_{22} \end{matrix}] \end{matrix}$ ,每组匹配点可得到4个方程,将系数矩阵A奇异值进行分解,有A=UDV^T,X_i的解是V的最后一列。由于X_i是空间齐次坐标,因此最后可将第4行的元素均变为1。

根据下式得到最优化的X_i三维坐标及三维结构信息:

\begin{matrix} \min_{R_{i}, T_{i}, X_{j}} \overset{2}{\sum_{i = 1}} \sum_{j} ‖ m_{ij} - K [R_{i} | T_{i}] X_{j} ‖^{2}, (8) \end{matrix}

式中m₁_j、m₂_j为生成三维点X_j的二维特征匹配点对。由图像I₁点对计算出初始的方位和结构,其余匹配点对同样进行SFM计算。从图像I₃开始,每次加入一幅新图像I_i(i=3,…,N),进行迭代计算。集束调整的目的是对求出的特征点的三维信息结构以及每一个相机的姿态信息参数进行优化,重建结果合并过程如图2所示。

图 2. 重建结果合并

Fig. 2. Merging of reconstructed subsets

下载图片查看所有图片

4.2 基于面片的多视角立体(PMVS)重建算法的稠密点云重建

稀疏点云不能很好地描述物体表面三维信息,需将稀疏点云扩展为稠密点云。PMVS算法是常用的稠密点云重建方法^[17],该方法主要针对已标定的多幅视图,通常仅需估计点的深度和法向。PMVS算法准确、简单、高效,能自动检测并忽略外部点及障碍点,最后输出带方向的小矩形面片集合。该算法的最大优势是对纹理覆盖不足、凹陷和高曲率区域有较好的重建效果,因此为实验的首选。PMVS算法由建立面片模型、定义光度差异函数、重建面片3步完成,其中光度差异函数的定义是核心。

光度差异函数为

\begin{matrix} g (p) = \frac{1}{|V (p) / R (p)|} \sum_{I \in V (p) / R (p)} h [p, I, R (p)], (9) \end{matrix}

式中V(p)为面片p的可见图像集合,R(p)为面片p的参考图像集合,R(p)∈V(p),h(p,I₁,I₂)为图像I₁和I₂间的光度差异函数。求解过程为:将面片p分为μ×μ的网格,采用双线性插值的方法将其投影到图像上,得到采样像素颜色值q(p,I₁);用1减q(p,I₁)和q(p,I₂)的归一化互相关(NCC)值,NCC为系数,可表示为

\begin{matrix} C_{NCC} (v_{0}, v_{1}) = \frac{\overset{n = i}{\sum_{j = 0}} [v_{0} (j) - {\bar{v}}_{0}] \cdot [v_{1} (j) - {\bar{v}}_{1}]}{\sqrt[]{\overset{n = i}{\sum_{j = 0}} [v_{0} (j) - {\bar{v}}_{0}]^{2} \overset{n = i}{\sum_{j = 0}} [v_{1} (j) - {\bar{v}}_{1}]^{2}}}, (10) \end{matrix}

式中v₀、v₁为μ×μ窗口,v₀(j)和v₁(j)分别为窗口v₀和v₁中第j个像素值, $\begin{matrix} {\bar{v}}_{0} \end{matrix}$ 和 $\begin{matrix} {\bar{v}}_{1} \end{matrix}$ 分别为窗口v₀和v₁的像素平均值,n=μ×μ。由于g(p)不适用于图像出现高光或有障碍物的情况,因此,忽略光度差异值较低的图像,仅采用与参考图像R(p)的互相关光度差异值低于某一阈值α的图像,可得

\begin{matrix} \begin{matrix} V^{*} (p) = {I | I \in V (p), h [p, I, R (p)] \leq α}, (11) \\ g^{*} (p) = \frac{1}{|V^{*} (p) / R (p)|} \sum_{I \in V^{*} (p) / R (p)} h [p, I, R (p)], (12) \end{matrix} \end{matrix}

式中V^*(p)包含参考图像R(p),并且g^*(p)也无法在出现高光或者有障碍物的图像中使用,因此采用面片生成法,可很好地避免这种情况的发生。根据得到的光度差异值函数g^*(p),可恢复出光度差异值较小的面片。对于较大的面片,通过跟踪算法实现大面片重建。

5 实验结果与分析

选用C-STYLE CCD双目摄像头,像素为640 pixel×480 pixel,焦距为2.8~12 mm,接口为CS。为提高重建速度,在VS2010+OpenCV2.4.8+PCL1.7.0环境下开发软件。

图3为局部点云重建效果图,重建目标为带缺陷的纯白色陶瓷碗表面。对比图3(b)、(c)可知,仅缺陷区域重建效果完整清晰,其他区域无任何重建效果。这是由于本文重建方法基于特征点的提取与匹配,而其他区域无特征点,所以几乎无法重建。对比图3(c)、(d)可知,重建仅得到缺陷形状,无法获知位置及方向信息。

图 3. 局部点云重建效果图。(a)原图;(b)表面缺陷标注;(c)缺陷正面图;(d)缺陷侧面图

Fig. 3. Reconstruction images of local point cloud. (a) Original images; (b) surface defect marking; (c) front image of defect; (d) side image of defect

下载图片查看所有图片

为得到缺陷位置和方向信息,进一步采用手工贴图增加特征点的方法,实现物体表面的全局重建,得到陶瓷碗表面缺陷重建效果如图4所示。图4(a)为增加特征点后的物体原图,图4(b)为表面缺陷标注,图4(c)为增加特征点后的双向匹配效果图,图4(d)为SFM稀疏点云重建效果图,图4(e)为PMVS稠密点云重建正面效果图,红色区域为缺陷区域,图4(f)为将图4(e)向上旋转一定角度的效果图。对比图4(b)、(d)、(e)、(f)可见,图4(d)SFM稀疏点云重建出的点云稀少,无法获取物体表面的详细信息,仅能得到碗的大致形状;图4(e)、(f)PMVS稠密点云重建效果理想,缺陷完整清晰,能准确分析陶瓷碗表面缺陷的形状、位置及方向,得到缺陷的三维空间信息。

图 4. 陶瓷碗表面缺陷重建效果图。(a)原图;(b)表面缺陷标注;(c)双向匹配效果图;(d)SFM稀疏点云重建结果;(e)PMVS稠密点云正面重建结果;(f)PMVS稠密点云侧面重建结果

Fig. 4. Images of complete reconstruction of defect on ceramic bowl surface. (a) Original images; (b) surface defect marking; (c) bidirectional matching effect image; (d) sparse point cloud reconstruction based on SFM; (e) dense point cloud reconstruction of front image based on PMVS; (f) dense point cloud reconstruction of side image based on PMVS

下载图片查看所有图片

6 结论

提出了一种陶瓷碗表面缺陷的三维重建新方法。该方法首先将张正友标定和遗传算法相结合求解摄像机内外参数,然后采用FAST+SURF+FLANN算法完成图像双向匹配,最后采用SFM稀疏点云重建算法和PMVS稠密点云重建算法实现缺陷局部点云重建。实验结果表明,该算法效果理想,重建结果所得划痕完整清晰。针对不连续区域的重建,在后续的研究中可通过提高摄像机精度、增加点云的方法进行处理。

参考文献

[1] 郭萌, 胡辽林, 赵江涛. 基于Kirsch和Canny算子的陶瓷碗表面缺陷检测方法[J]. 光学学报, 2016, 36(9): 0904001.

郭萌, 胡辽林, 赵江涛. 基于Kirsch和Canny算子的陶瓷碗表面缺陷检测方法[J]. 光学学报, 2016, 36(9): 0904001.

Guo Meng, Hu Liaolin, Zhao Jiangtao. Surface defect detection method of ceramic bowl based on Kirsch and Canny operator[J]. Acta Optica Sinica, 2016, 36(9): 0904001.

[2] Faugeras OD, Luong QT, Maybank SJ. Camera self-calibration: theory and experiments[C]. European Conference on Computer Vision, 1992: 321- 334.

Faugeras OD, Luong QT, Maybank SJ. Camera self-calibration: theory and experiments[C]. European Conference on Computer Vision, 1992: 321- 334.

[3] Pollefeys M, Koch R, Vergauwen M, et al. Automated reconstruction of 3D scenes from sequences of images[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2000, 55(4): 251-267.

Pollefeys M, Koch R, Vergauwen M, et al. Automated reconstruction of 3D scenes from sequences of images[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2000, 55(4): 251-267.

[4] CipollaR, RobertsonD, BoyerE. PhotoBuilder-3D models of architectural scenes from uncalibrated images[C]. IEEE International Conference on Multimedia Computing and Systems, 1999, 2: 9025.

CipollaR, RobertsonD, BoyerE. PhotoBuilder-3D models of architectural scenes from uncalibrated images[C]. IEEE International Conference on Multimedia Computing and Systems, 1999, 2: 9025.

[5] 黄风山, 钱惠芬. 三坐标测量机驱动的摄像机标定技术[J]. 光学精密工程, 2010, 18(4): 952-957.

黄风山, 钱惠芬. 三坐标测量机驱动的摄像机标定技术[J]. 光学精密工程, 2010, 18(4): 952-957.

Huang Fengshan, Qian Huifen. Camera calibration technology driven by three-coordinate measuring machine[J]. Optics and Precision Engineering, 2010, 18(4): 952-957.

[6] 蔡健荣, 赵杰文. 双目立体视觉系统摄像机标定[J]. 江苏大学学报(自然科学版), 2006, 27(1): 6-9.

蔡健荣, 赵杰文. 双目立体视觉系统摄像机标定[J]. 江苏大学学报(自然科学版), 2006, 27(1): 6-9.

Cai Jianrong, Zhao Jiewen. Stereovision system calibration based on dual-camera[J]. Journal of Jiangsu University (Natural Science Edition), 2006, 27(1): 6-9.

[7] 刘书桂, 陈超. 基于改进遗传算法的三坐标测量机光学测头的标定[J]. 天津大学学报, 2005, 38(8): 695-700.

刘书桂, 陈超. 基于改进遗传算法的三坐标测量机光学测头的标定[J]. 天津大学学报, 2005, 38(8): 695-700.

Liu Shugui, Chen Chao. Calibration of CMM optical probe based on improved genetic algorithm[J]. Journal of Tianjin University, 2005, 38(8): 695-700.

[8] 燕鹏, 安如. 基于FAST改进的快速角点探测算法[J]. 红外与激光工程, 2009, 38(6): 1104-1115.

燕鹏, 安如. 基于FAST改进的快速角点探测算法[J]. 红外与激光工程, 2009, 38(6): 1104-1115.

Yan Peng, An Ru. Improved fast corner detection algorithm based on FAST[J]. Infrared and Laser Engineering, 2009, 38(6): 1104-1115.

[9] 王蒙, 戴亚平. 基于FAST角点检测的局部鲁棒特征[J]. 北京理工大学学报, 2013, 33(10): 1045-1054.

王蒙, 戴亚平. 基于FAST角点检测的局部鲁棒特征[J]. 北京理工大学学报, 2013, 33(10): 1045-1054.

Wang Meng, Dai Yaping. Local robust feature based on FAST corner detection[J]. Transactions of Beijing Institute of Technology, 2013, 33(10): 1045-1054.

[10] 张华俊, 李桂华, 刘程, 等. 基于SURF特征匹配的数字图像相关变形初值可靠估计[J]. 光学学报, 2013, 33(11): 1112005.

张华俊, 李桂华, 刘程, 等. 基于SURF特征匹配的数字图像相关变形初值可靠估计[J]. 光学学报, 2013, 33(11): 1112005.

Zhang Huajun, Li Guihua, Liu Cheng, et al. Reliable initial guess based on SURF feature matching in digital image correlation[J]. Acta Optica Sinica, 2013, 33(11): 1112005.

[11] 朱奇光, 王佳, 张朋珍, 等. 基于高斯矩改进SURF算法的移动机器人定位研究[J]. 仪器仪表学报, 2015, 36(11): 2451-2457.

朱奇光, 王佳, 张朋珍, 等. 基于高斯矩改进SURF算法的移动机器人定位研究[J]. 仪器仪表学报, 2015, 36(11): 2451-2457.

Zhu Qiguang, Wang Jia, Zhang Pengzhen, et al. Research on mobile robot localization based on Gaussian moment improved SURF algorithm[J]. Chinese Journal of Scientific Instrument, 2015, 36(11): 2451-2457.

[12] 冯亦东, 孙跃. 基于SURF特征提取和FLANN 搜索的图像匹配算法[J]. 图学学报, 2015, 36(4): 650-657.

冯亦东, 孙跃. 基于SURF特征提取和FLANN 搜索的图像匹配算法[J]. 图学学报, 2015, 36(4): 650-657.

Feng Yidong, Sun Yue. Image matching algorithm based on SURF feature extraction and FLANN search[J]. Journal of Graphics, 2015, 36(4): 650-657.

[13] 缪君, 储珺, 张桂梅, 等. 基于稀疏点云的多平面场景稠密重建[J]. 自动化学报, 2015, 41(4): 813-820.

缪君, 储珺, 张桂梅, 等. 基于稀疏点云的多平面场景稠密重建[J]. 自动化学报, 2015, 41(4): 813-820.

Miao Jun, Chu Jun, Zhang Guimei, et al. Dense multi-planar scene reconstruction from sparse point cloud[J]. Acta Automatica Sinica, 2015, 41(4): 813-820.

[14] 陈辉, 马世伟, Andreas Nuechter. 基于激光扫描和SFM的非同步点云三维重构方法[J]. 仪器仪表学报, 2016, 37(5): 1148-1156.

陈辉, 马世伟, Andreas Nuechter. 基于激光扫描和SFM的非同步点云三维重构方法[J]. 仪器仪表学报, 2016, 37(5): 1148-1156.

Chen Hui, Ma Shiwei, Andreas Nuechter. Non-synchronous point cloud algorithm for 3D reconstruction based on laser scanning and SFM[J]. Chinese Journal of Scientific Instrument, 2016, 37(5): 1148-1156.

[15] Furukawa Y, Ponce J. Accurate, dense, and robust multiview stereopsis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(8): 1362-1376.

Furukawa Y, Ponce J. Accurate, dense, and robust multiview stereopsis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(8): 1362-1376.

[16] 张剑. 融合SFM和动态纹理映射的视频流三维表情重建[J]. 计算机辅助设计与图形学学报, 2010, 22(6): 949-957.

张剑. 融合SFM和动态纹理映射的视频流三维表情重建[J]. 计算机辅助设计与图形学学报, 2010, 22(6): 949-957.

Zhang Jian. 3D facial expression reconstruction from video via SFM and dynamic texture mapping[J]. Journal of Computer-Aided Design & Computer Graphics, 2010, 22(6): 949-957.

[17] 史利民, 郭复胜, 胡占义. 利用空间几何信息的改进PMVS算法[J]. 自动化学报, 2011, 37(5): 560-568.

史利民, 郭复胜, 胡占义. 利用空间几何信息的改进PMVS算法[J]. 自动化学报, 2011, 37(5): 560-568.

Shi Limin, Guo Fusheng, Hu Zhanyi. An improved PMVS through scene geometric information[J]. Acta Automatica Sinica, 2011, 37(5): 560-568.

4.1 基于运动恢复结构(SFM)算法的稀疏点云重建

4.2 基于面片的多视角立体(PMVS)重建算法的稠密点云重建

5 实验结果与分析

6 结论

郭萌, 胡辽林, 李捷. 基于多幅图像的陶瓷碗表面缺陷的局部点云重建[J]. 光学学报, 2017, 37(12): 1215002. Meng Guo, Liaolin Hu, Jie Li. Local Point Cloud Reconstruction of Ceramic-Bowl-Surface Defect Based on Multi-Image Sequences[J]. Acta Optica Sinica, 2017, 37(12): 1215002.

基于多幅图像的陶瓷碗表面缺陷的局部点云重建下载： 1111次

1 引言

2 双目摄像机标定

表 1. 张正友标定法和遗传算法优化后参数的三维坐标计算结果

Table 1. Calculations of three-dimensional coordinates optimized by Zhang’s calibration and genetic algorithm

3 图像特征点提取及匹配

图 1. 基于FAST+SURF+FLANN的双向匹配效果图。(a)图像I1到图像I2匹配效果图;(b)图像I2到图像I1匹配效果图

Fig. 1. Bidirectional matching results based on FAST+SURF+FLANN. (a) Matching result from I1 to I2; (b) matching result from I2 to I1

4 点云重建

4.1 基于运动恢复结构(SFM)算法的稀疏点云重建

图 2. 重建结果合并

Fig. 2. Merging of reconstructed subsets

4.2 基于面片的多视角立体(PMVS)重建算法的稠密点云重建

5 实验结果与分析

图 3. 局部点云重建效果图。(a)原图;(b)表面缺陷标注;(c)缺陷正面图;(d)缺陷侧面图

Fig. 3. Reconstruction images of local point cloud. (a) Original images; (b) surface defect marking; (c) front image of defect; (d) side image of defect

图 4. 陶瓷碗表面缺陷重建效果图。(a)原图;(b)表面缺陷标注;(c)双向匹配效果图;(d)SFM稀疏点云重建结果;(e)PMVS稠密点云正面重建结果;(f)PMVS稠密点云侧面重建结果

6 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于多幅图像的陶瓷碗表面缺陷的局部点云重建 下载： 1111次

1 引言

2 双目摄像机标定

表 1. 张正友标定法和遗传算法优化后参数的三维坐标计算结果

Table 1. Calculations of three-dimensional coordinates optimized by Zhang’s calibration and genetic algorithm

3 图像特征点提取及匹配

图 1. 基于FAST+SURF+FLANN的双向匹配效果图。(a)图像I1到图像I2匹配效果图;(b)图像I2到图像I1匹配效果图

Fig. 1. Bidirectional matching results based on FAST+SURF+FLANN. (a) Matching result from I1 to I2; (b) matching result from I2 to I1

4 点云重建

4.1 基于运动恢复结构(SFM)算法的稀疏点云重建

图 2. 重建结果合并

Fig. 2. Merging of reconstructed subsets

4.2 基于面片的多视角立体(PMVS)重建算法的稠密点云重建

5 实验结果与分析

图 3. 局部点云重建效果图。(a)原图;(b)表面缺陷标注;(c)缺陷正面图;(d)缺陷侧面图

Fig. 3. Reconstruction images of local point cloud. (a) Original images; (b) surface defect marking; (c) front image of defect; (d) side image of defect

图 4. 陶瓷碗表面缺陷重建效果图。(a)原图;(b)表面缺陷标注;(c)双向匹配效果图;(d)SFM稀疏点云重建结果;(e)PMVS稠密点云正面重建结果;(f)PMVS稠密点云侧面重建结果

6 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于多幅图像的陶瓷碗表面缺陷的局部点云重建下载： 1111次