光学学报, 2020, 40 (1): 0111019, 网络出版: 2020-01-06   

基于相位映射的双目视觉缺失点云插补方法 下载: 1537次

Method for Interpolation of Missing Point Cloud Based on Phase Mapping in Binocular Vision
作者单位
1 四川大学电子信息学院, 四川 成都 610065
2 四川大学空天科学与工程学院, 四川 成都 610065
摘要
利用单相机中已获得的可靠相位数据,提出一种双目视觉相位匹配中的视差孔洞数据插补方法。该方法在测量系统的标定阶段只需增加一个平面相位和高度数据作为参考,利用数据缺失区域周围有效像素点的三维点云,及相对于参考平面的相位和高度差建立隐式相位-高度映射关系,然后由单相机可靠相位数据实现孔洞区域的点云重建插补。对标准件进行缺失点云插补实验,重建精度为0.07 mm。对人脸面具和葫芦模型进行双目测量和孔洞插补实验,结果证明该方法可以很好地补全遮挡区域缺失的点云。
Abstract
In this study, we propose a method to interpolate missing data that can be attributed to a disparity hole in binocular vision phase matching based on the reliable phase data obtained using a single camera. In the calibration stage, the measurement system only needs to consider the plane phase and height data as reference. Further, the implicit phase-height mapping relation can be established based on the phase and height difference observed with respect to the effective three-dimensional point clouds around the area of the hole and the reference plane, and the missing point clouds are reconstructed and interpolated using the reliable phase data obtained using a single camera. The interpolation of the missing point cloud data of a standard sample denotes a reconstruction accuracy of 0.07 mm. Furthermore, binocular measurement and hole interpolation are conducted using a facial mask and gourd model, and the results denote that the proposed method can appropriately interpolate the missing point cloud data in the occluded areas.

1 引言

随着计算机技术和成像设备的发展,结构光三维成像技术[1-4]已被广泛应用于航空航天、工业检测、文物保护、人工智能,以及游戏娱乐等各个领域。相位测量轮廓术凭借其速度快、精度高、非接触等优点,具有广阔的应用前景[5-7]。按相机个数可以将常用的相位测量轮廓术系统分为单目系统和双目系统。单目系统的工作原理是利用投影装置投射具有某种模式的条纹结构光到待测物体表面,再利用一台相机获取受物体表面形状调制的结构光场,通过对应算法计算得到待测物体的高度信息[8]。双目系统在单目系统的基础上增加一台相机,以相位信息作为匹配基元,通过双目立体视觉方法获取被测物体在左右两台相机上对应点的视差,进而计算高度得到三维点云数据[9]。单目系统结构简单,但双目系统拥有更好的数据质量和测量精度,因此在要求较高的场景中应用更为广泛。

因为双目系统图像对应点的匹配是在两台相机测量视场的公共区域中进行的,而系统中两台相机的位置存在一定的夹角,所以待测物体表面的遮挡和阴影等因素容易导致一幅图像中的相位值在另一幅图像中无法找到对应匹配相位,从而无法获取该点视差值,最终导致物体重建的三维点云数据中出现对应区域点云缺失的现象。许多学者对重建缺失区域点云数据的插补方法进行了研究。Wang等[10]在对点云数据进行三角剖分的基础上,提出一种移动最小二乘方法插补点云缺失数据的方法,当缺失区域形状复杂时,该方法的效果不够理想;Dinesh等[11]提出一种基于样本结构的三维点云插补方法,当缺失区域较大时仍有较好结果,但算法复杂且存在大量迭代过程,耗时较多;雷彦章等[12]提出一种单双目结合的测量方法,分别将两个相机与投影仪组成两套单目系统对缺失区域进行插补,但是该方法需要同时进行双目系统和单目系统的标定,并完成三套系统坐标系的转换统一;张利萍等[13]基于文献[ 14]的相位-高度映射模型,提出一种双目点云重建单目点云的方法,但在计算该映射模型参数时会引入误差;于瑾等[15]提出一种改进的最近点迭代(ICP)算法,提高了算法稳健性,将不同视角下的点云数据融合到相同坐标系下,但存在多次迭代耗时的问题;耿英楠[16]提出了一种基于RGB矢量空间的三目立体匹配算法,改善了由遮挡区域和其他一些原因导致的误匹配问题,但是增加了一台相机的成本,且计算过程较为复杂。本文提出一种基于双目可测点云和单目已获取相位数据,利用隐式相位-高度映射关系对缺失区域孔洞进行点云重建的方法,只需在双目系统标定阶段测量一个平面的高度和相位数据并以此作为参考,便可利用孔洞区域周围有效像素点的三维点云与相对于参考平面的相位和高度差建立隐式相位-高度映射关系,从而利用单相机可靠相位数据对孔洞区域的点云进行重建,最终提升物体表面三维点云数据的完整性。该方法无需额外的单目系统标定,简化省略了后续不同坐标系间的转换过程。

2 基本原理

2.1 立体视觉原理和点云孔洞成因分析

基于条纹投影的双目测量系统原理是投影装置向待测物体表面投射具有一定频率的正弦相移条纹图,左右相机同步拍摄经物体表面高度调制后的变形条纹图,根据采集的图像解算得到分布于(-π,π]的两个截断相位,再通过相位展开方法依次得到连续分布的相位信息,利用极线约束原理和双目相机标定参数对相位分布作极线校正,然后在立体视觉成像模型中以相位信息为匹配基元,搜寻左右图像中对应的同名点图像坐标并获取视差,进而计算出物体表面的三维数据。

立体视觉成像模型如图1所示,左右像平面共面,Ol,Or分别为左右相机光心,f为相机焦距,B'为两相机光心间距离,P为空间中物体上一点,到相机投影中心平面的距离为Z,P点在左右像平面分别成像于点Pl(xl,yl),Pr(xr,yr)。

图 1. 双目立体视觉成像模型

Fig. 1. Imaging model of binocular stereo vision

下载图片 查看所有图片

以左相机光心Ol为原点建立左相机坐标系,P点在左相机坐标系下的坐标(xc,yc,zc)可以表示为

xc=B'×xld,yc=B×y'd,zc=B×fd,(1)

式中:d=xl-xr,即视差,是P点在左右像平面上的匹配点x轴方向的坐标之差。极线校正后的左右两幅图像是行对准的,即图像纵坐标yl=yr=y',因此匹配时只需在图像同一行中进行。

上述对应点的匹配是在左右相机公共视场中进行的。由于两台相机的位置存在一定角度,待测物体表面较复杂时视场中容易出现遮挡等情况,当一幅图像中某像素点的对应点在另一幅图像中刚好位于遮挡区域时,就不能获得对应的匹配点坐标,因而该点的视差值和最终的物体三维点云数据都会出现缺失。如图2所示,Il为左相机,Ir为右相机,BCDE部分分别只能在左相机和右相机成像,因此这两个区域均不能获得匹配点,造成三维点云数据出现对应的孔洞。

图 2. 双目视觉测量系统的遮挡示意图

Fig. 2. Occlusion diagram of binocular vision measurement system

下载图片 查看所有图片

2.2 单目结构光相位-高度映射原理

双目系统测量中缺失区域所对应的展开相位值在某一单目数据中是存在的。以人脸面具的结果为例,图3(c)中鼻翼附近双目点云数据出现缺失,而在图3(a)、(b)所示的左、右相机拍摄的变形条纹图像中,缺失区域对应的面具表面是有高质量的变形条纹信息的,因此在左、右相机拍摄图像解算出的展开相位中,缺失区域的相位信息是单一存在的。现有的单双目结合的测量方法一般是分别利用两台相机和投影装置组成单目测量系统,对单目系统进行标定,根据缺失区域的相位信息,利用单目测量算法分别求取缺失区域的点云数据,通过标定参数将其转到双目测量系统中,从而完成插补操作,得到完整的点云数据。

图 3. 双目视觉系统测量数据展示。(a)左相机成像变形条纹图;(b)右相机成像变形条纹图;(c)人脸面具重建结果

Fig. 3. Display of binocular vision system measurement data. (a) Distorted fringe image of left camera; (b) distorted fringe image of right camera; (c) reconstructed result of facial mask

下载图片 查看所有图片

单目系统中,利用相位测量轮廓术获取待测物体表面的展开相位,后续的一个重要步骤是建立相位-高度的映射关系,以得到物体的实际高度信息。常用的相位-高度映射方法有显式和隐式两种,其中,显式映射方法需要测量系统满足一定的先决条件,并需要提前测定系统的一些结构参数。通常,这些参数不易精确获取,因而显式映射方法在实际测量时并不便于使用。Zhou等[17-18]基于理想几何成像原理提出的隐式相位-高度映射方法,无需测定系统位置参数,直接根据测量空间中若干个已知位置的平面高度值就可建立起精度较高的物体相位-高度映射关系,使得测量系统的搭建相对灵活。基于二次拟合的隐式相位-高度映射关系为

1Δh(u,v)=a(u,v)+b(u,v)Δφ(u,v)+c(u,v)[Δφ(u,v)]2,(2)

式中:(u,v)为相机图像坐标,u表示图像坐标行方向,v表示图像坐标列方向;Δh(u,v)表示图像上每一个像素点对应的测量空间内已知位置的平面上的点相对于参考平面的高度差;Δφ(u,v)为对应点的相位差;a(u,v)、b(u,v)、c(u,v)为待标定的参数,反映了参考平面上各点相对于基准平面的相位差与高度差之间的映射系数,由系统的结构参数决定[17-18]。要求解三个未知系数,至少需要4个平面的高度和相位信息来构造3组不同的Δh(u,v)和Δφ(u,v),并将其以查找表的方式存储起来。对物体进行测量时,只要获得物体表面的相位分布Δφ(u,v),就能利用查找表得到物面上成像在(u,v)像素坐标位置上点的对应高度。考虑到测量系统中投影与成像中心连线方向一般是水平的,实际测量时可以将基准平面固定在精密位移平台上,以第一个平面位置为参考面,利用投影装置投射竖直方向正弦相移条纹至平面上,由相机采集图像,从相移条纹中计算求得对应的相位信息。精密位移平台带动平面平行等间隔移动3次,可以得到每次移动后当前平面位置与参考面的高度差Δhi(u,v)和相位差Δφi'(u,v)(i'=1,2,3),代入(2)式计算得到参数a(u,v)、b(u,v)、c(u,v),标定过程如图4所示。

图 4. 隐式相位-高度映射关系标定示意图

Fig. 4. Calibration diagram of implicit phase-height mapping relationship

下载图片 查看所有图片

2.3 孔洞区域的隐式相位-高度映射插补原理

使用条纹投影结构光双目系统进行上述隐式相位-高度映射关系标定实验,对得到的参数a(u,v)、b(u,v)、c(u,v)进行考察,参考平面每次等距移动40 mm,相机拍摄图像的分辨率为1600 pixel×1200 pixel。图5(a)给出了由(2)式得到的标定参数结果中a(u,v)值的大小,图中直线为图像第800列像素点对应的数据,其数值大小变化均在1/1000量级,可认为参数a在该列的对应值近似不变,参数b,c同理。对于双目系统测量结果中的孔洞区域,若能求得孔洞区域类似的对应参数a(u,v)、b(u,v)、c(u,v),根据孔洞区域有效的相位信息φ'(u,v)便可求解出缺失的高度数据,完成插补工作。

分析前述二次拟合隐式相位-高度映射关系标定过程可知:投影装置投射的是竖直方向条纹,如图6(a)所示,由相机采集的平面条纹图像同一周期中的同名相位像素点在图像中表现为同一列,只要相机的位置未变,每次参考平面平行等间隔移动前后,相机采集的平面条纹图像某一列对应的高度Zc(u,k)(k为图像中某列的坐标)与参考平面Z0(u,k)的高度差Δh(u,k)是近似相等的;平面条纹图像中第k列像素点的相位值φc(u,k)与参考面φ0(u,k)的相位差Δφ(u,k)也是近似相等的。此时,通过(2)式计算得到的隐式相位-高度映射参数a(u,v)中,第k列像素点对应的参数a(u,k)近似相等,参数b(u,v)、c(u,v)同理。

图 5. 隐式相位-高度映射关系标定参数分析。(a) a(u,v);(b) b(u,v);(c) c(u,v)

Fig. 5. Analysis on calibration parameter of implicit phase-height mapping relationship. (a) a(u,v); (b) b(u,v); (c) c(u,v)

下载图片 查看所有图片

但由于相机成像光轴与参考平面移动轴存在夹角,或者由于投影系统姿态倾斜,在图6(b)所示的相机实际采集的条纹图中,条纹栅线方向(直线,即条纹图像同一周期中同名相位的方向)与相机图像一列像素点方向(虚线)不平行,图像第k列像素点对应的高度差Δh(u,k)与相位差Δφ(u,k)存在一定程度上的变化,由(2)式直接计算得到的隐式相位-高度映射参数在图像第k列像素点上存在一定偏差;而条纹栅线方向对应的“一列”像素点(在图像中表现为跨越若干列且分段连续,为表述方便,后文中均以第j列表示该方向上“一列”像素点的集合),其对应的高度差Δh(u,j)与相位差Δφ(u,j)相似度更高,能更好地满足前述近似条件。因此,在后续的分析及实验中,需要根据相机拍摄的条纹图像实际情况来确定条纹栅线方向上的“一列”像素点,即图6(b)中直线上的像素点才具有相等的相位值,利用这些像素点的信息来参与计算插补周围缺失点云才更为可靠。对实际拍摄、存在任意倾斜和变形的条纹图像进行傅里叶变换得到其频谱分布,如图6(c)所示,根据周期信号傅里叶变换前后的空域频域分布对应特性,可以通过零频和基频的中心连线计算空域中条纹栅线的垂直方向[图6(b)、(c)中点划线表示],进而准确计算得到条纹栅线方向的斜率,即图6(b)中的直线,沿该方向取出的对应像素点构成等相位数据集合,利用其相位-高度信息指导缺失点云插补,才能获得更准确的结果。

通过上述分析,借鉴隐式相位-高度映射模型,提出一种双目测量系统孔洞缺失数据插补的新方法。利用孔洞周围已有效匹配的点云数据拟合出孔洞区域对应的相位-高度映射参数,从现成已有的单目相位信息中对应获得孔洞区域的单目点云数据。该方法无需对单目系统分别进行单独标定操作,简化省略了不同坐标系间的后续转换过程。在系统的标定阶段,事先获得一个位置的参考平面相位信息φ0(u,v)和高度信息Z0(u,v),由双目系统重建并存在孔洞的物体高度结果如图7所示。

图 6. 相机采集的条纹图和条纹频谱图。(a)沿竖直方向分布的条纹图;(b)倾斜条纹图;(c)条纹图像傅里叶频谱分布

Fig. 6. Fringe patterns taken by camera and fringe spectrum. (a) Vertically distributed fringe pattern; (b) inclined fringe pattern; (c) Fourier spectrum distribution of fringe pattern

下载图片 查看所有图片

图 7. 物体点云缺失区域示意图

Fig. 7. Diagram of point cloud missing area

下载图片 查看所有图片

图7u,v表示图像行列方向的像素坐标,浅色方块表示有高度信息的像素点,深色方块表示孔洞区域对应的像素点,直线表示平行于参考平面上条纹栅线的方向,三角形所在的点表示该方向上对应的一列像素点。在孔洞区域,按列分别利用条纹栅线方向上已获取的一列点云数据Zc(u,v)、φc(u,v)结合参考面数据Z0(u,v)、φ0(u,v)来构造Δhi和Δφi(孔洞区域对应列的序号i=1,2,…,n)。以图像中平行于条纹栅线方向的第j列数据为例,根据Zc(u,j)、φc(u,j),及参考面数据Z0(u,j)、φ0(u,j),可以得到第j列已匹配像素点对应的Δhi和Δφi(i=1,2,…,n),根据前述近似方法可以认为孔洞区域一列上的像素点对应的参数a(u,j)、b(u,j)、c(u,j)均分别相同,即同一列上的像素点共用一套参数ajbjcj,将Δhi和Δφi(i=1,2,…,n)代入(2)式,得到ajbjcj的计算公式:

11Δφ11Δφ1)211Δφn1Δφn)2ajbjcj=1Δh11Δhn(3)

利用最小二乘拟合计算出第j列对应的参数ajbjcj,得到该列新的相位-高度映射拟合关系式:

1Δh(u,v)=aj+bjΔφ(u,v)+cj[Δφ(u,v)]2(4)

再将第j列缺失像素点对应的相位信息φ'(u,j)代入新拟合的相位-高度映射关系式,即可得到该列缺失的高度数据。

以左相机坐标系为基准,先获取左相机坐标系下的双目点云数据,根据左相机下的相位数据对左相机缺失区域进行重建,再根据右相机下的相位数据对右相机缺失区域进行重建,最后将重建的右相机缺失区域点云数据转换到左相机坐标系,得到完整的点云。具体实现步骤如图8所示,简述如下:

图 8. 所提方法的流程图

Fig. 8. Flow chart of proposed method

下载图片 查看所有图片

1) 双目标定。采用Zhang[19]提出的平面标定法得到双目系统内外参数。

2) 相位展开。利用图像调制度模板分离图像中待测物体区域和背景,采用四步相移算法[20]求取截断相位,用三频法[21]对正弦相移条纹图进行相位展开,得到左右图像展开相位。

3) 双目匹配与视差计算。根据双目标定系统参数对左右图像展开相位作极线校正,在立体视觉成像模型下对左右相机的展开相位进行亚像素匹配获得视差图,同时标记出遮挡区域中的未匹配点。

4) 双目重建。通过视差图和双目系统内外参数,利用(1)式计算出三维点云数据。

5) 基于单目有效相位的缺失点云重建。将极线校正后的左右相机展开相位数据与对应的点云高度数据代入(3)式计算相位-高度映射参数,再将左右相机遮挡区域中未匹配点的单目相位代入(4)式得到高度。将右相机单独重建的点云插补数据转换到左相机坐标系,得到最终的完整点云数据。

3 实验与结果分析

为验证算法的正确性,搭建了条纹投影结构光双目测量实验系统,如图9所示。系统由两台IDS公司生产的型号为UI-3250的相机和一台福州巨维达光电公司生产的型号为PDC03-A的投影仪组成。相机分辨率为1600 pixel×1200 pixel,投影仪分辨率为1200 pixel×800 pixel。双目标定使用的标靶为玻璃材质棋盘格标靶,棋盘格间距为10 mm,角点的定位精度为0.001 mm。

图 9. 实验装置图

Fig. 9. Experimental setup

下载图片 查看所有图片

3.1 精度评价

为评价所提的缺失区域数据重建方法的精度,首先,使用带有双球的标准件对条纹投影结构光双目系统进行测量精度评价。标准件左球直径RA=50.7991 mm, 右球直径RB=50.7970 mm,两球心之间的距离为100.2537 mm。在测量范围内多个位置对标准件进行测量,利用测量三维数据对A、B两球进行直径和球心距DAB的几何尺寸拟合分析,测量结果如表1所示,测量直径误差与球心距离误差不大于0.06 mm。然后,对所提的缺失区域点云插补方法的精度进行评价,将标准件A球与B球的完整数据各去除大小为40 pixel×40 pixel的部分数据作为双目匹配缺失区域。图10(a)所示为其中一组实验数据,由所提方法对该孔洞区域进行重建,补洞后完整的球面数据如图10(b)所示,采用与双目系统相同的精度评价方式进行球心距与直径的几何分析,结果如表1所示,重建结果中直径误差与球心距离误差不大于0.07 mm。所有实验均在Matlab软件中进行算法实现与数据处理,运行的PC硬件环境为Intel(R) Core(TM) i5-7500 CPU@3.40 GHz,运行内存为8 GB,操作系统为Win 10,实验中双目结构光系统对双球标准件进行三维重建耗时4.364 s,用所提方法对去除大小为40 pixel×40 pixel的部分数据的标准件进行插补,重建耗时0.1957 s。所提方法解决了双目重建数据结果中的孔洞问题,直接使用传统双目重建的相位信息与孔洞周围点云数据,只涉及对应相位和点云数据的读取、孔洞区域隐式-相位高度映射参数的计算,及孔洞三维点云数据重建,因此耗时较少。

图 10. 双球标准件的测量结果。(a)双球标准件去除部分数据作为待插补点云;(b)用所提方法进行点云插补的结果

Fig. 10. Measurement results of standard sample with two balls. (a) Remove part of complete point cloud data of standard sample as holes to be interpolated; (b) interpolated result by proposed method

下载图片 查看所有图片

3.2 实物实验

在实验装置上,对人脸面具模型进行测量,结果如图11所示。同时,利用商业三维点云处理软件Geomagic对人脸面具实验中的孔洞进行插补,并与所提方法的结果进行对比,结果如图12所示。此外,还在实验装置上对葫芦模型进行测量,结果如图13所示。

由双目系统重建的人脸面具结果如图11(a)所示,由于鼻子较高形成遮挡,左右相机不能同时采集到投影在两侧鼻翼的条纹图像,在鼻翼两侧点云出现缺失。为了更进一步对比实际测量物体时双目系统直接测量精度与所提方法的重建精度,人为地从图11(a)中双目重建的人脸面具数据完整区域中去除大小为60 pixel×60 pixel的一部分,如形状有一定起伏的人脸上嘴唇部位方形区域;图11(b)是通过所提方法对鼻翼两侧和上嘴唇缺失区域进行点云重建后得到的人脸面具完整的三维点云数据;图11(c)、(d)分别为左右鼻翼孔洞区域插补点云的放大展示图;图11(e)是人为地将上嘴唇扣除一部分点云数据后重新插补的补点云放大展示图;图11(f)是所扣除区域中间一行和一列数据插补结果与双目系统直接测量数据的差异分布,数据差异的标准差分别为0.018 mm与0.021 mm。

表 1. 双目视觉系统及所提方法的精度评价结果

Table 1. Accuracy evaluation of binocular vision system and proposed methodmm

No.Binocular vision light systemProposed method
Diameter of ADiameter of BDABDiameter of ADiameter of BDAB
ValueErrorValueErrorValueErrorValueErrorValueErrorValueError
150.795-0.00450.788-0.009100.195-0.05950.793-0.00650.786-0.011100.191-0.063
250.764-0.03550.759-0.038100.201-0.05350.770-0.02950.746-0.051100.195-0.059
350.782-0.01850.8480.051100.2830.03050.771-0.02850.783-0.014100.208-0.046
450.8230.02450.756-0.041100.197-0.05650.8200.02150.759-0.038100.197-0.056
550.762-0.03750.8080.011100.235-0.01950.768-0.03150.8180.021100.236-0.018
650.793-0.00750.780-0.017100.3000.04650.7840.01550.778-0.019100.2890.035
750.8100.01150.8230.026100.221-0.03350.789-0.01050.752-0.045100.199-0.054
850.8540.05550.770-0.027100.2640.01050.8650.06650.779-0.018100.2580.004
950.755-0.04450.8300.033100.239-0.01550.768-0.03150.8340.037100.228-0.026
1050.8440.04550.8230.026100.232-0.02250.8520.05350.8050.008100.217-0.037

查看所有表

图 11. 人脸面具重建结果。(a)两侧鼻翼存在局部点云缺失,上嘴唇存在人为扣除部分数据的重建结果;(b)所提方法插补结果;(c)左鼻翼插补点云数据;(d)右鼻翼插补点云数据;(e)上嘴唇插补点云数据;(f)上嘴唇点云扣除区域中间行和列插补结果与测量结果的差异分布

Fig. 11. Reconstructed result of facial mask. (a) Reconstructed result with local point cloud data missing on both sides of nose and some point cloud data artificially deducted in upper lip; (b) interpolated result of proposed method; (c) interpolated point cloud data in left nasal alar; (d) interpolated point cloud data in right nasal alar; (e) interpolated point cloud data in upper lip; (f) difference distribution between interpolated result and measured result of point cloud deducted area in upper lip

下载图片 查看所有图片

由Geomagic软件对人脸面具鼻翼两侧和上嘴唇缺失区域进行点云插补的结果如图12(a)所示;图12(b)、(c)分别为左右鼻翼孔洞区域Geomagic软件插补点云的放大展示图,其结果并未将所有缺失点云插补完整,鼻翼孔洞上下两侧还存在少量单个点云数据的缺失,而且插补结果存在明显分层的“补丁”现象,数据不够平滑,误差较大;图12(d)是Geomagic软件对上嘴唇人为扣除部分点云数据插补后的补点云放大展示图,其重建的点云排列较为散乱,上嘴唇人为扣除点云中点的数量为3600个,而Geomagic软件中统计其插补点的数量为2564个,与所提方法相比约少1000个点;图12(e)同时展示了利用所提方法与Geomagic软件对上嘴唇人为扣除区域进行插补的结果,蓝色点云为所提方法的插补点云数据,红色点云为Geomagic软件的插补点云数据,可见所提方法的插补结果与扣除区域周围数据的契合度更好;图12(f)为所扣除区域中间一行和一列数据的Geomagic软件插补结果与双目系统测量原有数据的差异分布,数据差异的标准差分别为0.1597 mm与0.4124 mm。

图 12. 人脸面具Geomagic插补结果。(a)使用Geomagic软件对人脸面具鼻翼两侧和上嘴唇人为扣除孔洞进行插补的结果;(b)左鼻翼Geomagic插补点云数据;(c)右鼻翼Geomagic插补点云数据;(d)上嘴唇Geomagic插补点云数据;(e)上嘴唇区域所提方法插补结果与Geomagic插补结果的对比;(f)上嘴唇点云扣除区域中间行和列Geomagic插补结果与双目视觉系统测量结果的差异分布

Fig. 12. Interpolated results of facial mask by Geomagic. (a) Reconstructed result by Geomagic with local point cloud data missing on both sides of nose and some point cloud data artificially deducted in upper lip; (b) interpolated point cloud data by Geomagic in left nasal alar; (c) interpolated point cloud data by Geomagic in right nasal alar; (d) interpolated point cloud data by Geomagic in upper lip; (e) comparison of interpolated results of proposed method and Geomagic in upper lip; (f) difference d

下载图片 查看所有图片

实验数据结果对比说明,有别于商用软件单纯以缺失点云周围信息作曲面甚至平面拟合的插补方法,所提方法充分考虑了缺失点云数据附近相位-高度之间的内在映射关系,利用单目系统真实测到的相位数据指引缺失点云的插补,插补结果更贴近真值,误差更小。

由双目系统重建的葫芦模型结果如图13(a)所示,由于葫芦面形起伏较大形成遮挡,在两端和中间部分区域点云出现缺失。图13(b)是通过所提方法对葫芦模型缺失区域进行数据插补得到的完整的三维点云数据;图13(c)、(d)分别为葫芦模型左右两端缺失区域插补点云的放大展示图,可以看出,所提方法很好地完成了缺失点云数据的插补。

图 13. 葫芦模型实验结果。(a)两端和中间部位存在缺失的双目重建结果;(b)所提方法插补的重建结果;(c)插补后的左端点云数据;(d)插补后的右端点云数据

Fig. 13. Experiment results of gourd model. (a) Binocular reconstructed result with point cloud absence in both ends and middle part; (b) interpolated result of proposed method; (c) interpolated point cloud data in left end; (d) interpolated point cloud data in right end

下载图片 查看所有图片

4 结论

提出一种对双目系统相位匹配缺失数据进行点云插补的方法。该方法基于孔洞周围区域双目成功匹配后计算的高度数据,以及单一参考平面的相位和高度数据,建立隐式相位-高度映射关系,由单相机可靠相位数据实现孔洞区域的点云重建插补。所提方法是对基于条纹相位信息的传统双目重建方法的一个有益补充,可以用来解决双目重建结果中由光路遮挡引起的缺失点云数据后续插补问题。所提方法只需在测量系统标定阶段增加单次平面测量作为参考基准,无需额外的单目系统标定,简化省略了不同坐标系间的转换过程,插补后可获得双目视觉系统在该测量视角下的精度较高的全部点云数据,使测量结果更加完整。实验验证了所提方法的可行性及其较高的精度。由于所提方法中涉及的相位-高度映射参数拟合与左右单目重建都是利用相位数据完成的,因此确保和提升系统的相位测量精度是该方法的关键。

参考文献

[1] 苏显渝, 张启灿, 陈文静. 结构光三维成像技术[J]. 中国激光, 2014, 41(2): 0209001.

    Su X Y, Zhang Q C, Chen W J. Three-dimensional imaging based on structured illumination[J]. Chinese Journal of Lasers, 2014, 41(2): 0209001.

[2] 邢威, 张福民, 冯维, 等. 基于数字微镜器件的高光面物体三维测量方法[J]. 光学学报, 2017, 37(12): 1212002.

    Xing W, Zhang F M, Feng W, et al. Three-dimensional measurement method of objects with specular surface based on digital micromirror device[J]. Acta Optica Sinica, 2017, 37(12): 1212002.

[3] Xue J P, Zhang Q C, Li C H, et al. 3D face profilometry based on galvanometer scanner with infrared fringe projection in high speed[J]. Applied Sciences, 2019, 9(7): 1458.

[4] 杨鹏斌, 邓林嘉, 陈元, 等. 基于结构光的高反物体三维形貌测量方法[J]. 中国激光, 2019, 46(2): 0204004.

    Yang P B, Deng L J, Chen Y, et al. Three-dimensional shape measurement of highly reflective objects based on structured light[J]. Chinese Journal of Lasers, 2019, 46(2): 0204004.

[5] Zhang S. Recent progresses on real-time 3D shape measurement using digital fringe projection techniques[J]. Optics and Lasers in Engineering, 2010, 48(2): 149-158.

[6] 郑东亮, 达飞鹏. 双步相移光栅投影测量轮廓术[J]. 光学学报, 2012, 32(5): 0512004.

    Zheng D L, Da F P. Double-step phase-shifting algorithm for fringe projection measurement[J]. Acta Optica Sinica, 2012, 32(5): 0512004.

[7] 陈雨婷, 曹益平, 陈澄, 等. 基于不等占空比二元光栅的相位测量轮廓术[J]. 光学学报, 2018, 38(8): 0815021.

    Chen Y T, Cao Y P, Chen C, et al. Phase measurement profilometry based on binary gratings with unequal duty cycle[J]. Acta Optica Sinica, 2018, 38(8): 0815021.

[8] Zuo C, Feng S J, Huang L, et al. Phase shifting algorithms for fringe projection profilometry: a review[J]. Optics and Lasers in Engineering, 2018, 109: 23-59.

[9] Pribanic T, Obradovic N, Salvi J. Stereo computation combining structured light and passive stereo matching[J]. Optics Communications, 2012, 285(6): 1017-1022.

[10] Wang J N, Oliveira M M. Filling holes on locally smooth surfaces reconstructed from point clouds[J]. Image and Vision Computing, 2007, 25(1): 103-113.

[11] DineshC, Baji I V, Cheung G. Exemplar-based framework for 3D point cloud hole filling [C]//2017 IEEE Visual Communications and Image Processing (VCIP), December 10-13, 2017, St. Petersburg, FL, USA. New York: IEEE, 2017: 17614282.

[12] 雷彦章, 赵慧洁, 姜宏志. 一种单双目视觉系统结合的三维测量方法[J]. 光学学报, 2008, 28(7): 1338-1342.

    Lei Y Z, Zhao H J, Jiang H Z. A three-dimensional measurement method by combining binocular and monocular vision systems[J]. Acta Optica Sinica, 2008, 28(7): 1338-1342.

[13] 张利萍, 刘桂华, 可杨. 基于单双目融合的遮挡区域点云获取技术研究[J]. 微型机与应用, 2017, 36(4): 70-73.

    Zhang L P, Liu G H, Ke Y. The occluded area point cloud acquisition technology research based on single binocular fusion[J]. Microcomputer & Its Applications, 2017, 36(4): 70-73.

[14] 盖绍彦, 达飞鹏. 一种新的相位法三维轮廓测量系统模型及其标定方法研究[J]. 自动化学报, 2007, 33(9): 902-910.

    Gai S Y, Da F P. A new model of 3D shape measurement system based on phase measuring profilometry and its calibration[J]. Acta Automatica Sinica, 2007, 33(9): 902-910.

[15] 于瑾, 陈超, 高楠, 等. 基于条纹投影的双目结构光成像系统[J]. 光电子·激光, 2018, 29(8): 844-851.

    Yu J, Chen C, Gao N, et al. Dual-camera structured light imaging system based on fringe projection[J]. Journal of Optoelectronics·Laser, 2018, 29(8): 844-851.

[16] 耿英楠. 立体匹配技术的研究[D]. 长春: 吉林大学, 2014: 39- 48.

    Geng YN. Research on stereo matching algorithms[D]. Changchun: Jilin University, 2014: 39- 48.

[17] Zhou W S, Su X Y. A direct mapping algorithm for phase-measuring profilometry[J]. Journal of Modern Optics, 1994, 41(1): 89-94.

[18] Li W S, Su X Y, Liu Z B. Large-scale three-dimensional object measurement: a practical coordinate mapping and image data-patching method[J]. Applied Optics, 2001, 40(20): 3326-3333.

[19] Zhang Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

[20] 尚忠义, 李伟仙, 董明利, 等. 基于四步相移光栅投影的三维形貌测量系统[J]. 应用光学, 2015, 36(4): 584-589.

    Shang Z Y, Li W X, Dong M L, et al. 3D shape measurement system based on fringe projection in 4-step phase shifting[J]. Journal of Applied Optics, 2015, 36(4): 584-589.

[21] 徐珍华, 苏显渝. 一种时间相位展开算法[J]. 四川大学学报(自然科学版), 2008, 45(3): 537-540.

    Xu Z H, Su X Y. An algorithm of temporal phase unwrapping[J]. Journal of Sichuan University(Natural Science Edition), 2008, 45(3): 537-540.

李承杭, 薛俊鹏, 郎威, 张启灿. 基于相位映射的双目视觉缺失点云插补方法[J]. 光学学报, 2020, 40(1): 0111019. Chenghang Li, Junpeng Xue, Wei Lang, Qican Zhang. Method for Interpolation of Missing Point Cloud Based on Phase Mapping in Binocular Vision[J]. Acta Optica Sinica, 2020, 40(1): 0111019.

本文已被 4 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!