基于相位映射的双目视觉缺失点云插补方法 下载: 1537次
1 引言
随着计算机技术和成像设备的发展,结构光三维成像技术[1-4]已被广泛应用于航空航天、工业检测、文物保护、人工智能,以及游戏娱乐等各个领域。相位测量轮廓术凭借其速度快、精度高、非接触等优点,具有广阔的应用前景[5-7]。按相机个数可以将常用的相位测量轮廓术系统分为单目系统和双目系统。单目系统的工作原理是利用投影装置投射具有某种模式的条纹结构光到待测物体表面,再利用一台相机获取受物体表面形状调制的结构光场,通过对应算法计算得到待测物体的高度信息[8]。双目系统在单目系统的基础上增加一台相机,以相位信息作为匹配基元,通过双目立体视觉方法获取被测物体在左右两台相机上对应点的视差,进而计算高度得到三维点云数据[9]。单目系统结构简单,但双目系统拥有更好的数据质量和测量精度,因此在要求较高的场景中应用更为广泛。
因为双目系统图像对应点的匹配是在两台相机测量视场的公共区域中进行的,而系统中两台相机的位置存在一定的夹角,所以待测物体表面的遮挡和阴影等因素容易导致一幅图像中的相位值在另一幅图像中无法找到对应匹配相位,从而无法获取该点视差值,最终导致物体重建的三维点云数据中出现对应区域点云缺失的现象。许多学者对重建缺失区域点云数据的插补方法进行了研究。Wang等[10]在对点云数据进行三角剖分的基础上,提出一种移动最小二乘方法插补点云缺失数据的方法,当缺失区域形状复杂时,该方法的效果不够理想;Dinesh等[11]提出一种基于样本结构的三维点云插补方法,当缺失区域较大时仍有较好结果,但算法复杂且存在大量迭代过程,耗时较多;雷彦章等[12]提出一种单双目结合的测量方法,分别将两个相机与投影仪组成两套单目系统对缺失区域进行插补,但是该方法需要同时进行双目系统和单目系统的标定,并完成三套系统坐标系的转换统一;张利萍等[13]基于文献[ 14]的相位-高度映射模型,提出一种双目点云重建单目点云的方法,但在计算该映射模型参数时会引入误差;于瑾等[15]提出一种改进的最近点迭代(ICP)算法,提高了算法稳健性,将不同视角下的点云数据融合到相同坐标系下,但存在多次迭代耗时的问题;耿英楠[16]提出了一种基于RGB矢量空间的三目立体匹配算法,改善了由遮挡区域和其他一些原因导致的误匹配问题,但是增加了一台相机的成本,且计算过程较为复杂。本文提出一种基于双目可测点云和单目已获取相位数据,利用隐式相位-高度映射关系对缺失区域孔洞进行点云重建的方法,只需在双目系统标定阶段测量一个平面的高度和相位数据并以此作为参考,便可利用孔洞区域周围有效像素点的三维点云与相对于参考平面的相位和高度差建立隐式相位-高度映射关系,从而利用单相机可靠相位数据对孔洞区域的点云进行重建,最终提升物体表面三维点云数据的完整性。该方法无需额外的单目系统标定,简化省略了后续不同坐标系间的转换过程。
2 基本原理
2.1 立体视觉原理和点云孔洞成因分析
基于条纹投影的双目测量系统原理是投影装置向待测物体表面投射具有一定频率的正弦相移条纹图,左右相机同步拍摄经物体表面高度调制后的变形条纹图,根据采集的图像解算得到分布于(-π,π]的两个截断相位,再通过相位展开方法依次得到连续分布的相位信息,利用极线约束原理和双目相机标定参数对相位分布作极线校正,然后在立体视觉成像模型中以相位信息为匹配基元,搜寻左右图像中对应的同名点图像坐标并获取视差,进而计算出物体表面的三维数据。
立体视觉成像模型如
以左相机光心Ol为原点建立左相机坐标系,P点在左相机坐标系下的坐标(xc,yc,zc)可以表示为
式中:d=xl-xr,即视差,是P点在左右像平面上的匹配点x轴方向的坐标之差。极线校正后的左右两幅图像是行对准的,即图像纵坐标yl=yr=y',因此匹配时只需在图像同一行中进行。
上述对应点的匹配是在左右相机公共视场中进行的。由于两台相机的位置存在一定角度,待测物体表面较复杂时视场中容易出现遮挡等情况,当一幅图像中某像素点的对应点在另一幅图像中刚好位于遮挡区域时,就不能获得对应的匹配点坐标,因而该点的视差值和最终的物体三维点云数据都会出现缺失。如
2.2 单目结构光相位-高度映射原理
双目系统测量中缺失区域所对应的展开相位值在某一单目数据中是存在的。以人脸面具的结果为例,
图 3. 双目视觉系统测量数据展示。(a)左相机成像变形条纹图;(b)右相机成像变形条纹图;(c)人脸面具重建结果
Fig. 3. Display of binocular vision system measurement data. (a) Distorted fringe image of left camera; (b) distorted fringe image of right camera; (c) reconstructed result of facial mask
单目系统中,利用相位测量轮廓术获取待测物体表面的展开相位,后续的一个重要步骤是建立相位-高度的映射关系,以得到物体的实际高度信息。常用的相位-高度映射方法有显式和隐式两种,其中,显式映射方法需要测量系统满足一定的先决条件,并需要提前测定系统的一些结构参数。通常,这些参数不易精确获取,因而显式映射方法在实际测量时并不便于使用。Zhou等[17-18]基于理想几何成像原理提出的隐式相位-高度映射方法,无需测定系统位置参数,直接根据测量空间中若干个已知位置的平面高度值就可建立起精度较高的物体相位-高度映射关系,使得测量系统的搭建相对灵活。基于二次拟合的隐式相位-高度映射关系为
式中:(u,v)为相机图像坐标,u表示图像坐标行方向,v表示图像坐标列方向;Δh(u,v)表示图像上每一个像素点对应的测量空间内已知位置的平面上的点相对于参考平面的高度差;Δφ(u,v)为对应点的相位差;a(u,v)、b(u,v)、c(u,v)为待标定的参数,反映了参考平面上各点相对于基准平面的相位差与高度差之间的映射系数,由系统的结构参数决定[17-18]。要求解三个未知系数,至少需要4个平面的高度和相位信息来构造3组不同的Δh(u,v)和Δφ(u,v),并将其以查找表的方式存储起来。对物体进行测量时,只要获得物体表面的相位分布Δφ(u,v),就能利用查找表得到物面上成像在(u,v)像素坐标位置上点的对应高度。考虑到测量系统中投影与成像中心连线方向一般是水平的,实际测量时可以将基准平面固定在精密位移平台上,以第一个平面位置为参考面,利用投影装置投射竖直方向正弦相移条纹至平面上,由相机采集图像,从相移条纹中计算求得对应的相位信息。精密位移平台带动平面平行等间隔移动3次,可以得到每次移动后当前平面位置与参考面的高度差Δhi(u,v)和相位差Δφi'(u,v)(i'=1,2,3),代入(2)式计算得到参数a(u,v)、b(u,v)、c(u,v),标定过程如
图 4. 隐式相位-高度映射关系标定示意图
Fig. 4. Calibration diagram of implicit phase-height mapping relationship
2.3 孔洞区域的隐式相位-高度映射插补原理
使用条纹投影结构光双目系统进行上述隐式相位-高度映射关系标定实验,对得到的参数a(u,v)、b(u,v)、c(u,v)进行考察,参考平面每次等距移动40 mm,相机拍摄图像的分辨率为1600 pixel×1200 pixel。
分析前述二次拟合隐式相位-高度映射关系标定过程可知:投影装置投射的是竖直方向条纹,如
图 5. 隐式相位-高度映射关系标定参数分析。(a) a(u,v);(b) b(u,v);(c) c(u,v)
Fig. 5. Analysis on calibration parameter of implicit phase-height mapping relationship. (a) a(u,v); (b) b(u,v); (c) c(u,v)
但由于相机成像光轴与参考平面移动轴存在夹角,或者由于投影系统姿态倾斜,在
通过上述分析,借鉴隐式相位-高度映射模型,提出一种双目测量系统孔洞缺失数据插补的新方法。利用孔洞周围已有效匹配的点云数据拟合出孔洞区域对应的相位-高度映射参数,从现成已有的单目相位信息中对应获得孔洞区域的单目点云数据。该方法无需对单目系统分别进行单独标定操作,简化省略了不同坐标系间的后续转换过程。在系统的标定阶段,事先获得一个位置的参考平面相位信息φ0(u,v)和高度信息Z0(u,v),由双目系统重建并存在孔洞的物体高度结果如
图 6. 相机采集的条纹图和条纹频谱图。(a)沿竖直方向分布的条纹图;(b)倾斜条纹图;(c)条纹图像傅里叶频谱分布
Fig. 6. Fringe patterns taken by camera and fringe spectrum. (a) Vertically distributed fringe pattern; (b) inclined fringe pattern; (c) Fourier spectrum distribution of fringe pattern
利用最小二乘拟合计算出第j列对应的参数aj、bj、cj,得到该列新的相位-高度映射拟合关系式:
再将第j列缺失像素点对应的相位信息φ'(u,j)代入新拟合的相位-高度映射关系式,即可得到该列缺失的高度数据。
以左相机坐标系为基准,先获取左相机坐标系下的双目点云数据,根据左相机下的相位数据对左相机缺失区域进行重建,再根据右相机下的相位数据对右相机缺失区域进行重建,最后将重建的右相机缺失区域点云数据转换到左相机坐标系,得到完整的点云。具体实现步骤如
1) 双目标定。采用Zhang[19]提出的平面标定法得到双目系统内外参数。
2) 相位展开。利用图像调制度模板分离图像中待测物体区域和背景,采用四步相移算法[20]求取截断相位,用三频法[21]对正弦相移条纹图进行相位展开,得到左右图像展开相位。
3) 双目匹配与视差计算。根据双目标定系统参数对左右图像展开相位作极线校正,在立体视觉成像模型下对左右相机的展开相位进行亚像素匹配获得视差图,同时标记出遮挡区域中的未匹配点。
4) 双目重建。通过视差图和双目系统内外参数,利用(1)式计算出三维点云数据。
5) 基于单目有效相位的缺失点云重建。将极线校正后的左右相机展开相位数据与对应的点云高度数据代入(3)式计算相位-高度映射参数,再将左右相机遮挡区域中未匹配点的单目相位代入(4)式得到高度。将右相机单独重建的点云插补数据转换到左相机坐标系,得到最终的完整点云数据。
3 实验与结果分析
为验证算法的正确性,搭建了条纹投影结构光双目测量实验系统,如
3.1 精度评价
为评价所提的缺失区域数据重建方法的精度,首先,使用带有双球的标准件对条纹投影结构光双目系统进行测量精度评价。标准件左球直径RA=50.7991 mm, 右球直径RB=50.7970 mm,两球心之间的距离为100.2537 mm。在测量范围内多个位置对标准件进行测量,利用测量三维数据对A、B两球进行直径和球心距DAB的几何尺寸拟合分析,测量结果如
图 10. 双球标准件的测量结果。(a)双球标准件去除部分数据作为待插补点云;(b)用所提方法进行点云插补的结果
Fig. 10. Measurement results of standard sample with two balls. (a) Remove part of complete point cloud data of standard sample as holes to be interpolated; (b) interpolated result by proposed method
3.2 实物实验
在实验装置上,对人脸面具模型进行测量,结果如
由双目系统重建的人脸面具结果如
表 1. 双目视觉系统及所提方法的精度评价结果
Table 1. Accuracy evaluation of binocular vision system and proposed methodmm
|
图 11. 人脸面具重建结果。(a)两侧鼻翼存在局部点云缺失,上嘴唇存在人为扣除部分数据的重建结果;(b)所提方法插补结果;(c)左鼻翼插补点云数据;(d)右鼻翼插补点云数据;(e)上嘴唇插补点云数据;(f)上嘴唇点云扣除区域中间行和列插补结果与测量结果的差异分布
Fig. 11. Reconstructed result of facial mask. (a) Reconstructed result with local point cloud data missing on both sides of nose and some point cloud data artificially deducted in upper lip; (b) interpolated result of proposed method; (c) interpolated point cloud data in left nasal alar; (d) interpolated point cloud data in right nasal alar; (e) interpolated point cloud data in upper lip; (f) difference distribution between interpolated result and measured result of point cloud deducted area in upper lip
由Geomagic软件对人脸面具鼻翼两侧和上嘴唇缺失区域进行点云插补的结果如
图 12. 人脸面具Geomagic插补结果。(a)使用Geomagic软件对人脸面具鼻翼两侧和上嘴唇人为扣除孔洞进行插补的结果;(b)左鼻翼Geomagic插补点云数据;(c)右鼻翼Geomagic插补点云数据;(d)上嘴唇Geomagic插补点云数据;(e)上嘴唇区域所提方法插补结果与Geomagic插补结果的对比;(f)上嘴唇点云扣除区域中间行和列Geomagic插补结果与双目视觉系统测量结果的差异分布
Fig. 12. Interpolated results of facial mask by Geomagic. (a) Reconstructed result by Geomagic with local point cloud data missing on both sides of nose and some point cloud data artificially deducted in upper lip; (b) interpolated point cloud data by Geomagic in left nasal alar; (c) interpolated point cloud data by Geomagic in right nasal alar; (d) interpolated point cloud data by Geomagic in upper lip; (e) comparison of interpolated results of proposed method and Geomagic in upper lip; (f) difference d
实验数据结果对比说明,有别于商用软件单纯以缺失点云周围信息作曲面甚至平面拟合的插补方法,所提方法充分考虑了缺失点云数据附近相位-高度之间的内在映射关系,利用单目系统真实测到的相位数据指引缺失点云的插补,插补结果更贴近真值,误差更小。
由双目系统重建的葫芦模型结果如
图 13. 葫芦模型实验结果。(a)两端和中间部位存在缺失的双目重建结果;(b)所提方法插补的重建结果;(c)插补后的左端点云数据;(d)插补后的右端点云数据
Fig. 13. Experiment results of gourd model. (a) Binocular reconstructed result with point cloud absence in both ends and middle part; (b) interpolated result of proposed method; (c) interpolated point cloud data in left end; (d) interpolated point cloud data in right end
4 结论
提出一种对双目系统相位匹配缺失数据进行点云插补的方法。该方法基于孔洞周围区域双目成功匹配后计算的高度数据,以及单一参考平面的相位和高度数据,建立隐式相位-高度映射关系,由单相机可靠相位数据实现孔洞区域的点云重建插补。所提方法是对基于条纹相位信息的传统双目重建方法的一个有益补充,可以用来解决双目重建结果中由光路遮挡引起的缺失点云数据后续插补问题。所提方法只需在测量系统标定阶段增加单次平面测量作为参考基准,无需额外的单目系统标定,简化省略了不同坐标系间的转换过程,插补后可获得双目视觉系统在该测量视角下的精度较高的全部点云数据,使测量结果更加完整。实验验证了所提方法的可行性及其较高的精度。由于所提方法中涉及的相位-高度映射参数拟合与左右单目重建都是利用相位数据完成的,因此确保和提升系统的相位测量精度是该方法的关键。
[1] 苏显渝, 张启灿, 陈文静. 结构光三维成像技术[J]. 中国激光, 2014, 41(2): 0209001.
[2] 邢威, 张福民, 冯维, 等. 基于数字微镜器件的高光面物体三维测量方法[J]. 光学学报, 2017, 37(12): 1212002.
[3] Xue J P, Zhang Q C, Li C H, et al. 3D face profilometry based on galvanometer scanner with infrared fringe projection in high speed[J]. Applied Sciences, 2019, 9(7): 1458.
[4] 杨鹏斌, 邓林嘉, 陈元, 等. 基于结构光的高反物体三维形貌测量方法[J]. 中国激光, 2019, 46(2): 0204004.
[6] 郑东亮, 达飞鹏. 双步相移光栅投影测量轮廓术[J]. 光学学报, 2012, 32(5): 0512004.
[7] 陈雨婷, 曹益平, 陈澄, 等. 基于不等占空比二元光栅的相位测量轮廓术[J]. 光学学报, 2018, 38(8): 0815021.
[8] Zuo C, Feng S J, Huang L, et al. Phase shifting algorithms for fringe projection profilometry: a review[J]. Optics and Lasers in Engineering, 2018, 109: 23-59.
[11] DineshC, Baji I V, Cheung G. Exemplar-based framework for 3D point cloud hole filling [C]//2017 IEEE Visual Communications and Image Processing (VCIP), December 10-13, 2017, St. Petersburg, FL, USA. New York: IEEE, 2017: 17614282.
[12] 雷彦章, 赵慧洁, 姜宏志. 一种单双目视觉系统结合的三维测量方法[J]. 光学学报, 2008, 28(7): 1338-1342.
[13] 张利萍, 刘桂华, 可杨. 基于单双目融合的遮挡区域点云获取技术研究[J]. 微型机与应用, 2017, 36(4): 70-73.
Zhang L P, Liu G H, Ke Y. The occluded area point cloud acquisition technology research based on single binocular fusion[J]. Microcomputer & Its Applications, 2017, 36(4): 70-73.
[14] 盖绍彦, 达飞鹏. 一种新的相位法三维轮廓测量系统模型及其标定方法研究[J]. 自动化学报, 2007, 33(9): 902-910.
Gai S Y, Da F P. A new model of 3D shape measurement system based on phase measuring profilometry and its calibration[J]. Acta Automatica Sinica, 2007, 33(9): 902-910.
[15] 于瑾, 陈超, 高楠, 等. 基于条纹投影的双目结构光成像系统[J]. 光电子·激光, 2018, 29(8): 844-851.
Yu J, Chen C, Gao N, et al. Dual-camera structured light imaging system based on fringe projection[J]. Journal of Optoelectronics·Laser, 2018, 29(8): 844-851.
[16] 耿英楠. 立体匹配技术的研究[D]. 长春: 吉林大学, 2014: 39- 48.
Geng YN. Research on stereo matching algorithms[D]. Changchun: Jilin University, 2014: 39- 48.
[17] Zhou W S, Su X Y. A direct mapping algorithm for phase-measuring profilometry[J]. Journal of Modern Optics, 1994, 41(1): 89-94.
[18] Li W S, Su X Y, Liu Z B. Large-scale three-dimensional object measurement: a practical coordinate mapping and image data-patching method[J]. Applied Optics, 2001, 40(20): 3326-3333.
[19] Zhang Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.
[20] 尚忠义, 李伟仙, 董明利, 等. 基于四步相移光栅投影的三维形貌测量系统[J]. 应用光学, 2015, 36(4): 584-589.
[21] 徐珍华, 苏显渝. 一种时间相位展开算法[J]. 四川大学学报(自然科学版), 2008, 45(3): 537-540.
Xu Z H, Su X Y. An algorithm of temporal phase unwrapping[J]. Journal of Sichuan University(Natural Science Edition), 2008, 45(3): 537-540.
Article Outline
李承杭, 薛俊鹏, 郎威, 张启灿. 基于相位映射的双目视觉缺失点云插补方法[J]. 光学学报, 2020, 40(1): 0111019. Chenghang Li, Junpeng Xue, Wei Lang, Qican Zhang. Method for Interpolation of Missing Point Cloud Based on Phase Mapping in Binocular Vision[J]. Acta Optica Sinica, 2020, 40(1): 0111019.