用于浮雕的线激光扫描三维重建系统
1 引言
三维重建是对三维物体建立一个能让计算机显示和处理的数据模型,在计算机环境下对其进行处理分析,使其能在计算机中表达客观世界的虚拟现实技术。大型场合中三维重建主要用于数字化城市的重建、大型器械的损伤检测[1]、古迹的保护与修复等工作[2];而在小型场合中多用于零件缺陷检测与外形重建[3-4],且大多使用线激光和结构光设备[5-6]。如邓世祥等[7]搭建了检测与加工一体的线激光实验平台,对叶片的检测数据进行补偿。张鹏程等[8]提出了一种线激光交叠式扫描的叶片三维重建方法,该方法能较好地重建出叶片的形貌,以便更清楚地观察叶片缺陷。也有一部分学者将三维重建应用于木雕、石雕等艺术品上。如Zhang等[9]提出一种非刚性单图像纹理映射方法,用于古雕塑的重建,该方案可以解决纹理映射中局部细节区域不匹配的问题,并且适用于可变焦距或未校准相机捕获的图像,但是过程中有过多的人工干涉。Liu等[10]针对雪雕的重建,提出了一种在复杂光环境中使用的基于结构光的精确快速鲁棒的测量方法,该方法能消除大多数环境噪声,但对结构光无标记点的区域测量会增加累积的误差。
以上线激光研究多用于零件的检测,立体石雕等工艺品的三维重建则多用结构光或图像,而有关线激光用于浮雕类工艺品的研究鲜有报道。传统浮雕多为人工凿刻,或基于数字模型进行加工,若无数字模型则无法用机床等设备进行加工,而建立数字模型一般需要请专业人士进行设计。对此,本文通过结合线激光与工业机器人对无数据模型的浮雕进行三维重构。搭建结合机器人与线激光的扫描平台,提出浮雕的扫描路径与数据预处理算法,对预处理后的点云数据进行误差补偿;并提出基于衍生的迭代最近点(GICP)算法的自动点云拼接算法,对补偿后的点云块进行自动拼接,配合点云后处理算法和Delaunay三角剖分技术生成浮雕模型,实现对浮雕的三维重建。
2 扫描平台搭建与浮雕点云数据获取
2.1 实验平台搭建
建立针对浮雕模型的线激光扫描三维重建系统,该系统由ABB公司的IRB 4600型工业机器人、日本基恩士Keyence公司的LJ-G200型线激光设备、计算机和扫描平台组成,线激光设备原理如
2.2 浮雕点云数据获取
机器人和线激光根据计算获得的路径对浮雕模型进行扫描,扫描过程如
沿图中的路径进行扫描,z轴为线激光垂直物体表面的方向,y轴为机器人前进方向(扫描方向),x轴为激光线的方向。线激光测量宽度为
式中:
3 误差分析与补偿
机器人在运动过程中的变速、变姿等情况及机器人本身的运动误差会影响数据的精度,导致误差的产生,从而使扫描得到的点云数据会带有机器人的误差。Zhong等[11]提出了一种运动学误差的评定与补偿方法,该方法通过将每个位置的误差量在编程时补偿到位置坐标上来抑制误差,但在机器人行进过程中会存在变速或抖动的情况。本节主要目的是通过补偿机器人在扫描运动过程中z轴方向抖动引起的误差,提高线激光的最终测量精度。具体方法:利用蔡司三坐标测量机对000级大理石平板进行面形测量,获得基准面形数据;利用“机器人+点激光传感器”的方式,对该大理石平板进行面形测量,得到某一测量路径下点激光测量数据与三坐标测量基准数据的差值,该差值即为该路径下的机器人z轴方向误差;将该误差补偿到机器人的数据中,从而提高测量精度。本文采用德国蔡司的Contura G3三坐标测量机,探头分辨率为0.05 μm,整体测量精度优于1.8 μm。
使用三坐标测量机,如
图 5. 数据采集处理。(a)x方向平面数据;(b)y方向平面数据;(c)x-y数据交叉;(d)数据取交叉点;(e)交叉点插值
Fig. 5. Data acquisition and processing. (a) x direction plane data; (b) y direction plane data; (c) x-y data crossover; (d) taking the intersection of the data; (e) intersection interpolation
对数据进行插值处理后,计算得到平面的波峰波谷(PV)值为7.8 μm,均方根(RMS)值为3.4 μm,此精度可作为扫描的基准使用。
用机器人与点激光测量大理石平板,点激光为日本基恩士Keyence的LK-H020,其光点直径为
图 6. 点激光数据补偿结果。(a)差值补偿的第二次测量结果;(b)差值补偿的第三次测量结果
Fig. 6. Point laser data compensation results. (a) Second measurement result of deviation compensation;(b) third measurement result of deviation compensation
从
此外,在没有点激光传感器的情况下,也可以直接采用线激光测量的方式来取代点激光传感器进行误差标定。其思路是利用测量路径下任一位置的线激光测量数据和相应位置的三坐标面形数据,拟合出该位置机器人的误差值。然而,由于本文采用的线激光精度相对点激光较低,因此在实际的实验过程中,采用点激光的方式进行机器人精度补偿。
4 点云数据的处理算法
目前点云处理方案主要有两大类:基于机器人扫描的手眼标定方法和多次扫描后将点云两两配对的方法。刘旭[12]采用手眼标定的方法配合机器人的运动轨迹,进行叶片的三维测量,然而手眼标定需要花很多时间计算机器人到激光设备的变换矩阵。郭逸豪[13]通过不同视角扫描得到物体的点云数据,用拼接算法对不同视角下的点云数据进行拼接。这种方法在获取点云数据时,需要从不同视角测量多次,在进行点云拼接时也需要多次调整点云位置才能拼接,过程较为繁琐。因此,本文提出基于路径扫描的自动拼接方法,可按照扫描路径一次扫描完成,获取的点云数据结合预处理算法得到自动拼接,不需要人工多次干预,省去了大量计算和重复操作的麻烦。
4.1 点云获取扫描算法与预处理算法
扫描路径如
式中:
根据扫描次数和新步距,最终可得到机器人扫描路径的坐标点,将这些坐标点输入到计算路径程序中,由算法生成机器人运动路径程序。如浮雕模型尺寸长为200 mm,宽为150 mm,则通过扫描路径算法计算得到扫描次数
由于机器人在往复运动的过程中存在加减速和回程误差,对测量精度带来一定影响。为此,线激光在扫描时往y方向两侧偏置一定距离,并在最后数据处理时将这部分的数据作为无效数据剔除。
机器人与线激光按扫描路径得到的原始点云数据如
式中:
由此得到
平移过程如
4.2 点云自动拼接算法
点云拼接作为三维重建的前提,其精度与效果对三维重建有着非常重要的影响。点云间拼接的过程其实就是求得两点云之间的旋转平移矩阵,把源点云变换到和目标点云同坐标系下,源点云为
但初始ICP算法有不便之处,后衍生出一些速度更快、配准鲁棒性更高的方法,如GICP算法[15-16]。本文对GICP算法进行优化,根据扫描间隔,自动计算点云的拼接阈值,大致步骤如下。
1) 遍历所有点云
2) 在预处理算法粗拼接后,得到两簇互为近邻的对应点对
3)设置精度阈值
4)根据对应关系生成新的匹配点对。
5)利用最小二乘法求解刚性变换的矩阵
6)计算变换矩阵的函数为
式中:
7)判断
所提方法在预处理时已对点云数据进行粗拼接和分块处理,点云的自动拼接算法会根据点云数据分块的数量自动计算拼接次数,并根据点云的扫描间隔计算拼接阈值。点云按分块顺序进行两两拼接,如先将点云1与点云2拼接,再将拼接后的点云与点云3进行拼接,以此类推。点云从导入到拼接完成不需要人工干预,拼接过程如
点云拼接后的结果如
4.3 点云后处理算法
点云拼接后,两两点云之间会存在重复部分,可设置一个距离阈值进行索引,以前一片点云为基础,筛选出两片点云中重复部分的点云,并在第二片点云中剔除(反之亦可),重复部分点云如
在线激光扫描过程中,会将浮雕周围的环境一并扫入数据,点云数据中会存在噪声点和无效点,如
在线激光传感器扫描过程中,存在如线激光工装与机器人的安装误差、工件装夹误差、工件与基准底面不平整引入的误差等,从而导致扫描得到的点云数据带有倾斜成分,如
倾斜点云数据在处理时会影响到点云的拼接和后续处理,因此需要对点云进行调平处理即水平面校准,校准步骤为:
1) 筛选出大致在水平面的点;
2) 利用筛选出的地面点估算水平面方程
那么校准前水平面法向量为
3)利用水平面法向量
4)把倾斜的点云乘上旋转矩阵R就是水平面校准后的点云。校准后的数据如
4.4 点云的三角剖分与模型重建
点云的三角剖分是一种广泛应用于曲面重建的方法,使用最广泛的是Delaunay三角剖分及其优化技术[17]。Delaunay三角剖分的最大化最小角特性和空圆特性[18]使生成的三角网格都是唯一的,Delaunay三角剖分技术能更好地处理点云数据,生成三角网格[19]。Delaunay三角剖分技术在二维点云数据的三角网格生成中有很好的效果,但是如浮雕等三维立体的物体,由于点云之间拓扑关系复杂,生成的三角网格会存在交错和空洞的情况[20-21],此技术不能得到很好的效果,因此使用平面投影的Delaunay三角剖分技术生成浮雕模型点云的三角面片能解决这个问题。该方法原理为:将处理完的浮雕点云数据投影至二维平面(x-y面)上;随后将这个二维平面上的点云生成三角网格,并将每个点的深度坐标(点云的z坐标)带回到二维平面上的三角网格点,变成三维空间的三角网格模型[22];最后将三维网格转换成STL格式,STL模型如
5 实验结果对比及分析
在三维模型建立后,对三维模型的精度进行分析,设计验证实验。1)浮雕模型存在加工误差(加工实物与原数字模型形貌误差较大),利用手持三维扫描仪采集数据,对加工后的浮雕进行重建。该扫描仪为加拿大Creaform形创公司的HANDYSCAN 3D系列的REVSCAN,其面形测量精度为0.05 mm,工件表面可测量最小距离(即分辨率)为0.1 mm。将手持三维扫描仪重建的模型作为基准模型。2)验证重建后的模型精度,将未补偿的点云数据生成模型后与基准模型进行对比,得出误差值(该误差为重建精度误差),再对补偿后的数据模型与基准模型进行对比,得出补偿后的精度误差,最终得出重建精度和补偿前后的误差对比,验证重建和补偿的有效性。
5.1 实验平台搭建
为验证线激光扫描数据重建后的精度,将手持三维扫描仪得到的模型数据作为基准,对线激光扫描得到的模型数据补偿前后的误差进行评估。
图 19. 重建模型补偿前后对比。(a)补偿前与基准模型的对比;(b)补偿后与基准模型的对比
Fig. 19. Reconstruction comparison before and after model compensation. (a) Comparison with benchmark model before compensation; (b) comparison with benchmark model after compensation
表 1. 模型补偿前后的平均差值
Table 1. Mean deviation before and after model compensation
|
表 2. 模型补偿前后的标准偏差值
Table 2. Standard deviation before and after model compensation
|
表 3. 模型补偿前后的均方误差值
Table 3. Mean squared error before and after model compensation
|
5.2 实验结果分析
从
从
6 结论
结合机器人与线激光,搭建了浮雕模型点云数据采集的实验平台,该平台可以满足大部分浮雕模型的扫描要求。并提出一种点云自动拼接算法,根据模型尺寸,进行扫描路径的计算和点云数据的处理,提高了点云处理的效率。然后利用三坐标机测量大理石平面,生成基础平面数据,结合点激光、线激光与机器人,对机器人运动过程中的误差进行数据的补偿,数据补偿平均精度可提高40.48%。对点云数据进行拼接与对无效点进行剔除,利用Delaunay三角剖分技术重建STL模型,逆向生成浮雕的三维模型,逆向后的模型与基准模型的标准差平均为0.0576 mm。综上所述,使用线激光能较好地实现浮雕模型的三维重建,但本方案对浮雕模型垂直区域的数据获取有一定局限性,在后续工作中需要进一步完善扫描策略。
[1] 吴军, 李鑫, 刘少禹, 等. 基于后方定位的飞机蒙皮损伤视觉检测全局三维重建方法[J]. 光学学报, 2021, 41(11): 1115002.
[2] 屠大维, 兰浩, 张曦. 文物数字化三维重建技术研究[J]. 激光与光电子学进展, 2019, 56(19): 191504.
[3] 韩家杰, 周建平, 薛瑞雷, 等. 线结构光管道焊缝表面形貌重建与质量评估[J]. 中国激光, 2021, 48(14): 1402010.
[4] 王红平, 王宇, 赵世辰, 等. 基于十字激光的双目视觉钻铆孔质量检测[J]. 中国激光, 2022, 49(21): 2104002.
[5] 杨帆, 刘斌, 初录, 等. 基于网格结构光的双目测量方法[J]. 中国激光, 2021, 48(23): 2304004.
[6] 杨帆, 丁晓剑, 曹杰. 基于彩色结构光的自由曲面三维重建方法[J]. 光学学报, 2021, 41(2): 0212001.
[7] 邓世祥, 吕彦明, 王康, 等. 线激光测量点云数据误差的预测与补偿[J]. 激光与光电子学进展, 2022, 59(16): 1628006.
[8] 张鹏程, 刘瑾, 杨海马, 等. 航空发动机损伤叶片的激光交叠式三维重建[J]. 激光与光电子学进展, 2020, 57(16): 161504.
[9] Zhang F, Huang X F, Fang W, et al. Texture reconstruction of 3D sculpture using non-rigid transformation[J]. Journal of Cultural Heritage, 2015, 16(5): 648-655.
[10] Liu W C, Zhang L G, Zhang X L, et al. 3D snow sculpture reconstruction based on structured-light 3D vision measurement[J]. Applied Sciences, 2021, 11(8): 3324.
[11] Zhong B, Xu Q, Wang J, et al. Evaluation and compensation of a kinematic error to enhance prepolishing accuracy for large aspheric surfaces by robotic bonnet technology[J]. Optics Express, 2020, 28(17): 25085-25100.
[12] 刘旭. 基于机器人线激光扫描的叶片三维测量方法研究[D]. 哈尔滨: 哈尔滨工业大学, 2020.
LiuX. Research on 3D measurement method of blade based on robot line laser scanning[D]. Harbin: Harbin Institute of Technology, 2020.
[13] 郭逸豪. 线激光测量系统的开发和点云拼接的实现[D]. 广州: 广东工业大学, 2015.
GuoY H. Development of line laser measurement system and realization of point cloud stitching[D]. Guangzhou: Guangdong University of Technology, 2015.
[14] Besl P J, McKay N D. A method for registration of 3-D shapes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992, 14(2): 239-256.
[15] SegalA, HaehnelD, ThrunS. Generalized-ICP[C]∥Robotics: Science and Systems V, Robotics: Science and Systems Foundation, June 28 - July 1, 2009, University of Washington, Seattle, USA. [S.l.: s.n.], 2009.
[16] 林宝尉, 王法胜, 孙怡. 基于SGICP的点云尺度估计及配准算法[J]. 计算机应用与软件, 2018, 35(5): 202-207.
Lin B W, Wang F S, Sun Y. SGICP-based point cloud scale estimation and alignment algorithm[J]. Computer Applications and Software, 2018, 35(5): 202-207.
[17] Perumal L. New approaches for Delaunay triangulation and optimisation[J]. Heliyon, 2019, 5(8): e02319.
[18] 刘剑, 白迪. 基于特征匹配的三维点云配准算法[J]. 光学学报, 2018, 38(12): 1215005.
[19] Kim J, Cho J. Delaunay triangulation-based spatial clustering technique for enhanced adjacent boundary detection and segmentation of LiDAR 3D point clouds[J]. Sensors, 2019, 19(18): 3926.
[20] Su T Y, Wang W, Liu H X, et al. An adaptive and rapid 3D Delaunay triangulation for randomly distributed point cloud data[J]. The Visual Computer, 2022, 38(1): 197-221.
[21] Bhattarai S, Dahal K, Vichare P, et al. Adapted Delaunay triangulation method for free-form surface generation from random point clouds for stochastic optimization applications[J]. Structural and Multidisciplinary Optimization, 2020, 61(2): 649-660.
[22] 官东林, 文国军, 王玉丹, 等. 基于线激光扫描的岩石激光钻孔的三维重建和可视化[J]. 地质科技通报, 2021, 40(3): 173-183.
Guan D L, Wen G J, Wang Y D, et al. 3D reconstruction and visualization for laser drilling hole on rock based on line laser scanning[J]. Bulletin of Geological Science and Technology, 2021, 40(3): 173-183.
[23] He Y, Zheng S Y, Zhu F B, et al. Real-time 3D reconstruction of thin surface based on laser line scanner[J]. Sensors, 2020, 20(2): 534.
Article Outline
方宇, 柯晓龙, 俞永恒, 余献龙, 王振忠. 用于浮雕的线激光扫描三维重建系统[J]. 激光与光电子学进展, 2023, 60(22): 2211007. Yu Fang, Xiaolong Ke, Yongheng Yu, Xianlong Yu, Zhenzhong Wang. Three-Dimensional Relief Reconstruction System Based on Laser Line Scanning[J]. Laser & Optoelectronics Progress, 2023, 60(22): 2211007.