激光与光电子学进展, 2021, 58 (24): 2415001, 网络出版: 2021-11-29  

基于单目视觉的双护盾TBM导向方法研究 下载: 674次

Research on Guidance Method of Double Shield TBM Based on Monocular Vision
作者单位
1 天津科技大学电子信息与自动化学院, 天津 300222
2 天津恒度量子精密仪器技术有限公司, 天津 300384
摘要
针对现有双护盾硬岩隧道掘进机(TBM)导向系统中前盾/支撑盾位姿测量方法普遍存在的结构复杂、可靠性差、成本高和精度低的问题,提出了一种基于工业相机和异形主动标靶进行非接触快速测量的新方法,利用机器视觉、空间位姿变换及多传感器融合/标定等技术,可以实现在强振动掘进状态下对双护盾TBM进行稳定导向的功能。实验结果表明,本文所提方法可实现前盾/支撑盾六自由度空间位姿的高性能测量,测量频率不低于20 Hz,盾构机特征点静态坐标测量误差小于5 mm@(3 m×2 m×6 m),动态坐标测量误差小于10 mm@(振幅为3 mm,频率为20 Hz),可以应用在双护盾TBM导向系统中。
Abstract
Aiming at the problems of complex structure, poor reliability, high cost, and low accuracy in the front shield/support shield pose measurement methods in the existing dual shield tunnel boring machine (TBM) guidance system, this paper proposes a new method for non-contact rapid measurement based on industrial cameras and special-shaped active targets. This method uses technologies such as machine vision, spatial pose transformation, and multi-sensor fusion/calibration to realize the function of stably guiding the dual-shield TBM in the state of strong vibration tunneling. The experimental results show that the proposed method can achieve the high-performance measurement of the six-degree-of-freedom space pose of the front shield/support shield, the measurement frequency is not less than 20 Hz, and the measurement error of the feature point coordinates of the shield machine in a static state is less than 5 mm@(3 m×2 m×6 m), the measurement error under vibration is less than 10 mm@(amplitude is 3 mm, frequency is 20 Hz), which can be used in the double shield TBM guidance system.

1 引言

随着我国基础设施建设行业的快速发展,盾构机在基础设施建设工程中的应用越来越多,其中双护盾硬岩隧道掘进机(TBM)因其掘进速度快、安全性强和施工质量高等特点而广泛应用于我国山体和城市隧道施工中[1-2]。为了保证精确贯通,双护盾TBM需要配装导向系统,而恶劣的施工环境和掘进过程中产生的强烈振动极大削弱了导向系统测量数据的准确性与可靠性,降低了施工质量与效率。因此,研究兼具快速性、准确性及可靠性于一体的空间位姿测量方法在双护盾TBM掘进施工中具有很高的应用价值。

目前,国内外诸多学者对此领域开展了广泛研究,其中德国VMT公司将一个二维码标靶固定在前盾后端面上[3],通过固定在支撑盾前端面的工业相机测量二维码标靶的位置与姿态,具有非接触的特点,但掘进时的粉尘和振动对相机通视性影响较大,造成了二维码的识别准确率降低;华中科技大学的贺泊宁[4]利用多组拉线传感器、抗振倾斜仪、大功率激光器和平面标靶组成测量系统,实现了双护盾TBM的实时导向,但系统成本较高且结构复杂,安装繁琐且较难维护;天津大学的杨文辉等[5]利用高性能LED组成主动发光标靶,通过工业相机对标靶测量实现了掘进机的导航,但标靶结构笨重,内部特征点全部为共面状态,LED位置标定和系统外部参数标定较为困难;力信测量(上海)有限公司利用8组拉线传感器和抗振倾斜仪构成测量系统,但系统在纯拉线传感器的测量模式下工作存在可靠性低和成本高的问题,制约了其大规模推广[6]

因此,基于上述调研,本文提出了一种基于单目视觉测量原理的双护盾TBM导向方法,通过工业相机实时拍摄固定在前盾后端面的主动发光标靶,结合TBM刚体零位标定数据、相机/激光标靶标定数据、全站仪/激光标靶测量数据等,直接测出前盾盾首相对于工程坐标系的空间三维坐标,实现了精确导向功能。

2 算法

2.1 基本原理

双护盾TBM导向系统的作用是实现刀盘中心在全站仪工程坐标系下相对于隧道设计轴线水平/垂直坐标的实时精确测量[7],为实现这一功能,首先需要明确各测量传感器和子系统的坐标系定义,如图1所示。

图 1. 导向系统坐标系定义图

Fig. 1. Definition of coordinate system of guidance system

下载图片 查看所有图片

导向系统共有五个坐标系:盾构机坐标系(左手)Od-XdYdZd、光电标靶坐标系(右手)Or-XrYrZr、相机坐标系(右手)Oc-XcYcZc、激光标靶坐标系(左手)Ot-XtYtZt、工程坐标系(左手)On-XnYnZn。上述坐标系的坐标轴指向和原点位置如图1所示。

为实现其刀盘中心即盾构机坐标系(d)的原点Od在全站仪工程坐标系(n)下空间坐标的实时精确测量,即计算 Odn(上角标代表坐标系符号),设计如下算法。

根据设计加工模型,盾构机机身关键特征点在d系下的坐标为已知量,如坐标系原点Od在d系下的坐标可以表示为

Odd=0,0,0T(1)

Odn可以表示为

Odn=Rdn·Odd+Tdn(2)

因此获取 Odn需要首先完成旋转矩阵 Rdn和平移矩阵 Tdn的计算。而 RdnTdn需要经过坐标系传递链d→r→c→t→n变换获取,因此(2)式可以表示为

Odn=Rtn·{Rct·Rrc·(Rdr·Odd+Tdr)+Trc+Tct}+Ttn(3)

根据(3)式可知, Odn的精确计算需要确保四组中间变量 Rdr,Tdr, Rrc,Trc, Rct,Tct, Rtn,Ttn均计算准确。其中, Rdr,Tdr通过盾构机始发时零位测量获取[8], Rrc,Trc通过基于光电标靶/工业相机的单目视觉EPnP方法获取[9], Rct,Tct通过基于光束平差的相机外参数标定获取[10], Rtn,Ttn通过全站仪对激光标靶的直接测量获取。本文所述测量方法的核心是 Rrc,Trc的获取过程,其余步骤可参考相关文献。

由刀盘中心坐标计算相对于隧道设计轴线的水平/垂直偏差,计算原理如图2所示,其中B为刀盘中心点, B'、B″为B点在水平、垂直面的投影。隧道设计轴线是隧道掘进的规定路线,由N个间隔1 m的空间三维坐标点连接而成,为方便表述,从隧道设计轴线中截取相邻两点,两点间线段来表示隧道设计轴线。即图2中的线段CDC'、C″ 为C点在水平、垂直面的投影,D'、D″为D点在水平、垂直面的投影,EE'、E″分别为平面B'BB″与CD、C'D'CD″的交点。按照本文的偏差定义,B'E'为刀盘中心水平偏差、BE″为刀盘中心垂直偏差。

图 2. 偏差计算原理图

Fig. 2. Principle diagram of deviation calculation

下载图片 查看所有图片

根据空间点与直线位置关系[11]可得

B'E'=D'B'2-D'C'·D'B'D'C'2BE=DB2-DC·DBDC2(4)

截取线段的起点C、终点D在坐标系n下的坐标已知,刀盘中心点B坐标由(3)式求出,根据投影关系可知相应投影点的坐标,代入(4)式即可求出刀盘中心的水平/垂直偏差。

2.2 单目视觉位姿测量

如上文所述,基于单目视觉[12-13]的空间位姿测量原理和EPnP算法可以实现 Rrc,Trc的准确测量。算法流程为:首先完成对光电标靶特征点图像的高性能处理(步骤A),再结合标靶坐标系r下特征点坐标(步骤B)和已标定好的相机内参数(步骤C),利用EPnP后方交会算法(步骤D),解算出光电标靶相对于相机的旋转/平移矩阵(步骤E),进而完成位姿测量。

其中,上述步骤A、B、D均依赖光电标靶的结构特性,因此光电标靶的结构设计尤为重要。考虑TBM掘进现场空间和算法解算原理,标靶设计成如图3所示结构。

图 3. 光电标靶结构图

Fig. 3. Structure diagram of photoelectric target

下载图片 查看所有图片

为了在测量过程中提供纵深方向的约束,中心点4突出标靶基准平面(1、2、3、5、6、7号点共面)约100 mm。步骤A中各红外发光特征点(以下简称特征点)的成像、图像预处理、质心提取、匹配过程采用文献[ 14]的相关方法,结果输出如图4所示。

图 4. 特征点识别结果

Fig. 4. Recognition results of feature point

下载图片 查看所有图片

步骤B中各红外发光特征点在坐标系r下的空间坐标通过影像测量仪进行精确测量,测量不确定度小于10 μm;由于相机要实现物方空间(3 m×2 m×6 m)范围内的精确测量,因此我们利用非参数模型的相机内参数标定方法完成相机标定,参考文献[ 15];基于A、B、C三步骤的解算结果,通过步骤D中的EPnP算法可最终实现光电标靶相对于相机的六维(6D)位姿测量,算法流程参考文献[ 16]。综上所述,系统可完成光电标靶/相机之间相对位姿 Rrc,Trc的解算。

3 实验

为了验证本文所提方法的测量性能,设计如下实验方案。由于地层较硬,双护盾TBM掘进过程中旋转刀盘与岩石直接接触产生了持续的振动,导致掘进机前盾空间位姿短时间内发生了一定幅度的周期性变化,进而使相机/标靶测量系统的测量数据产生较大波动,这种数据波动会给TBM导向带来负面影响。因此,为满足双护盾TBM导向系统的使用要求,相机/标靶测量系统须同时达到较高的静态和动态测量精度。根据《城市轨道交通工程测量规范》[17],双护盾TBM在掘进过程中刀盘几何中心相对于隧道设计轴线的水平/垂直偏差的短时重复性测量精度要求小于10 mm,出洞时刻的绝对位置精度要求小于50 mm。因此,需要设计实验验证本文测量方法是否兼具现场施工要求的动态和静态测量性能。

3.1 测量重复性实验

3.1.1 静态测量重复性实验

为评定本文方法在静止状态下的重复性测量精度,设计如下实验。

相关传感器的标定和坐标系转换是实现精确导向的前提,但是由于传感器自身特性和人为测量等因素会引入误差。因此为了验证导向系统的稳定性,在实验室条件下利用相机和光电标靶进行静态重复性测量精度的评定,实验环境如图5所示。

图 5. 静态重复性测量实验环境

Fig. 5. Experimental environment for static repeatability measurement

下载图片 查看所有图片

测试过程中,光电标靶与刚体固连,相机放置在距离光电标靶约3 m位置对标靶进行持续测量并以20 Hz的频率对标靶的空间位姿进行持续采样,得到水平/垂直偏差、俯仰角、滚转角和方位角的重复性测量结果如图6所示。

图 6. 静态重复性测量实验结果。(a)水平偏差;(b)垂直偏差;(c)俯仰角;(d)滚转角;(e)方位角

Fig. 6. Experimental results of static repeatability measurement. (a) Horizontal bias; (b) vertical bias; (c) pitch angle; (d) roll angle; (e) yaw angle

下载图片 查看所有图片

经过统计分析可知,水平/垂直偏差的标准差分别为0.61 mm、0.58 mm,俯仰角、滚转角、方位角的标准差分别为0.006°、0.009°、0.006°。因此本方法的水平/垂直偏差的静态重复性测量精度优于1 mm,姿态角静态重复性测量精度优于0.01°,满足现场要求。

3.1.2 动态测量重复性实验

为评定本方法在振动状态下的重复性测量精度,设计如下实验。

根据现场勘查和相关资料数据[18],光电标靶与相机的现场安装位置的振动条件约为:振幅<20 mm,频率<10 Hz。由于工业相机的限制,振动状态下相机采集的光电标靶光斑图像会产生拖影,拖影现象会导致质心提取不稳,从而引入误差。因此为验证振动对导向系统准确度的影响,在静态重复性测量实验条件下利用振动台模拟现场振动状态对光电标靶的动态重复性测量精度进行评定,实验环境如图7所示。

图 7. 动态重复性测量实验环境

Fig. 7. Experimental environment for dynamic repeatability measurement

下载图片 查看所有图片

在测试过程中,保证振动台基座稳固且端面与光电标靶刚性稳定固连,相机放置在距离光电标靶约3 m位置对标靶进行持续测量并以20 Hz的频率对标靶的空间位姿进行持续采样,得到水平/垂直偏差、俯仰角、滚转角和方位角的重复性测量结果如图8所示。

图 8. 动态重复性测量实验结果。(a)水平偏差;(b)垂直偏差;(c)俯仰角;(d)滚转角;(e)方位角

Fig. 8. Experimental results of dynamic repeatability measurement. (a) Horizontal bias; (b) vertical bias; (c) pitch angle; (d) roll angle; (e) yaw angle

下载图片 查看所有图片

经过统计分析可知,水平/垂直偏差的标准差分别为5.51 mm、5.87 mm,俯仰角、滚转角、方位角的标准差分别为0.012°、0.015°、0.013°。因此本方法的水平/垂直偏差的动态重复性测量精度优于6 mm,姿态角动态重复性测量精度优于0.02°,满足现场要求。

3.2 静态绝对测量精度比对实验

为评定光电标靶/相机测量子系统的绝对位置测量精度,设计如下实验。实验环境如图9所示。整个实验系统包括全站仪、激光标靶、相机、光电标靶等。参考棱镜和光电标靶与测试工装固连模拟前盾体,参考棱镜用于模拟刀盘中心。相机和激光标靶固定于刚体两端模拟支撑盾。相机距离光学标靶3 m。全站仪型号为Leica TS12,有棱镜测距精度(1+1.5×10-6) mm,测角精度1″,无棱镜测距精度(2+2×10-6) mm。测试前先利用坐标转换相关方法分别完成参考棱镜-光电标靶和相机-全站仪空间位姿的标定[8,19],测试时全站仪对激光标靶进行测量,然后移动测试工装到测量空间的不同位置模拟前盾体运动,在结合相机-光电标靶的实时测量值,即可实时解算出相机测量的参考棱镜坐标值在全站仪坐标系下的坐标,并与全站仪直接对参考棱镜进行测量的坐标做比较,便完成了单目视觉测量子系统绝对位置测量精度的评定。

图 9. 静态测量实验环境

Fig. 9. Experimental environment for static measurement

下载图片 查看所有图片

实验数据如表1所示。其中P_camera代表相机测量的刀盘中心坐标,P_TS代表全站仪测量的刀盘中心坐标,DxDyDz分别表示两种测量方法在XYZ方向上的偏差。

经过统计分析可知,静态坐标测量在XYZ方向上的最大偏差分别为4.7 mm、-4.6 mm、4.2 mm,因此本方法的静态绝对测量精度优于5 mm,满足现场要求。

表 1. 静态精度测量实验数据

Table 1. Experimental data for static accuracy measurement

No.X /mY /mZ /mDx /mmDy /mmDz /mm
1P_camera12.93983.63431.3740-2.5-3.50.8
P_TS12.94233.63781.3732
2P_camera12.97063.62021.37621.9-4.6-2.4
P_TS12.96873.62481.3786
3P_camera13.23243.66581.3835-3.42.34.2
P_TS13.23583.66351.3793
4P_camera13.49823.60211.3753-2.74.4-0.1
P_TS13.50093.59771.3754
5P_camera14.05243.62031.3785-2.51.6-1.4
P_TS14.05493.61871.3799
6P_camera14.33264.75111.37414.7-2.1-2.2
P_TS14.32794.75321.3763
7P_camera14.56473.80171.3864-2.22.2-3.9
P_TS14.56693.79951.3903
8P_camera14.60893.66111.3883-1.94.00.1
P_TS14.61083.65711.3882

查看所有表

3.3 现场测试

基于上述测量原理与实验,本文方法所研发的导向系统已经成功应用于青岛某地铁隧道区间的掘进施工中,现场安装如图10所示。目前该区间已经实现精确贯通,贯通的水平/垂直绝对误差均小于20 mm。

图 10. 现场安装示意图

Fig. 10. Schematic diagram of on-site installation

下载图片 查看所有图片

4 结论

基于地铁隧道施工现场对提升导向系统性能的迫切需求,结合单目视觉测量原理,提出了基于EPnP算法的光电标靶/相机测量方法,并在实验室环境下进行了静态和动态测量不确定度评定的实验,同时进行了在现场实际环境下的应用测试。结果表明,本文方法具有成本低、测量信息丰富和精度高等特点,具有很强的工程推广和应用价值。

在今后的工作中,还有两方面问题需进一步研究:

1)进一步增加光电标靶和工业相机的可靠性;

2)现场振动特性比较复杂,难以在现有单轴振动台进行模拟,后续将对测量系统增加基于三轴振动台的高低频振动测试。

参考文献

[1] 罗长征. 城市地铁双护盾TBM穿越不良地质技术[J]. 价值工程, 2020, 39(11): 209-210.

    Luo C Z. Technology of urban subway double shield TBM crossing bad geology[J]. Value Engineering, 2020, 39(11): 209-210.

[2] 何斐彦, 林嘉睿, 高扬, 等. 单目视觉与倾角仪组合优化的位姿测量系统[J]. 光学学报, 2016, 36(12): 1215002.

    He F Y, Lin J R, Gao Y, et al. Optimized pose measurement system combining monocular vision with inclinometer sensors[J]. Acta Optica Sinica, 2016, 36(12): 1215002.

[3] VMT China 2020[EB/OL]. [2020-12-21]. http://www.vmt-china.com/products.html.

[4] 贺泊宁. 基于双护盾TBM的导向系统研究[J]. 隧道建设, 2019, 39(5): 761-765.

    He B N. Guiding system based on double-shield TBM[J]. Tunnel Construction, 2019, 39(5): 761-765.

[5] 杨文辉, 林嘉睿, 高扬, 等. 双护盾硬岩隧道掘进机位姿测量系统[J]. 光学学报, 2015, 35(11): 1112005.

    Yang W H, Lin J R, Gao Y, et al. Pose measurement system of double shield universal compact TBM[J]. Acta Optica Sinica, 2015, 35(11): 1112005.

[6] 柳星. 力信测量(上海)有限公司[EB/OL]. [2020-12-21]. https://www.sh-raising.com/productinfo/1450103.html.

    LiuX. Lixin Measurement (Shanghai) Co., Ltd[EB/OL]. [2020-12-21]. https://www.sh-raising.com/productinfo/1450103.html.

[7] 韩刚. TBM3施工段隧道控制测量与激光导向系统在输水隧洞施工中的应用[J]. 地下水, 2019, 44(4): 211-213.

    Han G. Application of control measurement and laser guidance system of the TBM3 construction section tunnel in the construction of water transfer tunnel[J]. Ground Water, 2019, 44(4): 211-213.

[8] 高扬. 面向大型精密工程的六自由度测量技术研究[D]. 天津: 天津大学, 2017.

    GaoY. Research on 6-DOF measurement in large-scale precision engineering[D]. Tianjin: Tianjin University, 2017.

[9] Shen Y J, Zhang X, Cheng W, et al. Quasi-eccentricity error modeling and compensation in vision metrology[J]. Measurement Science and Technology, 2018, 29(4): 045006.

[10] 林嘉睿. 大型复杂物体组合测量方法研究[D]. 天津: 天津大学, 2012.

    Lin JR. Research on the combined measurement method of large complex objects[D]. Tianjin: Tianjin University, 2012.

[11] 吕端良, 吕亚男. 空间点到直线距离的几种常见求法[J]. 江西科学, 2020, 38(5): 621-622,642.

    Lü D L, Lü Y N. Several common methods for distance from space point to line[J]. Jiangxi Science, 2020, 38(5): 621-622,642.

[12] 李涛, 关棒磊, 张家铭, 等. 基于点线特征结合的单目视觉相对位姿测量方法[J]. 激光与光电子学进展, 2020, 57(8): 081102.

    Li T, Guan B L, Zhang J M, et al. Monocular vision relative pose measurement method based on point and line feature combination[J]. Laser & Optoelectronics Progress, 2020, 57(8): 081102.

[13] 屈也频, 刘坚强, 侯旺. 单目视觉高精度测量中的合作目标图形设计[J]. 光学学报, 2020, 40(13): 1315001.

    Qu Y P, Liu J Q, Hou W. Graphics design of cooperative targets on monocular vision high precision measurement[J]. Acta Optica Sinica, 2020, 40(13): 1315001.

[14] 邾继贵, 于之靖. 视觉测量原理与方法[M]. 北京: 机械工业出版社, 2012: 35- 68.

    Zhu JG, Yu ZJ. Principle of vision metrology[M]. Beijing: China Machine Press, 2012: 35- 68.

[15] 张楠楠, 邹剑, 刘海庆. 相机非参数模型标定方法及标定精度评估方法: CN110246191A[P]. 2019- 09- 17.

    Zhang NN, ZouJ, Liu HQ. Camera non-parametric model calibration method and calibration accuracy evaluation method: CN110246191A[P]. 2019- 09- 17.

[16] Lepetit V, Moreno-Noguer F, Fua P. EPnP: an accurate O(n) solution to the PnP problem[J]. International Journal of Computer Vision, 2008, 81(2): 155-166.

[17] 秦长利. 《城市轨道交通工程测量规范》修订简介[J]. 工程建设标准化, 2008(6): 55-57.

    Qin C L. Introduction to the revision of “code for urban rail transit engineering survey”[J]. Standardization of Engineering Construction, 2008(6): 55-57.

[18] 辛书杰, 周远航, 张萌, 等. 盾构/TBM专用振动监测传感器VM-BOX的研发[J]. 隧道建设(中英文), 2018, 38(4): 709-714.

    Xin S J, Zhou Y H, Zhang M, et al. Research and development of shield-/TBM-dedicated vibration monitoring sensor VM-BOX[J]. Tunnel Construction, 2018, 38(4): 709-714.

[19] Huang Z, Zhu J G, Yang L H, et al. Accurate 3-D position and orientation method for indoor mobile robot navigation based on photoelectric scanning[J]. IEEE Transactions on Instrumentation and Measurement, 2015, 64(9): 2518-2529.

黄喆, 程二静, 邵震宇, 杜文阳, 赵旭晔, 燕庆德. 基于单目视觉的双护盾TBM导向方法研究[J]. 激光与光电子学进展, 2021, 58(24): 2415001. Zhe Huang, Erjing Cheng, Zhenyu Shao, Wenyang Du, Xuye Zhao, Qingde Yan. Research on Guidance Method of Double Shield TBM Based on Monocular Vision[J]. Laser & Optoelectronics Progress, 2021, 58(24): 2415001.

引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!