基于旋转平台的全空间单目光笔测量方法 下载: 1194次
ing at the problems that the measurement range of a monocular light pen three-dimensional measurement system is small and this system can not realize the full space measurement, a full space light pen monocular vision measurement method based on precision rotary platform is proposed. First, the camera is fixed on the precision rotary platform, and the calibration plate is photographed at different angles to obtain the position of the camera optical center in the calibration plate coordinate system under different angles. Second, through the plane fitting of principal component analysis (PCA), the plane where the camera optical center is located and the rotation axis direction vector of the camera rotation motion are obtained, and the position of the camera rotation axis is obtained by using the spatial least square circle fitting. Third, with the help of the precision rotary platform reading and Rodriguez formula, the rotation angle of the turntable is transformed into the rotation matrix and translation vector of the camera. Finally, the measurement data of the camera at different positions after rotating a certain angle are converted to the same rotary platform coordinate system by using the calculated transformation matrix to realize the full space measurement. Experimental results show that in the measuring system using the same light pen, the measurement method in this paper can almost achieve the same precision as that of the traditional monocular vision light pen measurement system, achieve 360° full space measurement, and greatly expand the scope of applications of the monocular light pen.
1 引言
大尺寸测量技术在大型装备制造业[1]中起着重要作用,如大飞机[2]、大型船舶、火箭等装配过程中需要对各装配部件的尺寸和位置进行精确测量。传统的检测手段如激光跟踪仪[3]、经纬仪[4]、室内GPS[5]存在设备造价昂贵、标定过程复杂、不具备多任务并行处理、便携性差等缺点,无法满足所有测量场景的需求。而视觉测量技术中的光笔测量方法具有成本低、高精度、便携性好等特点,是三维坐标测量技术的研究热点。
国内外关于光笔式[6]视觉测量系统已经有一定的研究。挪威Metronor公司使用碳纤维和LED光源制作光笔,所设计的双目光笔测量系统的空间测量精度可达微米级别[7]。华中科技大学的秦大辉[8]设计的双目视觉光笔系统采用了T型5光点的笔身结构,精度可以达到0.084 mm;但是该双目光笔系统在每次测量前都需要对双目系统进行外参数标定,而且受测量原理的限制,测量视场有限。相比于双目光笔,单目光笔不需要繁琐的外参标定,更具便捷性,更加适合工业现场测量。天津大学的黄风山[9]等对P3P(perspective-3-point)算法进行了深入的研究,研制了精度可达亚毫米的第一代单目光笔系统。北京航空航天大学研制出一种L型光笔,使用单目相机对物体进行了位姿测量[10]。中国科学院长春光学精密机械与物理研究所的温卓漫[11]对单目视觉测量进行了深入的研究,设计了两种靶标,姿态角测量精度可达0.015°。虽然单目光笔视觉测量系统已经具有很高的精度,但是因为相机标准镜头视场角只有45°左右,测量范围十分有限且受畸变影响严重,越到视场边缘测量精度越差,难以完成大型装备制造业中的测量任务。
本文针对光笔测量系统测量视场小的问题,创新性地将精密旋转平台与单目光笔式视觉测量系统相结合,提出了一种全空间光笔式测量系统,弥补了单目光笔测量系统测量范围小的缺点,所提系统具有重要的应用价值。首先将相机固定在精密旋转台上,固定标定板,依次旋转相机,获得不同角度下相机光心的三维坐标,然后使用立体视觉算法将坐标转换到相机坐标系下,以方便后续计算。使用主成分分析(PCA)方法进行平面拟合,计算旋转转轴的方向矢量,即旋转面的法向量。使用三维空间最小二乘圆拟合方法计算得到相机旋转的中心。然后借助转台读数和罗德里格斯公式转换[12]将转台的读数变换为相机的旋转矩阵和平移向量。最后,利用计算出的变换矩阵将旋转一定角度后不同位置的相机测量数据转换到同一相机坐标系中,实现全空间测量。
2 全空间光笔式测量系统
2.1 全空间光笔式测量系统结构
在进行大视场测量工作时,单目光笔式视觉测量系统的测量范围往往不能满足待测物尺寸,因此经常给测量任务带来不便。通过将精密旋转平台引入测量系统,可以获取空间中360°的数据,然后通过旋转角度将测量数据进行坐标转换,统一在同一个坐标系下,即可完成全空间三维坐标测量。
基于旋转平台的全空间光笔式单目视觉测量系统的结构如
相机固定在转台上,在不同的角度采集光笔图像,将图片传送到计算机,计算出光笔笔尖处的三维坐标,然后根据转台旋转角度和刚体运动原理将不同位置处计算的坐标转换到同一坐标系下,即可完成全空间三维坐标测量。
2.2 全空间光笔式测量系统测量原理
如
如
因为相机光心不过旋转轴,因此还会产生一定的平移,平移矩阵为
当测量物体超出相机的视场或者系统处于大型装备内部时,首先将光笔笔尖对准被测物体的一端进行拍摄,计算出该点在当前相机坐标系下的三维坐标,然后旋转相机到可以拍摄被测物体的另一端的角度,获得该点在旋转后的相机坐标系下的三维坐标。根据旋转角度θ和(1)式和(2)式计算出的旋转前后的转换矩阵,即可将旋转后的测量数据转换到旋转前相机坐标系中,完成全空间三维坐标测量工作。整体流程图如
3 转轴参数标定
转轴参数的标定包括转轴的方向矢量和转轴位置的标定。精确地标定出转轴参数是进行准确全空间三维坐标测量的基础。本文的标定方法基于张正友相机标定方法[15]和非线性优化算法,首先标定出相机的内参矩阵K和畸变矩阵D。然后固定标定板作为世界坐标系,如
式中:i为不同位置的相机序号;s为尺度因子;[xi yi 1]T为标定板角点在像素坐标系下的齐次坐标;K为内参矩阵;(Xi,Yi,Zi)为角点在标定板坐标系下的三维齐次坐标。相机绕N轴旋转到不同的角度并对标定板进行成像,然后利用(3)式计算获得
式中:Ri1为第i个相机相对于第1个相机的旋转矩阵;Ti1为第i个相机相对于第1个相机的平移向量,即第i个相机光心在第1个相机坐标系下的三维坐标。
3.1 计算方向矢量
由于转台精度和安装存在误差,
首先对三维点进行去中心化,即将每个维度的数据都减去该维度的均值,使每一个维度的数据均值都变为0,去中心后的三维点坐标矩阵可表示为
式中:(x1,…,xn)T为所有三维点的X轴坐标;(y1,…,yn)T为所有三维点的Y轴坐标;(z1,…,zn)T为所有三维点的Z轴坐标。
三维点的协方差矩阵为
式中:cov(·)为协方差;x为三维坐标点X轴坐标;y为三维坐标点Y轴坐标;z为三维坐标点Z轴坐标;xi为X轴坐标上第i个点的坐标;yi为Y轴坐标上第i个点的坐标。
然后计算协方差矩阵C的特征值和特征向量,所得最小特征值对应的特征向量就是所求平面的法向量。实验证明,即使在有噪声的情况下PCA也可以得到很好的拟合效果。
3.2 轴上点坐标计算
获得平面法向量即转轴方向矢量后,还需知道转轴上一点的三维坐标才可以根据罗德里格斯公式计算出相机绕转轴旋转前后的转换矩阵。因为相机旋转的圆心在旋转平面和转轴的交点上,因此本文使用三维空间圆拟合[17-18]的方法来获得圆心坐标即转轴上的点坐标。假设拟合出的平面方程为ux+vy+wz+d=0,其中N=(u,v,w)为平面的方向向量。将不同位置处相机光心的三维坐标(xi,yi,zi)投影在平面上获得投影点(x',y',z'),即
式中:k=-uxi-vyi-wzi-d。然后将三维点转化为二维点进行平面圆拟合。
取光心序列中的第一个点作为平面坐标系的原点,即
假设三轴的单位向量分别为
三维相机光心转化为二维坐标的转换矩阵为HH_inv=H-1。
将三维光心点转化为二维点:
然后使用最小二乘法进行平面圆拟合,目标函数为
式中:N'为三维点的数量。
令
通过求解方程即可获得圆心的二维坐标,使用转换矩阵H可以将二维坐标转换为平面上的三维圆心坐标。
4 实验结果与分析
如
4.1 转轴参数标定
首先对相机进行内参标定,同时获取CCD相机内参矩阵和相机在标定板坐标系下的位姿,然后固定标定板不动,每次旋转1°,用CCD相机采集棋盘格图像,一共采集30张照片。
图 6. 不同角度下拍摄的棋盘格图像。(a)棋盘格位置1;(b)棋盘格位置2;(c)棋盘格位置3;(d)棋盘格位置4
Fig. 6. Checkerboard images from different angles. (a) Checkerboard position 1; (b) checkerboard position 2; (c) checkerboard position 3; (d) checkerboard position 4
根据(3)式并利用相平面和棋盘格平面的单应性关系计算出不同角度下相机坐标系与世界坐标系的转换矩阵,再根据(4)式计算获得第i个相机坐标系相对于第1次拍摄时相机坐标系的转换矩阵Ri1和平移矩阵Ti1,以第2个相机坐标系为例,其转换矩阵即在第1次拍摄时的相机坐标系下的位姿为
各个角度下相机光心在第1个相机坐标系下的平移参数如
表 1. 相机平移参数
Table 1. Parameters of camera translation
|
获得不同角度下相机的平移向量后,使用平面拟合算法和空间圆拟合算法计算得到的相机的旋转参数如
表 2. 转轴参数
Table 2. Rotor parameters
|
从
4.2 全空间大尺度测量仿真
首先,为了验证本文算法在多次大角度旋转后针对全空间的测量结果依然有很高的准确性和鲁棒性,设计一个仿真,仿真结果和误差大小证明了本文测量系统的可靠性。因为转轴拟合和成像过程中存在一定的误差,为了还原真实场景,在仿真中加入了模拟实际成像误差的高斯白噪声。
仿真系统中相机和光笔参数与实际实验保持一致,如
式中:R和T分别为旋转矩阵和平移矩阵。
如
4.3 大尺寸测量实验
为了验证本文测量方法在真实场景中的有效性和可行性,搭建如
如
表 3. 大尺寸测量实验的测量结果
Table 3. Measured results of large scale measurement experimentsmm
|
5 结论
针对传统单目光笔式视觉测量系统的小视场问题,提出了一种基于精密旋转台的全空间单目光笔式测量系统。对CCD相机和转台参数进行标定,获取相机内参、转台转轴参数以及旋转圆心,并结合激光测距仪进行对比验证。实验和仿真结果表明基于精密旋转台的全空间单目光笔式测量系统的测量结果与激光测距仪的测量结果相差极小,而且采用该系统进行大尺度装备测量工作时也具有很高的精准度,这证明了本文实验系统的有效性。所提方法可以有效地扩大单目光笔测量系统的测量范围,增强光笔测量系统的鲁棒性并扩展其应用场景,有很好的实用性。
[1] 尹仕斌, 任永杰, 刘涛, 等. 机器视觉技术在现代汽车制造中的应用综述[J]. 光学学报, 2018, 38(8): 0815001.
[2] 刘华. 视觉定位关键技术及其在飞机装配中的应用研究[D]. 杭州: 浙江大学, 2019: 10- 16.
LiuH. Study on key techniques of visual positioning and its application in aircraft assembly[D]. Hangzhou: Zhejiang University, 2019: 10- 16.
[3] 陈洪芳, 汤亮, 石照耀, 等. 基于双波长法补偿空气折射率的激光追踪系统ZEMAX仿真方法[J]. 中国激光, 2019, 46(1): 0104009.
[4] 杨谢柳, 尹晨宇, 方素平, 等. 基于全站仪的大型三维形貌摄影测量方法[J]. 激光与光电子学进展, 2020, 57(10): 101505.
[5] Wu J, Zhu J G, Yu Z J, et al. A total station spatial positioning method based on rotary laser scanning and ultrasonic ranging[J]. Review of Scientific Instruments, 2016, 87(11): 115104.
[6] 解则晓, 金明, 辛悦向. 基于双目立体视觉的光笔式三坐标测量系统[J]. 中国机械工程, 2008, 19(8): 896-899.
Xie Z X, Jin M, Xin Y X. Study on 3D-coordinate measurement technology using light-pen based on binocular stereoscopic vision system[J]. China Mechanical Engineering, 2008, 19(8): 896-899.
[7] . 迈卓诺光笔测量仪及其在航空工业中的应用[J]. 航空制造技术, 2008, 51(S1): 104-106.
. Ltd. Measuring instrument of metronor and its application in aviation industry[J]. Aeronautical Manufacturing Technology, 2008, 51(S1): 104-106.
[8] 秦大辉. 便携式光笔三维坐标测量技术与系统研究[D]. 武汉: 华中科技大学, 2009: 10- 16.
Qin DH. Research on the technology and system of portable light pen coordinate measurement system[D]. Wuhan: Huazhong University of Science and Technology, 2009: 10- 16.
[9] 黄风山. 光笔式单摄像机三维坐标视觉测量系统关键技术的研究[D]. 天津: 天津大学, 2005.
Huang FS. Study on the key technique of single camera 3D coordinate vision measurement system using a light pen[D]. Tianjin: Tianjin University, 2005.
[10] 冯萍, 魏振忠. 光笔式大视场三维视觉测量系统[J]. 光学精密工程, 2013, 21(9): 2217-2224.
[11] 温卓漫. 复杂场景下合作靶标的准确快速识别与定位[D]. 长春: 中国科学院长春光学精密机械与物理研究所, 2017: 1- 20.
Wen ZM. Accurate and fast identification and localization of a cooperative target in complex background[D]. Changchun: Changchun Institute of Optics, 2017: 1- 20.
[12] 周江华, 苗育红, 王明海. 姿态运动的Rodrigues参数描述[J]. 宇航学报, 2004, 25(5): 514-519.
Zhou J H, Miao Y H, Wang M H. Attitude representation using Rodrigues parameter[J]. Journal of Astronautics, 2004, 25(5): 514-519.
[13] 朱帆, 于芳苏, 吴易明, 等. P4P法相机姿态标定精度分析[J]. 光学学报, 2018, 38(11): 1115005.
[14] 赵显庭, 王晋疆, 王陈光. 基于转轴参数的多自由度双目视觉系统标定[J]. 光学技术, 2018, 44(2): 140-146.
[15] Zhang Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.
[16] 浮丹丹, 周绍光, 徐洋, 等. 基于主成分分析的点云平面拟合技术研究[J]. 测绘工程, 2014, 23(4): 20-23.
Fu D D, Zhou S G, Xu Y, et al. Point cloud plane fitting technology based on principal component analysis[J]. Engineering of Surveying and Mapping, 2014, 23(4): 20-23.
[17] 张曦, 朱永吉, 兰浩, 等. 基于半径约束的空间圆拟合算法及其花键装配上的应用[J]. 计量与测试技术, 2019, 46(6): 69-72.
Zhang X, Zhu Y J, Lan H, et al. A spatial circle fitting algorithm based on radius constraint and its application in spline assembly[J]. Metrology & Measurement Technique, 2019, 46(6): 69-72.
[18] Gander W, Golub G H, Strebel R. Least-squares fitting of circles and ellipses[J]. BIT, 1994, 34(4): 558-578.
[19] 岳晓奎, 侯小娟. 基于Rodrigues参数的视觉相对位姿确定算法[J]. 宇航学报, 2010, 31(3): 753-757.
Yue X K, Hou X J. Vision-based relative position and attitude determination using Rodrigues parameters[J]. Journal of Astronautics, 2010, 31(3): 753-757.
[20] 吴军, 李泽川, 郑建文, 等. 基于光场极平面图像测距的三点式光笔空间坐标测量[J]. 光学学报, 2020, 40(5): 0512002.
Article Outline
于之靖, 李泽川, 李鑫, 徐鋆, 李雁玲, 吴军. 基于旋转平台的全空间单目光笔测量方法[J]. 光学学报, 2020, 40(23): 2312001. Zhijing Yu, Zechuan Li, Xin Li, Jun Xu, Yanling Li, Jun Wu. Full Space Monocular Light Pen Measurement Method Based on Rotary Platform[J]. Acta Optica Sinica, 2020, 40(23): 2312001.