基于全站仪的大型三维形貌摄影测量方法 下载: 1136次
1 引言
三维形状测量在反求工程、精密机械制造和安全监测等领域有着广泛的应用需求[1-6]。在要求保持真实性的文物保护和虚拟现实等领域[7-12],除三维形状数据外,还必须获取物体的颜色信息,即实现物体的三维“形貌”测量。
摄影测量是三维形貌测量的常用方法。按起源学科的不同,摄影测量法可分为立体视觉测量法和数字近景摄影测量法,两者的测量原理相同,只是方法途径略有差异,其中立体视觉测量法主要用于中小型物体,数字近景摄影测量法主要用于大型物体。数字近景摄影测量法由于其效率高和成本低等特点在大型物体三维形貌测量中得以广泛应用[8,13-20],但基于传统标定的数字近景摄影测量法,要求每幅图像都必须包含一定数量的控制点进行定向检查,户外作业量大且对于不可设人工标志点也无明显特征点的对象无法适用,基于自标定的数字近景摄影测量法,测量精度低,不能满足高精度数字化和变形测量等应用需求。将三维激光扫描仪与数码相机相结合也是目前最常用的大型物体三维形貌测量方法之一[21-26],但三维激光扫描仪过高的价格限制了其推广。
将姿态或位姿测量系统与摄影测量相结合的方式也得到了越来越广泛的关注。Gravel等研发了一套计算机辅助摄影测量系统,但该系统中的相机被安装在全站仪的水平横轴支架上,不能随望远镜垂直旋转,限制了其垂直方向的空间测量范围[27]。张祖勋教授携其团队研发了一套摄影全站仪系统(PTSS)[27-30],获得了较高的测量精度,PTSS使用内参数已知的量测相机避开了内参数的标定,但量测相机价格昂贵。朱肇昆等[31-32]将非量测摄像机分别与全站仪、经纬仪和普通二维旋转平台进行组合,搭建了多种结构的经纬像机摄像测量系统,其使用两台相机组成了不可整体搬移的双目形式的立体视觉测量结构,但该结构在经济性和灵活性方面并不适用于静态大型物体的360°范围角度测量。拓普康和徕卡等公司将数码相机与全站仪进行了整合推出了影像全站仪,但目前这种内置相机的图像质量无法达到专业相机水平,不可能完全依靠内置相机实现高精度三维形貌测量。
综上所述,现存方法各有局限性,探寻一种高精度、高效率和低成本的大型物体三维形貌测量方法仍十分迫切。鉴于摄影测量具有高精度、高效率和低成本的优势,本文提出了一种普通数码相机与全站仪的组合测量系统,并给出了一套系统参数标定方法,旨在利用单相机采用自由设站的方式实现大型物体三维形貌的摄影测量。
2 基本原理
2.1 全站仪与普通数码相机的组合测量系统
摄影测量法要求获取拍摄每幅重构图像时相机的位姿参数,而传统摄影测量的标定过程又过于烦琐,因此,设计了机械连接装置,将普通数码相机固连到全站仪的望远镜上,使其随望远镜一起进行水平和垂直旋转。这样,当相机与望远镜间的相对位姿参数确定后,单个测站上拍摄任意重构图像时的相机位姿参数可由望远镜的旋转角度直接计算得到。更换测站时,也只需利用全站仪的坐标测量功能确定不同测站间的位姿参数,实现测站的统一。将该组合测量装置先后放置在被测对象周围多个可任意选定的位置,从不同角度对被测对象进行拍摄,根据摄影测量原理便可实现被测对象的三维形貌测量。
2.2 组合系统的数学测量模型
建立全站仪坐标系、望远镜坐标系和相机坐标系,如
图 1. 测量系统的坐标系。(a)相机坐标系与望远镜坐标系;(b)相机坐标系、望远镜坐标系及全站仪坐标系之间的关系
Fig. 1. Coordinate systems of measurement system. (a) Camera coordinate system and telescope coordinate system; (b) relationship between camera coordinate system, telescope coordinate system, and total station coordinate system
根据透视成像原理可建立单测站的物像关系为
式中:λ为非零标量;m为像点的无畸变齐次坐标;A为相机的内参数矩阵;Xw为物点的空间坐标;Rts=R(y,γ)R(z,α)为全站仪坐标系相对望远镜坐标系的旋转矩阵,其中α和γ分别为望远镜的水平和垂直旋转角度,逆时针为正;Rct和Tct分别为望远镜坐标系相对相机坐标系的旋转和平移矩阵,记Rct=R(z,θ)R(y,φ)R(x,ω),其中θ、φ和ω为旋转角度,Tct=
内参数矩阵具体可表示为
式中:au为相机的主距参数;s为描述图像传感器像元阵列纵横两边不垂直度的参数;q为像元的长宽比;(u0,v0)为主点(光轴与图像传感器的交点)的图像坐标;(u,v)为无畸变像点坐标。
假定在整个测量过程中,A、Rct和Tct均保持不变。记同一个Xw在左、右相邻测站上所成像的无畸变齐次坐标分别为ml=
式中:Rsrsl和Tsrsl分别为两个全站仪坐标系间的旋转矩阵和平移矩阵,由于全站仪坐标系为水平坐标系,可记为Rsrsl=R(z,β),其中β为绕z轴的旋转角度,Tsrsl=
为了便于分析,不失一般性,取左相机坐标系为物体坐标系,则(6)式可变为
实际上,透视成像模型并不能完全描述真实的相机成像几何关系,真实的像点往往会偏离上述透视成像所得的像点位置,通常用镜头畸变来描述这两点的差异性,常用的镜头畸变模型为
式中:(ud,vd)为实际的像点坐标;r2=
由(7)式和(8)式可以看到,为获得Xw,除了由全站仪的旋转角度可直接求得Rtsr和Rtsl外,还必须确定A、Rct、Tct、Rsrsl及镜头畸变参数k。
表 1. 组合测量系统中待确定的参数
Table 1. Parameters to be determined in the combined measurement system
|
2.3 参数标定方法
采用摄影测量法对大型物体进行三维形貌测量时,通常需进行远距离测量,为了提高空间分辨率必须采用长焦镜头,而长焦镜头必然会减小相机的视场角。在窄视场相机的全局优化标定中,au往往与表示物距的相机外参数高度耦合。为了提高标定精度,先采用了一种相机主距参数的单独标定方法[33]确定主距参数,再采用精度较高且操作较为方便的自旋转标定方法确定其余单测站参数,最后利用两个公共标志点实现了测站间全站仪位姿参数的标定。
2.3.1 主距参数的标定方法
在A中,不垂直度误差往往较小,此时假定s=0,此外纵横比q≈1,这里取q=1。选取一标定板作为参考物体,记物体坐标系相对相机坐标系的旋转矩阵为
平移向量T=
当
由于
当
由于此时
记(12)式和(14)式的等号右侧为M,则(12)式和(14)式可简写为
由(15)式可以看到,M即代表了相机成像系统的物像放大倍率,由标定板的物像对应关系求得H后,便可计算M。在透视成像模型中,参数Tz为标定板原点沿光轴方向偏离相机等效中心(相机坐标系的原点)的距离,即物距。若Tz已知,由(15)式便可直接求得au。
普通相机成像系统一般可等效为厚透镜成像系统,厚透镜成像如
式中:f为相机镜头的等效焦距;d为厚透镜成像系统中物方主平面与像方主平面间的距离;Lp为像方主平面与真实相机图像传感器间的距离,即像距;Lw为标定板原点与真实相机图像传感器的距离,即物像距离。
根据相机镜头的光学特性,借助焦距仪和节点仪等[34-36]可精确测得f和d,实验是在GXY-08A光具座上测量了相机镜头的f和d。
假定标定板原点ow位于相机光轴上,并且光轴与图像传感器的交点位于图像传感器的中心od,如
式中:L为全站仪中心(全站仪坐标系的原点)与标定板原点间的距离;sood和soot分别为全站仪中心与图像传感器中心之间沿光轴方向和垂直于光轴方向的距离。由全站仪直接测量L,使用丁字尺和直角三角板等工具,根据全站仪上的中心标记和相机上的CCD位置标记等信息,测量与估计sood和soot,根据(17)式便可求得Lw。
将f、d和Lw代入(16)式即可得到Tz,结合(15)式便可求得au。
2.3.2 主距外单测站参数的标定方法
建立一个较大范围的二维或三维控制场,使用全站仪测得各控制点的坐标Xw,如
认为整个测量过程中A、k、Rct和Tct均保持不变。每个测站上全站仪坐标系与物体坐标系间的Rsw和Tsw均未知,但同一测站上旋转拍摄的所有图像的Rsw和Tsw均相同。Rts可由拍摄每幅图像时望远镜的水平和垂直角度计算得到。对于不同的测站(i)、图像(j)与控制点(k),将md记为mdijk,如此便可建立目标函数为
式中:mdijk为控制点在测站的实际像点坐标;m(A,Rct,Tct,Rswi,Tswi,Rtsij,Xwk)为控制点的无畸变像点坐标。
将由相机主距单独标定方法得到的au作为已知量代入(18)式,寻找使F(x)最小的一组解,便可得到所有其余单测站参数。
2.3.3 测站间参数的标定方法
为了实现不同测站上全站仪坐标系间的转换,可在较为通透的地方设置若干标志点,确保在整个测量过程中标志点的中心位置不变,在各测站测量所有可视标志点的坐标。设两个测站有n个公共标志点,可建立的目标函数为
式中:i'为标志点编号;Xsli和Xsri为同一个标志点在两个测站坐标系下的坐标。求解F(x)最小化问题,由至少两个公共标志点便可确定两测站间的位姿参数β、tsrslx、tsrsly和tsrslz。
3 实验与讨论
利用所提组合测量系统及标定方法,对一大楼平台侧墙进行测量。该侧墙面积约为16.0 m×6.5 m,使用索尼α200相机和DT75-300 f/4.5-5.6镜头进行拍摄,为了保证较高的物面分辨率将镜头焦距设置为100 mm,具体测量流程如
图 5. 所提方法的三维形貌测量流程
Fig. 5. Three-dimensional shape measurement process of proposed method
表 3. 测站间参数的标定结果
Table 3. Calibration results of parameters between stations
|
为了确定单测站参数,在面积约为11.0 m×5.5 m的范围内布设63个控制点,如
表 2. 单测站参数的标定结果
Table 2. Calibration results of single station parameters
|
为了确定测站间参数,在各测站均可视的区域内架设两个圆棱镜作为公共标志点,在各测站均测量棱镜中心的坐标,计算得到各测站相对参考测站的位姿参数,如
为了测量整个墙体,将墙体沿高度方向分为上中下三层,每层沿水平方向分为六个重叠区域,距离墙体约15 m处布设五个测站,每个测站均旋转拍摄18幅被测对象图像并记录望远镜的旋转角度。借助VisualSFM[37-38]软件得到匹配点对。由各幅重构图像的系统参数及匹配点对根据(7)式计算重构点的三维坐标,同时在各组匹配图像中选择一幅图像作为基准图像,将基准图像上的匹配点的RGB值赋予重构点。为此,便可得到所有重构点的三维坐标及颜色值,结果如
图 8. 重构结果。(a)正面;(b)左侧;(c)右侧
Fig. 8. Reconstruction results. (a) Front; (b) left; (c) right
为了验证全站仪与普通数码相机组合测量系统的测量精度,在被测对象上布设八个编码目标,如
图 9. 在被测对象上用于精度检查的编码目标
Fig. 9. Coding targets used for accuracy check on the measured object
图 10. 长度重构误差。(a)长度绝对误差;(b)长度相对误差
Fig. 10. Length reconstruction error. (a) Absolute error in length; (b) relative error in length
4 结论
针对大型物体的三维形貌测量,提出了一套全站仪与普通数码相机的组合测量系统,在单次标定得到相机的内参数及望远镜相对相机的位姿参数后便可在单个测站任意旋转拍摄,更换测站时借助全站仪的坐标测量功能可快速实现测站间的转换,测量效率高,设备成本低,测量方便灵活,其是一种非常有潜力的测量系统。针对该测量系统,将相机主距单独标定方法与自旋转标定方法相结合实现了单测站参数的标定,借助两个公共标志点实现了测站间参数的标定。实验验证了所提组合测量系统及所提标定方案的可行性,但实验显示所提测量系统目前仅能够实现中等精度的大型物体三维形貌测量,测量精度仍可提高。后续可从两个方面进行改善:1)考虑如何降低相机安装对全站仪测量精度的影响;2)使用所提相机主距单独标定方法确定主距参数,将其作为已知量参与其余单测站参数的求解,这将极大降低全局优化标定中参数的耦合,若能单独和准确地求解更多的系统参数,则有望进一步提高该测量系统的测量精度。
[1] Várady T, Martin R R, Cox J. Reverse engineering of geometric models: an introduction[J]. Computer-Aided Design, 1997, 29(4): 255-268.
[2] Brown G M. Overview of three-dimensional shape measurement using optical methods[J]. Optical Engineering, 2000, 39(1): 10-22.
[3] Sansoni G, Trebeschi M, Docchio F. State-of-the-art and applications of 3D imaging sensors in industry, cultural heritage, medicine, and criminal investigation[J]. Sensors, 2009, 9(1): 568-601.
[4] Abellán A, Vilaplana J M, Martínez J. Application of a long-range terrestrial laser scanner to a detailed rockfall study at vall de núria (eastern Pyrenees, Spain)[J]. Engineering Geology, 2006, 88(3/4): 136-148.
[5] 严俊, 叶南, 李廷成, 等. 无编码点的工业摄影测量技术的研究及实现[J]. 光学学报, 2019, 39(10): 1015002.
[6] 陈瀚, 张思瑾, 高见, 等. 基于多个线激光传感器旋转扫描的铸钢车轮在线三维测量技术[J]. 中国激光, 2019, 46(7): 0704006.
[7] LevoyM, GinsbergJ, ShadeJ, et al.The digital Michelangelo project[C]∥Proceedings of the 27th annual conference on Computer graphics and interactive techniques-SIGGRAPH '00, Not Known.New York: ACM Press, 2000: 131- 144.
[8] Yilmaz H M, Yakar M, Yildiz F. Documentation of historical caravansaries by digital close range photogrammetry[J]. Automation in Construction, 2008, 17(4): 489-498.
[9] Yastikli N. Documentation of cultural heritage using digital photogrammetry and laser scanning[J]. Journal of Cultural Heritage, 2007, 8(4): 423-427.
[10] 冯其波, 谢芳, 张斌. 光学测量技术与应用[M]. 北京: 清华大学出版社, 2008.
Feng QB, XieF. Optical measurement techniques and applications[M]. Beijing: Tsinghua University Press, 2008.
[11] Koutsoudis A, Arnaoutoglou F, Chamzas C. On 3D reconstruction of the old city of Xanthi. A minimum budget approach to virtual touring based on photogrammetry[J]. Journal of Cultural Heritage, 2007, 8(1): 26-31.
[12] TerauchiT, OueY, FujimuraK. A flexible 3D modeling system based on combining shape-from-silhouette with light-sectioning algorithm[C]∥Fifth International Conference on 3-D Digital Imaging and Modeling (3DIM'05), Ottawa, ON, Canada. New York: IEEE, 2005: 196- 203.
[13] Jáuregui D V, White K R, Woodward C B, et al. Noncontact photogrammetric measurement of vertical bridge deflection[J]. Journal of Bridge Engineering, 2003, 8(4): 212-222.
[14] Jiang R N, Jauregui D V. Development of a digital close-range photogrammetric bridge deflection measurement system[J]. Measurement, 2010, 43(10): 1431-1438.
[15] 黄桂平. 数字近景工业摄影测量关键技术研究与应用[D]. 天津: 天津大学, 2005.
Huang GP. Study on the key technologies of digital close range industrial photogrammetry and applications[D]. Tianjin: Tianjin University, 2005.
[16] 郭磊. 现场条件下大空间3D精密定位原理与方法研究[D]. 天津: 天津大学, 2008.
GuoL. Study on principle and implementation method of 3D precision positioning in large field working space[D]. Tianjin: Tianjin University, 2008.
[17] 张祖勋, 杨生春, 张剑清, 等. 多基线-数字近景摄影测量[J]. 地理空间信息, 2007, 5(1): 1-4.
Zhang Z X, Yang S C, Zhang J Q, et al. Multi-baseline digital close-range photogrammetry[J]. Geospatial Information, 2007, 5(1): 1-4.
[18] 何秀国, 武吉军, 高何利. Lensphoto摄影测量系统在水布垭溢洪道中的应用[J]. 人民长江, 2007, 38(10): 28-29.
He X G, Wu J J, Gao H L. Application of Lensphoto photogrammetry system in Shuibuya spillway[J]. Yangtze River, 2007, 38(10): 28-29.
[19] 张胜利, 殷海霞, 刘强. 多基线数字近景摄影测量系统的应用分析[J]. 测绘技术装备, 2009, 11(1): 27-30.
Zhang S L, Yin H X, Liu Q. Application analysis of a multi-baseline based digital close-range photogrammetry system[J]. Geomatics Technology and Equipment, 2009, 11(1): 27-30.
[20] 王君, 董明利, 李巍, 等. 大型槽式太阳能反射镜面摄影测量方法[J]. 激光与光电子学进展, 2018, 55(5): 051204.
[21] Allen PK, StamosI, TroccoliA, et al. 3D modeling of historic sites using range and image data[C]∥2003 IEEE International Conference on Robotics and Automation (Cat. No.03CH37422), Taipei, Taiwan, China. New York: IEEE, 2003: 145- 150.
[22] Al-Kheder S, Al-Shawabkeh Y, Haala N. Developing a documentation system for desert palaces in Jordan using 3D laser scanning and digital photogrammetry[J]. Journal of Archaeological Science, 2009, 36(2): 537-546.
[23] Ikeuchi K, Oishi T, Takamatsu J, et al. The great Buddha project: digitally archiving, restoring, and analyzing cultural heritage objects[J]. International Journal of Computer Vision, 2007, 75(1): 189-208.
[24] MiyazakiD, OishiT, NishikawaT, et al. The great Buddha project: modeling cultural heritage through observation[M] ∥Ikeuchi K, Sato Y. Modeling from reality. The springer international series in engineering and computer science. Boston: Springer, 2001, 640: 181- 193.
[25] 邓非, 张祖勋, 张剑清. 利用激光扫描和数码相机进行古建筑三维重建研究[J]. 测绘科学, 2007, 32(2): 29-30.
Deng F, Zhang Z X, Zhang J Q. 3D reconstruction of old architecture by laser scanner and digital camera[J]. Science of Surveying and Mapping, 2007, 32(2): 29-30.
[26] 刘军. 文化遗址的三维场景建模及虚拟展示技术研究[D]. 西安: 西北大学, 2009.
LiuJ. Research on 3D scenes modeling and 3D virtual display for cultural heritage sites[D]. Xi'an:Northwest University, 2009.
[27] 张祖勋, 詹总谦, 郑顺义, 等. 摄影全站仪系统: 数字摄影测量与全站仪的集成[J]. 测绘通报, 2005( 11): 1- 5, 20.
Zhang ZX, Zhan ZQ, Zheng SY, et al. Photo total station system: the integration of digital photogrammetry and total station[J]. Bulletin of Surveying and Mapping, 2005( 11): 1- 5, 20.
[28] ZhangZ, ZhengS, ZhanZ. Digital terrestrial photogrammetry with photo total station[C]∥International Archives of Photogrammetry and Remote Sensing, July 12-23, 2004, Istanbul.[S.l.: s.n.], 2004: 232- 236.
[29] Zhan ZQ, Zhang ZX, Zhang JQ. An integrated photogrammetric system with metric digital camera and total station[C]∥First International Multi-Symposiums on Computer and Computational Sciences (IMSCCS'06), June 20-24, 2006, Hangzhou, Zhejiang, China. New York: IEEE, 2006: 747- 752.
[30] 张祖勋. 论摄影测量与工程测量的结合: 摄影全站仪+数码摄影机[J]. 地理空间信息, 2004, 2(6): 1-4, 14.
Zhang Z X. Integration of photogrammetry and engineering surveying: photo total station and digital camera[J]. Geospatial Information, 2004, 2(6): 1-4, 14.
[31] Zhu Z K, Yuan Y, Zhang X H. Theodolite-camera video metrics system based on total station[J]. Proceedings of SPIE, 2011, 8194: 81942R.
[32] 朱肇昆. 经纬像机摄像测量方法研究[D]. 长沙: 国防科学技术大学, 2010.
Zhu ZK. Research on theodolite-camera video metrics[D]. Changsha: National University of Defense Technology, 2010.
[33] 方素平, 杨谢柳, 李一超, 等. 一种适用于窄视场相机的主距参数标定方法[EB/OL]. ( 2014-06-03)[2019-10-11]. 中国科技论文在线, 2014. http:∥www.paper.edu.cn/releasepaper/content/201406-37.
Fang SP, Yang XL, Li YC, et al. ( 2014-06-03)[2019-10-11]. Science paper Online, 2014. http:∥www.paper.edu.cn/releasepaper/content/201406-37.
[34] MalacaraD. Optical shop testing[M]. 3rd ed. New Gersey: Wiley-Inter Science, 2007.
[35] Sweet M S, Still G K. A versatile nodal slide[J]. Physics Education, 1980, 15(2): 106-107.
[36] Morel S. Methods for measuring a lens focal length[EB/OL]. ( 2011-12-01) [2019-10-11]. https:∥wp.optics.arizona.edu/optomech/tutorials-in-optomechanics/.
[37] Wu CC. VisualSFM: a visual structure from motion system[EB/OL]. [2019-10-11].http:∥ccwu.me/vsfm/index.html.
[38] Wu CC, AgarwalS, CurlessB, et al. Multicore bundle adjustment[C]∥CVPR 2011, June 20-25, 2011, Colorado Springs, CO, USA. New York: IEEE, 2011: 3057- 3064.
杨谢柳, 尹晨宇, 方素平, 刘士明. 基于全站仪的大型三维形貌摄影测量方法[J]. 激光与光电子学进展, 2020, 57(10): 101505. Xieliu Yang, Chenyu Yin, Suping Fang, Shiming Liu. Three-Dimensional Measurement of Large-Scale Objects Using Photogrammetry Based on Total Station[J]. Laser & Optoelectronics Progress, 2020, 57(10): 101505.