基于三通道二值条纹离焦投影的快速三维测量 
下载： 1097次
1 引言
由于相机、投影仪技术的快速发展以及计算机并行处理能力的提高,高速度的结构光投影三维测量技术得到了广泛的关注。三维结构光投影具有高速度、高分辨率、无破坏、非接触等优点,在工业检测、机器视觉、生物医学、虚拟现实等多种领域有广泛应用[1-2]。为了将结构光测量技术应用于连续测量和动态测量的场景中,人们提出了多种减少光栅数和提高投影速度的方法。傅里叶变换轮廓术(FTP)[3]可在单张光栅图像中进行相位解码,获取三维信息,但局部误差的扩散导致测量精度较低。相移测量轮廓术(PSP)[4-7]将一系列光栅进行投影,通过解算的相位信息进行重建,精度较高。由于PSP需要投影多张数字条纹图像,对测量系统的速度要求较高。测量速度较低时,相邻相机帧之间的设备震动、物体移动都会增大测量误差[8]。为了提高测量速度,人们使用彩色多通道编码[9-14]将多张编码条纹融合为一张彩色图像进行投影,再对拍摄的条纹图像进行分解,还原出每个通道的图像。但彩色多通道编码方法的分解还原存在彩色通道串扰、颜色饱和度高和反射率高等难点,如果不引入辅助信息,难以进行应用。传统彩色投影使用256位彩色投影,一方面引入了投影仪的Gamma畸变[15],另一方面,投影速率较低,钳制了系统的测量速度。
针对上述问题,本文提出了一种基于离焦二值RGB(Red,Green,Blue)三通道顺序投影的结构光测量方法。由于数字光处理(DLP)投影仪投影二值图像的速度远远高于投影256位图像的速度,相比用计算机求解三通道融合的图像后再进行投影,将三通道的二值条纹图像离焦后进行顺序投影可以提升条纹投影的速度[16]。首先在单个相机帧时间内顺序投影三通道的条纹,然后对曝光得到的彩色图像进行串扰分解。用一台与彩色相机具有相同感光芯片的黑白相机标定三通道的串扰矩阵,无需对标定物的反射率做出假设。实验结果表明,相比传统的彩色条纹投影方法,本方法不仅提高了投影速度,且在不同色彩条件的场景中均能实现准确测量。
2 实验原理
2.1 二值彩色编码离焦投影
结构光测量系统包含DLP投影仪、彩色相机和计算机。首先,将计算机编码得到的数字条纹输入投影仪进行条纹投射,由相机采集被物体调制过的光栅图案,再输入计算机;然后,通过数字图像处理技术求解数字图像中编码的相位信息,通过三角法原理求解物体的三维形貌信息。
DLP技术对投影速度和精度的提升使离焦投影技术广泛应用于PSP中[16]。DLP的核心元件数字微反射镜是一种二元开关式器件,投影二值图像时,DLP的投影速度可达到104 frame/s,使用超过两位色彩的数字图像投影时,投影速度会减小。Lei等[17]提出了二值离焦投影方法,利用DLP高速二值投影的特性,将具有周期性的二值条纹进行离焦投影,得到正弦光栅场,并通过相移算法得到图像中的编码相位信息。由于二值投影的投影速度超过了一般工业相机的抓取速度,用投影仪信号触发相机拍摄时,可将相机帧率设为最大值。将投影、抓取一张条纹图像的单位时间帧作为一个测量帧,在相同条纹图像组数下,系统的测量速度由测量帧率决定,二值条纹投影的测量帧率和相机帧率一致。
将二值离焦投影的条纹映射到RGB通道中,条纹投影方式如
图 1. 彩色条纹投影的流程图。(a)传统彩色条纹投影;(b)彩色离焦二值投影
Fig. 1. Flow chart of color fringe projection. (a) Traditional color fringe projection; (b) color defocusing binary projection
基于离焦二值RGB三通道顺序投影的结构光测量方法整体流程:1)将三通道二值条纹输入投影仪,在每个测量帧内顺序投影三通道图像,调整投影仪的焦距使投射出的三通道条纹具有良好的正弦性;2)相机采集被物体形貌调制过的条纹图像,并通过标定的彩色混叠和反射率信息,分解出三通道的正弦条纹;3)使用三步三频外差法解算出编码相位,通过三角法重建三维点云模型。
2.2 投影编码
在三个彩色通道中用二值条纹进行编码,并使用离焦投影技术产生正弦条纹。传统的彩色条纹投影技术采用三步相移法,得到的投影图像是一张混合三通道的256位图像,使用相位变化量为120°的三步正弦条纹,其条纹强度可表示为
式中,a(x,y)和b(x,y)分别为像素(x,y)处的平均强度和调制幅度,I1(x,y)、I2(x,y)、I3(x,y)分别为编码到R、G、B三个通道的像素强度,φ(x,y)为包裹相位值,可表示为
Lei等[17]的研究表明,适当的使投影仪产生离焦,可用生成的二值图案投影出正弦条纹。为了使同一离焦程度下生成的条纹保持正弦性,不同二值条纹的宽度差距不应过大。因此,用三频外差法[18]对条纹进行相位解包裹,在三通道中分别投影宽度为18,23,28 pixel的条纹,并用Sierra Lite方法进行抖动调制[19],以提高离焦投影的正弦性,得到的条纹如
2.3 彩色串扰消除
彩色CCD相机为避免产生颜色上的盲区,三通道存在光谱重叠区域,导致采集的图像三通道之间存在串扰[20]。Caspi等[21]提出了一种包含彩色串扰关系的颜色模型,在不考虑背景光照的情况下,相机采集的图像像素值和投影图像像素值的关系可表示为
式中,C为相机采集图像的像素值矩阵,M为3×3的三通道串扰矩阵,Ic为相机单通道图像像素的强度矩阵,m为对应两通道间的串扰系数,k为物体表面的单通道反射率,Ip为投影仪投影像素的强度矩阵,K为拍摄物体表面的反射率矩阵,P为投影仪的投影强度矩阵。由于DLP投影仪进行二值投影时不存在Gamma效应,投影强度P与投影仪二值条纹对应的正弦条纹像素强度p的关系为一个线性函数,可表示为
式中,F为投影仪的输入输出响应关系,P可用于相移法的相位计算,a为比例系数,不影响相位计算。
为求解投影强度矩阵P,需计算串扰矩阵M和反射率矩阵K。反射率矩阵由实际投影测量的物体表面反射率决定,可在实际测量中解算。串扰矩阵M只与测量系统有关,与所拍摄的物体无关,可提前标定。传统标定方法通常在白色平板上分别投影三通道纯色光进行标定[22-23],该方法假设白色平板各位置的三通道反射率均为1,投影纯色光时,投影强度矩阵P分别为[255,0,0]T,[0,255,0]T,[0,0,255]T,根据(8)式可反解出
式中,IcA为投影B通道纯色图像时,相机A(R、B、G)通道中采集的图像。实际标定过程中,白色平板标定物表面的反射率不均匀,且不能保证反射率为1,串扰矩阵M的标定误差较大,从而在实际测量中传递到反射率矩阵、投影强度矩阵P中,影响重建精度。因此,提出了一种无需标定物体反射率的标定方法。用三光源DLP投影仪对三通道进行顺序投影,每次投射时,只有一个纯色光源被点亮。彩色串扰主要来源于相机感光芯片的光谱响应,在使用环境、镜头等条件一致的情况下,如果两个相机感光芯片的光谱响应相同,则相机产生的混叠效应也几乎一致。用与彩色相机感光芯片相同的黑白相机,且拍摄时使用相同的镜头。为保证两相机视场重合,先在固定位姿支架上安装黑白相机,投影三张纯色图像并采集。在黑白相机视场对应位置的四角粘贴标志点;将黑白相机拆下,安装彩色相机,通过标志点保证位姿一致后,取下标志点,投影三张纯色图像并采集。黑白相机采集的图像像素值矩阵为
Cmono包含了投影仪调制和标定物反射的影响,因此无需对标定物的反射率进行假设。将(11)式代入(8)式,得到
对白色平板投影三通道纯色光,用彩色相机分别抓取三张图像。用一架与彩色相机感光芯片相同的黑白相机,确保相机位姿、镜头等条件一致,分别抓取三张图像,得到
式中,ImR、ImG、ImB为黑白相机拍摄得到的三通道像素值。两个相机拍摄时视场内的像素点一一对应,可建立超定方程,解出串扰矩阵M。
由于拍摄物体表面的反射率分布不均匀,反射率矩阵K在每个像素点上的值不同。在每帧拍摄中加入一张纯白色投影,得到相机视场内所有像素点的投影强度矩阵P为[255,0,0]T、[0,255,0]T、[0,0,255]T,逐像素得到当前测量帧内的反射率矩阵
将M和K代入(8)式,从相机拍摄的彩色图像中恢复出所需的条纹信息,可表示为
完整的投影序列流程如
3 实验与分析
实验使用的测量系统由DLP4500(分辨率为1140 pixel×912 pixel)和BasleracA800-510uc彩色相机(分辨率为800 pixel×600 pixel)组成,如
表 2. 重建误差的平均值和标准差
Table 2. Mean and standard deviation of reconstruction error unit: mm
|
表 1. 不同方法的每秒重建帧数
Table 1. Number of reconstructed frames per second for different methods unit: frame
|
用黑白相机Basler acA800-510um辅助标定串扰矩阵,黑白相机和彩色相机使用的镜头型号均为海康MF1614M-5MP,且两相机具有相同的光谱响应,如
在白色平板上,分别投影三通道纯色图像。在彩色相机和黑白相机上安装相同的镜头,在固定位姿下,分别对三通道图像进行拍摄,逐像素建立方程关系,得到
分别对白色平板和一彩色待测物体进行彩色分解,结果如
图 6. 三通道的分解图像。(a) 白色平板上的彩色条纹图像; (b)~(d) 白色平板上RGB通道的条纹图像; (e) 玩偶上的彩色条纹图像; (f)~(h) 玩偶的RGB通道条纹图像
Fig. 6. Decomposed image of three channels. (a) Color stripe image on white plate; (b)--(d) stripe image of RGB channel on white plate; (e) color stripe image on doll; (f)--(h) RGB channel stripe image of doll
取白色平板图像中R通道的第500列,对比8 bit彩色投影、8 bit彩色投影并使用黑白相机解耦、2 bit彩色投影、2 bit彩色投影并使用黑白相机解耦四种方法分解出正弦条纹,结果如
图 7. 不同方法得到的条纹正弦性。(a) 8 bit投影; (b) 用黑白相机辅助解耦的8 bit投影; (c) 2 bit投影; (d) 用黑白相机辅助解耦的2 bit投影
Fig. 7. Sine of fringes obtained by different methods. (a) 8 bit projection; (b) 8 bit projection with black-and-white camera auxiliary decoupling; (c) 2 bit projection; (d) 2 bit projection with black-and-white camera auxiliary decoupling
对标准阶梯工件进行测量,每级阶梯的标准高度为15 mm。
图 9. 三维数据第34行的高度与标准值。(a) 8 bit投影;(b) 用黑白相机辅助解耦的8 bit投影;(c) 2 bit投影;(d) 用黑白相机辅助解耦的2 bit投影
Fig. 9. Height and standard value of the 34th row of the 3D data. (a) 8 bit projection; (b) 8 bit projection with black-and-white camera auxiliary decoupling; (c) 2 bit projection; (d) 2 bit projection with black-and-white camera auxiliarydecoupling
本方法对彩色物体的相位求解和重建结果如
图 10. 彩色物体的形貌重建。(a)包裹相位;(b)全局相位;(c)重建结果
Fig. 10. Topography reconstruction of colored objects. (a) Wrapped phase; (b) global phase; (c) reconstruction result
为验证本方法测量动态物体的效果,对运动中的手掌进行动态测量,取其中3帧的重建结果,相邻帧的间隔为0.2 s,如
4 结论
提出了一种将二值相移条纹映射到彩色三通道的离焦投影三维测量方法。实验结果表明,相比彩色条纹投影和离焦二值投影方法,本方法的测量速度有明显提升。使用抖动调制的三步相移三频外差法得到条纹图像,在固定投影仪离焦程度下,所有投影条纹均具有较好的正弦性。对于彩色串扰的分解,使用与彩色相机具有相同感光芯片的黑白相机辅助标定,可从彩色通道中很好地还原条纹信息,相比传统彩色条纹投影,提高了相位质量和重建精度。在测量动态物体时,本方法的测量帧率和重建精度较高,但相机曝光时间较短,下一步还需解决物体表面存在阴影时对调制度的影响。
[3] Yun H, Li B W, Zhang S. Pixel-by-pixel absolute three-dimensional shape measurement with modified Fourier transform profilometry[J]. Applied Optics, 2017, 56(5): 1472-1480.
[4] Guo Y F, Da F P, Yu Y. High-quality defocusing phase-shifting profilometry on dynamic objects[J]. Optical Engineering, 2018, 57(10): 105105.
[5] 卢明腾, 苏显渝. 基于相移与调制度比的结构光三维面形垂直测量方法[J]. 中国激光, 2019, 46(7): 0704003.
[6] Zuo C, Feng S J, Huang L, et al. Phase shifting algorithms for fringe projection profilometry: a review[J]. Optics and Lasers in Engineering, 2018, 109: 23-59.
[7] 刘超, 盖绍彦, 达飞鹏. 结构光测量中分区域相位误差补偿方法研究[J]. 中国激光, 2018, 45(6): 0604002.
[9] Huang P S, Hu Q Y, Jin F, et al. Color-encoded digital fringe projection technique for high-speed 3-D surface contouring[J]. Optical Engineering, 1999, 38(6): 1065-1071.
[10] 白雪飞, 张宗华. 基于彩色条纹投影术的三维形貌测量[J]. 仪器仪表学报, 2017, 38(8): 1912-1925.
Bai X F, Zhang Z H. 3D shape measurement based on color fringe projection techniques[J]. Chinese Journal of Scientific Instrument, 2017, 38(8): 1912-1925.
[11] 王露阳, 达飞鹏. 基于互补色编码条纹投影的三维形貌测量方法[J]. 光学学报, 2011, 31(6): 0612004.
[12] 吴佳琛, 曹良才, 陈海龙, 等. 彩色三维扫描中纹理重建技术研究进展[J]. 激光与光电子学进展, 2018, 55(11): 110004.
[13] 刘进博, 郭鹏宇, 伍越, 等. 基于分层聚类的彩色结构光光条检测方法[J]. 激光与光电子学进展, 2019, 56(22): 221201.
[14] 于瑾, 陈超, 高楠, 等. 基于相位标靶的相机标定[J]. 激光与光电子学进展, 2018, 55(11): 111203.
[15] 蔡文娟, 曹益平, 付光凯, 等. 一种非线性相位误差的全场补偿方法[J]. 光学学报, 2019, 39(3): 0312001.
[16] Zhang S, van Der Weide D, Oliver J. Superfast phase-shifting method for 3-D shape measurement[J]. Optics Express, 2010, 18(9): 9684-9689.
[17] Lei S, Zhang S. Flexible 3-D shape measurement using projector defocusing[J]. Optics Letters, 2009, 34(20): 3080-3082.
[18] 毛翠丽, 卢荣胜. 提高多频条纹投影相位提取精度的反向误差补偿法[J]. 光学学报, 2018, 38(4): 0412005.
[19] 吕江昭, 达飞鹏, 郑东亮. 基于Sierra Lite抖动算法的离焦投影光栅测量[J]. 光学学报, 2014, 34(3): 0312004.
[20] 张宗华, 连晓洁, 高楠. 彩色复合条纹投影测量系统串扰消除方法[J]. 光学学报, 2018, 38(8): 0815005.
[22] Pan J H, Huang P S, Chiang F P. Color phase-shifting technique for three-dimensional shape measurement[J]. Optical Engineering, 2006, 45(1): 013602.
[23] 李华, 杨帆, 杨华民, 等. 条纹颜色分离与聚类[J]. 光学精密工程, 2016, 24(5): 1206-1214.
Article Outline
张鑫, 盖绍彦, 达飞鹏. 基于三通道二值条纹离焦投影的快速三维测量[J]. 激光与光电子学进展, 2020, 57(23): 231201. Xin Zhang, Shaoyan Gai, Feipeng Da. Fast Three-Dimensional Measurement Based on Three Channel Binary Fringe Defocused Projection[J]. Laser & Optoelectronics Progress, 2020, 57(23): 231201.
PDF全文
