1 引言

线结构光三维测量以其成本低、精度高和结构简单等特点被广泛应用于逆向工程、工业制造和隧道桥梁检测等领域^[1-3]。结构光测量效率及准确性受传感器性能、参数标定方法、光条提取方法和外界光照环境等诸多因素的影响,其中传感器的相机曝光时间直接影响着光条图像质量,是影响测量效率和准确性的首要因素,因此研究线结构光传感器曝光时间优化对提高线结构光测量效果具有重要的作用。

为进一步提高线结构光测量精度,国内外学者开展了大量的传感器性能提升、标定方法及光条提取算法创新和改进等方面的研究^[4-6];但通过光条图像成像参数(如曝光时间和增益)优化来提高光条图像质量和测量精度的研究相对较少。马泽龙等^[7-9]基于图像的直方图特性对相机的自动曝光方法进行了研究;陆尧等^[10-11]从硬件层面出发研制出自适应曝光时间的CCD、CMOS相机;王红睿等^[12-14]提出了变光照环境下的相机参数自适应调整或估计算法;焦阿敏等^[15-16]针对光条图像采集进行了自适应动态成像参数调整方法的研究。相位测量轮廓术(PMP)在原理和形式上同结构光测量极为相似^[17],Zhong等^[18]为降低反射率多变的物体表面对PMP测量结果的影响,研究了相机的最优曝光时间标定方法;Ekstrand等^[19]对测量前不同曝光时间下采集的纯白光照射图像进行分析,以确定被测物表面反射率,进而标定最优曝光时间。由此可知,已有研究极少专门针对线结构光条图像成像参数的自适应调整或优化进行研究,以现有普通成像的自适应调节或标定方法所得曝光时间采集的光条图像并不一定是最佳光条提取结果所需的图像。

本文基于线结构光光条信度评价研究了相机曝光时间的优化方法^[20-22],以期获得最佳光条提取结果所需的最优曝光时间。该方法利用改进的光条高斯信度评价模型对亚像素光条中心提取结果进行了可靠性评价,研究了信度评价结果受曝光时间的影响机理,最终由曝光时间与信度评价结果的变化模型得到最佳的相机曝光时间。

2 光条图像特征

线结构光三维测量原理是激光三角测量,利用预先标定的相机、激光器和被测物的空间三角位置关系反算光条照射位置的三维坐标。测量装置由相机和激光器组成,其中相机曝光时间的长短是影响三维测量精度和效率的主要因素之一。曝光时间过短(100 μs)致使光条图像欠曝,光条在不同位置的灰度和宽度呈现明显的不均匀性[图1(a)],光条中心提取位置可靠性较差。曝光时间过长(10000 μs)导致光条图像过曝和帧率下降,光条能量增加的同时引入了更多的噪声[图1(c)],光条中心提取受噪声的影响较大,测量速度降低。为此,如何确定相机最佳曝光时间(2150 μs)以采集最佳光条图像[图1(b)],成为精确、快速的线结构光三维测量所要解决的问题。图中A、B代表光条上灰度、宽度不均匀区域,C、D、E代表引入的噪声区域。

图 1. 光条图像。(a)欠曝(100 μs);(b)最佳曝光(2150 μs);(c)过曝(10000 μs)

Fig. 1. Light stripe images. (a) Under exposure (100 μs); (b) optimal exposure(2150 μs); (c) over exposure (10000 μs)

下载图片 查看所有图片

3 光条信度评价

相机曝光时间的长短能直观地从光条图像中反映出来,因此可以通过分析光条特点及其变化规律来优化相机的曝光时间。光条信度评价是对光条中心提取的结果进行准确度及可靠度评价,通过研究光条信度与曝光时间之间的关系,来确定相机的最佳曝光时间。

3.1 光条信度评价依据

线结构光条图像生成的过程实质上是光条能量转换的过程。相机接收到光强为I(x,y)的入射光条依次执行光电转换、电荷存储、电荷转移和增益放大4个步骤,最终得到数字化光条亮度图像g(x, y; t)。I(x, y)是环境反射光强I_α和结构光反射光强I_β的总和,即

Ix,y=Iα+Iβ。(1)

光条的4步转换可表示为

gx,y;t=αρRIx,ySt=αρRIα+IβSt,(2)

式中R为CCD响应度,S为CCD面积,t为曝光时间,ρ为电荷转移效率,α为电荷增益放大倍数。由(2)式可知:在CCD不饱和且光照不变的情况下,采用固定光强的激光器对材质相同的物体表面进行结构光三维测量时,光条上某一固定点(x_c,y_c)的灰度值g(x_c,y_c;t)与曝光时间t呈线性关系,即曝光时间越长,光条固定点灰度值越大,代表此处能量越强。

理想的线结构光光条切面呈高斯分布,高斯顶点为理想的光条中心点,其灰度值最大、能量最强。当提取光条中心能量越接近理想光条中心能量值,其可信度越高。但实际反射光条截面并非理想的高斯分布,因此不能仅以单点能量作为信度评价指标,以提取中心所在切面的能量总和作为该处能量更具评判力。由(2)式可知,随着曝光时间的增加,光条逐渐充盈,光条提取中心所在光条切面总能量增加,提取位置越发可靠。

3.2 光条高斯信度评价模型

光条信度评价方法是对光条中心位置提取的可靠性进行评价。为了提高评价方法的准确性,在文献[ 19-20]所提光条信度评价原理的基础上进行改进,构建了光条高斯信度评价模型。该模型充分利用光条切面能量符合高斯分布的特点,以每个光条切面的高斯拟合结果(μ, σ)来重新定义光条宽度,其中μ、σ分别为拟合高斯函数的均值和方差,此外增加了评价灰度作为评价指标,以获得更可靠的评价结果。光条高斯信度评价具体流程如图2所示。

图 2. 光条高斯信度评价流程

Fig. 2. Process of light stripe Gaussian reliability evaluation

下载图片 查看所有图片

1)高斯拟合

以光条中心提取结果c及对应的灰度值p_c作为一维非线性高斯拟合的初值,利用最小二乘法得到拟合高斯模型G(x)为

Gx=pfexp-x-μ2/2σ2,(3)

式中x为像素点坐标,μ为高斯拟合后的光条中心亚像素坐标,p_f为拟合光条中心的灰度值。

2)光条能量、基底噪声计算

依据高斯型切面95%的能量集中在(μ-2σ,μ+2σ)范围内的特点,将光条宽度定为4σ,光条能量E_S为宽度范围内所有像素点灰度值之和,即

ES=∑x=μ-2σμ+2σGx。(4)

基底噪声会导致光条信度降低,其能量E_N以光条宽度两侧再外扩2σ范围内像素点灰度值之和,可表示为

EN=∑x=μ-4σμ-2σGx+∑x=μ+2σμ+4σGx。(5)

3)光条评价信度、灰度计算

光条上某点所在切面去除基底噪声能量后剩余的能量为该点的评价信度值C,可表示为

C=ES-EN。(6)

光条评价信度值只能对光条的能量总和进行评价;对于散射严重的区域,光条较宽,信度值偏大,仅以光条信度无法准确地对提取中心可靠性进行评价,因此增加了评价灰度R作为光条信度评价指标,R可表示为

R=Cw=ES-ENw,(7)

式中w为取整后的光条宽度,w=4σ,评价灰度R实际为光条宽度范围内像素的平均能量。

4 相机曝光时间优化

在进行相机曝光时间优化研究之前,先使用相机依次以不同曝光时间对外界照度条件恒定(230 lx)的平整水泥表面光条图像进行采集,曝光时间范围为200~3800 μs、间隔为20 μs。将采集到的光条图像作为原始图集U,U可表示为

U={Aii=t/20-9,200≤t≤3800},(8)

式中A_i为第i张光条图像,t为曝光时间。

4.1 亚像素光条中心位置提取

光条中心位置提取是光条信度评价的第一步,提取结果直接影响着信度评价的可靠性。光条中心位置提取通常针对的是变化场景下、不同位置的光条图像,而文中面向的是相同场景下、同一位置、不同曝光时间的光条图集U,图集中的光条图像极为相似。对图集U中的光条图像进行相关性分析可得

r=∑m∑nBmn-B-Cmn-C-∑m∑nBmn-B-2∑m∑nCmn-C-2,(9)

式中B、C为图集U中的任意两张光条图像,r为两张图像的相关系数,m、n为图像的长、宽像素。图集中相邻两幅图像的相关系数r的均值为0.998,差别最大的两幅图像(曝光时间分别为200 μs和3800 μs)的r=0.755,因此图集中的光条图像有极大的相关性。为此,结合图集的这一特点,提出了针对图集U的亚像素光条中心位置提取方法。

在曝光时间较短的情况下,光条图像中除光条之外基本为黑色[图1(a)],此时的光条中心基本为每列(行)上像素值最大的位置,光条中心极易提取。但随着曝光时间的延长,光条逐渐充盈,噪点增多[图1(b)],光条图像的部分列(行)上出现多个最大像素值位置;采用前述方法无法得到准确的中心位置,只能选用如Hessian、方向模板等复杂的方法。由于相邻图像的相关性极大,实际光条中心在整个光条图集中变化相对较小,因此可以利用从最低曝光时间图像中提取到的光条中心作为整个图集光条中心提取的初值,每次提取的结果作为下一张光条图像提取的初始位置。具体的光条中心位置提取流程如图3所示,具体为:1)以前一张图像的光条中心

图 3. 亚像素光条中心位置提取流程

Fig. 3. Extraction process of sub-pixel light stripe center position

下载图片 查看所有图片

提取结果作为约束条件,对初始中心两侧一定范围内(法线双向20个像素点内)的像素采用自适应阈值法,得到符合条件的像素集Y;2)对像素集Y采用灰度重心法,求取新的光条中心位置Z;3)以Z为初值,采用一维高斯模型对Y进行拟合,由最小二乘法得到高斯模型参数,高斯顶点位置即为光条中心提取位置。

4.2 光条信度评价及曝光时间优化

采用第3.2节中构建的光条高斯信度评价模型对光条图集U中光条提取中心位置进行信度评价。为了分析曝光时间对信度评价结果的影响机理,以光条上某一固定切面位置在不同曝光时间图像中的中心提取结果作为信度评价目标,观测其信度评价结果随曝光时间的变化规律。为了全面掌握该机理,选取了光条上多个典型的切面位置作为研究目标,如图4所示的p₁~p₁₆(t=200 μs时的采集图像),其中包含光能量充盈(如p₉、p₁₄)、欠充盈(如p₈、p₁₀)和不充盈(如p₂、p₃、p₁₆)的3类位置。

对光条图集中所有上述典型位置进行光条中心提取,并对提取结果进行信度评价,评价结果如图5所示,其中图5(a)、(b)分别为各典型位置光条提取中心评价信度C和评价灰度R随曝光时间t的变

图 4. 光条上典型切面位置(p1~p16)

Fig. 4. Positions of typical sections (p1-p16) on the light stripe

下载图片 查看所有图片

图 5. 典型切面光条中心信度评价结果。(a) C随t变化;(b) R随t变化

Fig. 5. Reliability evaluation results of typical sections' light stripe centers. (a) C varies with t; (b) R varies with t

下载图片 查看所有图片

化规律(t-C、t-R)。

通过观察以上信度评价参数随曝光时间变化的统计结果发现:随着曝光时间的增加,各位置上光条中心提取结果的评价信度和评价灰度呈增长趋势,并逐步趋于平稳,近似于对数增长。其中评价灰度随曝光时间的增长快慢受初始光条能量充盈程度的影响,其中不充盈位置的增长最快,其次为欠充盈、充盈位置,但最终均趋于平稳;评价信度随曝光时间的变化趋势较接近,基本呈现出对数函数的变化规律。为此,利用非线性对数拟合信度评价结果(图6)构建评价信度和评价灰度随曝光时间的变化模型:

Cit=ai-biInt+ciRit=M,sectionpositionisfulloflightenergydi-eiInt+fi,else,(10)

式中200 μs≤t≤3800 μs,i为光条图像第i行(列),a_i、b_i、c_i、d_i、e_i、f_i为拟合对数函数参数。当切面充盈时,150≤M≤170;当切面欠充盈或不充盈时,20≤R_i(t)≤170。

图 6. 对数拟合构建Ci(t)、Ri(t)变化模型

Fig. 6. Building Ci(t)、Ri(t) variation models with logarithmic fitting

下载图片 查看所有图片

由变化模型可以看出:随着曝光时间的增加,光条上任意位置提取中心的评价灰度R_i在t=1750~2250 μs段内逐步平稳到R=160左右,而不同位置提取中心的评价信度C_i都将逐步平稳到不同的极限值 Cimax。为了进一步研究评价信度C_i随曝光时间t的增加趋近 Cimax的程度,对C_i(t)求二阶导数可得

Iit=Cit''=bit+ci2。(11)

求取所有典型切面位置的I_i(t),I_i(t)在200 μs≤t≤3800 μs变化过程如图7所示。由图可以看出:曝光时间增加到T_s~T_e范围时,所有I_i(t)均基本完成收敛,意味着在T_s~T_e范围内,各位置提取中心的评价信度值C_i基本都趋于各自极

图 7. 典型切面位置的I随t变化情况

Fig. 7. I of typical section positions varies with exposure time t

下载图片 查看所有图片

限值 Cimax。

由此可见,在外界照度恒定、待测物材质一定的情况下,光条提取中心信度评价指标(C、R)随曝光时间(t)的增加都将收敛到某个恒定的值,且收敛位置的曝光时间相同,因此可将此曝光时间作为该条件下最优的相机曝光时间。如在对外界光强为230 lux的平整水泥表面的结构光条进行采集时,由于光条提取中心的评价信度和评价灰度均在曝光时间1750~2250 μs范围内完成收敛,因此该范围为该条件下最优的相机曝光时间范围。

5 实验结果

为了验证传感器的相机曝光时间优化后对测量精度和速度的影响,依次开展了单一光条精度实验和模型测量实验。所有实验均在如图8所示的线结构光三维测量平台上进行,外界光照强度为230 lux,平台主要由相机、激光器和运动台组成。相机配有12 mm焦距光学镜头,分辨率为1280´1024;激光器波长为660 nm,功率为100 mW,扇形角为75°;运动台可往返运动,实验测量对象(如:高精密齿条、水泥路面模型)放置在运动台面上。

图 8. 线结构光三维测量平台

Fig. 8. Platform of line structured light 3D measurement

下载图片 查看所有图片

5.1 单光条精度实验

单光条精度实验是从局部单一光条出发,比较不同曝光时间对单一光条测量精度的影响。实验以高精密的钢制齿条为测量对象,齿条表面氧化成黑色,加工误差为0.01 mm,齿条实物及单齿设计尺寸如图9所示。

图 9. 高精密齿条

Fig. 9. High-precision rack

下载图片 查看所有图片

线结构光垂直照射到静止齿条齿面上;在曝光时间200~3000 μs范围内,斜侧相机曝光时间每增加50 μs采集一张齿面光条图像;以4.1节的方法提取所有光条图像的光条中心位置,再由三角测量单应性关系换算出齿条轮廓的三维测量结果。以齿条第9齿测量为例,图10(a)为曝光时间t分别为500,2000 μs时测得的轮廓,图10(b)为不同曝光时间实测轮廓与设计轮廓的平均残差平方和(R_SSa)分布情况,由平方根模型(Belehradek)拟合得到R_SSa随t的变化函数。由于高精密齿条与第4节的水泥表面具有相近的反射系数(0.15~0.2),且外界照度条件相同(230 lux),按该条件下曝光时间优化结果,t在1750~2250 μs范围内已获得较高且稳定的测量精度。由图10(b)可知:随着曝光时间t的增加,平均残差平方和逐步减小,并最终趋于平稳;即随着t的增加,测量结果逐步接近实际轮廓,测量精度越来越高。当曝光时间为2000 μs左右时,测量已经达到较高精度且基本趋于稳定,因而验证了上述范围为该条件下最优的相机曝光时间范围。

图 10. 测量结果。(a)测得的第9齿轮廓;(b) RSSa随t变化

Fig. 10. Measurement results. (a) Measured profiles of the 9th tooth; (b) RSSa varies with t

下载图片 查看所有图片

图 11. 模型测量结果对比。(a)重构模型1(t=200 μs);(b)重构模型2(t=2000 μs); (c)重构模型3(t=5000 μs);(d)重构模型4(t=10000 μs);(e)裂缝区域;(f)坑洼

Fig. 11. Comparison of model measurement results. (a) Reconstructed model 1 (t=200 μs); (b) reconstructed model 2 (t=2000 μs); (c) reconstructed model 3 (t=5000 μs); (d) reconstructed model 4 (t=10000 μs); (e) cracks area; (f) potholes

下载图片 查看所有图片

5.2 模型测量实验

模型测量实验从全局测量出发,比较不同曝光时间对全局测量精度和效率的影响。测量对象为15 cm´31.5 cm的水泥路面模型,模型表面整体平整,局部存在小范围的典型路面破损,如裂缝、坑洼和拥包等。传感器分别以数个典型的曝光时间t(200,2000,5000,10000 μs)对模型进行测量,测量结果重构如图11(a)~(d)所示;图11(e)、(f)为局部典型破损(裂缝、坑洼)放大对比图。比较结果可以发现,典型破损在t=2000 μs时轮廓最为完整、清晰,其他曝光时间t下均存在不同程度的信息缺失、模糊的情况。

为量化比较不同曝光时间下的测量效果,以路面平均构造深度T_D、重构道数N作为指标,对真实模型及各个重构模型进行参数化评价。T_D是路面粗糙度的评价指标,指一定面积的路表面凹凸不平的开口孔隙的平均深度,在此用于比较各个重构模型与真实模型的差别程度,进而比较重构精度。真实模型T_D可以通过电动铺沙的方式测得,重构模型T_D由双向均值法求得,即

TD=1ab∑u=1a∑v=1bmax(D)-Duv,(12)

式中a、b为重构模型行、列数,D_uv为第u行、v列的高程信息。重构道数N为

N=ftlv,(13)

式中l为模型长度;v为运动台往返速度;f(t)为相机帧率函数,可表示为

ft=fc,t≤tcfc1+fct-tc,t>tc,(14)

式中t_c为最大帧率下的最长曝光时间。当曝光时间t≤t_c时,帧率为常量f_c;当t>t_c时,帧率为曝光时间t的函数,t与帧率f(t)成反比。运动台往返速度v恒定,以不同曝光时间对同一模型进行测量,若t>t_c时,t越大,采集到的数据道N越少,测量效率降低,重构模型精度较低。为了保证评价的有效性,以上述曝光时间各进行50次测量实验,测量结果参数化评价后取均值,结果统计到表1中,表中δ=|T_DActual-T_DModel|/ TDModel。

由表1可知:当曝光时间t=2000 μs时,重构模型与真实模型的平均构造深度偏差最小δ_min=9.8%;曝光时间过短或过长,δ值均较大,测量精度降低、准确性不高;此外,当曝光时间t=10000 μs时,完整的模型测量只获得311道重构轮廓数据,为其他曝光时间下的1/2左右,测量效率偏低。上述结果进一步验证:当曝光时间较短或较长时,受光条不均匀性或过曝噪声的影响,测量准确性偏低;当曝光时间过长时,除高噪声之外,测量帧率的降低也会影响测量的准确性和效率;当曝光时间t=2000 μs时,能获得最好的测量精度和速度。

6 结论

为获得线结构光测量时的相机最优曝光时间,基于线结构光光条信度评价对相机曝光时间优化进行了研究,将光条信度评价结果直接作为曝光时间优化的参考指标。首先针对光条切面灰度高斯分布的特点,改进并构建了高斯信度评价模型;之后由高斯信度评价模型对不同曝光时间下的亚像素光条中心提取结果进行信度评价,评价结果量化成评价信度值R和灰度值C;最后研究了曝光时间t对评价结果的影响机制,由t-C、t-R变化模型得到最优的相机曝光时间。230 lux光强下的单光条精度实验和模型整体测量实验表明:曝光时间优化后的测量精度和效率更高,结果更准确;测量R_SSa稳定在0.03 mm²左右,重构模型平均构造深度与真实模型仅差9.8%。

在环境光强和物体表面材质已知的情况下,该研究能很好地满足结构光高精度、高效测量的需要。而实际测量多为变光照、多材质的情况下,因此如何根据环境光强和材质情况自适应的选择预先优化的曝光时间成为需进一步研究的问题。