1 引言

光电成像设备评价的重要指标之一就是动态范围,普通光电成像设备的可探测动态范围一般在48 dB以上,但难以满足空间目标成像探测和科学成像应用100 dB以上的需求。CCD或CMOS图像传感器是目前主要的空间目标探测应用成像器件,其成像动态范围仍不能达到科学探测的要求。因此,如何提高成像系统的动态范围是目前光学探测成像设备亟待解决的关键问题之一。

近年来,随着新型的成像前光学调制技术的出现,在成像前利用数字微镜器件(DMD)芯片进行光学调制,使得视觉测量系统能够实现更广的视觉空间范围、更宽的成像动态范围以及更高的测量精度和测量效率^[1-2]。DMD与CCD像元之间的匹配精度会影响调光区域的对准精度,只有实现上述两者的高匹配度,才能使掩模达到高精度匹配^[3],因此选择精度高的映射算法就显得十分重要。

由于结构设计的限制以及光路共轴度等因素的影响,成像系统不可避免地存在畸变现象,映射算法的合理设计,可以有效减少系统畸变对成像质量的影响。目前关于匹配映射算法的研究较少,如电容式触摸屏和LCD之间的像素映射方法^[4]、基于像素角度映射的摄像机标定算法^[5]等。虽然它们能够实现空间上的映射关系,但是对于DMD与CCD所需要后续匹配的情况并不十分适用。

为实现DMD微镜对CCD像素的精确调制,根据DMD高动态范围成像系统的特征,本文提出了三种像素级映射方案,分别对其进行了理论分析,并应用到本文系统中;通过实验验证比较三种算法的精度,选择了误差尽可能小的算法,得到了DMD微镜对CCD像素的像素级映射匹配关系。

2 系统概述

2.1 系统基本原理

基于微电子机械系统(MEMS)的DMD,是将若干个可转动的微型反射镜以阵列菱形的排布形式集成在芯片上。每个微反射镜以对角线为轴实现正负角度偏转,达到调制光线的目的^[6]。

根据DMD芯片的成像原理,设计光路以确定CCD相机与DMD芯片的相对位置,并依据测量物体光线的进入位置,设计出整个光路,最终得到完整的高动态范围成像系统。

由于成像系统存在二次成像过程,且DMD像面与CCD像面之间的距离有限,导致难以直接进行角度折叠的设计,因此选择添加全部内反射(TIR)棱镜改变光路方向。添加之后整体光路将会产生角度折叠,转变为两个垂直方向的光路。其光路成像过程为:被测物光线先后经镜头L1和TIR棱镜成像于芯片DMD像面上,反射光线经过DMD芯片表面的反射后,回到TIR中发生全反射,再通过镜头L2到达CCD相机并成像,如图1所示。

图 1. 系统光路图

Fig. 1. Light path of the system

下载图片 查看所有图片

2.2 DMD与CCD映射关系

在整个光路系统中,DMD位于CCD之前,被测物的光线先经过DMD后反射到CCD上^[7],因此,DMD与CCD具有一定的对应关系,即映射关系。DMD每个微镜的开关状态决定了CCD上对应像元位置的明暗程度,为降低高动态场景中特定区域亮度,需要CCD上过曝光部分所对应的DMD微镜处于适当的关闭状态。因此,需要设计像素级的映射算法,精确地解算出DMD微镜与CCD像素之间的映射关系,才能够精确地调制成像系统中各区域的入射光强,实现高动态范围成像。

3 像素级映射算法设计

根据DMD与CCD的位置关系,考虑光路设计和畸变情况,设计出三种映射算法:直接线性变换(DLT)算法^[8]、非线性多项式畸变拟合映射算法和基于反向传播(BP)神经网络的映射算法。

3.1 DLT映射算法

由于系统光路结构近线性,选择DLT算法进行映射。DLT是在齐次坐标下将对应点成像关系写成透视投影的形式,计算式为

suv1=HXwYw1,(1)

式中s为系数,(u,v)为图像坐标系下的点的齐次坐标,(X_w,Y_w)为世界坐标系下空间点的欧氏坐标,表示标记点在DMD中的像素坐标。H为3×3的透视投影矩阵,此为需要解算的转换矩阵。

消去s,可以得到方程组为

h11Xw+h12Yw+h13-h31uXw-h32uYw-h33u=0h21Xw+h22Yw+h23-h31vXw-h32vYw-h33v=0。(2)

通过格拉布斯准则剔除变换误差较大的点对,然后利用剩余的点对求取最优解的H方阵。当剩余点对超过4组时,方程组不存在精确解,这就需要找到一个代价函数,通过代价函数最小化的方式寻找方程组的最优解。N个点通过图像对应关系,可以得到包含2N个方程的方程组:

AL=0,(3)

式中A为(2N×9)的由物点像点组成的矩阵,L是由H中的元素组成的向量,表示为

A=xw1yw11000-u1xw1-u1yw1-u1000xw1yw11-v1xw1-v1yw1-v1xw2yw21000-u2xw2-u2yw2-u2000xw2yw21-v2xw2-v2yw2-v2︙︙︙︙︙︙︙︙︙。(4)L=(h11,h12,h13,h21,h22,h23,h31,h32,h33)T,(5)

像机标定的目标就是寻找合适的L,使得 AL为最小,即求取当 AL取到min AL时,L的取值。

给出约束h₃₃=1,得到:

CL'+B=0,(6)

式中L'为L的前8个元素组成的向量,C为A的前8列,B为A的前9列,可以导出L'的求取公式为

L'=-(CTC-1CTB。(7)

此时,L'中的元素 AL为最小时,H转换矩阵中的元素是在多数据下取到的最优解。

3.2 非线性多项式畸变拟合映射算法

在基于DMD的高动态范围成像系统中,采集到的图像会受各种因素的限制,存在成像畸变。而后期的畸变校正可能会影响系统像元的映射精度,因此,提出了一种非线性多项式畸变拟合映射算法,以弥补成像系统的畸变造成的映射误差^[9]。

畸变大体可以分为径向畸变δ_r、偏心畸变δ_d、薄棱镜畸变δ_p以及倾斜畸变δ₁等类型。倾斜畸变是基于物体与CCD之间的特殊方位产生,会导致接收到的图像有一定的倾斜。本文所涉及的DMD与CCD之间光路主要是折叠光路,远心镜头的本身畸变较小,因此可考虑倾斜畸变作为主要畸变类型^[10]。

δxl=a0x+a1y+a2xy+a3δyl=b0x+b1y+b2xy+b3。(8)

以矩形标定板进行倾斜畸变校正,提取特征点与理想特征点建立相应的映射函数Δ。若实验数据Δ近似为抛物线,以Δ为区域修正参数表示为

Δx=a0x2+a1x+a2Δy=b0y2+b1y+b2。(9)

完整的映射模型为

Δ=δ1+Δ。(10)

设DMD上载图片特征点坐标为(x, y),得到接收图像相应坐标为(u, v)(Δ_x为u,Δ_y为v),则2个坐标之间的映射关系可以通过多项式逼近得到:

u=a0x2+a1x+a2y+a3xy+a4v=b0y2+b1x+b2y+b3xy+b4,(11)

式中a、b分别为畸变系数,根据角点像素坐标待定系数求解。该模型建立了CCD和DMD之间校正畸变后的映射关系。

这种算法对于倾斜畸变的映射环节具有一定的适用性,针对本文的高动态成像系统,在拟合畸变的基础上实现了映射环节的建立。

3.3 基于BP神经网络的映射算法

考虑到系统内部畸变的不可控部分,将系统内部环节视为全部未知,以神经网络学习方法进行拟合^[11],也可得到相应映射关系。BP神经网络是一种非线性不确定性的数学模型和监督式的学习方法,具有连续传递函数的多层前馈人工神经网络,将BP算法作为基本训练方式,高精度地拟合数据^[12],如图2所示。

图 2. BP算法流程图

Fig. 2. Flow chart of BP algorithm

下载图片 查看所有图片

设输入层神经元为{x₁,x₂,…,x_n},隐含层神经元为{z₁,z₂,…,z_q},输出层神经元为{y₁,y₂,…,y_m};输入层与隐含层神经元之间的连接权值分别为 W1qn、 W2mq;隐含层与输出层激发函数分别为f¹、f²;隐含层与输出层各神经元阈值分别为 b1zq、 b2ym。而 W1qn、 W2mq、 b1zq、 b2ym∈(-1,1)^[13]。

在信息的正向传递过程中,隐含层的神经元为z₁,在输入层的各项神经元处取值,经过相关函数连接得到:

z1=f1(x1×W1,11+x2×W1,21+…+xi×W1,i1)+bzq1]。(12)

输出层神经元y₁接收隐含层各项,经计算得到输出为

y1=f2(z1×W1,12+z2×W1,22+…+zq×W1,q2)+by12]。(13)

对于误差的逆向传播,算出期望输出与实际输出的均方根误差 σ=∑i=1n(Yobs,i-Ymodel,i)2n通过不断的迭代学习训练数据使得误差尽可能小。经过信息的正向传递和误差的逆向反馈,不断增加学习训练数据,使其误差趋于收敛并尽可能地减小。

由于系统为较简单的近线性结构,因此选择三层学习方法,即只有一个隐含层。输入层、隐含层与输出层之间通过相互作用关系拟合成近似函数,从而得到系统的映射关系。以上载图片角点像素坐标作为输入量,CCD接收图像角点坐标为输出量,拆开坐标x、y分量,即以双输入、双输出的方式进行训练学习。通过Matlab实现训练学习,从而得到系统的内部关系。

4 映射精度验证及分析

为分别验证三种算法的精度,设计如图3所示的4×6棋盘格标定图案(前两种方法适用),可以解算出各算法中的相关参数。

图 3. 标定图片。(a) DMD上载图片; (b) CCD接收图像

Fig. 3. Calibration images. (a) DMD upload image; (b) image received by CCD

下载图片 查看所有图片

应用Harris算子解算出图3(b)中的角点坐标,计算得到DLT算法的转换矩阵为

H=1.0359-0.075473.2999-0.00201.053446.6156001。(14)

对测试图片进行检测,得到角点位置坐标,将畸变和理想图像数据分别代入多项式,通过回归拟合,求得各项系数,得到多项式算法的各项参数为

u=-0.00001249x2+0.951x-0.0024y+0.00000602xy-43.328v=-0.0000044y2+0.08049x+0.9792y-0.00001171xy-91.5589。(15)

完成参数标定后需要进行误差分析,以验证各算法的映射精度。通过设计DMD误差标定检测图像(图4),得到拍摄图像,根据转换矩阵可以逆推得到相应角点在DMD上的位置,将角点测量值与理论位置进行比较,得到相对误差。以多回型标定板形式进行误差检测。

图 4. 误差标定检测图片。(a) DMD上载图片; (b) CCD接收图像

Fig. 4. Error calibration test images. (a) DMD upload image; (b) image received by CCD

下载图片 查看所有图片

误差检测以均方根误差作为评价标准,均方根误差的值越小表示测量结果的精度越高,其表达式为

σ=∑i=1n(Xobs,i-Xmodel,i)2n。(16)

对于DLT算法和多项式算法,先进行初步标定然后用误差检测图片进行角点数据验证,应用格拉布斯准则剔除粗大误差,然后分别求出每个点的误差平均值θ和均方根误差σ,如表1、2所示。

由表1可以求得σ=3.3866,对于DLT算法,剔除粗大误差之后,平均误差为3.34 pixel,均方根误差为3.39 pixel,其效果一般,DMD与CCD整体符合线性匹配,但是精确度不高。

由表2可以求得σ=1.0191,对于多项式畸变拟合算法,剔除粗大误差之后,平均误差为0.91 pixel,均方根误差为1.02 pixel,误差在1 pixel之内,DMD与CCD匹配效果良好,畸变误差补偿有效,此算法十分适用于本文系统。

对于BP神经网络算法,以9×16棋盘格标点板,以上载图片角点像素坐标作为输入量x、y,CCD接收图像角点坐标为输出量x'、y'。多次检测得到多组检测数据,经过剔除最终得到1168组数据,进行BP神经网络算法学习,完成后以15组数据(回型标定板角点数据)进行数据测试,同样应用格拉布斯准则剔除粗大误差,误差检测图片成像得到数据与通过BP神经网络学习后测试图片数据进行对比,如表3所示。

由表3可以求得σ=3.0894,最终的结果剔除粗大误差之后,平均误差为2.82 pixel,均方根误差为3.09 pixel,误差与DLT算法误差相近,即BP神经网络算法也可以较好地表示系统的映射关系,实现CCD与DMD的良好匹配,但是匹配精度一般。

综上所述,三种算法各有其特点,DLT算法的匹配效果较差、误差较大,但是对于精度要求不高或者光路简单的系统,DLT算法更为直观且易于理解,能够实现良好的映射匹配。多项式畸变拟合算法表达式相对复杂,但是拟合了相关畸变,匹配精度高且易于实现,适用于有一定畸变且系统不过于复杂的结构,如添加TIR棱镜的光路系统以及其他类似存在一定畸变的高动态成像系统中的映射环节。BP神经网络算法需经过较为复杂的学习过程,匹配效果一般,但是能够很好地适应系统的各种变化,在系统内部未知情况下有很好的应用,同时对于为了提高动态范围再叠加DMD的情况或者基于DMD的关联成像^[14]等较为复杂的系统,该方法适应性更强。综合三种方法的理论和实验结果,结合本文系统的特征,最终采用精度最高的多项式畸变拟合算法实现映射,进行后续计算。

5 结论

针对基于DMD的高动态范围成像系统中的DMD与CCD的高精度映射问题,提出并实现了包括DLT直接线性算法、非线性多项式畸变拟合算法和BP神经网络算法等可行方案。通过实验测试都能够完成匹配映射关系,其中多项式算法有较好的精度,且能校正部分畸变使得最终误差为1.02 pixel,满足成像系统像素级映射的需求。