1 引言

成像光谱技术可同时获得目标场景二维图像信息和一维光谱信息组成的三维数据立方体,真正实现图谱合一,在航空航天遥感、农业应用、矿产资源探测、减灾等诸多领域都有着广阔的应用前景^[1-5]。传统的时间调制干涉型成像光谱仪利用动镜扫描产生光程差,可实现很高的光谱分辨率,然而系统内含可动部件,系统精度控制和稳定性仍然是一个很大的问题^[6-10];色散型成像光谱仪由于光谱分辨率和光通量之间存在相互制约的矛盾关系,系统的光通量受限,且在推扫时存在伪影问题^[11-12]。2007年,受压缩感知理论的启发,美国杜克大学设计了一种压缩编码孔径成像技术(CASSI)^[13-14],系统利用编码孔径取代了传统色散型成像光谱仪中的扫描狭缝,在保证系统高光谱分辨率的同时又能获得高通量,具有干涉型光谱成像技术多通道的优点,并且具备凝视成像的能力。因此,编码孔径成像光谱仪成为了近年来国内外的研究热点。在编码孔径光谱成像仪发展过程中,数字微镜器件(DMD)以其灵活快捷的编码方式得到了普遍使用,并推动了压缩编码孔径光谱成像技术的发展。

2010年,中国科学院西安光学精密机械研究所研制了第一台天基可见光Hadamard变换光谱成像仪的地面原理样机,该仪器使用DMD作为编码孔径,进行了实验室光谱和辐射定标^[15]。2013年,美国国家实验室Love等^[16]搭建了一套基于DMD的编码孔径光谱成像仪实验室系统,从光学系统优化的角度对图谱混叠进行了深入研究和改进。2014年,中国科学院光电研究院马原等^[17]针对光学系统放大倍率误差造成的DMD和探测器像元在大小上不匹配的问题,给出了图像质量与系统光学放大率之间的曲线关系。2015年,杜克大学^[18-19]针对CASSI系统中编码因子和探测器像元之间不同方向上存在的配准误差问题,开展了基于压缩感知的超分辨编码算法的研究。2016年,娄静涛等^[20]为解决折反射全向成像分辨率低的问题,设计了一种基于编码孔径的折反射全向压缩成像原型系统。

本文研究了采用DMD作为编码元件的对称色散型编码孔径成像光谱仪(SDCAIS),系统采用非空间多路技术,包含两个关于DMD对称的光栅,分别完成光谱的分光和合光功能。系统中DMD处于倾斜的反射光路中,导致每个正方形的微镜经后置光路在探测器上的成像产生非对称形变,所有镜元形变叠加后,将会使编码因子和探测器像元无法精确配准,由此产生的采样误差会导致图谱重构的精度降低,甚至无法实现图谱重构。

对此问题,目前常用的解决方法是将探测器倾斜放置^[21-23],与DMD关于合光光栅对称,这一方法通过简单的机械调节即可实现,但是探测器倾斜会引起系统离焦,且离焦量随着视场的增大而增大,而成像系统的焦深范围非常有限(通常为微米量级),因此,使用探测器倾斜补偿方法会导致清晰视场范围大幅降低,在实际应用中会受到很大的限制。本文研究了一种“非对称形变的规则条纹校正(UDRSC)”方法,该方法首先在DMD上加载规则的“回字形”条纹;其次对比探测器采集到的图像与DMD加载的规则图像,对采集到的图像进行初步去噪处理后建立探测器像元与DMD像元之间的对应关系;然后根据DMD上规则图像中像元的排列顺序,设计算法对探测器所捕获的图像进行校正;最后将校正后的图像与理论值进行相似度对比,观察其校正效果。

2 基本原理

2.1 编码孔径成像光谱仪原理

本研究中基于DMD的SDCAIS结构原理如图1所示,假设到达系统的目标场景数据立方体为S₀,经前置成像系统、分光光栅、成像镜A组成的分光系统后,原本重叠的数据立方体将随不同的波段沿x方向展开,形成倾斜的数据立方体S₁;加载在DMD上的编码模板对其进行调制时对不同波长的光谱切片实现区别采样,形成S₂;通过成像镜B、合光光栅、后置成像镜组成的合光系统的逆色散,将倾斜数据立方体进行恢复,形成S₃,最终在探测器上形成二维的编码像I。根据探测器所捕获的图像,进行逆运算解码处理,即可解得S₀,获得目标光谱。

图 1. 基于DMD的SDCAIS原理

Fig. 1. Principle of SDCAIS based on DMD

下载图片 查看所有图片

义目标场景的光谱密度函数为S₀(x,y,λ),其中(x,y)代表空间坐标,λ代表波长,则到达探测器的光谱强度可表示为:

S1(x,y,λ)=S0x+α(λ-λc),y,λS2(x,y,λ)=T(x,y)S1(x,y,λ)S3(x,y,λ)=S2x-α(λ-λc),y,λ= Tx-α(λ-λc),yS0(x,y,λ),(1)

式中λ_c为中心波长,α为光栅的色散系数,T(x,y)表示编码孔径的传递函数。

为将波长变化反映到空间位置坐标变化中,设H(x,y,λ)=Tx-α(λ-λc),y为滤波函数,则S₃(x,y,λ)=H(x,y,λ)S₀(x,y,λ)。由于探测器不能直接探测谱密度,所以实际得到的是目标场景的强度分布F(x,y)=∫S₃(x,y,λ)dλ,且应是离散的,即:

Fn,m=∑m',n'∫∫∫dxdydλ·rectxΔ-m,yΔ-n·rectx-α(λ-λc)Δ-m',yΔ-n'×Tn',m'S0(x,y,λ),(2)

式中m、n代表探测器x、y方向像元,Δ为像元尺寸,m'、n'代表编码板x、y方向编码因子。设Δλ=λ_c-λ=Δ/α,则最终得到F_n,mλ=λc+Δλ=T_n,(m-1)S_0,n,m,其中F_n,m可由探测器获得,因此通过计算即可解得到达系统的目标场景的数据立方体S_0,n,m。

2.2 DMD与探测器的配准模型

系统中使用的DMD由TI公司生产,其型号为0.7XGA,分辨率为1024 pixel×768 pixel,镜元尺寸为13.68 μm×13.68 μm,如图2所示。微镜工作时沿对角线翻转±12°,分别对应将入射光信号反射到光路中不同方向以实现对光的选通,通过控制微镜的翻转,即可实现对光信号的编码。

图 2. DMD的(a)外形及(b)反射阵列

Fig. 2. (a) Appearance and (b) reflective array of DMD

下载图片 查看所有图片

DMD与探测器经光学系统后的空间对应关系如图3所示,光学系统包括镜头B、合光光栅和成像镜。DMD的工作方式要求较高,因此固定DMD,通过调节探测器的位置角度,使DMD与探测器能够达到较好的配准关系。

图 3. DMD与探测器空间位置对应关系

Fig. 3. Correspondence of DMD and the detector in space

下载图片 查看所有图片

在本系统中,从DMD到探测器的成像镜B和后置成像镜均为双远心光学系统,组合后光学放大倍率为0.5,因此 DMD镜元和探测器像元的尺寸最佳配准关系为:

0.5nLDMD=mLCCD,(3)

式中L_DMD和L_CCD分别表示DMD和探测器的像元尺寸,n、m为正整数且取满足条件的最小值。对市面上常用的探测器尺寸进行比较后,选用Gazelle系列中型号为GZL-CL-41C6M-C的探测器,其分辨率为2048 pixel×2048 pixel,像元尺寸为5.5 μm×5.5 μm。计算得到当n=4和m=5时可实现最佳尺寸匹配,即每4×4个DMD镜元对应5×5个探测器像元。

2.3 编码元产生形变的原因

当系统理想成像时,DMD与探测器对应关系如图4(a)所示。但在实际系统中,由于DMD的工作方式为反射式,DMD处于倾斜的反射光路中,这会导致DMD像元经光学系统成像到探测器焦平面后会产生非对称形变,实际的DMD与探测器的对应关系如图4(b)所示。

图 4. DMD与探测器的对应关系。(a)理想情况;(b)实际情况

Fig. 4. Correspondence of DMD and the detector. (a) In ideal condition; (b) in fact condition

下载图片 查看所有图片

实际搭建的实验光路如图5所示,为保证DMD处于最佳的工作状态,入射光需与DMD处于+12°的像元面垂直;为保证入射光路经过DMD反射后光轴不发生偏折,使用时需将DMD旋转45°。

图 5. 实验光路图

Fig. 5. Optical path of the experiment

下载图片 查看所有图片

若通过机械补偿方法旋转探测器使其与DMD关于逆色散光栅对称,会导致探测器焦平面产生随视场增加而变大的离焦量,仅能在很小的视场范围内获得清晰成像,如图6所示,当调整探测器至与DMD对称时,系统可清晰成像范围的分辨率不超过512 pixel×384 pixel,大大降低了编码孔径成像光谱仪的成像效率。因此,为保证全视场内清晰成像,需调节探测器焦平面处于其最佳像面位置,虽然这样会引起探测器和DMD相对倾斜,由此引起DMD像元产生非对称形变,但可依据所提出的UDRSC方法对其进行校正。

图 6. 离焦严重的图像

Fig. 6. Image which is out of focus

下载图片 查看所有图片

3 实验数据及校正结果

由于“回”字形中包含大量规则的横竖条纹且易于分辨,因此本研究选择条纹宽度不同的“回字形”条纹进行校正。将校正条纹加载到DMD上,观察其在探测器上成像的形状和位置即可发现系统存在的问题并进行相应的调整。为便于观察,先在DMD上加载宽度为8的“回字形”条纹进行实验,如图7所示。

图 7. DMD上加载的条纹宽度为8 pixel的“回字形”校正图案

Fig. 7. Hollow square calibration pattern with the fringe width of 8 pixel loaded on DMD

下载图片 查看所有图片

由于成像系统为双远心系统,因此对图4中z方向、α方向(x方向旋转)和β方向(y方向旋转)的装调精度要求较低。通过调节探测器的六维精密调整装置中的x、y方向,使“回字形”条纹中心位于探测器的中心位置,调节θ方向(z方向旋转)使横条纹方向与探测器边缘平行,探测器采集到的图像如图8所示。对比图7的理想条纹和图8探测器采集的实际图像可以看出,探测器采集到的条纹由理想的“回字形”条纹变成了“菱形”条纹,在一个方向上因光路压缩产生了非对称形变。

图 8. 探测器与DMD在θ方向配准后的图像

Fig. 8. Image after matching for detector and DMD in the direction of θ

下载图片 查看所有图片

为了确定DMD中心在探测器上的精确位置,在DMD上加载一副仅中心4×4个镜元通光的模板,在探测器上采集到的图像如图9所示,此时DMD中心点对应探测器的位置坐标为(1083,1069)。

图 9. DMD中点在探测器上对应的位置

Fig. 9. Location of the center of DMD on detector

下载图片 查看所有图片

为减小环境振动等外界干扰对实验的影响,对DMD加载的同一条纹模板采集10张图像,设采集的图像中每个像点的强度为I_n(i,j)(n代表第n张图片)。对10幅图像取均值有:

I(i,j)=110∑n=110In(i,j)。(4)

采集的图像如图10(a)所示。随机读取某明亮处像元的像素值,如图10(b)所示,坐标(1088,1067)处的像素值为1013,由于探测器获得的图像位深为10,因此理论值为2¹⁰-1=1023,可见误差被算入到处理后的图像中。为去除误差的影响,对10幅图像的每个像素取中值,获得的图像如图10(c)所示,此时(1088,1067)处像素值为1023,与理论值相等,可见取中值的去噪效果较好。

图 10. 效果对比图。(a)取均值效果;(b)取均值细节;(c)取中值效果;(d)取中值细节

Fig. 10. Comparison diagram of the effect. (a) Effect of mean value; (b) detail of mean value; (c) effect of mid-value; (d) detail of mid-value

下载图片 查看所有图片

对取中值后的图像做二值化处理,由于加载的条纹宽度为8 pixel,而光学系统成像关系为4×4个DMD镜元对应5×5个探测器像元,因此,探测器采集到的条纹宽度应为10 pixel,利用大津法(OTSU)自适应阈值分割算法^[24-25]得到的阈值为0.45,但此时白条纹宽度均值大于10 pixel,而黑条纹宽度均值小于10 pixel。由于阈值越小,白条纹越窄而宽条纹越宽,因此调低阈值至0.41,此时得到的黑白条纹平均宽度与理论值10 pixel最接近,处理后图像如图11所示。

图 11. 二值化处理结果

Fig. 11. Result after binarizational processing

下载图片 查看所有图片

为了利于后续的计算处理,图中竖条纹与横条纹的交点需做到可清晰识别。利用不同算法进行边缘提取并进行比较分析^[26],图12所示为经过不同算子处理后的结果,对比处理效果后,选择能够明确识别交点的梯度阈值为0.04的Prewitt算子进行处理,即当阈值≥0.04时,认为此时的像素点为边缘点。

图 12. 利用各边缘提取算子进行处理后的结果。(a) Prewitt算子:阈值0.04;(b) Log算子:阈值2;(c) Log算子:阈值3;(d) Canny算子:阈值0.2

Fig. 12. Results after processing with each edge extraction operator. (a) Prewitt operator: threshold is 0.04; (b) Log operator: threshold is 2; (c) Log operator: threshold is 3; (d) Canny operator: threshold is 0.2

下载图片 查看所有图片

选取每个竖条纹与横条纹相交的两个点(a_n,b_n)和(c_n,d_n),如图13所示,斜率为:

ηn=an-cnbn-dn,(5)

取平均后得到斜率 η=1n∑1nηn,本实验系统得到的倾斜角度为η=0.1096,即tanθ=0.1096。这意味着每k=1/η行图像就会偏移1 pixel的位置,因此设计校正方法如下:定义符号[]为向下取整、符号()为取余数,设a=[k],b=[1/(k)],则每a行进行偏移1 pixel的修正,进行b-1组变化后,第b组为a+1行偏移1 pixel。本研究中k=9.124,则a=9,b≈8,因此设计每9行为一组偏移1 pixel,第二组在第一组的基础上再偏移1 pixel,以此类推,进行7组校正,第8组为接下来的10行像素,在前7组的基础上再进行1 pixel的偏移校正。以这样的8组为一个循环,校正整幅图像,同时为使图像仍然位于探测器中心位置(1083,1069),从第1069行分别向上每8组右移,向下每8组左移,获得校正后的图像如图14(b)所示。

图 13. 倾斜角度示意图

Fig. 13. Schematic diagram of tilt angle

下载图片 查看所有图片

图 14. 校正前后对比。(a)校正前;(b)校正后

Fig. 14. Comparison of before and after correction. (a) Before correction; (b) after correction

下载图片 查看所有图片

图 15. 探测器理论上应获得的图样

Fig. 15. Pattern collected by detector in theory

下载图片 查看所有图片

根据DMD镜元和探测器像元4×4对应5×5的大小关系,将DMD上加载的图片进行放大,并使其中心点位于(1083,1069)处,得到探测器理论上应获得的图像如图15所示。将未进行校正时探测器捕获的原始图片和进行算法校正后的图片分别与理论值进行对比,其相似性为:

r=∑m∑n(Amn-A-)(Bmn-B-)∑m∑n(Amn-A-)2∑m∑n(Bmn-B-)2,(6)

式中A_mn、B_mn为图像A、B中(m,n)处的像素值; A-、 B-为图像A、B所有点像素的平均值;得到的r为两幅图像的相关系数,取值范围为[0,1],r值越大表示两幅图像相关程度越大,相似度越高。根据(6)式计算可得,处理前图像与理论值相似度为0.4069,校正后图像与理论值的相似度为0.7856,可见处理后的相似度提高了37.87%。

由于UDRSC算法对图像的处理过程并不复杂,且计算过程相对简单,通过对探测器显控程序的编程,可将UDRSC算法直接加载到上位机显控程序中,不需要增加成本,且因其能够在成像输出过程中自动完成,可以大大地减小传输数据量,有利于提高系统整体的实时性能。

4 分析与讨论

首先通过对采集到的多幅图像取中值的方式减小环境振动等外界干扰的影响。然后加载“回字形”条纹,并通过先二值化、再边缘提取的方式获取横竖条纹交点坐标,根据坐标值计算得到图像偏移的斜率,并设计了图像校正的方式。分析结果显示,当在DMD上加载宽度为8的规则“回字形”条纹时取得的校正效果较好。

在同样的实验条件下,加载其他条纹宽度的“回字形”条纹进行实验,在DMD上加载宽度为4的“回字形”条纹,由UDRSC方法得到形变量并进行校正,校正前后的图像如图16所示。由图16(a)可见,在未进行校正时,图像存在非对称形变,而利用UDRSC方法校正后的图像如图16(b)所示,图样已基本恢复规则的“回字形”。

图 16. 条纹宽度为4 pixel的“回字形”图案校正前后对比。(a)校正前;(b)校正后

Fig. 16. Comparison of the hollow square pattern with the fringe width of 4 pixel (a) before and (b) after correction

下载图片 查看所有图片

图 17. (a)校正前和(b)校正后边长为8 pixel的网格条纹; (c)校正前和(d)校正后边长为16 pixel的网格条纹

Fig. 17. Grid stripes with the side length of 8 pixel (a) before and (b) after correction; grid stripes with the side length of 16 pixel (c) before and (d) after correction

下载图片 查看所有图片

同样保证实验条件不变,再加载规则的网格图案进行实验。分别加载网格边长为8、16的网格图样进行实验,利用由“回字形”校正得到的算法对网格图样进行校正,所得结果如图17(a)~(d)所示,由图可见,校正后图样基本恢复为加载到DMD上的样图形状。

实验结果表明UDRSC方法校正结果不受加载的条纹宽度、条纹形状等因素的影响,通过任意规则条纹计算所得到的图像形变量相同,表明图像的形变量是由DMD和探测器的空间位置关系决定的,校正算法可定量地得到系统造成的编码元形变量,并进行校正。

图 18. 彩色实验目标

Fig. 18. Colorful experiment objective

下载图片 查看所有图片

利用UDRSC校正方法进行实物校正实验。在DMD上加载15阶编码模板,并接通前置光路,在实验系统的前端放置如图18所示的实验目标,并使用太阳模拟器作为照射光源。由图19(a)可见,彩色玩偶在横向被拉宽,而校正后大致恢复原本形状[图19(b)]。对比图19(a)、(b)彩色玩偶相同部位的点可见,UDRSC方法在x方向进行了平移修正,在y方向没有改变图像的原有结构。该实验说明,所提出的UDRSC方法不仅适用于不同宽度的规则条纹,也适用于非规则条纹的编码模板及加入前置光路后的实验系统,系统造成的编码元形变量与前置光路无关,仅受DMD的工作方式影响,与DMD和探测器平面的配准角度相关。

图 19. 彩色玩偶经过15阶编码所得图像校正前后对比。(a)校正前;(b)校正后

Fig. 19. Comparison of colorful dull image with 15 orders coding before and after correction. (a) Before correction; (b) after correction

下载图片 查看所有图片

为进一步对校正后的图像进行去噪并提高与理论值的相似度,采用二维中值滤波^[27]的方法对图像进行处理,处理后的图像如图20所示,其相似度可以进一步提高0.15%,达到78.71%。但考虑到后续解码时,滤波处理可能会导致数据丢失,这一步操作的提出仅作为一种提高相似度的思路,在后续的实验过程中,需要分析这一步操作对解码的影响程度,并与其他滤波方式进行对比。

图 20. 采用二维中值滤波处理后的图像

Fig. 20. Image after 2D mid-value filtering process

下载图片 查看所有图片

5 结论

利用所提出的UDRSC方法首先对探测器得到的图像进行去噪等处理以初步提高图像质量,再在DMD上加载规则的条纹图样作为校正模板,通过分析探测器所得规则条纹与DMD加载条纹的形变量,计算得出校正方式并进行校正,校正后编码元的非对称形变明显减小。探测器采集的原始图像与理论值的相关性为0.4069,处理后的图像与理论值的相关性为0.7856,相似度提高了37.87%,图像位置形状与DMD上加载的样图恢复一致,每个镜元编码时在编码模板DMD处选通或阻断,在探测器上能够得到很好的对应。解码时只需确定图像的中点位置,即可按照DMD上加载的模板进行解码模板的设计。所设计的UDRSC校正方法的校正时间极短且不需增加系统成本,解决了在获取全视场清晰成像的情况下,探测器所获图像扭曲而导致无法正确解码的问题,为基于DMD的SDCAIS的研究工作奠定了基础。