光学学报, 2020, 40 (1): 0111026, 网络出版: 2020-01-06   

电子式多狭缝组合编码高光谱成像系统 下载: 1490次

Hyperspectral Imaging System Using Electronic Multi-Slot Combination Coding
作者单位
1 中国科学院上海技术物理研究所空间主动光电技术重点实验室, 上海 200083
2 中国科学院大学, 北京 100049
摘要
编码孔径光谱成像系统利用空间光调制器对目标信息进行编码,将信号映射到二维探测器面阵上,形成空间和光谱混叠信息,通过重构算法恢复出光谱数据立方体。由于该系统的色散仅仅发生在水平方向上,为了提高编码的效率,提出只在一个方向上具有编码效果的多狭缝组合编码。与目前采用的二维随机编码比较,在取得相同重构结果的前提下,多狭缝组合编码形式简化了数学模型的建立和分析,降低了编码复杂度。在此基础上,利用液晶光阀的开关特性实现实际系统编码,结合PGP(棱镜-透射光栅-棱镜)分光组件搭建光谱成像系统,进行了不同采样率下的实验,得到了高精度的恢复结果,验证了系统编码的可行性,为编码光谱成像系统领域提供了新思路。
Abstract
A coded aperture spectral imaging system uses a spatial light modulator to encode target information. It subsequently maps the signal onto a two-dimensional detector array and forms spatial and spectral aliasing information. Further, a spectral data cube can be reconstructed using a suitable reconstruction algorithm. In this study, we propose a multi-slot combination coding method, which is encoded in only one direction, to improve the coding efficiency. This procedure is selected because dispersion occurs in only one direction. When compared with the two-dimensional random coding method that is currently being applied, this approach simplifies the mathematical model and its analysis while reducing the coding complexity,under the premise of obtaining identical reconstruction results. Further, the switching characteristics of the liquid crystal light valve are used in the coding. The spectral imaging system is assembled by incorporating a PGP (prism-transmission grating-prism) beam-splitting component. Different sampling rate experiments are conducted, and highly accurate recovery results are obtained. The feasibility of the proposed coding method can result in innovation in the future coded spectral imaging systems.

1 引言

压缩感知又称压缩采样,具有对信号同时进行压缩并采样且可以以低于奈奎斯特采样定理规定的采样率获取全部信息的优势[1-2],在无线通信、图像处理等领域取得了重大应用和飞速发展。在光谱成像领域内,自Rice大学提出单像素相机以来[3],Sun等[4]提出压缩光谱成像系统(CHSI),August等[5]提出对空间信息和光谱信息同时进行编码压缩的光谱成像系统(CHSISS),Du等[6]提出PMVIS系统,Lin等[7]提出SSCSI系统,Lin等[8]提出DCSI系统,等。Duke大学DISP研究小组于2007年提出编码孔径光谱成像(CASSI)系统,包含单色散结构的SD-CASSI[9-10]和双色散结构的DD-CASSI[11]。CASSI系统是将三维数据立方体成像通过探测矩阵将信号映射到二维探测器面阵上,形成混叠信息,并最终通过重构算法重构出完整信息。值得一提的是,2016年由Liu等[12]提出的GISC(ghost imaging via sparsity constraints)光谱相机系统同样是利用压缩感知重建实现了光谱成像系统。与CASSI系统不同的是,GISC利用的是随机相位编码,可以同时实现分光和调制,而后者利用的是空间编码,仅编码空间信息,而光谱信息则由光栅等分光器件分光得到。CASSI系统采用二维高斯随机编码,所建立的数学模型是以将整个成像目标的三维数据立方体向量化为前提,然而,通过向量化得到的向量维度非常高,一般的数据处理系统难以处理。针对此问题,2017年,刘世界等[13]提出将整个光谱数据立方体分成若干个低维度的子向量进行处理,使得现实中的普通计算机等计算平台具有处理数据的可能性。本文通过对数学模型进行分析,首先提出只在水平方向上具有高斯随机性的编码,而非在竖直方向同时具有高斯随机性的二维随机编码。与传统单狭缝式光谱成像系统相比,本文编码方式可以将该编码形式理解为多狭缝组合式编码,可将二维随机编码的编码复杂度从O(n2)降低到O(n),使得数学建模和恢复更加简单。基于此进行实际系统的成像实验,验证了本编码方式的可行性和优越性,并对该系统成像质量和光谱定标进行了简要分析,为编码孔径光谱成像系统提供了新思路。

2 基本原理和实验仿真

2.1 数学模型的建立和数字仿真

单色散的编码孔径光谱成像 (SD-CASSI)系统示意图如图1所示。

假设有一个大小为1×8×4的数据立方体,记数据立方体为C,ci,j, lC的第i行、j列、第l个波段数据;编码模板矩阵为M,mi,k为第k次测量时,第i个位置编码模板数据;探测器接收数据为D,di,j,k为第k次测量的探测器上第i行、j列的数据。将SD-CASSI系统的数据流简化,如图2所示。

图 1. SD-CASSI系统

Fig. 1. SD-CASSI system

下载图片 查看所有图片

图 2. k次单行测量数据流程图

Fig. 2. Data flow of the kth row measurement

下载图片 查看所有图片

图2可以看出,探测器上接收数据从4到8列数据是混叠最严重的部分,边缘部分由于混叠程度较弱,因此采样率也较高,恢复精度也会更好,这里不进行讨论。以中间部分作为该系统研究的核心部分,图2中令

d1,4,k=m4,kc1,4,1+m3,kc1,3,2+m2,kc1,2,3+m1,kc1,1,4d1,5,k=m5,kc1,5,1+m4,kc1,4,2+m3,kc1,3,3+m2,kc1,2,4d1,8,k=m8,kc1,8,1+m7,kc1,7,2+m6,kc1,6,3+m5,kc1,5,4

不失一般性,单独研究d1,4,k,可以将其表达式写作向量相乘的形式,即

d1,4,k=[m4,km3,km2,km1,k]c1,4,1c1,3,2c1,2,3c1,1,4(1)

mk=m4,km3,km2,km1,k,c1=c1,4,1c1,3,2c1,2,3c1,1,4,

则有

d1,4,k=mTkc1

d1,4=d1,4,1d1,4,kd1,4,n,M1=mT1mTkmTn

其中n为采样总次数,于是有

d1,4=M1c1(2)

由此,(2)式建立了求解向量c1的压缩感知方程,其中M1为其对应的测量子矩阵。

上述形式是将光谱数据立方体按照数据流对应的关系,以空谱混合的方式进行重新排列,形成待重构向量化,建立了探测数据和恢复数据严格符合压缩感知方程形式的数学关系,很好地解决了重构问题。

从以上的推导过程可以看出,由于色散仅仅发生在水平方向上,该系统行与行之间的数据采样和恢复是相互独立的,数学模型建立了特定行的编码和目标的对应关系,因此可以不失一般性地单独对一行进行分析。实际上,压缩感知理论表明,测量矩阵应该具有一定的普适性,针对不同的目标可以利用相同的矩阵进行测量,因此可以将面阵的高斯随机编码变为每一行的编码,并且对不同行设置为相同的编码,此时编码将由面随机编码变成一维高斯随机编码,如图3所示。从另一个角度讲,为了将该编码形式与传统单狭缝式光谱成像系统形式统一,可以将其理解为多狭缝组合式编码。

图 3. 二维随机编码与多狭缝组合编码对比。 (a)二维随机编码;(b)多狭缝组合编码

Fig. 3. Comparison of two-dimensional random coding and multi-slot combination coding. (a) Two-dimensional random coding; (b) multi-slot combination coding

下载图片 查看所有图片

测量子矩阵和测量向量的对应关系如图4所示。当使用行列独立的高斯随机编码时,对应相同列向量目标的测量矩阵是不同的,即M1M2≠…≠M7M8,当使用多狭缝组合编码时,M1=M2=…=M7=M8,因此在数据立方体中,对于对应相同列组成的向量数据可以利用相同的测量子矩阵进行测量,这为重构数学模型的建立带来了极大的方便。首先在测量子矩阵一样的情况下,可以舍去大量测量子矩阵与测量向量一一对应的过程,降低复杂度。从数学建模过程中可以看出,对于大小为M×N×L的待恢复光谱数据立方体,当采用二维(M×N)随机编码时,往往需要建立 O(M×N)≈Ο(N2)个求解方程,而采用多狭缝组合编码采集时,所含有的测量矩阵个数则仅仅为Ο(N)个。另外,从工程实现的角度上看,面阵(二维)编码需要二维光学对准,而该编码只需一维对准,可以为工程实现大大降低难度。

图5为在不同采样率下利用多狭缝组合编码进行的数据仿真,所利用的数据为中国科学院上海技术物理研究所研制的推扫式光谱成像仪(PHI)采集的部分数据,包含采样数据和恢复结果,利用离散余弦变换(DCT)作为稀疏基,利用正交匹配追踪(OMP)[14]重构算法。

图 4. 测量矩阵与测量向量的对应关系

Fig. 4. Correspondence between the measured matrix and measured vector

下载图片 查看所有图片

图6为光谱曲线在两个位置、不同采样率下的恢复结果,其中DN(data number)值为探测器响应值。从图6中可以看出,利用多狭缝随机组合编码,在欠采样情况下可以恢复出高质量的光谱成像数据。这里用pSNR(峰值信噪比)来衡量图像空间信息恢复的结果, 用光谱角度匹配度(SAM,记作SAM)作为光谱曲线相似度(SCF:记作SCF)评价恢复曲线精度[15]。假设原始曲线和恢复得到的曲线用两个向量X0X1 表示,光谱角度匹配度计算公式为

SCF=SAM=X0X1|X0|X1|(3)

图 5. 编码采样结果和不同采样率恢复结果。 (a)原图;(b)传统采样数据;(c)编码采样数据; (d) 20%采样恢复;(e) 50%采样恢复 (f) 80%采样恢复

Fig. 5. Coded sampling results and recovery results with different sampling rates. (a) Original image; (b) traditional sampling data; (c) coded sampling data; (d) 20% sampling recovery; (e) 50% sampling recovery; (f) 80% sampling recovery

下载图片 查看所有图片

图 6. 不同采样率下光谱恢复结果对比

Fig. 6. Comparison of spectral recovery results at different sampling rates

下载图片 查看所有图片

显然,SCF的值越接近于1,两条曲线就越接近,即恢复曲线的精度越高。

恢复结果的pSNRSCF图7所示,从图中可以看出,60%的采样率就可以恢复出峰值信噪比为35 dB以上的图像,对应的光谱曲线相似度都在0.96以上,在实用过程中,可以满足绝大多数应用场景,说明这种编码光谱成像系统具有十分重要的研究价值。

图 7. 不同采样率恢复结果评价。(a)空间信息恢复的pSNR;(b)光谱信息恢复的SCF

Fig. 7. Evaluation of recovery results for different sampling rates. (a) pSNR for spatial information recovery; (b) SCF for spectral information recovery

下载图片 查看所有图片

2.2 实验系统

本文采用液晶光阀作为系统的编码器件。在光电子学中,液晶光阀是当前飞速发展的一种重要的空间光调制器(SLM),通过电压控制液晶分子的折射率来实现对光的相位延迟,具有开关响应迅速、对比度高等优点。通过设置液晶光阀每一个单元的开与关,实现特定光线的透过和阻挡,进而实现编码功能。将液晶光阀放置在传统推扫式成像光谱仪的狭缝位置,即成像系统中的一次像面上,通过调制液晶光阀的编码实现对一次像面的编码调制,调制后的空间信息经光谱色散器件后由探测器接收,接收到的信息即为经过编码的空间和光谱的混叠信息。

系统组成如图8所示。本实验采用的液晶光阀是中国科学院西安光学精密机械研究所研制的TNSLM07U-A型透射式液晶光阀,其分辨率为1920 pixel×1080 pixel,单元大小为8.5 μm,刷新频率为60~200 Hz,对比度高达600∶1,工作光谱范围为380~1200 nm。后置色散和光学透镜系统是在芬兰Specim公司生产的V10E成像光谱仪基础上,拆除狭缝实现。该系统使用PGP(棱镜-透射光栅-棱镜)分光器件实现色散,具有良好的线性,工作光谱范围为400~1000 nm。探测器为韩国Imitech公司生产的AMZON系列7018 G的CCD可见相机,其分辨率为688 pixel×520 pixel,像元大小为13 μm。

图 8. 基于液晶光阀的电子式多狭缝组合编码高光谱成像系统

Fig. 8. Electronic multi-slot combined encoding hyperspectral imaging system based on liquid crystal light valve

下载图片 查看所有图片

图9为实验所用的成像目标。实验过程中,设计色散方向空间大小为64个单元,光谱为80个波段,为涵盖探测目标,竖直空间大小也选择64个单元,即本实验采集结果为64×64×80大小的光谱数据立方体,对应一次采样在探测器上的有效面阵为64×(64+80-1)。实验中进行100%采样,即64次变换编码采样,继而选择相应的采样次数进行不同采样率恢复,如50%采样率恢复时,选择其中的32次采样数据。同时,为了验证光谱特征的保真度,利用ASD inc.研制的FieldSpec-4便携式地物光谱仪测得的相同位置的光谱曲线作为参考曲线。

图10为不同采样率恢复出的合成彩色图。图11为4个不同位置对应的不同采样率恢复结果及与ASD测得标准曲线的对比。从图中可以看出,通过系统编码采样和恢复,在欠采样率的条件下,本文编码系统可以很好地恢复目标的空间信息和光谱信息。

在此基础上,展开对外成像实验,系统采用施密特-卡塞格林系统星特朗6SE望远镜。望远镜的口径为150 mm,焦距为1500 mm,焦比为10。图12(a)为80%采样率恢复下的数据立方体。图12(b)为不同采样率下恢复光谱曲线的结果,并与具有同一套光学系统的传统光谱成像仪(PtHI)的成像结果进行比较,实际上利用相同材料制成的单狭缝替换掉条形编码板,就变成了PtHI。在欠采样光谱恢复过程中,利用KSVD[16]算法对大量室外样本进行训练,得到的字典作为稀疏基,是目前最好的稀疏表示方法之一,能获取更好的恢复效果。从图中可以看出,欠采样下全部信息可以得到很好的恢复,在20%采样率下,光谱特征具有一定损失,随着采样率的提升,光谱特征,如在760 nm左右的大气吸收光谱特征,得到逐步恢复。同时可以明显看出,在高采样率(80%)情况下,本系统不仅可以恢复出光谱曲线的全部信息,而且所获得的数据相对于PtHI具有更好的信噪比,这也是压缩感知原理对于数据去噪的一个直接体现,也是本系统的优势之一。

图 9. 实验用成像目标和实验采样结果。(a)成像目标;(b)采样结果

Fig. 9. Imaging target and sampling results used in experiment. (a) Imaging target; (b) sampling results

下载图片 查看所有图片

图 10. 不同采样率实验下的恢复结果。(a) 20%;(b) 50%;(c) 80%

Fig. 10. Recovery results of experiments with different sampling rates. (a) 20%; (b) 50%; (c) 80%

下载图片 查看所有图片

图 11. 不同位置下光谱恢复的结果。(a)位置1和位置2;(b)位置3和位置4

Fig. 11. Spectral recovery results at different positions. (a) Position 1 and position 2; (b) position 3 and position 4

下载图片 查看所有图片

图 12. 室外实验,不同采样率下的恢复结果。(a) 80%采样率下恢复的数据立方体;(b)不同采样率下位置A的光谱曲线恢复结果

Fig. 12. Recovery results under different sampling rates in outdoor experiments. (a) Data cube recovered at 80% sampling rate; (b) recovery result of spectral curve at position A under different sampling rates

下载图片 查看所有图片

3 分析与讨论

从以上过程中可以看出,在欠采样情况下,探测目标的空间和光谱信息都得到了很好的恢复,其中压缩感知的重构算法是直接决定最终恢复数据质量的一个核心。为了评价算法的性能,本文选取目前主流的5种算法,并将中国科学院上海技术物理研究所研制的PHI光谱成像仪采集数据作为验证对象,从中随机选取100个64×64×100个数据立方体,进行三种采样率情况下的仿真恢复,并求出100个结果对应pSNRSCF的均值,其中稀疏基统一采用DCT变换基。

表1中可以看出,利用OMP(orthogonal matching pursuit)算法具有比较好的重构结果,这也是本文选择其作为重构算法的原因。实际上,OMP算法也是自压缩感知理论提出以来,各个领域内应用较多的一种方法。

表 1. 不同算法在不同采样率下的数字仿真结果

Table 1. Digital simulation results of different algorithms under different sample rates

Reconstruction algorithm20%50%80%
pSNR /dBSCFpSNR /dBSCFpSNR /dBSCF
Basis pursuit[17]18.90.8130.70.8932.40.92
Orthogonal matching pursuit24.60.8533.80.9138.50.96
Iterative reweighted least squares[18]25.30.8632.30.9134.70.95
Gradient projection[19]23.10.8029.70.8833.40.92
Iterative soft thresholding[20]24.70.8128.80.8732.90.90

查看所有表

对于该系统,当待恢复光谱数据立方体大小为M×N×L时,对应一次采样在探测器上的有效面规格为M×(M+N-1)。在色散方向上,不同视场位置对应不同的入射路径,相应位置的光谱成像质量不同,具体表现为中心视场位置信噪比最高,两侧视场信噪比随半径的增大逐渐降低,原因在于当狭缝处在中心视场位置时中心视场的通光量最大,而两边的通光量随半径的增大逐渐变少。如图12(a)所示,图像的左半部分为左侧视场,图中的右半部分为中间视场,可以看出两者具有明显的信噪比差异,有关更深入的量化评价将作为下一阶段研究的内容。同时,由于扫描方向上不同视场对应不同的入射角,色散发生在探测器不同位置,由此会带来色散度等差异,因此该系统的光谱定标与传统狭缝式成像光谱仪有所不同,需要对每个视场进行定标。图13为三个视场对应的定标结果(500~720 nm),可以看出,不同视场对应的色散程度有微小的不同,斜率(采样间隔)具有微小的差别。实际应用中可通过抽取几个典型视场(例如左、中、右)的方式进行定标,通过插值的方式确定所有视场的光谱定标结果。本次实验利用iHR550单色仪进行定标,定标精度在±0.25 nm,光谱分辨率在不同视场下具有一定差异,但都在2 nm(550 nm)左右。

图 13. 不同视场的定标

Fig. 13. Calibration under different fields of view

下载图片 查看所有图片

4 结论

针对基于压缩感知的编码孔径光谱成像系统,提出多狭缝随机组合编码高光谱成像系统。该编码系统在严格符合压缩感知模型的同时,相对于二维高斯随机编码具有更低的复杂度,前者需要建立O(N2)个测量矩阵,而多狭缝编码只需建立O(N)个测量矩阵。利用具有高帧频的液晶光阀作为狭缝编码器件进行了实际系统的验证,结果显示,在20%采样率下,可以恢复目标光谱和空间的主要信息,随着采样率的提高,恢复精度逐渐变高,表明该系统具有很好的可行性。但同时本文系统从原理上就不同于传统成像光谱仪,具体表现为面视场成像时不同视场位置的成像质量和光谱定标技术的不同。同时指出,由于液晶光阀具有较低的光学利用率,经过实测平均利用率低于20%,这使得恢复结果质量受到很大的影响,也是本文部分恢复结果质量较差的主要原因之一。而机械移动式掩模板,具有和传统狭缝一样高的光学利用率,利用其作为编码器件可以避免该问题,同时一维多狭缝随机组合编码,可为掩模板的工程校准等带来了更大的方便,未来将对其进行更深入的研究。

参考文献

[1] Donoho D L. Compressed sensing[J]. IEEE Transactions on Information Theory, 2006, 52(4): 1289-1306.

[2] Candes E J, Romberg J, Tao T. Robust uncertainty principles: exact signal reconstruction from highly incomplete frequency information[J]. IEEE Transactions on Information Theory, 2006, 52(2): 489-509.

[3] Duarte M F, Davenport M A, Takhar D, et al. Single-pixel imaging via compressive sampling[J]. IEEE Signal Processing Magazine, 2008, 25(2): 83-91.

[4] SunT, KellyK. Compressive sensing hyperspectral imager[C]∥Computational Optical Sensing and Imaging, October 13-15, 2009, San Jose, California, United States. Washington, D.C.: OSA, 2009: CTuA5.

[5] August Y, Vachman C, Rivenson Y, et al. Compressive hyperspectral imaging by random separable projections in both the spatial and the spectral domains[J]. Applied Optics, 2013, 52(10): D46-D54.

[6] DuH, TongX, CaoX, et al. A prism-based system for multispectral video acquisition[C]∥2009 IEEE 12th International Conference on Computer Vision, September 29-October 2, 2009, Kyoto, Japan. New York: IEEE, 2009: 175- 182.

[7] Lin X, Liu Y B, Wu J M, et al. Spatial-spectral encoded compressive hyperspectral imaging[J]. ACM Transactions on Graphics, 2014, 33(6): 233.

[8] Lin X, Wetzstein G, Liu Y, et al. Dual-coded compressive hyperspectral imaging[J]. Optics Letters, 2014, 39(7): 2044-2047.

[9] Wagadarikar A A, Pitsianis N P, Sun X B, et al. Spectral image estimation for coded aperture snapshot spectral imagers[J]. Proceedings of SPIE, 2008, 7076: 707602.

[10] Kittle D, Choi K, Wagadarikar A, et al. Multiframe image estimation for coded aperture snapshot spectral imagers[J]. Applied Optics, 2010, 49(36): 6824-6833.

[11] Gehm M E, John R, Brady D J, et al. Single-shot compressive spectral imaging with a dual-disperser architecture[J]. Optics Express, 2007, 15(21): 14013-14027.

[12] Liu Z T, Tan S Y, Wu J R, et al. Spectral camera based on ghost imaging via sparsity constraints[J]. Scientific Reports, 2016, 6: 25718.

[13] 刘世界, 张旭东, 张月, 等. 多帧图像编码孔径光谱成像技术[J]. 红外与毫米波学报, 2017, 36(6): 799-804.

    Liu S J, Zhang X D, Zhang Y, et al. Multi-frame image coded aperture snapshot spectral image technology[J]. Journal of Infrared and Millimeter Waves, 2017, 36(6): 799-804.

[14] Tropp J A, Gilbert A C. Signal recovery from random measurements via orthogonal matching pursuit[J]. IEEE Transactions on Information Theory, 2007, 53(12): 4655-4666.

[15] 吕绪良, 贾其, 荣先辉, 等. 灰色关联度在光谱曲线相似度分析中的应用[J]. 解放军理工大学学报(自然科学版), 2011, 12(5): 496-500.

    Lü X L, Jia Q, Rong X H, et al. Application of degree of grey incidence on similarity of spectral curves[J]. Journal of PLA University of Science and Technology(Natural Science Edition), 2011, 12(5): 496-500.

[16] Aharon M, Elad M, Bruckstein A. K-SVD: an algorithm for designing overcomplete dictionaries for sparse representation[J]. IEEE Transactions on Signal Processing, 2006, 54(11): 4311-4322.

[17] Chen S S, Donoho D L, Saunders M A. Atomic decomposition by basis pursuit[J]. SIAM Journal on Scientific Computing, 1998, 20(1): 33-61.

[18] ChartrandR, Yin WT. Iteratively reweighted algorithms for compressive sensing[C]∥2008 IEEE International Conference on Acoustics, Speech and Signal Processing, March 31-April 4, 2008, Las Vegas, NV, USA. New York: IEEE, 2008: 3869- 3872.

[19] Figueiredo M A T, Nowak R D, Wright S J. Gradient projection for sparse reconstruction: application to compressed sensing and other inverse problems[J]. IEEE Journal of Selected Topics in Signal Processing, 2007, 1(4): 586-597.

[20] Blumensath T, Davies M E. Iterative thresholding for sparse approximations[J]. Journal of Fourier Analysis and Applications, 2008, 14(5/6): 629-654.

刘世界, 李春来, 徐睿, 唐国良, 王建宇. 电子式多狭缝组合编码高光谱成像系统[J]. 光学学报, 2020, 40(1): 0111026. Shijie Liu, Chunlai Li, Rui Xu, Guoliang Tang, Jianyu Wang. Hyperspectral Imaging System Using Electronic Multi-Slot Combination Coding[J]. Acta Optica Sinica, 2020, 40(1): 0111026.

本文已被 2 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!