1　引言

光谱一般是指波长覆盖紫外到红外波段的电磁波频谱，反映了光波与物质相互作用的丰富信息。不同波段的光谱记录着不同类型能级跃迁的辐射信息。其中，电子跃迁对应紫外和可见光波段，分子的振动和转动能级跃迁则对应于红外乃至微波波段。每种物质都有特征吸收、发射或散射光谱，因此光谱也被称为物质的“指纹”，通过光谱分析可以鉴别物质并确定其化学组成。

自20世纪60年代以来，随着遥感技术的兴起，人们期望同时探测物体的图像和光谱信息，这催生了光谱成像技术，它能够获得包含二维空间(x,y)和光谱λ信息的三维数据立方体，超越人眼感知能力，在疾病诊疗^［1-2］、精准农业^［3-4］、食品安全^［5-6］、天文探测^［7-8］、人脸识别^［9-10］等诸多领域有着重要的应用前景。

根据光谱分辨能力的不同，可以将光谱成像划分为多光谱成像、高光谱成像和超光谱成像。具体来说，通常采用工作中心波长与分辨率的比值λ/Δλ 来进行区分。

1）多光谱成像（multispectral imaging）：对应的λ/Δλ~10，在可见光波段对应几个波长通道，一般用于地带分类领域。

2）高光谱成像（hyperspectral imaging）：对应的λ/Δλ~100，在可见光波段对应数十个波长通道，被广泛应用于遥感、农业等领域。

3）超光谱成像（ultraspectral imaging）：对应的λ/Δλ~1000，在可见光波段对应数百个波长通道，通常用于大气微粒探测、天文观测等领域。

根据数据采集方式的不同，还可将光谱成像分为点扫描、线扫描、波长扫描和快照式四类^［11］，如图1所示。

图 1. 光谱成像按采集方式的分类^［11］。（a）扫描式光谱成像；（b）快照式光谱成像

Fig. 1. Classification of spectral imaging by acquisition methods^[11]. (a) Scanning spectral imaging; (b) snapshot spectral imaging

下载图片 查看所有图片

1）点扫描：采用线阵列探测器，每次只获取目标物体上一个点的光谱信息，通过二维空间扫描获取整个数据立方体，采集速度慢。

2）线扫描：采用面阵列探测器，每次可以获取目标物体一行的光谱信息，通过一维空间扫描实现完整的光谱成像。

3）波长扫描：采用面阵列探测器，并通过一组前置滤光片或可调谐滤光片实现波长通道的切换或扫描，依次采集各个波长下的图像信息。

4）快照式：采用面阵列探测器，单次曝光即可得到整个数据立方，成像速度快，能够实现实时动态的光谱成像。

传统的光谱成像技术一般采用空间扫描或波长扫描的模式，无法实时获取视野场景中各像素点的光谱信息。近年来基于计算光谱重建的新型单点光谱仪在小型化和微型化上取得了突破性进展^［12-13］，但是目前尚未有用以上方案做快照式光谱成像研究的报道。快照式光谱成像技术的研究工作在频谱精度、空间分辨率、成像速度上尚无可同时兼顾的方案。

基于超表面的光谱成像技术方案，通过设计不同结构的超表面单元实现对空间各点入射光频谱的宽带调制，采用图像传感器采集调制光信号，通过计算重建得到入射光的光谱信息。超表面调制单元的个数可以显著小于波长通道数，有效减小微型光谱仪的体积；将计算光谱仪进行空间阵列化便可实现光谱成像，其技术方案的优势在于：

1）超表面具有很大的设计自由度，通过改变超表面单元的结构参数，能够实现丰富的透射谱，即获得大带宽、高频谱分辨的光强调制，可突破传统分光型光谱仪由空间光程限制的波长分辨，从而实现高频谱分辨率；

2）超表面单元的数量可以远小于光谱通道数，能够大幅减小每个像素点单个微型光谱仪的体积，实现高空间分辨率，同时也为缩短成像时间提供可能；

3）超表面接收空间光输入时无须耦合结构，适合与现有成像技术融合；

4）超表面采用互补金属氧化物半导体（CMOS）兼容的加工工艺，可进一步实现大面积、低成本的晶圆级制备。

本文介绍了超表面光谱成像芯片的相关工作进展，给出了超表面光谱成像芯片的光谱成像原理，主要从结构设计、重建算法、实际应用等方面介绍了超表面光谱成像芯片的研究进展，并讨论和展望了其未来的发展趋势和应用前景。

2　超表面光谱成像的基本原理

超表面是具有亚波长周期的微纳结构阵列，具有高度灵活的光调控能力^［14-15］。利用超表面可以实现对入射光丰富的频谱调制，结合计算光谱重建原理，可以实现结构紧凑的微型光谱仪，通过阵列化排布可以实现片上光谱成像。

超表面光谱成像芯片的结构示意图如图2（a）所示，芯片由超表面层和下方的CMOS图像传感器组成，超表面层包含多个超表面单元，每个超表面单元都是具有亚波长周期的微纳结构阵列，通过改变超表面单元的结构参数，可以实现不同的光谱调制函数，即不同的透射谱Ti(λ)。入射光经超表面单元调制后被其下方的图像传感器像素所探测，根据若干个光强探测值Ii便可重建得到入射光的光谱f(λ)，实现微型光谱仪的作用，工作原理如图2（b）所示，假设工作波段为λ1∼λ2，那么第i个超表面单元下方的光强测量值^［16-19］可以写为

式中：Ti(λj)是第i个超表面单元在波长λj处的透射率；f(λj)是入射光在波长λj处的强度；ei是测量噪声；M是波长采样点个数；N是超表面单元的个数。需要注意的是，式（1）隐含了均匀入射的假设，即认为N个超表面单元接收的光具有相同的光谱。式（1）可以扩展为一个线性方程组，其矢量形式为

式中：I∈RN表示测量向量；T∈RN×M代表测量矩阵，它的每一行对应一个超表面单元的透射谱；f∈RM是待求的光谱向量；e∈RN是噪声向量。通常来说，超表面单元的个数远小于波长采样点数，因此式（2）是一个欠定线性方程组，理论上存在无穷多个解，需要结合待测光谱的先验信息进行求解。

图 2. 基于超表面的光谱成像原理。（a）超表面光谱成像芯片的结构示意图，包括超表面层和CMOS图像传感器的两部分；（b）单个超表面微型光谱仪的光谱重建原理；（c）超表面的空分复用原理

Fig. 2. Principle of metasurface based spectral imaging. (a) Structure diagram of metasurface spectral imaging chip, including two parts of metasurface layer and CMOS image sensor; (b) principle of spectral reconstruction for a single metasurface microspectrometer; (c) principle of space division multiplexing of metasurface

下载图片 查看所有图片

若待测光谱本身是稀疏的，即向量f只有少数元素为非零值，则可以将式（2）的求解问题转化为下述优化问题：

式中，α是权重系数。若待测光谱是非稀疏信号，根据压缩感知理论^［20-21］，通常可以利用一组基函数将其进行稀疏表示：

式中：是D∈RN×K是稀疏变换矩阵，它的每一列对应一个基函数；s∈RK则是稀疏向量。通常采用高斯核函数^［22］或冗余字典^［23］作为稀疏变换矩阵，本文采用K奇异值分解算法^［24］训练得到字典D。首先求解下述优化问题：

得到稀疏解s后，再根据式（4）求得待测光谱f。

如上所述，N个超表面单元构成一个微型光谱仪，从对应的N个光强测量值中可以重建得到入射光的光谱。对于整个光谱成像芯片而言，在光谱信号测量时，会得到一幅透射强度图，如图2（c）所示。对于任一点而言，可以选取该点附近的任意N个测量值进行计算。换言之，可以构建一个任意形状的超表面光谱仪进行光谱测量，且相邻微型光谱仪间可以共用相同的超表面单元。例如，图2（c）中的1、2、3标记的框图分别表示包含25个、49个、33个超表面单元的微型光谱仪，利用这种空分复用原理可以大大提升光谱成像的空间分辨率。

3　超表面单元的结构设计

3.1　超表面单元的设计目标

为了提高超表面光谱仪的光谱分辨率，需要对测量矩阵T进行优化设计。从光谱分辨率的定义出发，结合光谱重建过程，可以确定T的优化目标。光谱分辨率一般是指光谱仪所能分辨的两个相邻谱线的最小波长间隔。图3（a）展示了一个微型超表面光谱仪所包含的各个超表面单元的透射谱，当波长为λk的单色光［图3（a）中的左边的竖线］入射到该超表面光谱仪时，在不考虑测量噪声的情况下，其对应的测量向量Ik即为矩阵Τ的某一列ck，如图3（b）所示。同理，波长为λk+1的单色光［图3（a）中的右边的竖线］入射时，对应的测量向量Ik+1为矩阵Τ的另一列ck+1。因此，要提高超表面光谱仪在某一波长λk处的分辨率，就要求矩阵Τ的列向量ck与其他各列的最大相关性尽量小。那么，为了提高超表面光谱仪在整个工作波段的平均光谱分辨能力，本文定义了一个测量矩阵的设计目标，即使Τ的平均最大列相关性尽量小，数学表述为

图 3. 超表面单元的设计目标。（a）λk、λk+1处的谱线在超表面单元透射谱上的投影示意图；（b）在不考虑测量噪声的情况下，λk、λk+1处的谱线对应的测量向量Ik、Ik+1即为测量矩阵Τ的两列

Fig. 3. Design objective of metasurface units. (a) Projection of spectral lines at λk、λk+1 onto transmission spectra of metasurface units; (b) corresponding measurement vectors Ik、Ik+1 for spectral lines at λk、λk+1 are two columns of measurement matrix T without considering measurement noise

下载图片 查看所有图片

式（6）便是优化设计超表面单元的目标函数。

3.2　基于规则形状超表面单元的光谱成像芯片

2022年，本文作者团队基于规则形状的超表面单元研制出国际首款实时超光谱成像芯片^［17］。如图4（a）所示，设计的超表面单元分为五种类型：圆孔型、方孔型、十字孔型，以及方孔和十字孔经过 45°旋转后得到的图案。这五种类型的图案均满足四重旋转对称性，以保证对应超表面单元在正入射条件下具有偏振无关的光谱调制特性。该款实时超光谱成像芯片将单点光谱仪的尺寸缩小到百微米量级以下，单次拍照可以获得空间中超过15万个点的光谱信息，即在0.5 cm²的芯片上集成了超过15万个（356×436）微型光谱仪，每个微型光谱仪的工作谱宽为450~750 nm，单色光的测量精度（即波长精度）达到0.04 nm，光谱分辨率高达0.8 nm。

图 4. 国际首款实时超光谱成像芯片及其性能指标^［17］。（a）芯片的结构示意图；（b）芯片的微型光谱仪的窄谱光重建结果；（c）对应图（b）的中心波长误差和线宽误差；（d）双峰信号的重建结果

Fig. 4. World's first real-time ultraspectral imaging chip and its performance^[17]. (a) Schematic diagram of chip structure; (b) reconstruction results of narrowband spectra using microspectrometer of chip; (c) center-wavelength error and linewidth error for results in (b); (d) reconstruction results of double-peak signal

下载图片 查看所有图片

3.3　基于自由形状超表面单元的光谱成像芯片

为突破规则形状的设计自由度限制，本文作者团队进一步提出了一种自由形状超原子的超表面设计方法^［19］，通过对一个超原子内的区域进行网格划分、格点值随机分配以及滤波和二值化处理来生成自由形状。由于格点值是随机分配的，每次得到的自由形状都不尽相同，相应的设计自由度与规则形状相比扩大了2~3个数量级。得益于超表面参数设计空间的扩大，基于自由形状超原子超表面的超光谱成像芯片的性能有了进一步提升，波长分辨率提升至0.5 nm（见图5）。

图 5. 基于自由形状超原子超表面的超光谱成像芯片^［19］。（a）结构示意图；（b）双峰信号的重建结果

Fig. 5. Ultraspectral imaging chip based on metasurfaces with freeform shaped meta-atoms^[19]. (a) Schematic diagram of structure; (b) reconstruction results of double-peak signal

下载图片 查看所有图片

利用该芯片对24色标准色卡和不同水果进行光谱成像的结果，如图6所示。以空间扫描式的商用光谱相机（四川双利合谱科技有限公司，型号为GaiaField Pro V10）所拍摄的结果作为参考，利用超光谱相机对24种颜色块的平均光谱重建保真度达到98.78%。

图 6. 基于自由形状超原子超表面的超光谱成像芯片对标准色卡和水果的光谱成像结果^［19］。（a）超光谱相机的实物图；（b）商用光谱相机对标准色卡进行拍摄得到的红绿蓝（RGB）伪彩色图；（c）利用超光谱相机对标准色卡进行重建的RGB伪彩色图；（d）以商用光谱相机拍摄的结果（蓝线）作为参照，对24种颜色的光谱重建结果（红线）及其保真度（右上角数值）；（e）对水果的光谱成像结果以及采样点的光谱重建结果

Fig. 6. Spectral imaging results for a standard colorboard and a plate of fruit using ultraspectral imaging chip based on metasurfaces with freeform shaped meta-atoms^[19]. (a) Object picture of ultraspectral camera; (b) red, green, and blue (RGB) pseudo-color image of standard colorboard captured by a commercial spectral camera; (c) RGB pseudo-color image of standard colorboard reconstructed by ultraspectral camera; (d) reconstructed spectra (red lines) for 24 types of colors with spectra captured by commercial spectral camera as a reference (blue lines), in which fidelities for recovered spectra are marked in top right-hand corner; (e) spectral imaging results for a plate of fruit and spectral reconstruction results for sampling points

下载图片 查看所有图片

4　基于神经网络的快速重建算法

超表面光谱成像芯片需要对图像各点通过求解欠定线性方程组进行光谱重建，以得到最终的光谱图像。然而，基于线性方程组的迭代求解算法，无法实现光谱图像的快速重建。此外，在光谱重建时假定了同一超表面光谱仪内各个超表面单元接收的光谱是相同的，但是在图像边缘处这一假设并不成立，因此图像边缘处存在较大的重建误差，导致重建的光谱图像出现马赛克现象。为了实现光谱图像的快速重建，并尽可能消除图像的马赛克现象，本文作者团队提出利用基于乘法器的交替方向法（ADMM）迭代算法^［25］的深度展开神经网络ADMM-net实现光谱图像的快速重建^［26］。如图7（a）所示，网络由k=12个子网络级联而成，每个子网络称为一个阶段，对应于传统的ADMM迭代算法中的每一步迭代，具体来说，每个阶段都包含线性变换部分W（∙）和卷积神经网络（CNN）降噪部分，分别对应于ADMM迭代算法中的梯度下降和正则化过程。网络的输入是包含各个超表面单元透射谱信息的传感矩阵Ф和对目标物体成像后的测量图像y，输出为目标物体的重建光谱图像x^。设在第k个阶段，v(k)是对于目标光谱图像的估计值，引入辅助变量x(k)和u(k)，根据文献［27］中的推导，每个阶段包含三个变量交替更新的步骤：

图 7. ADMM-net的基本架构及对标准色卡的重建结果^［26］。（a）ADMM-net的网络结构；（b）用ADMM-net对标准色卡的光谱图像重建结果

Fig. 7. Basic architecture of ADMM-net and reconstruction results of a standard colorboard using ADMM-net^[26]. (a) Network structure of ADMM-net; (b) spectral image reconstruction results of a standard colorboard using ADMM-net

下载图片 查看所有图片

1）首先更新x(k)，对应于图7（a）中的线性变换W（∙）过程：

2）再更新v(k)，对应于CNN的降噪过程（#x1D49Fk表示降噪网络）：

3）最后更新u(k)：

式（7）~（9）中，变量v和u的初值分别为v(0)=ΦTy, u(0)=0。由于ΦΦT是一个对角矩阵，式（7）可以通过矩阵元素的加法和乘法更高效地计算，而无需矩阵求逆过程^［28］。其中的参数γ(k)是一个与测量噪声相关的系数，在网络训练中作为一个可训练参数被自动优化。

利用基于自由形状超原子超表面的超光谱成像芯片对标准色卡进行成像测量后，再利用ADMM-net进行光谱图像重建的结果如图7（b）所示。与商用光谱相机的采集结果、传统的利用CVX算法进行逐点光谱重建的结果、采用传统的迭代算法GAP-TV^［28］的重建结果和采用端到端神经网络λ-net^［29］的重建结果进行对比，可以看到，相比于传统的逐点光谱重建结果，ADMM-net的图像细节重建效果更优，显著消除了图像的马赛克现象。并且，相比于其他三种算法，ADMM-net的光谱重建准确性也更优，对于标准色卡中的四个采样点，其平均光谱重建似然度为99.53%，而CVX、GAP-TV和λ-net对应的平均似然度分别仅为97.32%、97.18%和97.72%。

表1比较了不同算法重建单个光谱图像数据立方的耗时，并以推扫式商用光谱相机的单次数据采集时间为参考。可见，商用光谱相机采集单个数据立方需要1 min左右；而采用ADMM-net和λ-net重建大小为256×256×26的数据立方，在GPU（NVIDIA GeForce RTX 3080）上分别仅需18 ms和95 ms，在CPU（Intel Xeon Gold 6226R）上也分别只需要1.72 s和2.44 s；相比之下，采用传统的迭代算法GAP-TV需要110 s，而CVX进行逐点光谱重建则需要4854 s。由此可见，ADMM-net的计算效率是最高的，其重建速度相比于CVX提升了约5个数量级，能够实现55 frame/s的光谱图像数据立方重建速率，并且可以有效消除重建图像的马赛克现象。

5　应用实例

5.1　活体大鼠脑光谱成像

光谱成像技术可以应用在脑科学的研究中。在可见光波段550 nm附近，生物体内的血红蛋白及其衍生物具有明显的吸收特征，这会在其光谱的反射信号中出现一个明显的吸收谷。因此，通过光谱成像技术将有可能实现区域血红蛋白浓度的实时观测。在生物学上，通过神经-血氧耦合机制，还可进一步将光谱随时间的变化和神经活动联系在一起，这为脑科学的研究提供了一种全新的方式。与传统电极传感方式^［30］不同，光谱成像无须侵入神经细胞附近，可以做到非接触式检测，因而采集到的信息更加可靠。

利用图8（b）所示的光谱相机对大鼠进行实时脑光谱成像，能够测量活体大鼠脑部血红蛋白及其衍生物的特征光谱的动态变化，时间分辨率可达30 Hz。图8（a）是单帧的光谱成像结果，图中标记出了6个区域用于分析血红蛋白的光谱信号。图8（c）中挑选了4个区域并绘制了该区域的光谱信号；其中，区域1和区域2为血管区，区域3和区域4为非血管区；该图中用不同颜色的虚线标记出了氧合血红蛋白（HbO）、碳氧血红蛋白以及去氧血红蛋白（HbR）各自的光谱吸收峰的位置，恢复得到的光谱数据明显含有血红蛋白的吸收特征。图8（d）和8（e）展示了光谱信号的时域变化，图的横坐标为时间，纵坐标为相对光谱强度；在图8（d）即血管区域，HbO和HbR的光谱信号成正相关的关系；在图8（e）即非血管区域，两者成负相关的关系。从理论上分析，在血管区域，血红蛋白的输运过程占主导，因此HbO和HbR的浓度同时增加或减少，两者成正相关的关系；在非血管区域，细胞呼吸过程占据主导，因此HbO中的氧气分子被消耗成为HbR，两者成负相关的关系。理论上的结论和图8（d）和8（e）中的实验结果是保持一致的，这从侧面印证了实时脑光谱成像实验的数据的有效性。

图 8. 国际首款实时超光谱成像芯片对大鼠的实时脑光谱成像结果^［17］。（a）光谱成像结果；（b）光谱相机实物图；（c）不同区域的光谱信号；（d）血管区域HbO和HbR的光谱信号随时间的变化；（e）非血管区域HbO和HbR的光谱信号随时间的变化

Fig. 8. Real-time brain spectral imaging results for a rat using world's first real-time superspectral imaging chip^[17]. (a) Spectral imaging results; (b) object picture of spectral camera; (c) spectral signals of different regions; (d) changes of spectral signals of HbO and HbR over time in vascular areas; (e) changes of spectral signals of HbO and HbR over time in non-vascular areas

下载图片 查看所有图片

5.2　基于光谱成像的人脸防伪

人脸识别系统已得到了越来越广泛的使用，由于其涉及到人民的隐私和财产安全，人脸识别系统的可靠性和安全性引起了越来越广泛的关注，人脸防伪相关的研究也逐渐被重视。现有的高安全性的人脸识别系统一般会使用额外的红外相机和深度相机来获取人脸的三维结构特征以及红外反射特征，提升人脸防伪的性能。这些额外的光学传感器使得现有的人脸识别系统对屏幕回放、二维面具等常见人脸伪装有着极强的鉴别能力，但对三维高仿真硅胶面具的鉴别能力依然有限。并且随着3D打印技术的发展，制作三维高仿真硅胶面具的成本和门槛被降低，给现有人脸识别系统的安全性带来了一定的挑战。为了有效鉴别高仿真面具，需要引入新的传感器来获取有区分度的特征。而光谱是分析物质成分的有效手段，因此光谱相机可被用于高可靠性的人脸防伪，快照式光谱成像芯片则为实时人脸防伪提供了有效的光谱感知信息。利用超表面光谱成像芯片可以实现快照式的光谱人脸防伪，如图9所示，由于人皮肤内血红蛋白的吸收作用，活体皮肤的光谱反射特性在540 nm和580 nm左右有两个特征吸收峰，能够将活体人脸和伪装材料有效地区分，并且超表面光谱相机能够较为准确地重建出此光谱特征。实现的快照式光谱人脸防伪系统首先自动检测出人脸上多个关键点的位置，然后重建出关键点处的光谱特征，最后将光谱特征输入基于神经网络的分类器得到最终的人脸防伪结果。整个系统能够达到实时进行人脸防伪的性能要求，并且识别高仿真面具的准确率可达95%。

图 9. 活体人脸与常见伪装材料的快照式光谱测量结果^［10］。（a）活体人脸；（b）纸制面具；（c）硅胶面具；（d）硅酮原料

Fig. 9. Snapshot spectral measurement results of living faces and common camouflage materials ^[10]. (a) Live face; (b) paper mask; (c) silicone mask; (d) raw silicone material

下载图片 查看所有图片

5.3　自动驾驶中的同色异谱识别

利用超表面光谱成像芯片结合ADMM-net可以实现实时光谱成像。图10展示了户外驾驶场景的动态光谱成像结果，在8.38 s的时间内，一共采集了300 frame光谱图像，实现了约36 frame/s的光谱成像速率，其中包含了测量图像的采集时间和光谱图像的重建时间。图10给出了其中8 frame的重建结果，从RGB伪彩色图中可以看到，车辆的色彩重建准确性较好；并且，从第20 frame和第100 frame图像中的采样点A和B的重建光谱来看，天空和白色车辆的光谱具有明显的差异，因此通过实时光谱成像可以快速区分颜色相近但光谱不同的物体，有望解决自动驾驶场景的同色异谱识别问题^［31-33］，避免车辆将白色卡车误认为天空而引起交通事故。

图 10. 户外驾驶场景的实时光谱成像结果^［26］

Fig. 10. Real-time spectral imaging results of an outdoor driving scene^[26]

下载图片 查看所有图片

6　总结与展望

光谱仪和光谱成像器件具有小型化、集成化的发展趋势，微型光谱仪^［34］的相关研究也不断增多，其中，基于超表面的计算重建光谱仪能够利用少量的光谱调制单元实现高精度的光谱重建，有效减小了单个微型光谱仪的体积，并且易于大规模集成以实现快照式的光谱成像芯片。本文回顾了基于规则形状超表面单元实现的国际首款实时超光谱成像芯片以及基于自由形状超表面单元的超光谱成像芯片等相关工作，主要从基本原理、结构设计、重建算法和潜在应用等方面对超表面光谱成像芯片的相关研究进行了总结。

在未来，具备高精度、低成本、可量产等优势的超表面光谱成像芯片，将有望成为人工智能和大数据行业发展的基础，为智能手机、医疗器械、机器视觉、增强现实、自动驾驶、智慧城市等应用场景拓展出新的传感维度，真正让光谱感知无处不在。目前超表面光谱成像芯片还可以优化的方向包括：

1）进一步优化光谱图像重建算法。后续可以引入Transformer、3D CNN等新型网络结构，并通过商用光谱相机实际拍摄、数据增强等方式拓展光谱图像数据集，提升光谱图像的重建精度。

2）降低超表面的角度敏感性。超表面为天然的角度敏感型结构，透射谱会随着入射光角度改变，未来需要考虑通过结构优化或引入新的设计理念来实现角度不敏感的透射谱，提高光谱成像的效果。