Advanced Photonics Nexus 2023年第3期文章：

Feng Han, Tingkui Mu, Haoyang Li, Abudusalamu Tuniyazi. Deep image prior plus sparsity prior: toward single-shot full-Stokes spectropolarimetric imaging with a multiple-order retarder[J]. Advanced Photonics Nexus, 2023, 2(3): 036009

背景介绍

       光和视觉是感知世界的重要方式，眼睛所捕捉的鲜艳色彩，让人们对周围环境有了丰富的认识。但是，人类的视觉系统并不能完全认清光的本质，光所包含的光谱、偏振等信息无法被人眼直接感知，而这些信息却能揭示物质的物理化学属性，是认知世界的重要载体。

       全Stokes偏振光谱成像（Spectro Polarimetric Imaging, SPI）是一种可同时获取目标场景四维Stokes参数（S₀, S₁, S₂, S₃）对应的三维数据立方体（二维空间(x, y)、一维光谱(λ)）的多维光信息一体化获取体制。为了满足奈奎斯特-香农采样理论，现有的偏振光谱成像大多采用扫描机制，或在光谱域、或在空间域、或在偏振域、又或在组合域进行扫描，这样就无法通过单次曝光获取上述全部信息，难以适用于高动态场景或搭载于高机动平台进行工作。

       光谱强度调制模块融合单曝光快照式光谱成像系统可以形成一种具有多维光信息一体化实时获取优势的实时SPI体制。其中，光谱强度调制模块负责把二维空间各目标元在每个波段上的四维Stokes参数信息压缩到各像元的一维强度，再通过解调算法从记录的压缩光谱强度中解调出每个Stokes参数的光谱图像立方体。

       但是，现有的光谱强度调制模块相对较复杂，多采用两个固定的多级延迟器进行调制，易引入系统误差和延迟失配等后续补偿问题；现有的偏振光谱解调算法多以模型驱动为主，抗噪能力弱，易造成复原Stokes光谱出现畸变。

       近年来，以海量数据为基础的深度学习算法在成像领域大展拳脚，出现了基于深度学习的偏振光谱重建方法。虽然这种重建方法深度高效，但是收集大量标记好的数据集是极具挑战性的，且训练数据和训练网络通常是基于特定系统的，很难在其它SPI系统上扩展。综合而言，模型驱动的重建方法仍需要不断发展，以将其重建结果作为数据标记的金标准，不断促进深度学习的发展。

图1（a）SPI成像的模式示意，（b）SPI成像的前向物理模型，（c）Stokes参数的稀疏先验SP，（d）基于未训练网络的深度图像先验DIP，（e） 重建方法比较：基于稀疏先验SP的一般压缩感知方法存在多解，仅基于DIP的方法无法收敛，同时基于稀疏先验SP和深度图像先验DIP的DIP-SP方法性能最佳

       研究人员首先对DIP-SP进行了仿真验证，得到图2所示的，不同噪声水平下550nm光谱带处Stokes参数（S₀, S₁, S₂, S₃）的重建图像。相较于TwIST等压缩感知重建算法，DIP-SP具有最高的重建精度和更强的抗噪声能力。即使在高噪声水平下，该方法依然实现了高质量的重建。

图2 在两个噪声水平（σ=0.05和σ=0.2）下，不同算法（TwIST-TV、TwIST-SP、DIP和DIP-SP）在550nm光谱带上重建的全Stokes参数（S₀, S₁, S₂, S₃）图像的模拟

       此外，研究人员提取了图2中红色区域所有偏振参数的重建平均光谱曲线，结果如图3所示。TwIST-TV和原始DIP方法在任何噪声水平下几乎都是无效的。而TwIST-SP的偏振光谱曲线仅在低噪声水平下接近真实值，且存在明显的光谱畸变。DIP-SP则具有最佳的结果，重建的Stokes参数的平均绝对误差在低噪声水平下为3×10^-4，在高噪声水平下为6×10^-4。

       研究人员随后在实验室利用自主研发的微型快照式SPI系统（snapshot miniature optically replicating and remapping imaging spectropolarimeter, MINI-ORRISp）（如图4所示），对DIP-SP进行了实验验证，得到如图5所示，不同积分时间550 nm处Stokes参数（S₀, S₁, S₂, S₃）的重建图像，其中a、b、c三个区域平均的偏振光谱曲线如图6所示。可见，两种重建方法在长曝光时间下的重建质量都比在短曝光时间下要好，但是TwIST-SP方法的结果只有在长曝光时间下可以勉强接受，而且对噪声扰动非常敏感。而DIP-SP方法获得的结果都是最佳的，并且对噪声扰动具有很强的鲁棒性。

图4 基于单个多级延迟器的微型快照式SPI系统（snapshot miniature optically replicating and remapping imaging spectropolarimeter, MINI-ORRISp）

图5 实验室场景实验。实验装置（左上）和覆盖有不同偏振片的标准色卡作为测试场景（右上）；a：红色正方形标记区域是线偏振片，b：黄色正方形标记区域为左圆偏振片；c：蓝色正方形标记区域则是线偏转片。下部是分别在60ms和150ms的两个曝光时间下，从TwIST-SP和DIP-SP方法重建550nmStokes参数（S₀, S₁, S₂, S₃）图像

图6 在图5中三个选定区域的偏振光谱曲线（S₀、S₁/S₀、S₂/S₀、S₃/S₀）。（a）红色正方形标记区域，（b）黄色正方形标记区域，（c）蓝色正方形标记区域。TwIST-SP：蓝色虚线，DIP-SP：红星标记虚线，真实值：黑色实线

       以上的仿真和实验室实验结果已经验证了DIP-SP方法的重建精度和性能，为了演示对室外现实场景的实际重建能力，研究人员使用MINI-ORRISp进行了户外场景捕获实验，部分波段下的偏振图像的重建结果如图7所示。同样地，由于噪声干扰，TwIST-SP方法得到的重建场景非常模糊，DIP-SP方法则在所有光谱带中具有最佳的重建质量。

图7 户外场景实验，分别在480nm、550nm、600nm、700nm四个波带上的S₀CIE伪彩色图像和（S₁/S₀、S₂/S₀、S₃/S₀）灰度图像。真值偏振图由550nm偏振相机采集。给出了车辆天窗上所选点的偏振光谱曲线（S₀、S₁/S₀、S₂/S₀、S₃/S₀），其中S₀光谱真值由光纤光谱仪采集

总结与展望

       DIP-SP方法将深度图像先验DIP和稀疏先验SP巧妙结合，从压缩偏振光谱强度中提取偏振、光谱、空间的高维信息，具有诸多优势。首先，它使单个多级延迟器加水平线偏振片的光谱强度调制方案的编码和解码变得可行。其次，它不需要额外的数据集进行训练，对不同场景均具有潜在应用能力。第三，DIP-SP消除了一般压缩重建方法中需要人工调节的正则化参数。第四，由于优化过程中采用了前向物理成像模型，因此神经网络的输出受到物理约束，是可解释的。最后，该算法不需要精确地校准测量矩阵，仅需要粗略的初步偏振定标就可以自适应迭代定标。在噪声水平不高的情况下，理论值或附近值即可用作初始值。

       总而言之，DIP-SP为重建经过压缩编码的偏振光谱图像信息提供了一种强大的解码工具，并且可以拓展应用到基于两个多级延迟器的偏振光谱成像技术中。此外，DIP-SP的优势还有助于促进硅基光子电路或超表面芯片等技术实现片上集成SPI系统的发展。

作者简介

       穆廷魁，教授，博士生导师。西安交通大学物理学院院长助理、光学与粒子束研究所副所长、空间光学研究所副所长。主要从事先进光电成像&图像信息处理技术、先进遥感探测&大气高光谱反演技术、先进光电仪器设计研发的研究工作。2012年博士毕业于西安交通大学理学院，2014-2016在美国亚利桑那大学光学中心从事2年博士后研究工作。先后主持包括国家自然科学基金在内的多项科研项目，先后荣获陕西省优秀博士论文、西安交通大学优秀博士论文、教育部学术新人奖、西部光子学优秀论文等荣誉。在Optics Express、Optics Letters、Optics and Lasers in Engineering、IEEE TGRS、IEEE JSTAR、Remote Sensing等国际高水平学术期刊公开发表SCI收录论文80余篇，其中第一/通讯作者50余篇，第一发明人授权发明专利13项。陕西省光学学会理事、中国宇航学会光电专委会委员、中国光学工程学会高级会员、中国光学学会高级会员、陕西物理学会会员、美国光学学会（OSA）会员、国际光学工程学会（SPIE）会员；瑞士MDPI出版社“Sensors”期刊的先进光谱成像技术专题编辑；第六届高光谱技术及其应用研讨会AI处理专题主席。

原文链接：https://mp.weixin.qq.com/s/odKLCoLA-SLq3JfMNlJu4w