封面 | 基于时空编码神经网络的像差感知超分辨成像

Photonics Research 2024年第3期封面文章：

Chang Qiao, Haoyu Chen, Run Wang, Tao Jiang, Yuwang Wang, Dong Li. Deep learning-based optical aberration estimation enables offline digital adaptive optics and super-resolution imaging[J]. Photonics Research, 2024, 12(3): 474.

推荐阅读：

传统的光学显微镜成像存在像差的问题，往往需要引入复杂的传感器和校正设备来补偿，在实际使用中存在诸多局限性。中国科学院生物物理研究所李栋研究员团队提出了SFE-Net神经网络模型，可以直接从生物图像中准确估计出非空间一致像差，并进一步通过编码点扩散函数信息的SFT-DFCAN网络模型进行像差感知的显微图像超分辨重建，这种方法避免了传统自适应光学中对额外波前探测、校正器件的引入与耗时的迭代优化过程，且适用于全内反射显微镜、共聚焦显微镜、双光子显微镜等多种成像模态，为人工智能背景下的自适应光学发展提供了新思路。

——常林研究员，北京大学

Photonics Research青编委

理想的光学显微成像依赖于激发光的高质量聚焦和对发射荧光的精准探测，然而显微镜中的光学硬件误差以及待观测生物样本散射等原因都可能引入像差，从而导致分辨率下降、荧光光子损失、信噪比（SNR）恶化等问题。具有高数值孔径的显微镜，特别是超分辨显微镜，对像差更为敏感，极易受到高阶像差的影响。为了检测和校正这些光学像差，自适应光学（AO）技术应运而生。传统自适应光学技术中，通常使用额外的波前传感器（如Shack–Hartmann波前探测器）探测光学像差，再通过波前校正设备（如空间光调制器）可以通过重塑波前以补偿测量到的像差。然而传统自适应光学的引入增加了光学系统和成像过程的复杂性，在实际使用中有很多局限。

近日，中国科学院生物物理研究所李栋研究员所带领的研究小组在自适应光学超分辨成像研究方面取得重要进展，提出了一种基于时空编码神经网络的像差感知图像超分辨重建方法。相关成果发表于Photonics Research期刊2024年第3期，并遴选为该期On the Cover文章。

在光学成像系统中，图像质量以及像差通常由系统的点扩散函数（PSF）所表征，而点扩散函数被隐式地编码在显微图像的任意样本区域。受此启发，本研究设计了一种新型时空编码神经网络（SFE-Net），如图1所示，能够直接从局部生物图像中估计出对应带有像差的PSF，实现高精度且快速的非空间一致性光学像差估计。

图1. SFE-Net网络架构示意图：（a）SFE-Net整体架构；（b）残差模块；（c）双卷积模块;（d）降采样模块；（e）上采样模块

研究小组在仿真数据上验证了SFE-Net的性能，发现在不同像差阶数与强度条件下，其预测PSF的准确度均优于现有其他方法，包括KernelGAN、IKC、与MANet等。实验结果证明，本研究所提出的SFE-Net能够以高精度直接从各种生物样本的图像中估计由多达18阶泽尼克多项式构成的光学像差。相比传统的直接波前感测方法，SFE-Net的关键优势之一是它能够实时、数字化地估计像差，而不需要额外的光学硬件。此外，与现有的间接波前感测方法相比，SFE-Net能够在约30毫秒的时间尺度上从单帧图像中估计像差，而不需要耗时的迭代获取和优化过程。这一特性使得SFE-Net可用于长时程、像差变化剧烈的生物成像实验中，对像差进行及时探测与校正。

图2. SFE-Net与其他方法的效果对比：（a）KernelGAN、IKC、MANet和SFE-Net从宽场图像中预测出的带有像差信息的PSF；（b）KernelGAN、IKC、MANet和SFE-Net预测带有像差信息的PSF与真值之间的峰值信噪比（PSNR）统计

通过SFE-Net获得了带有像差信息的PSF之后，我们可以简单地通过传统解卷积算法去除像差并提升图像的分辨率。但为了进一步提高分辨率和消除生物图像的光学像差，我们将PSF先验信息整合到深度学习超分辨率（DLSR）神经网络架构设计中，并设计了一种空间特征变换引导（SFT）的傅里叶通道注意力网络（SFT-DFCAN）。SFT-DFCAN的神经网络架构如图3所示，PSF信息首先通过主成分分析（PCA）法进行降维，然后以注意力权重的形式叠加至DFCAN的特征提取模块中，从而做到像差感知的显微图像超分辨预测。

图3. SFT-DFCAN网络架构示意：（a）SFT-DFCAN整体架构；（b）空间特征变换引导的傅里叶注意力模块；（c）傅里叶注意力层

相比于不引入像差信息、直接使用DFCAN进行超分辨预测，SFE-Net输出的准确像差信息与图像PSF可以有效地指导SFT-DFCAN模型去除原有像差，大幅提升图像分辨率并重建出高保真度的生物样本超分辨信息。本研究进一步在活细胞成像实验中验证了所提出的SFE-Net和SFT-DFCAN像差检测与校正的有效性。如图4所示，研究人员人为对成像系统引入离焦像差与慧差（a）、以及离焦像差与球差（b），然后利用训练好的SFE-Net和SFT-DFCAN对带有像差的时间序列图像进行逐帧像差预测与超分辨重建。

图4. 活细胞成像实验中的像差探测与超分辨重建效果展示：对荧光标记网格蛋白包被小泡（a）和内质网（b）的活体细胞长时程宽场成像，在成像过程中人为引入了离焦像差与慧差（a）、以及离焦像差与球差（b），并使用SFE-Net逐帧估计带有像差信息的PSF，经由SFT-DFCAN进行超分辨重建

研究团队表示：“深度学习与自适应光学相结合能够打破传统自适应光学中对特定硬件的依赖、提升波前校正灵敏度与效率，例如本研究中提出的SFE-Net与SFT-DFCAN可以在不依赖额外硬件的前提下实现高灵敏像差探测与校正，并提升图像分辨率。未来，该技术有望在包括显微成像、天文观测等多种自适应光学成像系统中得到应用。”