1　引言

荧光显微成像的核心任务是高度准确和迅速地在时空的四维尺度下观测组织和细胞的结构与功能。然而，由于显微镜存在光学孔径和测量带宽的限制，在观测微弱的生物荧光信号时会面临一个问题，即单位时间内所能获得的信息量（通量）受到限制，从而需要在速度和精度之间进行权衡。举例来说：在细胞生物学研究中，难以清晰地揭示细胞器之间的精密相互作用；在发育生物学研究中，难以迅速捕捉到心跳、神经活动等重要的瞬态过程；在肿瘤医学研究中，很难全面地了解大型组织中细胞微环境的分布情况。成像通量不足带来的“看不清、看不快、看不全”的问题，成为多领域生物医学研究的制约因素。

工具驱动革命的作用在于发现需要进一步解释的新事物。因此，探索新的荧光显微成像原理和方法，以突破通量限制，探究以前无法观测到的新现象，不仅对物理光学和图像处理领域具有重要意义，还能推动生物医学研究的创新。

2　传统荧光显微镜

随着荧光标记技术的不断发展，以及在样本处理、激光技术和光电探测器领域的重大突破，多种荧光显微技术相继涌现。目前主流的荧光显微镜包括共聚焦荧光显微镜、光片荧光显微镜和光场荧光显微镜等不同类型。

2.1　共聚焦荧光显微镜

1957年，Marvin Minsky首次提出共聚焦激光扫描显微镜（以下简称共聚焦显微镜）的概念。直到20年后，科学家Robert Hoppe和Werner Press才成功开发出第一个可工作的共聚焦显微镜原型。自1980年开始，共聚焦显微镜开始商业化应用，逐渐成为生物学和材料科学领域的重要工具。随着计算机技术的不断发展，共聚焦显微镜的图像处理和三维成像能力得到了显著提高。

共聚焦显微镜的工作原理如图1（a）所示，在宽场荧光显微镜的基础上，共聚焦显微镜增加了一对共轭的针孔（照明光源的针孔和探测针孔），它们被放置在与物镜焦平面相共轭的位置。这一设计使得只有物镜焦平面上的荧光信号才会被依次记录到光电倍增管（PMT）中，采用逐点、逐行、逐层的方式快速扫描样本，实现三维成像^［1-2］。由于这一设计有效地消除了离焦信号，因此共聚焦显微镜图像具有更高的对比度。

图 1. 传统荧光显微镜成像光路及特点示意图^［16］。（a）共聚焦显微镜；（b）光片显微镜；（c）光场显微镜

Fig. 1. Schematic diagrams of the imaging optical paths and characteristics^[16].(a) Confocal fluorescence microscopy; (b) light sheet fluorescence microscopy; (c) light field fluorescence microscopy

下载图片 查看所有图片

然而，尽管在成像过程中只有焦平面上的荧光信号被探测，但样品的上下部分仍然会被照亮，这无法避免光毒性和光漂白的问题。由于共聚焦显微镜的针孔会阻挡大部分荧光，因此需要更高强度的激发光，这也会引发额外的光毒性。与宽场荧光显微镜的广域图像采集相比，共聚焦显微镜采用点扫描方式，成像速度有限，这对快速获得三维成像结果提出了一定挑战。

2.2　光片荧光显微镜

光片荧光显微镜（以下简称光片显微镜）是近年来迅速发展的一种三维成像技术。这项技术由德国EMBL的科学家H.K.Stelzer于2004年首次提出，并在近十年里成为光学领域的研究热点^［3］，其原理如图1（b）所示。通过引入额外的照明光路来创建一层非常薄的光片，将样品照亮，只有这一光片穿过的薄层能够被激发出荧光信号。同时，与光片正交的探测光路聚焦在这个光片上，以采集荧光图像。在轴向上快速扫描光片或样品，可以获得一系列荧光平面图像，然后通过堆叠和重构得到样品的三维图像^［4-5］。

与传统的宽场荧光显微镜和共聚焦显微镜相比，光片显微镜具有出色的层析能力以及更低的光毒性和光漂白性。因此，它能以较低的损伤对样品进行快速三维成像。这种高效的照明和探测方式使得研究高速、精细的生命活动过程成为可能^［6-7］。

在光片荧光显微技术的发展过程中，根据不同的应用场景和样品形态，出现了多种不同类型的光片显微镜，包括传统的正交倒T型双物镜光片显微镜^［8］、V字形正置正交双物镜光片显微镜^［9］、开顶式正交双物镜光片显微镜^［10］和倒置单物镜光片显微镜^［11］等。每种光片显微镜都有其独特的结构和工作原理，以满足不同领域的需求。

2.3　光场荧光显微镜

光场荧光显微镜（以下简称光场显微镜）是用于参数化表示四维光辐射场，同时包含位置和方向信息的一种空间成像技术。它借助微透镜阵列的周期性调制，将三维空间信息编码成二维图像，然后通过解码过程来重新构建出三维信息^［12-13］，如图1（c）所示。相对于传统的基于扫描的三维成像技术，光场显微镜能够在一次曝光中获取完整的体三维图像，具有出色的体积成像速度。因此，其被广泛应用于各种生物活动的观测，如心脏跳动、血液循环和细胞成像等。

“光场”的概念最早由Gershun^［14］于1939年明确提出，他将光场定义为光辐射在空间各个位置朝各个方向传播的方式。2006年，Levoy等^［13］首次将光场理论应用于显微成像，成功研发出第一台光场显微镜。2014年，Broxton等^［15］提出基于波动光学的光场去卷积恢复算法，该算法进一步提高了重建三维图像的分辨率，为光场显微镜的进一步发展铺平了道路。

3　深度学习在荧光图像中的应用场景

在当前的三维荧光显微成像领域，共聚焦技术已经在实验室中得到广泛应用。然而，由于存在扫描速度缓慢、光子利用率低，以及光毒性较大等问题，其应用仍然受到一定限制，亟待光片、光场等新型成像技术的革新。例如，尽管光片显微镜在三维空间分辨率方面表现出色，但仍然无法克服衍射极限，限制了对细胞器、蛋白质、分子等信号的观测。光场显微镜成像虽然具有较快的扫描速度，但传统去卷积重建的图像分辨率仍然相对较低，容易产生伪影。因此，如何进一步提高光片和光场显微成像的时空带宽积，成为亟待解决的问题。

近年来，深度学习在图像处理领域展现出卓越的能力，涵盖图像识别、分割、复原等多个方面。神经网络处理非线性问题的强大能力使其特别适用于解决荧光图像分辨率增强、去噪等逆问题，有效提升荧光显微成像技术的时空分辨率和光学通量。接下来，本文将从活细胞的超分辨成像、瞬态生物学过程的高速捕捉、组织大样本的高效整体三维成像等几个典型应用场景出发，介绍深度学习如何与先进的光片和光场成像技术相结合，实现超高时空分辨率的观测。

3.1　深度学习赋能的活细胞超分辨成像

细胞是构成生命的基本单位。当研究焦点集中在单个细胞的水平时，传统的荧光显微镜会受到200 nm光学衍射极限的限制，无法清晰观察细胞内部结构。突破光学衍射极限，观察活细胞内复杂的网络运动，获取细胞器和蛋白质的时空动态信息，是生物医学研究的基本需求，可以为揭示发育、衰老、疾病等现象的调控机制提供重要参考。光学显微镜属于衍射受限成像系统，其成像过程受到系统带宽的影响，会导致超出一定频率范围的信号频谱丢失，这限制了光学显微成像技术的空间分辨率。这一制约严重限制了对生物结构更加精细的三维观察。为进一步提高光学显微成像技术的空间分辨率，研究人员开发了一系列超分辨显微成像技术，从根本上改善了光学显微成像的时空性能^［17］。根据不同的成像原理，超分辨荧光显微镜可以分为以下几种：一是基于抑制点扩散函数边缘的受激辐射损耗显微镜（STED）^［18］；二是基于频谱调制的结构光照明显微镜（SIM）^［19］；三是基于光激活的单分子定位显微镜，包括光活化定位显微镜（PALM）^［20］、随机光学重建显微镜（STORM）^［21］、基于DNA的点积累纳米级重构（DNA-PAINT）^［22］等；四是基于荧光涨落原理的计算超分辨成像，如超分辨光学波动成像显微镜（SOFI）^［23］和超分辨率径向波动显微镜（SRRF）^［24］等。

尽管这些传统的超分辨显微成像技术在空间分辨率方面取得了显著进展，但它们通常需要采集数百到数千帧图像来完成测量，这严重降低了成像系统的时间分辨率，无法捕捉到活细胞中快速变化的生命动态过程。此外，单分子定位荧光显微成像技术需要使用具有特殊开关性质的荧光蛋白对生物样本进行特异性荧光标记，对生物标记和多色成像提出了巨大挑战。

2017年，Rivenson等^［25］首次将深度学习与光学显微镜结合，利用卷积神经网络（CNN），将宽场显微镜实拍的低倍（低分辨率）与高倍（高分辨率）数据配对训练，网络训练完成后，显著提高了输入的大视场、大景深图像的空间分辨率，开启了超分辨显微成像的新纪元。2018年，Wang等^［26］基于训练生成对抗网络（GAN）将共聚焦显微镜的衍射极限输入图像转换为STED显微镜的超分辨率图像，同时该网络也能够将常规的全内反射荧光显微成像（TIRF）分辨率提升到全内反射荧光显微与结构光超分辨成像相结合（TIRF-SIM）的分辨率水平。

光片照明显微镜具有时间分辨率高、光毒性低、侵入性低等特点，是三维观察活细胞的绝佳工具，但由于物镜的数值孔径有限，其分辨率受光学衍射极限的限制。2019年，Zhang等^［27］将GAN应用于宽场显微成像和光片显微成像，提出一种图像降级模型来生成用于训练的低分辨率图像，使得在训练数据集准备期间免于复杂的图像配准。2020年，该课题组提出一种双阶段互反馈深度学习方法DSP-Net，结合模拟降质的思路，用两个子网络依次完成信号的提取与上插值，逆转将高分辨率图像变为低分辨率图像的成像过程，达到了比传统的一段式神经网络更好的超分辨效果^［28］。2022年，Zhao等^［29］构建了贝塞尔光片显微成像系统，可以产生厚度仅为400 nm的超薄低旁瓣无衍射光片，实现低毒性、高速、多色的三维荧光观测，结合“分而治之”的多段级联各向同性CNN的单图超分辨卷积神经网络，将系统产生的衍射极限图像与多帧超分辨算法重构出的高分辨图像进行配对训练，在网络训练收敛后，仅需输入单帧低分辨图像，就可以预测得到高保真度的超分辨图像，并在多种亚细胞结构中实现高时空分辨率的三维长时程观测，如图2（a）~（d）所示。

图 2. （a）~（d）深度学习赋能光片显微镜突破衍射极限，提高成像空间分辨率，图中包含DR-SPIM（未结合深度学习方法）以及IDDR-SPIM（结合深度学习方法）空间分辨率及时序结果的展示及对比^［29］；（e）（f）深度学习赋能结构光显微镜提高成像时间分辨率。图中包含原理示意图以及微管重建结果^［30］；（g）~（j）深度学习赋能单分子定位显微镜提高成像时间分辨率，图中包含原理示意图以及与其他方法的对比图^［34］

Fig. 2. (a)‒(d) Deep learning enables light sheet fluorescence microscopy to break through the diffraction limit and improving the spatial resolution of imaging, the spatial resolution and time series results of DR-SPIM (uncombined deep learning method) and IDDR-SPIM (combined deep learning method) are displayed and compared^[29]; (e) (f) deep learning enables structured light microscopy to improve imaging temporal resolution, the figures contain schematic diagrams and reconstruction results for microtubules^[30]; (g)‒(j) deep learning enables single-molecule localization microscopy to improve imaging temporal resolution, the figures contain schematic diagrams and comparisons with other methods^[34]

下载图片 查看所有图片

结构光显微镜可以通过在样本上加载不同的照明图案扩展频谱实现超分辨，但需要通过多帧重构高分辨图像，降低了成像的时间分辨率。2020年，Jin等^［30］首次将深度学习引入结构光照明显微镜，利用U-Net输入15张SIM原始图像，并以传统SIM重构结果作为基本事实进行网络训练，收敛后仅需要输入3张SIM原始图像，网络即可以输出高分辨图像。在复杂结构（线粒体、肌动蛋白网络等）上实现了以更少的输入图像、更低的强度或更短的曝光来生成高质量的SIM重构图像，所需原始图像数量减少五分之四，如图2（e）、（f）所示。同年，Ling等^［31］使用基于深度学习的框架来重建SIM图像，利用循环一致生成对抗网络（CycleGAN），通过3幅原始SIM图像的单向相移来重建超分辨图像，无需使用配对训练数据即可训练网络，相比于传统的SIM重构方式，时间分辨率提高3倍。2022年，Zhang等^［32］将GAN和变形U-Net（DU-Net）相结合，GAN被训练为通过输入单个结构化照明图像来生成其他结构化照明图像，并且DU-Net被训练为重建超分辨图像。网络收敛后，仅用一帧结构照明图像即可重建超分辨图像。

单分子定位显微镜通过激活光和激发光，控制成像区每次仅有少量、随机、离散的单个荧光分子闪烁发光，以时间换空间，将数万张图片重构形成一幅超分辨图像，有极高的空间分辨率。2018年，Nehme等^［33］提出Deep-STORM，第一次将深度学习应用于单分子定位显微镜中，Deep-STORM是一种无参数超分辨图像重建方法，使用带有CNN的编码器-解码器架构，通过点扩散函数（PSF）模拟生成一对衍射极限图像和相应的超分辨图像，然后用模拟数据和实验微管图像进行测试，可实现比传统方法更快更准确的重构。同年，Ouyang等^［34］提出ANNA-PALM，可以从稀疏快速采集的单分子定位闪烁图像或宽场图像重建出单分子定位精度的超分辨图像，重构所需张数比之前减少2个数量级，如图2（g）~（j）所示。2022年，Narayanasamy等^［35］根据高发射器密度DNA-PAINT数据预测荧光团位置，从而在一分钟内完成图像采集，并实现半薄神经元组织的多色超分辨成像和大样本的成像。2023年，Chen等^［36］开发了一种基于深度学习的单帧超分辨显微镜（SFSRM）方法，利用子像素边缘图和多分量优化策略来指导神经网络从单帧衍射受限图像重构超分辨率图像，在可容忍的信号密度和可承受的信噪比下，该网络可实现10倍高保真度二维超分辨、时空分辨率为30 nm和10 ms的高保真活细胞成像。

活细胞超分辨成像中时空分辨率与光毒性相互牵制，如何利用深度学习的手段实现多倍分辨率的提升以及高精度的定位，一直以来都是科学家们致力要解决的问题。实时超分辨成像对于生物学和医学研究至关重要。未来的趋势将包括开发实时超分辨成像系统，使研究人员能够在活体样本中实时观察生物过程。

3.2　深度学习赋能的瞬态生物学过程超快成像

当研究对象从单细胞聚焦到多细胞尺度，很多重要的活体动态过程，如心跳、血流、神经活性等，常在短至毫秒的时间尺度发生变化，需被高速且精准地观测。新型光场显微成像通过复用空间和角度信息，单次拍照即可将瞬态信号的三维分布编码为多视角二维投影。但从光场二维视角到三维深度的解码，需通过与光场PSF的去卷积运算来实现，这种逆问题求解病态性极大，传统的基于物理模型的反卷积求逆算法无法摆脱固有的空间分辨率限制以及伪影干扰^［15］，故虽快却不准。而深度学习算法在求逆问题上的强大模型拟合能力以及外源数据的先验提升则很好地解决了以上问题。

2021年，Wagner等^［37］通过构建光场-光片原位系统，可获取配对的二维实测光场图像以及三维体积，构建视角堆栈到三维体积的映射网络，实现对光场图像的高分辨重建。该方法由于其原位采集的特性，对于动态样本（难以通过模拟产生配对的光场图像-三维体积训练对），能够获取特定深度的光片图像以及与之对应的光场投影，因此可实现对模型泛化能力的评估和持续性训练，以100 Hz的体积成像速率对青鳉心脏动态和斑马鱼神经活动进行成像。同年，Wang等^［38］通过对光场前向模型建模，构建了二维光场和三维高分辨体积的配对训练集，提出“视角-通道-深度”（VCD）网络实现低分辨率二维视角图像到三维体积的映射，凭借其大量数据先验，首次利用深度学习算法消除光场三维重建中存在的分辨率低以及轴向伪影问题，成功地以200 Hz的体成像速度实现心肌细胞和血细胞的三维成像，成像速度提高了720倍，存储空间减少至原来的1/64，如图3所示。2023年，针对原始有监督网络的泛化性误差以及活细胞成像中的严重降质过程，Zhu等^［39］提出基于模型迁移的多段式光场超分辨三维重建网络。该方法将光场降质模型分解为“噪声背景干扰-光场空间降采样-三维多视角投影”，并提出多段损失函数，实现低信噪比下的横向采样率30倍提升的三维重建，结合迁移学习的思想，利用高分辨二维实测图像以及与之对应的损失约束，实现无对应体数据监督情况下的超分辨三维重构。

图 3. （a）VCD-Net 重建流程；（b）（c）分别通过VCD-LFM和LFDM计算的跳动心肌细胞核的一个瞬时体积的xy（上）和xz（下）面的MIP；（d）（e）分别通过VCD-LFM和LFDM在一个时间点对跳动心肌进行三维可视化；（f）一个心动周期中舒张期和收缩期期间的心肌体积；（g）一个心动周期中心室舒张期和收缩期的容积变化率^［38］

Fig. 3. (a) VCD-Net reconstruction process;(b)(c) MIP of one instantaneous volume of xy (top) and xz (bottom) sides of the beating cardiomyocyte nucleus calculated by VCD-LFM and LFDM, respectively; (d)(e) visualized in 3D by VCD-LFM and LFDM at a time point, respectively; (f) myocardial volume during diastolic and systolic phases in a cardiac cycle; (g) the rate of volume change in central ventricular diastole and systolic in a cardiac cycle^[38]

下载图片 查看所有图片

深度学习赋能的光场显微镜大大缓解了传统方法空间分辨率下降的问题。在硬件方面，光场显微镜小型化的研究正逐渐增加，这些技术改进将为光场显微镜在临床和医学应用中提供新的可能性。在网络方面，不依赖于标记数据的自监督甚至无监督的方法用于重建三维结构已成为科学家们的重要研究方向。

3.3　深度学习赋能的离体组织高通量成像

除了微观活体动态观察，对于介观尺度的组织和整个器官的三维显微成像在脑科学、肿瘤病理学等领域的研究中也具有重要意义。光片荧光显微成像结合了组织透明化技术的特点，已成为整体组织成像的前沿技术。然而，光学系统需要在大视场和高分辨率之间进行权衡，通常需要采用高倍数的小视野成像并进行复杂的图像拼接。这导致在低通量条件下，每个样本的成像需要花费数小时，难以满足对大规模和多标记样本的研究需求。因此，发展具有大视场和高分辨率的成像新技术是解决这一问题的关键。例如，结构光等照明调制方法可以增强大视场图像的分辨率，但在深层组织中，照明调制度容易下降，因此应用受到限制。

2020年，Zhao等^［40］将深度神经网络（DNN）与光片显微镜结合，在大尺寸的生物样本成像中实现整体分辨率的15倍提升，达到了单细胞水平的3 µm各向同性分辨率。同年，为解决大组织样本的深层散射问题，Xiao等^［41］报告了一种基于U-Net架构的名为ScatNet的深度学习方法，配准的散射和无散射图像进行配对训练，网络收敛后，输入散射图像可以直接预测高质量无散射图像，无需添加任何硬件或复杂的计算。2021年，Fang等^［42］将扫描贝塞尔光片显微镜与内容感知压缩传感（CACS）计算方法结合，对图像内容自适应感知的压缩感知增强，无需配对训练，实现了图像每个维度4倍的分辨率提升，总光学通量64倍的提升，如图4（a）~（e）所示。2023年，Ning等^［43］提出一种基于CycleGAN的名为Self-Net的深度自学习方法，使用来自同一原始数据集的横向图像作为目标，结合用于现实各向异性退化的无监督学习和用于高保真各向同性恢复的监督学习，显著提高了轴向图像的分辨率，三维分辨率各向同性使得密集复杂的神经纤维能够在三维空间中可视化和分析，神经元重建速度相比以往提升了近4倍，极大地提高了分析效率，如图4（f）~（i）所示。

图 4. （a）~（e）CACS赋能光片显微镜提高成像分辨率的流程示意图及效果展示图^［42］；（h）~（i）Self-Net赋能荧光显微镜提升轴向分辨率，原始数据和Self-Net输出数据比较展示图^［43］

Fig. 4. (a)‒(e) Schematic diagrams of the process and effect of CACS which enables light sheet fluorescence microscopy to improve imaging resolution^[42]; (h)‒(i) Self-Net enables fluorescence microscopy to improve axial resolution, comparison of raw data and self-net output data^[43]

下载图片 查看所有图片

对于宏观整体组织的成像，目前神经网络在提高图像质量和成像通量方面的应用较为广泛，这将继续是未来的研究目标。此外，整体组织成像面临的另一个挑战是采集到的原始数据量庞大，如何利用CNN进行智能成像和有效存储大数据也将成为未来发展的重要方向。

4　总结

通量限制给多个领域的生物医学研究带来了挑战，例如在细胞生物学、发育生物学和肿瘤医学研究中，科学家们难以捕捉到细胞器之间精细的相互作用、重要的瞬态过程，以及细胞微环境的分布情况。通过引入新的成像原理和方法，帮助研究者更清晰地观察生物体系中的现象，甚至是以前无法察觉的现象。通过引入深度学习等人工智能手段改进荧光显微成像的速度和精度，提高信息获取的通量。

本文列举了一些不同尺度下的生物应用场景，介绍了深度学习在高通量荧光显微成像技术中的应用及潜力，旨在解决传统荧光显微成像的通量限制问题。不仅对物理光学和图像处理领域具有意义，还有望推动生物医学研究的创新，推动工具驱动的革命，帮助科学家们更深入地理解生命和健康领域的复杂现象，为未来的研究和应用提供新的可能性。