激光与光电子学进展, 2023, 60 (11): 1106012, 网络出版: 2023-06-07   

超分辨荧光显微成像的若干研究进展 下载: 646次特邀综述

Research Progress of Super-Resolution Fluorescence Microscopy
作者单位
1 山西大学激光光谱研究所,量子光学与光量子器件国家重点实验室,极端光学协同创新中心,山西 太原 030006
2 太原理工大学物理学院,山西 太原 030024
3 山西省太原市中心医院,山西 太原 030009
摘要
超分辨荧光显微成像技术可以突破光学衍射极限,为研究亚细胞结构乃至蛋白质等生物大分子的内部动力学过程提供了极其重要的研究工具,因此自发明以来就被生物及医学领域的科研工作者所关注和应用,特别是近年来生命科学和生物技术的突飞猛进,使超分辨荧光显微成像技术得到了前所未有的发展。本文主要阐述四种较新超分辨荧光显微技术的研究进展,即最低光子数超分辨荧光显微成像,波动超分辨荧光显微成像,基于荧光发色团反聚束效应的超分辨显微成像,以及基于深度学习的超分辨显微成像方法。分别从这些超分辨荧光显微技术的基本原理,实验实现方法及相关要求,成像性能及其与相关技术的对比,以及与其他超分辨技术的结合等角度,对近期的研究进展和应用情况进行简要说明,以期给该领域的研究人员提供一些参考。
Abstract
Super-resolution fluorescence microscopy (SRFM), which can bypass the optical diffraction limit, provide an extremely important research tool for investigations of the subcellular structures and the dynamic processes of biological macromolecules. Therefore, since its invention, SRFM has been paid attention to and applied by scientists in the field of biology and medicine. Benefiting from the rapid development of life science and biotechnology in recent years, SRFM has been developed unprecedentedly. In this paper, we will mainly focus on the research progresses of four new kinds of SRFM, including minimal photon fluxes (MINFLUX), super-resolution optical fluctuation imaging (SOFI), super-resolution image based on anti-bunching effect, and deep-learning based super-resolution microscopy, respectively. We will briefly describe the recent research progresses and applications of these SRFM techniques from the basic principles, experimental implementation methods and related requirements, imaging performance, and comparison with other technologies, as well as the combination with other super-resolution techniques, to provide some references for researchers in this field.

1 引言

对生命本质的探索和生理活动的调控是人类的终极目标之一,而实现该目标的重要手段是在细胞和亚细胞水平观测生命活动的精细过程,目前这种观测主要依赖于可视化的显微技术。在各种显微技术中,荧光显微成像是应用最广泛的技术之一,它具有诸多优点:通过荧光发色团特异性标记可以观测特定的细胞成分及其相互作用1,比如细胞核、细胞质、线粒体等;其次荧光显微成像可以观测活体样品的内部结构2及其动力学过程3-5;此外,相比于X射线等放射性成像技术,荧光显微成像基本不会对生命体造成任何伤害。然而,相比于电子显微成像等技术,荧光显微成像在空间分辨率上有先天的不足,这主要是光学衍射极限导致的:即点光源经过光学系统到达探测器后,所成的像不是一个无限小的点,而是有一定大小的光斑(可通过点扩散函数来描述);当两个点光源相聚太近时,两个成像光斑就会相互叠加而无法分辨,这就使得荧光显微成像在空间分辨率上受到了明显的限制。德国物理学家Abbe6指出光学显微镜分辨率的极限遵循公式d=λ/2nsin α,其中,d为分辨率,λ为波长,n为折射率,α为孔径角。根据此公式可知,荧光显微镜的横向(即xy方向)分辨率在200~300 nm,纵向(即z方向)分辨率在500~700 nm。此空间分辨率与许多亚细胞结构相当,甚至比亚细胞结构要大得多,因此难以观测亚细胞结构的生命活动过程,更遑论观测蛋白质等结构(通常在10 nm尺度)的相互作用。

为了打破该限制,荧光超分辨显微成像技术应运而生,科学家通过不同的技术路径分别打破了光学衍射极限,实现了100 nm量级甚至10 nm以下的空间分辨率。2014年诺贝尔化学奖颁发给Eric Betzig、William E. Moerner、Stefan W. Hell等三位从事荧光超分辨显微成像的科学家,更是在全球范围内掀起了荧光超分辨研究的热潮。Moerner等7-8首先实现了单分子荧光的检测,为标记单个荧光蛋白开启了大门,随后Betzig等9使用不同颜色的激光照射荧光分子,使荧光分子处于激活的开态或者淬灭的关态,通过对不同分子分别进行成像,结合质心定位突破了光学衍射极限,这种技术被称为光活化定位显微成像,即PALM(Photoactived Localization Microscopy)。华人科学家庄小威教授通过使用荧光共振能量转移对获得荧光开关,用633 nm激光照射Cy5使其进入关态,再用532 nm激光照射Cy3,通过能量转移使 Cy5 进入开态,接着再用633 nm照射使其进入关态,多次往复,也实现了类似的超分辨成像,将空间分辨率提升了10倍,其基本原理如图1所示,该技术被称为随机光学重构显微成像,即STORM(Stochastic Optical Reconstruction Microscopy)10。以上两种技术被统称为单分子定位显微成像,即SMLM(Single-Molecule Localization Microscopy),其空间分辨率主要取决于采集到的每个荧光分子的光子数。Hell教授则另辟蹊径,利用两束激光照射分子,其中一束高斯光用于激发分子,另一束环形甜甜圈光束作为擦除光来抑制点扩散函数的影响,进而实现空间分辨率的提升,这种技术被称为受激辐射损耗显微成像技术,即STED(Stimulated Emission Depletion Microscopy)11。此外Gustafsson教授12还利用结构光对标记分子进行照明,通过频移实现超分辨成像,该技术被称为结构光照射显微成像,即SIM(Structured Illumination Microscopy)。以上方法在近十来年内被国内外科学家广泛学习研究,已有许多综述文章对以上几种超分辨成像的基本原理、实验操作、应用领域及其最近进展进行了详细的介绍,本文不再赘述,感兴趣的读者可以参考文献[5]、[13]~[15]。

图 1. 超分辨荧光显微技术的主要发展历史10

Fig. 1. Development of super-resolution photoluminescence imaging techniques[10]

下载图片 查看所有图片

上述几种成像方法虽然突破了光学衍射极限,获得了极高的空间分辨率,但也存在一定的缺陷。如:受激辐射损耗成像技术需要用较强的擦除光来照射样品,光漂白和光毒性较强,且样本需特殊荧光染料处理;受激辐射损耗成像技术使用点扫描技术,单分子定位显微成像通常需要采集上千帧,通过对图像进行重构以获得超分辨效果,二者均会消耗大量时间,因此牺牲了时间分辨率,难以实现细胞的动态超分辨成像。与其他超分辨率方法相比,SIM通常只能提供标准宽场显微镜大约两倍的分辨率增强,使用非线性饱和 SIM可以实现更高的空间分辨率(~50 nm),但由于显微成像中的背景噪声和结构光照明显微成像技术的照明光本身也受到衍射极限的限制,对显微系统分辨能力的提升也很有限,且需要增加图像采集次数和复杂的重建过程,依赖计算机算法处理,易导致图像出现伪影。近年来,科研工作者仍在不断努力,来克服这些缺陷,以期获得更佳的成像效果。本文介绍了若干种新的超分辨荧光显微成像方法,包括最低光子数显微成像、波动超分辨显微成像、基于单分子反聚束效应的超分辨成像以及基于深度学习的超分辨显微成像技术,其发展历程如图1所示。撰写的思路主要如下:首先介绍这些荧光超分辨显微成像技术的基本原理和实现方法;然后给出其成像效果,并对不同的成像技术进行比较,展示这些技术在时空分辨率、光毒性、视场等方面的各自优缺点;最后对荧光超分辨显微成像的未来发展及其应用潜力作简单的展望。

2 最低光子数荧光超分辨显微成像

2.1 最低光子数荧光超分辨显微成像的基本原理

理论上,受激辐射损耗显微成像和光激活定位显微成像(或随机光学重构显微成像)的空间分辨率可以达到单个荧光发色团的物理尺度(在1 nm量级);然而这两类成像方法或需要较长积分时间,或需要较高激发功率,在取得高空间分辨率的同时可能会严重损害细胞的活性。为了保障细胞活性,在实际应用中,只能采用低功率、短时间的方法限制光通量,以获得最佳的成像效率,综合考虑系统噪声和荧光探针特性的影响,这两类成像技术的空间分辨率通常被限制在 20 nm 左右。2017年,Hell教授团队结合这两类荧光超分辨显微技术的优势,提出了一种新的超分辨方案,被命名为最低光子数显微成像16,即MINFLUX(Minimal Photon Fluxes),其基本原理如图2所示。最低光子数显微成像技术与上述显微成像技术相比,二者均选用随机开启或者关闭单个荧光发色团的方法,以达到减小开启状态分子密度的目的,通过质心定位的方法来突破光学衍射极限。不同的是,单分子定位等显微成像技术通常将待定位发色团置于光场最强处,而最低光子数显微成像技术则将待定位发色团置于光场强度为零处。根据光场的基本量子特性可知,在较短的成像时间窗口内,由发色团辐射并被探测器所探测的荧光光子数服从泊松分布,因此显微成像必须考虑泊松噪声对成像信号的影响。举例来说,当使用高斯光束激发发色团时,位于x0处的发色团,其辐射的荧光光子强度为N0图2(a)],与x0相距Δx的另一位置x1处,相同发色团的荧光辐射强度为N1。只有当这两个位置的荧光强度差异(ΔN=N0-N1)大于泊松噪声(N01/2)时,才有可能通过光子数的差异识别发色团处于不同的状态,即识别间距为Δx的两个发色团。具体而言:当N0=100时,只有当N1>110或者N1<90,才能分辨这两个发色团;当N1=105则无法分辨。可见,由于需要较大的光子数差异来区分不同发色团,因此需要较长的积分时间或者较高的激光功率。而在最低光子数显微成像中,则使用中心强度为0的环状激光光束(即所谓甜甜圈光场),当发色团位于光场中心时,不会受到激发,因此位于中心x0处的荧光强度为0,即N0=0[图2(b)],只要检测到相邻位置x1的荧光强度大于1,即N1>1,就可用于分辨中心位置x0的发色团和位于x1的发色团以及其间距Δx17。显而易见,该方法所需的光子数极少(这也是最低光子数显微成像名称的来源),在定位精度和与时间分辨率方面极具优势。

图 2. 最低光子数显微成像技术的原理及装置示意图。(a)(b)常规纳米显微技术和最低光子数显微成像技术定位荧光分子中心的原理示意图17;(c)实现最低光子数超分辨显微成像的实验装置示意图18;(d)~(f)一维、二维、三维最低光子数显微成像技术的定位原理示意图1618;(g)相同光子数下,单分子定位显微成像与最低光子数显微成像分辨率的对比效果(比例尺:10 nm)16

Fig. 2. Schematic diagrams of the principle and experimental setup of MINFLUX. (a) (b) Schematic diagrams of the principle to localize the center of fluorescent molecules for common nanoscopy and MINFLUX, respectively[17]; (c) schematic diagram of the setup of MINFLUX[18]; (d)-(f) principles of MINFLUX illustrated in one, two, and three dimensions, respectively[16,18]; (g) comparison of the spatial resolution between SMLM and MINFLUX under same photon counts (scale is 10 nm)[16]

下载图片 查看所有图片

最低光子数显微成像的实验方法一般如下:首先使用一束特定波长的激光激活发色团,使得在每次定位时,激光照射范围内只有一个荧光发色团处于开启状态。同时使用另一束光强分布为Ixy)的激光来定位发色团,其特点是Ixy)=0。最终结合超快速光学扫描设备和精密的可编程逻辑门阵列实现分子的精确定位,如图2(c)18所示。当激发光最低处与荧光发色团中心重合时,荧光强度为零。然而,通常难以一次就把激发光最低处与荧光发色团中心重合,因此需要预定位过程来大致确定发色团的位置。当激发光逐渐靠近发色团时,可通过二者未完美重合情况下产生的荧光信息来确定分子的存在,并获取激发光最低处到荧光发色团中心的距离。具体而言,在一维情况下,可使用强度分布为Ix),波长为λ的驻波作为激发光来定位荧光发色团:假设发色团所处位置为图2(d)中五角星的xm处,则发色团荧光强度满足fx)=C∙Ixm-x)=0(C是与发色团亮度和检测灵敏度成正比的因子)。使用激光在发色团中心位置左右L/2(L为扫描范围)范围内扫描并激发该发色团,可获得扫描范围两端处的荧光强度分别为f0=C∙Ixm+L/2)=C∙I0xm)和f1=C∙Ixm-L/2)=C∙I1xm),如图2(d)所示。因此在已知Ix),f0f1的情况下,可求解出分子所处的位置xm。同样地,在二维情况下,用环形甜甜圈光束定位荧光发色团,只需在以L为直径的圆圈上移动3个位置,通过3个位置的荧光强度及激光强度分布求解方程,即可实现发色团的精确定位。但是这样处理得到的信噪比不高,可以通过增加一个中心位置的方法去除背景噪声,获得更精准的定位效果,如图2(e)16所示。

由于I0f0I1f1均符合泊松分布,所以求解获得的位置xm也符合一定的概率分布,因此相对于真实值有一定偏差。数学上,该方法的定位精度可由克拉美-罗界公式(CRB)计算而得,即为

σ˜CRBquadx=1NL41+xL/22

式中:σ为定位精度;N为采集到的光子数;x为荧光发射团位置。由式(1)可知,在探测光子数N一定的情况下,移动距离L越小,最终的定位精度就越高16

相比于常规的单分子定位显微成像技术,最低光子数显微成像所需要的荧光光子数减少了22倍,定位精度达到了1 nm,可分辨发色团的间距达6 nm。以单个荧光蛋白的最低光子数显微成像为例,其时间分辨率和单位时间跟踪的定位数量都增加了100倍。在相同荧光光子数的情况下,相比于受激发射损耗显微成像,最低光子数荧光超分辨显微成像的空间分辨率得到了显著的提高,如图2(g)所示。由此可见,最低光子数超分辨荧光显微成像为研究更加精细的亚细胞结构和更快的生理活动过程提供了重要的工具16

2.2 最低光子数超分辨显微成像的优化与改进

2018年,Hell教授等在综合考虑信号背景比(SBR)和感兴趣区域(ROI)两个条件下,对最初的最低光子数显微成像技术作了进一步的改进与提升,从而确定了探测单个发色团位置坐标集的最佳空间范围L。通过优化最佳范围L,可以在1 ms的时间分辨率下使空间定位精度达到1.7 nm(当时间分辨率提升到0.1 ms时,空间定位精度仍可达到11 nm)。而在相同的时间尺度上,最初的最低光子数显微成像定位精度通常在40~60 nm,可见改进后的性能得到了大大提升。此外,从光子效率的角度考虑,改进后的最低光子数显微成像也得到了5~20倍的提升19。需要说明的是,以上实验主要是在二维尺度(即xy方向)上开展的,尽管如此,最低光子数显微成像在定位精度与成像速度上的优势已然得到了充分肯定,然而生物成像的最终目标是在三维尺度(即xyz方向)上实现超分辨显微。为此,2020年,德国马克斯-普朗克研究所的Balzarotti等在二维最低光子数显微成像的基础上作了两方面的改进:1)将二维成像中用于确定荧光发色团定位的4个成像位置提升到7个成像位置,如图2(f)所示;2)将激发光束由环状光束(即二维甜甜圈状)转变为顶帽状光束(即三维甜甜圈状),如图2(c)所示,由此实现了二维到三维的提升。此外,利用不同细胞器所标记荧光发色团在光谱成分上的差异性,该团队进一步利用二向色镜等滤色片将荧光分成多个光谱组成,并对每个光谱组分分别计数,经过后处理获得了U-2 OS细胞核孔的双色三维成像19,如图3(a)所示。其发色团在三维空间位置的强度统计图表明,该方法的空间定位精度在4 nm左右20,如图3(b)所示。由于该方法仅使用一束激光器进行激发,因此在原理上消除了两个颜色通道之间的色度畸变。三维双色最低光子数超分辨显微成像的实现,为研究固定细胞和活细胞中蛋白质复合物及其动力学过程成像开启了新篇章。

图 3. 最低光子数显微成像在分辨率、三维多色成像方面的优化与改进。(a)用AF647和CF680染色后的U-2 OS细胞的双色三维最低光子数显微成像(比例尺:500 nm)19;(b)双色最低光子数显微成像技术在三维空间的定位精度20;(c)脉冲交错式最低光子数显微成像的实验装置图21;(d)(e)基于脉冲交错式最低光子数显微成像技术获得的光子数分布及其寿命分布21;(f)(g)基于光栅扫描单分子定位的测量方法以及该方法在不同扫描距离下的成像模拟结果23

Fig. 3. Development in terms of resolution and 3D multicolor imaging of MINFLUX. (a) Two-color MINFLUX nanoscopy in 3D of U-2 OS cell with AF647 and CF680(scale: 500 nm)[19]; (b) three-dimensional localization accuracy of MINFLUX[20]; (c) schematic of the p-MINFLUX setup[21]; (d)(e) 2D localization image and fluorescence lifetime image for one DNA origami structure through p-MINFLUX[21]; (f)(g) measurement method based on grating scanning single molecule localization and imaging simulation results of this method at different scanning distances[23]

下载图片 查看所有图片

在实验系统方面,可以想象,实现如此高定位精度和时间分辨率的方法,必然需要较为复杂的仪器相互配合,比如超快速光学扫描设备和精密的可编程逻辑门阵列电路,如图2(c)所示,这不可避免地导致系统的复杂性,技术壁垒和仪器成本也显著增加16。这些瓶颈使得最低光子数荧光超分辨显微成像技术的应用受到了很大的限制,因此,在保持超分辨性能的同时,构建更为简易的实验系统成为了当前最低光子数显微成像最需要关注的问题之一。2021年,慕尼黑大学的Masullo等21在最低光子数显微成像的基础上,提出了一种新的高效荧光发色团定位方法,称为脉冲交错式最低光子数显微成像,即p-MINFLUX(Pulsed Interleaved MINFLUX),如图3(c)所示。与最初技术相比,脉冲交错式最低光子数显微成像由同一激光器分束的四束脉冲激光作为激发光,只需共聚焦系统结合时间相关单光子计数技术即可实现显微成像,不再需要快速扫描光学元件或现场可编程门阵列等电子设备。当使用静态和动态DNA折纸技术固定发色团的间距并进行显微成像时,即使在仅有1000个光子计数的情况下,脉冲交错式最低光子数显微成像对单个发色团的定位和跟踪精度也可以达到2 nm。该方法经过对实验装置进行改进,可以获得发色团的荧光寿命信息,实现多路复用和超分辨寿命成像,如图3(d)、(e)所示,进而可获取荧光团周围环境及其与其他分子或材料的相互作用信息,为研究分子尺度的荧光共振能量转移等过程提供了重要的实验系统。

在与常规显微系统结合方面,Hell教授团队通过同步电光光束偏转器与扫描振镜,结合样品位置锁定装置,即可在标准的荧光显微系统上实现了纳米分辨率,极大地拓展了最低光子数显微成像的应用范围22。在该系统中,既可以选择高斯光束,使用常规的共聚焦扫描模式激发样品,实现荧光显微成像,也可以选择环状甜甜圈光束,使用最低光子数显微成像方案,实现超分辨荧光显微成像。此外,还可以采用可变形镜改变聚焦光的散焦效果,使焦点零强度点沿z轴移动,通过层析的方式获得三维超分辨荧光显微成像。在该方案中,样品位置的稳定是极其重要的。为此,一方面可以将荧光发色团与反射基准(比如金纳米棒)绑定在一起,利用反射基准所发射的背向散射信号结合反馈系统,来维持生物样品的稳定性。另一方面,则可以预先采集轴向设定点上方和下方的图片作参考,将相机实时采集的图片与参考图片进行交叉关联,使用多基准组合信号的图像关联分析,实现更精准的位置锁定。基于该系统可以对细胞等样品进行最低光子数显微成像,相关结果表明:对于二维成像,当检测光子数达到800时,单个发色团的定位精度可达到2.2 nm;当光子数增加到2500时,定位精度可小于1 nm;在0.1 ms的积分时间下可以实现小于20 nm的定位精度。对于三维成像,当光子数为1200时,横向定位精度(焦平面定位精度)可达2.4 nm,沿光轴的定位精度可达1.9 nm。此外,Masullo等于23-24近期提出了一种基于光栅扫描的单分子定位方法,即RASTMIN(single-molecule localization by RASTer scanning a MINimum of light),如图3(f)所示,可作为最低光子数显微成像的替代品。该方法只需要在任何现有扫描荧光显微镜(比如共聚焦或多光子荧光显微系统)的基础上作极小的修改,即可获得与最低光子数显微成像相当的超分辨性能,如图3(g)所示。该方法进一步简化了实验系统,为最低光子数显微成像在生命科学等领域的广泛应用奠定了重要基础。

2.3 最低光子数显微成像技术与其他技术的结合

最低光子数显微成像拥有优异的定位精度和时间分辨能力,将该技术与其他超分辨技术相结合,有望获得更加优越的性能。具体而言:最低光子数显微成像技术的定位精度可以达到1 nm量级,已经与单个发色团的尺寸相当;然而定位精度不等于光学分辨率,定位精度为多次测量后的误差,而分辨率为能够分辨的最小尺寸,该技术的光学分辨率仍有很大的提升空间;此外,该方法在时间分辨率与成像信背比方面还有很大的挖掘空间。

多光子显微成像的重要特征是荧光信号与激发强度呈非线性关系,其空间分辨率可通过非线性过程来提升,因此利用多光子激发,有望进一步提高最低光子数显微成像的空间分辨率。北京大学的席鹏教授团队首先发展了双光子最低光子数显微成像技术25,即2p-MINFLUX(Two Photon MINFLUX),并从理论上证明通过设计和利用点扩散函数的特性,可以使其定位精度和空间分辨率提高1倍,获得小于1 nm的定位精度,结果如图4(a)、(b)所示。从分辨能力来看,在双光子最低光子数显微成像技术和单光子最低光子数显微成像技术采集到同样荧光光子数的条件下,单光子最低光子数显微成像技术无法分辨的结构,可由双光子最低光子数显微成像技术分辨;若从荧光光子计数的角度考虑,在相同的定位精度下,双光子最低光子数显微成像技术所需的光子数仅是之前的1/4。由于非线性效应的存在,利用多个荧光团同时实现双光子激发,双光子最低光子数显微成像技术还具有直接多色成像和跟踪的潜力,多光子效应的引入也为深层生物成像和实现更高定位精度提供了重要的理论基础。

图 4. 最低光子数显微成像与其他显微成像技术相结合的成像效果。(a)(b)通过模拟获得的最低光子数显微成像的z轴定位效果,其中图a为单光子激发,图b为双光子激发,(比例尺:1 nm)25;(c)图像扫描最低光子数显微成像的原理示意图,利用阵列探测器代替点探测器来扩大成像视野27;(d)(e)单分子定位显微技术与结构光照明最低光子数显微技术对相同发色团进行成像的效果比较(比例尺:50 nm)28;(f)共聚焦显微技术、(g)受激辐射损耗显微技术以及(h)最小光子数受激辐射损耗技术对相似线粒体进行成像的效果对比(比例尺:200 nm)29;(i)利用Vimentin-reEGFP2荧光蛋白实现的共聚焦荧光成像(左图)与利用DNA-PAINT技术获得的最低光子数显微成像效果的对比(比例尺:200 nm)31

Fig. 4. Super-resolution imaging by combining the MINFLUX with other techniques. Simulation of z-axis localization for (a) single-photon MINFLUX and (b) two-photon MINFLUX, respectively(scale: 1 nm)[25];(c) concept of ISM-FLUX, an activation laser beam activates a single fluorophore in the sample (yellow star) which is sequentially excited by a series of spatially displaced doughnut beams[27]; (d) SMLM and (e) SIMFLUX image for the same nano-rulers(scale: 50 nm)[28]; (f) comparison of imaging effects of confocal microscopy, (g) stimulated radiation loss microscopy, and (h) minimum photon number stimulated radiation loss technique on similar mitochondria (scale: 200 nm)[29]; (i) comparison of confocal fluorescence imaging using Vimentin-reEGFP2 fluorescent protein (left image) and minimum photon number microscopy imaging using DNA-PAINT technology (scale: 200 nm)[31]

下载图片 查看所有图片

尽管最低光子数显微成像在定位精度方面具有突出优势,但该技术使用单点扫描技术结合单点探测器进行探测,视场一般为百纳米量级,通过将所有光子与单点探测器进行空间积分,一些关于分子位置的信息就会丢失了,当分子在甜甜圈状激光所在区域外时情况尤为严重。为了实现对单个发色团的高精度定位,通常需要预定位步骤来大致确定分子的位置。为了突破这一限制,2022年,意大利理工学院的Slenders与Vicidomini结合最低光子数显微成像与图像扫描显微成像26两种技术优势,发展了基于图像扫描的最低光子数显微成像,即ISM-FLUX(Image Scanning Microscopy MINFLUX)27,其实验原理如图4(c)所示。该技术使用单光子相机取代传统的点探测器,并用4个空间分离的环状甜甜圈光束依次激发样品,不仅提供环状甜甜圈光束中每个位置的计数,而且还可获得这些光子在图像平面的哪个位置被检测到,免去了预定位步骤。实验结果表明,在800 nm视场下,当探测光子数达到100时,发色团定位精度即可达到1~15 nm。该团队还阐述了不同参数对定位不确定性的影响,包括甜甜圈光束的相对位置、探测器像素的数量、光子的数量和信背景比等。另一方面,2020年,荷兰代尔夫特理工大学Cnossen等28在传统宽场成像的基础上,结合质心估计技术和空间光照明技术,实现了微米尺度视场上发色团的精准定位,该技术被命名为空间光调制最低光子数显微成像,即SIMFLUX(Structured Illumination Microscopy MINFLUX)。其实现的具体方法是在物镜的焦平面上使用两种正交的正弦调制图案,利用泡克耳斯盒实现两种图案的快速切换;通过滤除处于关闭状态的发色团(即发色团处于不发光状态),结合最大似然估计计算,实现与单分子定位技术相当的空间分辨率,突破了最低光子数显微成像技术成像视场和成像速度的限制,在相同光子数情况下,该方法的空间分辨率是单分子定位显微成像技术的2倍,如图4(d)、(e)所示。

2021年德国马克斯-普朗克研究所的Weber等29则将最低光子数原理与激辐射损耗荧光显微技术相结合,构建了最低光子数受激辐射损耗荧光显微成像,即MINSTED,能够在更少光子数的情况下(相应地,对光漂白事件需求也减少)将空间分辨率从衍射极限提升到荧光发色团本身尺度。图4(f)~(h)给出了该技术的成像效果与共聚焦显微成像以及标准受激辐射损耗显微成像的对比。相比于受激辐射损耗荧光显微技术,该技术中的环状甜甜圈光束主要是用于确定荧光发色团的位置,而不是用于分离不同的发色团。为了能够在纳米尺度上分离不同的发色团,最低光子数受激辐射损耗荧光显微成像需要使用可以在活性状态(发色团处于发光的开态)与非活性状态(发色团处于不发光的关态)之间的荧光发色团。在活性状态下,荧光团可以被受激发射光激发和去激发,在任何给定的时间,衍射受限区域内也只能有一个荧光团被打开。在此基础上,通过对每个荧光团进行200~1000次探测,即可实现1~3 nm的定位精度。

如上所述,最低光子数显微成像依赖于可切换或可激活的荧光发色团,为了实现多色荧光成像,就要求不同发色团的亮度和开关行为在一个狭窄的范围内进行适当的匹配;而且多色成像还需要使用特性的缓冲溶液来实现发色团的开关切换,这显然对多色显微成像提出了极大的挑战。2017年哈佛大学Schnitzbauer等30提出通过DNA折纸的点累积成像技术(DNA-PAINT)来实现荧光切换。若将DNA双链中的一条与目标分子相连作为对接链,而互补的另一条与荧光发色团相连作为成像链,在显微成像系统的焦平面,成像链和对接链会自发结合和脱离,实现开关状态切换。通过设计DNA双链,可以控制目标分子与荧光发色团的结合时间,从而控制状态切换速率,而不需要专门的缓冲液,其成像效果如图4(i)所示。除此之外,接连的荧光团对接避免了高密度标记下相邻发色团之间的相互作用,大大减少了共活化和淬灭。将DNA-PAINT技术和最低光子数显微成像技术相结合,可以协同受益于这两种方法的优势。多个成像链依次使用,每个链结合到不同的对接链将最低光子数显微成像扩展到多个分子靶点,为在活体细胞内实现纳米分辨率的三维最低光子数显微成像提供了新道路31

通过以上综述可以发现,将最低光子数显微成像技术,与结构光照明、受激辐射损耗、图像扫描等技术结合后,增大了成像视场,简化了实验装置,提高了信背比,在保证发色团定位精度、空间分辨率和时间分辨率的同时,可以获取荧光发色团的寿命、光谱、偏振等信息,为研究生物大分子之间的相互作用及其动力学过程供了强有力的工具。但这些技术仍有一定的缺陷,无法同时在视场、所需光子数、信背比、系统简易性及分辨能力等方面均达到最佳,他们的优缺点如图5所示,希望在未来可以通过各技术的融合及优化解决这些缺陷。

图 5. 宽场成像、最低光子数显微成像技术及其与其他超分辨方法结合技术在视场、光子效率、信背比、系统简易性及分辨能力等方面的对比

Fig. 5. Comparison of wide field imaging, minimum photon number microscopic imaging technology, and their combination with other super-resolution methods in field of view, photon efficiency, signal to back ratio, system simplicity, and resolution ability

下载图片 查看所有图片

3 波动超分辨荧光显微成像

常规宽场荧光显微成像通常使用像素较多的高灵敏相机进行拍照(比如像素为512×512的电子倍增电感耦合器件,即EMCCD),这些像素不仅给出了发色团荧光强度的空间分布,而且记录了发色团的荧光闪烁等特性,蕴含着丰富的光学信息。2009年,加州大学Dertinger教授32小组基于每个像素所记录的光子序列的波动性(即由荧光发色团间歇性闪烁导致的光子数起伏)以及相邻像素的关联性,提出了光学波动超分辨荧光显微成像技术,即SOFI(Super-resolution Optical Fluctuation Imaging)。基于该技术可以在三个维度上获得突破光学衍射极限的空间分辨率。与单分子定位超分辨显微成像等技术相比,波动超分辨显微成像只需要满足三个条件:1)荧光发色团保持至少两种不同的发射状态(比如开态和关态);2)不同发色团的不同发射状态可以随机、独立、反复的切换;3)成像系统的像素尺寸小于光学系统的衍射极限。当满足以上条件时,即可对原始像素的时间序列进行自相关计算,获得n阶累积量,实现超分辨荧光显微成像,而不需要构建复杂的成像系统。此外,波动超分辨荧光显微成像不需要进行长时间采样,有效降低了光漂白的概率,非常适用于生物成像。在本小节中我们将简要介绍波动超分辨荧光显微成像的基本原理和最新研究进展。

3.1 波动超分辨显微成像的基本原理

在由N个单一且独立发射的荧光发色团所组成的样品中(图6),位于位置rk的发色团其荧光分布可表示为

Irk,t=k=1Nδr-rk·εk·skt

式中:εk为荧光发色团的开态亮度;skt)表征了荧光强度随时间的波动特性。在位置r和时间t处的荧光信号Frt),可通过系统的点扩散函数hr)与发色团荧光分布的卷积得出:

Fr,t=k=1Nhr-rk·εk·skt

假设发色团在采集过程中未发生位置漂移,荧光的波动性可表示为

δFr,t=Fr,t-Fr,tt=khr-rk·εk·δskt

式中:t表示在时间t内的平均值。可得n阶自相关函数为

Gnr,τ1,,τn-1=δFr,tδFr,t+τ1δFr,t+τn-1t=khnr-rk·εkn·δsktskt+τ1skt+τn-1

为了减小光学系统的点扩散函数,生成高阶的波动超分辨显微图像,需要将n阶相关函数转换为n阶累积函数Cn,即

Cnr,τ1,,τn-1=khnr-rk·εkn·wkr,τ1,,τn-1

式中:wk为点扩散函数的半峰全宽。用上述算法对图像进行处理后,得到的点扩散函数在xyz方向上缩小了N1/2倍,因此将图像的空间分辨率提高了N1/2倍,如图632所示。

图 6. 波动超分辨荧光成像的原理示意图32。(a)像平面中发射器的空间分布;(b)图(a)中虚线框的放大细节;(c)每个像素的时间轨迹;(d)根据信号波动计算的每个像素的二阶相关函数;(e)每个像素二阶相关函数积分结果

Fig. 6. Principle of SOFI[32]. (a) Emitter distribution in the object plane; (b) magnified detail of the dotted box in Fig. (a); (c) time trajectory of each pixel; (d) second-order correlation function is calculated from the fluctuations for each pixel; (e) result of integrating the second-order correlation function per pixel

下载图片 查看所有图片

在以上基础上,2010年,Dertinger等33-34进一步优化了波动超分辨显微成像的算法,通过使用时空互积累量的方法消除了波动超分辨显微成像对相机像素尺寸的限制,即不再要求像素尺寸小于系统的光学衍射极限。结合使用重新加权光传递函数,可以使空间分辨率的增强与累积量阶数呈线性关系,这意味着n阶累积量即可实现n倍的分辨率增强。

具有荧光闪烁的标记物是实现波动成像的基本要求,常见的标记物有量子点、可切换染料、荧光蛋白及DNA-PAINT标记技术。量子点凭借其高荧光量子产率、较强的抗光损伤能力(与荧光染料相比)和高吸收横截面等优势在生物显微成像中得以广泛使用35。此外,也可以通过改变其尺寸、形状和组成成分来调整量子点的光谱,结合量子点的宽带吸收特性,使它们在多色成像中具有很高的吸引力36。北京大学席鹏团队通过用联合标记的方法[Joint-Tagging,如图7(a)所示],将具有不同发射光谱的量子点联合标记到COS7细胞中的微管蛋白上37,结合光谱分离技术减少了波动超分辨成像所需的帧数,降低了每个光谱通道中的标记密度,可以重建具有良好完整性和连续性的超分辨率图像,在普通宽场显微镜上通过3 s积分实现了获得85 nm超高时空分辨率成像,如图7(b)所示。2020年,洛桑联邦理工学院的Grußmayer等38通过计算Alexa488、Atto565和Alexa647三种染料的交叉累积量,生成额外的虚拟信道,实现了仅使用两个物理采集通道即可进行三色成像的效果,结果如图7(c)所示。最近出现了一类新的荧光染料,称为自闪烁染料,虽然其闪烁来自分子内螺旋环化反应,但仍然受到微环境的影响39。Grußmayer等40证明自闪烁染料在标准缓冲液中的开态占比也非常适用于波动超分辨显微成像。另一方面,通过基因配对等技术可以将荧光蛋白标记在细胞器中,由于这种标记对化学环境不敏感,因此在生物成像中更为适用。2012年,约翰霍普金斯大学的Dedecker等41的研究表明,通过使用绿色和红色可切换荧光蛋白,能够实现双色或光致变色的波动超分辨显微成像,即pcSOFI(photochromic stochastic Optical Fluctuation Imaging),如图7(d)所示。然而,有机染料和荧光蛋白应用于波动超分辨显微成像时,受到其固有光漂白敏感性的限制,具有较大的局限性。DNA-PAINT主要依赖于荧光团标记中短DNA寡核苷酸附着和分离到特定的结合位点,附着和分离过程具有天然的波动性;此外,使用互补DNA结构的靶标还可对特异性抗体进行标记。通过不断地从缓冲液中补充DNA-PAINT荧光探针,可以免疫光漂白的影响30。在波动超分辨显微成像中选用DNA-PAINT进行标记,在采集很多帧的情况下,仍只需较短的采集时间,提高了采集速度,减少了光漂白42。为了从根本上消除荧光团必须拥有随机闪烁这一条件的限制,使得任意荧光团均适用于波动超分辨成像,2015年Kim等43提出了一种利用散斑模式照明来产生诱导的光学涨落的新方法,该方法并不依赖于发色团自身的闪烁特性,因此使用更为简便。而且相较于常规宽场显微镜,该方法也可以将分辨率提升1.6倍。

图 7. 不同荧光标记物的波动超分辨成像图。(a)联合标记波动超分辨显微成像示意图37;(b)超分辨波动光学成像的横截面示意图37;(c)多色波动超分辨显微成像的光谱交叉累积分析,以及线性分解模拟的工作流程38;(d)(e)用Lyn-Dronpa(绿色)和Kras-rs TagRFP(红色)标记的HeLa细胞共聚焦荧光成像和光致变色波动超分辨成像图41(比例尺:10 μm)

Fig. 7. SOFI images with different fluorescent labels. (a) Schematic diagram of joint labeled wave super-resolution microscopy imaging[37]; (b) schematic cross-section of the joint-tagging SOFI imaging[37]; (c) workflow of multicolor SOFI imaging by spectral cross-cumulant analysis followed by linear unmixing using simulations[38]; (d) conventional and (e) pcSOFI image of HeLa cell labeled with Lyn-Dronpa (green) and Kras-rsTagRFP (red), respectively[41] (scale: 10 μm)

下载图片 查看所有图片

3.2 波动超分辨显微成像的研究进展

尽管从波动超分辨的理论角度出发,通过更高阶的累积量,可以重构出具有更高空间分辨率的超分辨图像;然而在实验中,累积量阶数的增加会使超分辨图像产生伪影,进而使得图像失真,因此实际的空间分辨率提升效果受到了一定的限制。一种解决方案是使用局部动态范围压缩,即以局部的方式将高阶波动超分辨图像像素强度的动态范围,压缩到低分辨率参考图像的动态范围(例如,压缩到2阶波动超分辨图像的动态范围)44。为此,可以定义一个小的移动窗口,并将窗口内的像素强度重新调整到参考图像中相同区域的强度范围;窗口在视场上移动,由所有重新缩放的窗口平均值形成具有压缩动态范围的输出图像,具体计算流程如图8(a)所示。另一种解决方案被称为平衡波动超分辨显微成像,即bSOFI(balanced Super-resolution Optical Fluctuation Imaging)45,其实现方式是将波动超分辨显微成像的不同阶累积量组成一个方程组,通过求解发色团亮度、密度和开态比率,重建出具有线性亮度响应的超分辨显微成像,计算流程如图8(b)所示。此外,平衡波动超分辨成像还可以提取参数的定量图,如样品内的分子状态寿命、浓度和亮度分布。

图 8. 解决高阶波动超分辨成像伪影的算法流程图。(a)局部动态范围压缩算法流程图44;(b)平衡波动超分辨荧光成像算法流程图45

Fig. 8. Flowchart of algorithm to solve artifacts in the high-order SOFI. (a) Flowchart of local dynamic range compression algorithm[44]; (b) flowchart to illustrate the different steps of the bSOFI algorithm[45]

下载图片 查看所有图片

低阶自相关累积量在任何编程语言中都很容易实现,然而高阶累积量,特别是交叉累积量的计算,大大增加了计算中所包含的像素组合和时间延迟组合的数量,为波动超分辨成像的重建带来了一定的困难,因此需要使用高效的专用库编写特定的代码。为此,2012年,鲁汶大学的Dedecker教授和同事创建了超分辨率显微图像分析包——定位器,其框架和流程如图9(a)46所示。该定位器可以实现固有的几种超分辨率荧光成像的数据计算和处理,如单分子定位显微成像(PALM/STORM)和波动超分辨显微成像成像(SOFI/pcSOFI)。定位器作为稳定、精确的超分辨显微成像工具,目前已经被各个实验室用于特定分析及开发超分辨显微成像的新应用。另一方面,慕尼黑工业大学的Leutenegger教授团队则开发了用于二维和三维波动超分辨显微成像分析的MATLAB工具箱,以提高平衡波动超分辨显微成像的应用效果,该工具箱允许使用三阶和四阶累积量来重建图像。如前所述,光学波动超分辨成像主要是通过对随机闪烁事件的计算分析来获得超分辨效果,这种对计算分析的强烈依赖,导致使用者很难判断计算结果的准确性。为此需要开发波动超分辨显微成像评估器,通过计算一组描述数据质量的指标来分析原始图像,比如波动超分辨显微成像的信噪比和漂白的程度47。该评估器还可用于定量比较不同荧光团和图像采集的参数,以便为给定实验选择最佳的成像条件。为了预测不同成像条件对实验结果的影响,2016年,洛桑联邦理工学院Lasser团队48开发了一种仿真工具来测试不同因素对超分辨重建结果的影响。该工具主要包括模拟不同阶的波动超分辨显微成像的交叉累积量,以及平衡波动超分辨显微成像的效果。此外,该工具还可以生成模拟图像堆栈,用于对比波动超分辨显微成像和随机光学重构等超分辨显微成像的差异34,如图9(b)所示。

图 9. 波动超分辨成像数据分析的流程图以及波动超分辨成像技术与其他成像技术的对比。(a)超分辨定位器或者超分辨波动显微成像数据分析的一般流程46;(b)单个发色团的空间分布以及这些发色团的宽场成像、平衡超分辨波动显微成像和随机光学重构超分辨成像的比较48;(c)商业量子点QD625的共聚焦荧光显微成像、图像扫描显微成像,以及2阶和4阶超分辨光学波动图像扫描显微成像的对比51

Fig. 9. Flowchart of the analysis of SOFI data and the contrast between SOFI and other imaging techniques. (a) Schematic overview of a super-resolution localization or SOFI analysis[46]; (b) comparison of the spatial distribution of individual chromophores and their wide field imaging, balanced super-resolution wave microscopy imaging, and random optical reconstruction super-resolution imaging[48]; (c) comparison of confocal fluorescence microscopy, image scanning microscopy, and second-order and fourth-order super-resolution optical wave image scanning microscopy for commercial quantum dot QD625[51]

下载图片 查看所有图片

虽然波动超分辨显微成像具有易使用、低背景和高信噪比等优势,但由于其主要使用宽场显微技术,因此难以消除离焦平面信号的影响,导致最终z轴切片效果差且信噪比低,难以对厚度超过几微米的样品进行成像。将波动超分辨显微成像与其他显微成像技术相结合,恰恰可以克服该缺点。比如将波动超分辨显微成像与全内反射显微成像、共聚焦显微成像、光片荧光显微成像结合,可提供光学切片,实现对厚样品的超分辨成像。比如,与全内反射显微成像相结合时,有限深度的倏波照明提供了光学切片,同时降低了光毒性49。然而,这种方法只能对倏逝波界面很薄的细胞样品(百纳米量级)进行成像,另一种适用于厚样品的光学切片的方法是光片荧光显微成像。2020年,冷泉港实验室的Mizrachi教授团队50结合了切片荧光显微镜和超分辨光学波动成像,在原生三维组织的大视场上实现了快速纳米级的超分辨成像;并且通过这种方法获得了小鼠大脑厚切片的超分辨图像。尽管光片荧光显微镜成像能够在样品的任何深度进行成像,但该技术会受散射的限制。为了通过光学切片方法,获取厚样品良好的成像效果,还可以将变形图像扫描显微技术(即ISM)与波动超分辨显微成像技术相结合,形成超分辨光学波动图像扫描显微成像,即SOFISM(Super-resolution Optical Fluctuation Image Scanning Microscopy)51,此时共焦针孔被包含几十个像素的探测器阵列所替换,相比图像扫描显微成像技术,该技术的分辨率得到了4倍的提升,同时z切片成像效果也得到了改善,如图9(c)所示。

相比于其他显微技术,波动超分辨显微成像可以将图像扫描显微成像和结构光照明显微成像的横向分辨率提高2倍,与非线性结构光照明显微技术52的空间分辨率相当。相比于受激发射损耗显微成像和单分子定位显微成像等技术,虽然波动超分辨显微成像未能达到其优越的分辨能力,但在时间分辨率上有一定的优势,更适用于动态过程和实时样本成像。相比于结构光照明成像和受激辐射损耗显微成像,波动超分辨显微成像装置更加简单。除了分辨率的提升,波动超分辨成像还可以作为荧光生物传感器,通过将荧光团附着在两个分子上来检测两个分子之间距离的变化,如键的结合或裂解53

4 反聚束超分辨荧光显微成像

传统的光学显微成像技术会受到经典光场自身性质的限制:经典光场中光量子随机涨落产生的散粒噪声,会限制成像的灵敏度、分辨率和成像速率。量子光学理论和技术的快速发展已经被证明可以显著提高干涉测量的分辨率,而且具有增强成像灵敏度的效果,因此也为超分辨率显微成像提供了一些新的手段54-55。一种方案是直接将激发光由传统激光光源转换为量子光源(例如纠缠光)。当使用一束具有动量纠缠特性的光束探测物体时,通过符合计数测量就可以获得高分辨率的图像56-57。此方案利用了照明光的量子特性,需要非经典光源或者可产生非经典光的量子发射器。然而,非经典光源的产生需要通过非线性过程产生,光学系统相对复杂,且产生光子速率低,目前还难以用于显微成像。另一方面,由于目前缺乏高效的量子发射器,尚未有利用荧光标记物产生纠缠光实现超分辨成像的报道;但随着量子光学的快速发展,有望在不久的将来实现基于纠缠光的超分辨显微成像。另一种较为成熟的方法是:将待成像的细胞或样品,使用具有高效多光子吸收的荧光发色团进行染色标记,通过多光子吸收及发射实现超分辨显微,其原理类似于拥有超分辨率效果的量子光刻技术,通过获取高频量子干涉图案,克服衍射极限以实现成像的超分辨效果58。然而,常规标记物多光子吸收效率低,需要极高的光子通量,限制了其使用场景。

从另一个角度,即量子光学的本质-光场分布和光子数统计性质的角度来看,当光场呈现亚泊松分布,光子数的量子涨落将被压缩,此时可以降低散粒噪声,进而突破衍射极限,实现超分辨显微成像59-60。该方案在实验上具有可操作性,这主要是因为单个荧光发色团的荧光光子是逐个、分离的辐射出来的,而不是集中“爆炸式”的辐射,因此单个荧光发色团的辐射过程普遍具有亚泊松分布。具体的实现方法是在探测荧光光子时进行HBT(Hanbury Brown-Twiss)检测,即通过分束器将荧光光子均分为2束,并通过两个独立的单光子探测器分别探测这两路荧光光子的时间序列,并进行关联计算,如图10(a)61所示。经典的HBT实验检测的是荧光光场的2阶强度关联,也可以通过增加单光子探测器的数量,将2阶关联拓展到n阶关联。n阶光子关联函数可表示为

图 10. 反聚束超分辨荧光成像的基本原理。(a)HBT测量的原理示意图61;(b)连续光激发下单个荧光发色团发射光子的反聚束现象62;(c)~(e)同一区域量子点的一阶、二阶和三阶反聚束荧光图像64

Fig. 10. Principle of super-resolution image based on anti-bunching effect. (a) Schematic diagram of the HBT measurement[61]; (b) anti-bunching signal of single molecule excited by continuous laser[62]; (c)-(e) first order, second order, and third order anti-bunching images of quantum dots in the same region[64]

下载图片 查看所有图片

gn=i=0n-1N^-iN^n

式中:N^是荧光发色团发射的平均光子数。对于单个荧光发色团,理想情况下将产生单光子辐射,在t=0时刻,其2阶强度关联g2(0)=0,如图10(b)所示,该效应被称为反聚束效应62。因此,通过这种量子关联计算所实现的超分辨显微成像,也被称为反聚束超分辨荧光显微成像技术。

2012年,以色列魏茨曼科学研究所Schwartz等63首次提出,通过检测单个激发脉冲后的荧光光子数分布Ax),可以在任意数量的激发周期内累积,进而实现超分辨成像。其中Ax)表示为

Ax=g20-1Nx2=QxNx

式中:Qx)为Mandel Q参数。可见,Ax)对应的有效点扩散函数可表示为

hAx=hx2

式中:hx)为有效点扩散函数。通过简单的数学转换可知,在傅里叶域中,hA跨越的空间频率间隔是h的2倍。换言之,反聚束显微成像的空间分辨率是经典成像的两倍,类似于双光子显微成像可实现分辨率2倍的提高(相对于其所用激光波长的分辨率)。反聚束信号由独立探测器光信号的自相关,或一对探测器中检测到的光子数Nx1)和Nx2)之间的互相关来确定。自相关所获得的2阶反聚束结果作为量化双光子符合事件的标准,其数越低则双光子事件越少。同样地,n阶反聚束结果量化了n光子符合事件,n阶反聚束信号对应的点扩散函数可表示为

hnx=hxn

与2阶类似,n阶反聚束可使三维成像的空间分辨率比经典光衍射极限下的成像要好n倍。基于该方案,该团队于2013年利用单量子点产生的具有反聚束特性的光子流,结合电子倍增相机探测进行成像,通过计算相邻像素间的光子关联特性,计算了2阶和3阶强度关联,在标准宽场荧光显微镜下实现了超越衍射极限的量子成像64,如图10(c)~(e)所示。

通过以上分析,我们可以发现反聚束超分辨荧光显微技术与荧光波动超分辨显微成像技术关系紧密。两者的相似之处是均在荧光显微镜的成像平面上检测光子,而主要区别是信号波动的来源:荧光波动超分辨成像技术分析发色团亮度波动所导致的超泊松光子统计,而反聚束超分辨显微技术分析的是量子发射器的荧光反聚束效应所导致的亚泊松统计。由此可以看出,荧光波动超分辨成像技术信号高度依赖于荧光发色团的辐射波动,而反聚束成像信号的统计特性来源于量子发射器的稳定辐射。

原则上具有单光子发射特性的荧光发色团都适用于反聚束荧光超分辨成像,比如金刚石NV色心。2013年,中国科学技术大学郭光灿团队提出了一种基于反聚束光子发射的量子测量方法65,在共聚焦系统中计算单光子和双光子信号,从中获得NV色心的荧光强度,实现了相距仅为(8.5±2.4)nm的两个NV色心的区分,如图11(a)、(b)所示。除了对相邻粒子进行成像外,这种量子测量方法还可以推广到测量和区分其他性质,比如自发辐射速率随泵浦光束的偏振而变化,该变化主要依赖于NV色心轴向的差异。在不同偏振泵浦光束下,通过探测NV色心辐射的单光子和双光子计数,提取每个NV色心随偏振角的发射强度变化,即可获得每个NV色心的轴向。2014年,意大利都灵大学Monticone等66在共聚焦系统中使用三个单光子探测器对NV色心进行成像,通过测量各成像位置上光子到达时间的2阶和3阶自关联函数,从而实现21/2倍和31/2倍分辨率的增强。2017年,以色列魏茨曼科学研究所Israel实验小组67使用多模光纤束和15个单光子探测器组成的具有单光子灵敏度和纳秒时间分辨率的单光子光纤束探测器,对同一时间不同位置量子点的光子信号进行处理,获得2阶关联函数,在单分子定位技术的协助下,可在每秒500光子数的情况下实现20 nm的定位精度,结果如图11(c)、(d)所示。

图 11. 反聚束超分辨荧光成像的效果。(a)在共聚焦系统中测量2阶反聚束实现超分辨成像的装置示意图65;(b)基于图(a)系统采集获得的NV色心的单双光子信号重建图像65;(c)用单光子光纤束相机测量高阶反聚束实现超分辨成像装置示意图67;(d)图(c)系统测量单个量子点的二维实验定位精度(实线)及理论预测精度(虚线)67;(e)基于结构光照明成像与纠缠显微镜实现结构光照明的量子关联显微成像的原理示意图68;(f)结构光照明的量子关联的显微成像结果,其中CM2指2阶关联显微成像68;(g)(h)在共聚焦显微系统和量子图像扫描显微系统中QD625量子点标记的微管细胞样本成像结果69

Fig. 11. Imaging results of super-resolution image based on anti-bunching effect. (a) Schematic diagram of a super-resolution imaging device for measuring second-order anti-bunching in a confocal system[65]; (b) reconstructed image according to the single and double photon signals of NVs collected from the system in a[65]; (c) schematic diagram of a super-resolution imaging device for measuring high-order anti-bunching with a single-photon fiber beam camera[67]; (d) two-dimensional localization accuracy measured for a single QD (solid blue) and theoretical accuracy by using the system in c[67]; (e) schematic of SIQCM by combining SIM and quantum correlation microscopy[68]; (f) simulation results illustrated the resolution of SIQCM[68]; (g) (h) imaging results of QD625-labeled microtubule cell samples in confocal microscopy and Q-ISM[69]

下载图片 查看所有图片

反聚束超分辨技术也可以和其他超分辨技术进行结合,以进一步提高超分辨成像的性能。2017年,德国埃尔朗根-纽伦堡大学的Classen等68将反聚束超分辨显微技术与结构光照明显微成像技术相结合后,在m阶自关联条件下,可以实现分辨率m+m1/2倍的提升,他们称该技术为结构光照明的量子关联显微成像,即SIQCM(Structured Illumination Quantum Correlation Microscopy),成像原理与结果如图11(e)、(f)所示。2018年,德国多特蒙德工业大学的Aßmann小组52将该技术与随机光学重建显微技术相结合,不仅能够将定位精度提升到30 nm左右,同时还可以在发射器密度高达125 μm-1情况下实现超分辨成像。单光子探测技术的持续和快速改进使超分辨显微技术的时间灵敏度和成像分辨率均有提升,2019年以色列魏茨曼科学研究所Oron小组通过将反聚束超分辨显微技术与图像扫描显微技术相结合,提出了一种量子图像扫描显微成像技术69,即Q-ISM(Quantum Image Scanning Microscopy),其成像分辨率可达光学衍射极限的1/4,该方案获得的超分辨光学图像如图11(g)、(h)所示。

除了荧光的反聚束效应可用于实现超分辨成像外,合理利用光的其他量子特性也使发展新的超分辨率荧光成像技术成为可能。2022年中国科学院上海高等研究院的王中阳课题组70从荧光分子的发光机制出发,获取并分析了荧光染料通用的单光子波函数及其在显微系统中随时间和空间的变化行为,计算了双光子干涉的探测概率,构建了荧光量子相干统计模型。在此模型基础上,提出了一种基于荧光量子相干特性的超分辨荧光显微成像方法,利用具有时间相关单光子计数技术的单光子雪崩探测器阵列进行荧光相干性的时空光子统计,从确定的相干性可以得到超衍射极限的空间分辨率。仿真结果表明,当探测到的光子速率达到104 Hz时,分辨率可以达到50 nm。通过充分利用发射光子的量子时空波动和量子相干性,即使在荧光信号仅为103 Hz情况下,该方法仍可突破经典光源的衍射极限。

5 基于深度学习的荧光超分辨显微成像

荧光超分辨显微成像的重要目标是突破光学衍射极限,提升空间分辨能力,然而在实际应用中空间分辨率并不是唯一的性能指标,时间分辨率、成像速度、成像视场、光毒性和光漂白等指标也十分重要。这些指标在超分辨显微技术中相互限制,难以同时优化,例如在提高成像速度时必然会减少曝光时间,降低信噪比从而影响空间分辨率。这使得显微成像在亚细胞结构观测、活体生物超精密成像和分子结构研究领域的应用受到了极大阻碍。数据驱动的深度学习为提高超分辨显微技术的性能提供了一种变革性的解决方案,利用深度学习等方法对原始数据进行重建,以提高空间分辨率,不仅可以避免构建复杂的光学成像系统,而且能够在空间分辨率和时间分辨率等参数上取得良好的协同。因此,本节将重点介绍深度学习在超分辨显微图像计算重建中的基本概念和研究进展。

5.1 深度学习的基本概念和架构

自从20世纪50年代各种人工智能(AI)的概念被相继提出以来,机器学习(ML)作为人工智能的一部分,在过去几十年里取得了显著的进步,对许多应用领域进行了革命性的变革。如图12(a)所示,神经网络(NN)是机器学习的子领域,随着机器学习的蓬勃发展,神经网络向越来越深的神经网络架构发展,其学习能力得到改进,即如今所谓的深度学习(DL)71-72。学习是指模型通过对训练数据进行处理并不断更新模型参数的过程,从而使模型具备解决特定问题的能力。深度学习由多个层次的神经网络组成,每一层都可以视为一个抽象的特征提取器:在输入层,数据以向量的形式输入网络;在隐藏层(位于输入层和输出层之间的层),通过多层的特征转换,从原始数据提取出更高层次、更抽象的特征;在输出层,模型根据特征预测目标结果。相比于需要从原始数据中手动构建特征的机器学习,深度学习通过分层的结构自动化地学习数据中的高级抽象特征,这使得深度学习具有更强的数据驱动能力,从而提高分类、识别和预测的准确性。目前较为常用的深度学习架构有卷积神经网络(CNN)、生成对抗神经网络和U-Net神经网络。卷积神经网络72-73最初被用于处理图像分类任务,由卷积层(Convolutional Layer)、池化层(Pooling Layer)、全连接层(Fully Connected Layer)组成,图12(b)为卷积神经网络的结构图。其中,卷积层通过卷积核对图像进行卷积操作以提取图像中的不同特征。池化层有再次提取特征的作用,同时也能缓解过拟合的问题,池化层会将卷积层输出的特征图中的每个矩阵都进行降采样,选取最有代表性的特征,从而对特征降维以减少整个网络的参数和计算量。最后全连接层会把提取的特征图连接起来,根据不同任务输出最后的结果。2014年,加拿大蒙特利尔大学的Goodfellow等74-75提出了生成对抗网络(GAN),结构图如图12(c)所示。生成对抗网络由生成器(Generator)和判别器(Discriminator)两个模块组成,生成器的目的是生成与训练数据相似的样本,而判别器的目的是判断一个样本是来自于生成器生成的假样本,还是训练数据中的真实样本。生成器试图生成更逼真的样本以逃避判别器的识别,而判别器则试图通过学习更加敏锐的识别能力,来识别生成器生成的样本。通过这种方式,生成对抗网络可以在生成样本和识别样本的对抗博弈中不断提高网络的性能。一般情况下认为该网络是一种无监督的深度学习方法,因为在训练过程中,GAN的生成器和鉴别器都不需要对数据进行标注。但在某些应用场景下,如在图像生成任务中,可以将生成对抗网络的生成器看作是一个将低分辨率图像转换为高分辨率图像的映射函数。在这种情况下,可以使用带有高分辨率图像和低分辨率图像的有标注数据集来训练生成对抗网络的生成器,从而提高生成器的生成质量,也可以看作是一种有监督学习方法。另一方面,2015年,德国弗莱堡大学的Ronneberger等76提出了一种基于全卷积神经网络的(FCNN)的图像分割网络U-Net,结构如图12(d)所示。U-Net的主要特点是采用U型结构和跳跃连接,在下采样阶段通过卷积操作对图像进行特征提取,再在上采样阶段将特征图的分辨率恢复为原始尺寸。跳跃连接将上采样路径和下采样路径对应的特征图进行逐像素的拼接,以保留下采样路径学到的全局特征和上采样路径学到的局部特征,从而提高图像分割的精度。U-Net的结构简单易于实现,在医学图像分割、遥感图像分割等应用领域中取得了良好的效果。

图 12. 神经网络架构发展。(a)人工智能的分类72;(b)卷积神经网络的基本架构,包括一个输入层、多个交替卷积层和最大池化层、一个全连接层和一个分类层72;(c)生成对抗网络的基本架构75;(d)U-Net网络的基本架构76

Fig. 12. Development of neural network architecture. (a) Taxonomy of AI[72]; (b) overall architecture of the CNN includes an input layer, multiple alternating convolution, and max-pooling layers, one fully-connected layer, and one classification layer[72]; (c) GAN model frame diagram[75]; (d) U-net architecture[76]

下载图片 查看所有图片

5.2 基于深度学习的荧光超分辨显微成像研究进展

根据以上论述可知,基于深度学习的图像处理方法不仅可以提高显微成像的空间分辨率,而且可以提高成像的时间分辨率。因此我们将分别从空间分辨率和时间分辨率两个角度介绍基于深度学习荧光超分辨显微成像的最新进展。

传统光学显微镜的成像能力通常受到像素数量的限制,即使使用不同的放大倍率和数值孔径的物镜,其图像的分辨率也难以大幅提高。这就导致了在追求高分辨率的同时,需要在视场范围上做出取舍。然而,生物医学成像领域往往需要实现大视场的高分辨率成像。2017年,美国加州大学洛杉矶分校的Ozcan课题组77首次将卷积神经网络引入宽场显微成像领域,训练后的网络能够显著提高在大视场、大景深下所获图像的空间分辨率。这一突破标志着深度学习技术与显微成像的完美结合,开启了全新的超分辨显微成像时代。2019年,该课题组又基于生成对抗网络实现了显微图像跨模态的转换,利用生成对抗网络提高低数值孔径物镜获取的宽视场图像分辨率,与高数值孔径物镜获得的分辨率相匹配,结果如图13(a)所示。基于深度学习计算重构,使常规的共聚焦显微成像达到了受激辐射损耗超分辨成像的分辨率。Ozcan等78还证明了通过深度学习可以将常规的全内反射荧光显微成像分辨率,提升到全内反射荧光显微与结构光超分辨成像相结合的效果,如图13(b)所示。2018年,华中科技大学费鹏课题组79将生成对抗网络应用于宽场显微成像和光片显微成像,提出了无配准的生成对抗显微模型,获得了大视场(约为95 mm2)下的高分辨率(约为1.7 μm)显微成像效果,如图13(c)所示。文中使用退化模型直接对高分辨率图像进行处理,获得了训练所需的低分辨率数据集,取代了图像配准过程,提高了训练数据集的质量。

图 13. 基于深度学习荧光超分辨显微成像的最新进展。(a)通过深度学习对牛肺动脉内皮细胞宽场图像的重建结果78;(b)基于深度学习的全内反射荧光显微效果,及其与基于全内反射的结构光超分辨显微成像的对比,所用细胞是SUM15978;(c)利用生成对抗网络提高成像分辨率的效果79;(d)基于无监督的内容保留变换显微成像可将宽场图像转换为超分辨图像,从而能够从宽场图像中分辨亚衍射结构,如微管和分泌颗粒80;(e)对121组肌动蛋白图像分别使用scU-net、DFCAN和DFGAN网络重建后在归一化均方根误差、多尺度结构相似性指数和分辨率的统计比较,其中黑色的十字为异常值82

Fig. 13. Latest progress in fluorescence super-resolution microscopy imaging based on deep learning. (a) Reconstruction results of wide-field images of bovine pulmonary artery endothelial cells through deep learning[78]; (b) total internal reflection fluorescence microscopic effect based on depth learning, and its comparison with structured light super-resolution microscopic imaging based on total internal reflection, the cell used is SUM159[78]; (c) resolution characterization of GAN net [79]; (d) based on unsupervised content retention transformation, microscopic imaging can convert wide-field images into super-resolution images, enabling the resolution of sub diffractive structures such as microtubules and secretory particles from the wide-field images[80]; (e) statistical comparison of normalized root mean square error, multi-scale structure similarity index, and resolution of 121 groups of actin images reconstructed by scU-net, DFCAN, and DFGAN networks respectively, black cross is the outlier[82]

下载图片 查看所有图片

鉴于监督学习方法依赖于注释数据集,而手工注释耗时且容易出错,2021年,清华大学的戴琼海课题组80提出了无监督的内容保留变换模型,即UTOM(Unsupervised content-preserving Transformation for Optical Microscopy),消除了对配对训练数据集的依赖,能够在无需配对训练数据集的情况下学习两个图像域之间的转换,结果如图13(d)所示,通过定量评估证明了该模型与一些最先进的监督学习方法的性能相当。信噪比是荧光显微图像的一个重要指标,荧光成像需要采集样品自身发出的荧光信号,所以采集的图像信噪比较低。根据低信噪比的原始图像重建超分辨图像会导致重建结果存在伪影,因此,近期有相关研究利用深度学习模型来降低噪声干扰,减少伪影,提高重建质量。2020年,美国北卡罗来纳大学的Jin等81通过跳层连接两个U-Net构建了scU-Net模型,能够从低荧光强度的结构光照明显微成像的原始图像中重建出高分辨率图像,相比传统的重建算法具有更高的分辨率。清华大学的乔畅等82提出了深度傅里叶通道注意力网络,即DFCAN(Deep Fourier Channel Attention Network),在结构光照明显微成像获得的低信噪比原始图像的基础上重建图像,所获得的图像与真实图像相当接近。对100多组肌动蛋白数据进行统计分析,结果表明:所提出的模型在归一化均方根误差(NRMSE)、多尺度结构相似性指数(MS-SSIM)和分辨率这三个定量评估指标方面均显著优于scU-Net,如图13(e)所示。

受到成像原理的限制,使用超分辨显微技术获得超分辨图像往往需要大量的高质量原始数据,成像速度缓慢,这严重阻碍了超分辨显微技术在活细胞成像中的广泛应用。下面对目前使用深度学习方法提高超分辨显微成像时间分辨率的相关研究进行简要介绍。以结构光照明成像为例,当使用多个不同相位的结构光图案照明样品时,每个相位下的条纹形状和间距都不同,从而提供了更多的高频信息。因此,为了获取超分辨图像,结构光照明显微成像需要获取多张具有不同相位的原始帧,导致成像速度慢,不适用于长期的活细胞成像。2020年,深圳大学的Ling等83基于深度学习实现了快速结构光照明超分辨成像,他们在工作中使用由3张原始图像重建获得的单方向超分辨图像(原文中称其为1d_SIM),和由9张原始图像根据传统结构光照明显微成像重建算法获得的超分辨图像(原文中称其为9_SIM)作为训练数据集,训练后的循环生成对抗网络获得了光谱各个方向的高频信息之间的相关性,从而能够通过单向相移得到单方向超分辨图像的重建结果,与使用9张原始图像获得的超分辨重建结果具有相当的空间分辨率(原文中称其为3_SIM),结果如图14(a)~(d)所示,所需的原始图像帧数减少至原来的1/3。同年,美国北卡罗来纳大学的Jin等81进一步将超分辨结构光照明显微成像所需的原始图像帧数减少至原来的1/5,提高了结构光照明显微成像的时间分辨率。文中使用3张原始结构光照明显微图像与相应的15张传统算法重建的结果作为配对数据训练得到U-Net-SIM3网络,使用该模型对微管、粘附、线粒体和肌动蛋白微丝图像进行重建,从定量指标上可见:重建结果与使用15张原始结构光照明显微图像和15张传统算法重建的结果作为配对数据训练所得的网络(U-Net-SIM15)恢复出的分辨率相当,如图14(e)~(h)所示。2021年,清华大学的乔畅等提出了通道注意力生成对抗网络,能够将所需的原始图像帧数减少至原来的1/7.5,进行三维结构光照明显微图像的重建,而不会明显降低重建质量。2022年,深圳大学的田劲东小组使用1帧结构光照明图像即可获得重建后的超分辨图像84。利用5个生成对抗网络,根据垂直方向的原始图像生成其他5个特定的原始图像,再将6帧图像输入基于U-Net改进的模型DU-Net中,最后重建出超分辨图像。

图 14. 使用深度学习方法将线数据集中的图像从1d_SIM转换为9_SIM83。(a)宽场图像;(b)1d_SIM图像为网络输入;(c)3_SIM图像为网络输出;(d)9_SIM图像为真实图像。基于U-Net网络对微管成像的重构效果81。(e)15个SIM原始数据图像的平均投影;(f)传统结构光照明显微成像的重建算法的重建结果;(g)U-Net-SIM15网络的输出效果;(h)U-Net-SIM3网络的输出效果。ANNA-PALM重建免疫染色微管显微图像的结果对比85。(i)宽场图像;(j)从采集的前9 s获得的稀疏PALM图像(k=300 frame,n=11740个定位);(k)通过15 min的采集获得的密集PALM图像(K=30000 frame,N=409364个定位);(l)仅从宽场图像(i)重建的结果;(m)仅从稀疏的PALM图(j)重建的结果;(n)从宽场图(i)和稀疏PALM图(j)的组合中重建的结果(比例尺:1 μm)。COS-7细胞的双色sSMLM图像86。(o)3000 frame的低密度图像;(p)深度卷积神经网络的重建结果;(q)19997 frame的高密度图像(像素大小为16 nm,比例尺为1.5 μm)

Fig. 14. Deep learning-enabled transformation of images of curves from 1d_SIM to 9_SIM[83]. (a) WF curve image; (b) 1d_SIM image is network input; (c) 3_SIM image is network output; (d) 9_SIM image is real images. Reconstruction effect of microtubule imaging based on U-Net network[81]. (e) Average projection of 15 SIM raw data images; (f) reconstruction results of reconstruction algorithm of traditional structured light illumination microscopic imaging; (g) output effect of U-Net-SIM15 network; (h) output effect of U-Net-SIM3 network. Comparison of results of ANNA-PALM reconstruction of immunostaining microtubule microscopy images[85]. (i) Widefield image; (j) sparse PALM image obtained from the first 9 s of acquisition (k=300 frame, n=11740 localizations); (k) dense PALM image obtained from a 15 min-long acquisition (K=30000 frame, N=409364 localizations); (l) ANNA-PALM reconstruction from the widefield Fig. (i) only; (m) ANNA-PALM reconstruction from the sparse PALM Fig. (j) only; (n) ANNA-PALM reconstruction from the widefield Fig. (i) and sparse PALM Fig. (j) combined (scale: 1 µm). Two-color sSMLM images in COS-7 cell[86]. (o) Low-density image with 3000 frame; (p) deep CNN reconstruction; (q) high-density image with 19997 frame (pixel size:16 nm. scale: 1.5 µm)

下载图片 查看所有图片

单分子定位显微成像包括随机光学重建显微成像和光激活定位显微成像,已突破传统光学荧光显微成像的分辨率。该技术首先获取大量连续衍射极限帧,利用每帧中对样品的稀疏荧光团成像,然后精确定位单个荧光团的位置,最后,组合这些帧的所有定位位置以生成超分辨率图像,这导致了较长的采集时间。2018年,法国巴黎巴斯德研究所的Ouyang等85提出了人工神经网络加速的光激活定位显微成像,即ANNA-PALM(Artificial Neural Network Accelerated PALM),其目标是从远小于标准光激发定位显微镜采集(具有K帧和N个定位点)的原始帧数(kK)中重建出超分辨图像,其具有与使用标准光激发定位显微成像方法获得的超分辨图像几乎相同的精细结构。该方法不改变定位点的平均密度ρ,也就是说,从远少于总定位点数量的原始帧中(n=ρkρK=N)重建图像。文章使用pix2pix模型从稀疏原始图像中重建出超分辨图像,所需的原始帧数要比通常所需的帧数少两个数量级,大幅缩短了采集图像的时间,可实现更快的活细胞超分辨成像,成像结果如图14(i)~(n)所示。2020年,美国纽约州立大学布法罗分校的Gaire等86提出了一种加速多色光谱单分子定位显微成像,即sSMLM(Spectroscopic single-molecule localization microscopy),使用深度卷积神经网络从低密度、受污染的多色图像中重建高密度的多色超分辨图像,所需使用原始图像帧数减少为原来的1/8,如图14(o)~(q)所示,采集图像时间显著减少,而不会影响空间分辨率。2021年,德国图宾根大学的Speiser等87提出了一种单分子定位新方法,可以在发光样品分子局部重叠的情况下实现单分子定位,大幅提高了荧光基团检测和定位精度,与单个荧光发色团标记的成像技术相比,成像速度提高了10倍。

基于深度学习的超分辨显微技术的出现,丰富了现有的显微成像技术,表1总结了目前大部分代表性的基于深度学习的超分辨显微成像技术。大数据量的训练突破了传统超分辨显微成像所能够达到的功能和性能的边界,但其也存在局限性。例如,制作大量的训练数据集需要高昂的时间和经济成本,相较于自然超分辨成像领域,在荧光超分辨显微成像领域公开数据集较少。其次,使用深度学习的方法预测往往会存在伪影问题,一般的缓解策略是额外增加一致性损失,但并不能完全消除伪影。此外,深度网络模型目前不能很好地推广至不同显微系统或成像条件下获得的数据上,泛化能力有待进一步提高。最后,深度学习在原理上理解仍存在很多“黑匣子”,缺乏严谨的理论基础。深度学习作为超分辨显微成像技术的一种辅助手段,为超分辨显微技术发展提供了新思路,尽管目前已经取得了一些成果,但未来仍需面对很多挑战,还有很长一段路要走。

表 1. 深度学习超分辨率成像的参数

Table 1. Parameters of the deep-learning super-resolution imaging

Network architectureImaging modalityTraining dataLoss functionMetricRef.
GANWidefield,confocal,TIRF,STEDExperimentalMSE,SSIMFWHM78
CNNWidefieldExperimentalMSESSIM79
U-NetSIMExperimentalPixel-wise lossPSNR,NRMSE,SSIM81
GANSIMExperimentalMSE,SSIMNRMSE,MS-SSIM,resolution82
CNNSTORMExperimental/simulatedFidelity term,L1 regularizationNMSE88
U-NetSIM,point-scan confocal,SimulatedMSEPSNR,SSIM,FRC89
GANPALMExperimental/simulatedMS-SSIM,L1 lossMS-SSIM85
ResNetSpectroscopic SMLMExperimentalMSEFWHM,MS-SSIM86

查看所有表

6 结束语

毫无疑问,超分辨荧光显微成像技术的发展为生命科学带来了前所未有的发展,为生命起源、重大疾病诊断、健康长寿解密等人们重点关注的问题带来了新的解决方案。目前有众多科研工作者及相关从业人员都集中在该领域,以期发展出具有更高空间分辨率和时间分辨率的超分辨显微技术,并努力降低相关仪器设备的使用门槛,使更多感兴趣者能够方便使用超分辨显微技术开展相关研究。因此,近年来超分辨荧光显微技术发展日新月异,受限于文章篇幅及作者的研究视野与写作能力,仅对该领域近期的部分研究成果进行了简单的说明,以期给该领域的研究人员提供一些参考。

本文主要对4种超分辨技术或方法的研究情况进行了简要说明,包括最低光子数超分辨荧光显微成像、波动超分辨荧光显微成像、基于荧光发色团反聚束效应的超分辨显微成像以及基于深度学习的超分辨显微成像方法。本文分别从这些超分辨荧光显微技术的基本原理、实验实现方法及相关要求、成像性能及其与相关技术的对比,以及与其他超分辨技术的结合等角度,对近期的研究进展和应用情况进行了说明。重点聚焦在最低光子数超分辨显微成像与基于深度学习的超分辨显微成像两方面,前者提出将发色团置于光场强度最低处,有效抑制了泊松噪声的影响,使超分辨成像对光子数的要求大大降低,不仅将荧光发色团的定位精度提高到单个发色团的物理尺寸(1 nm量级),而且大大提高了超分辨显微成像的时间分辨率,打破了超分辨显微成像空间分辨率与时间分辨率不可得兼的困境。因此该技术自被发明以来,得到了众多超分辨显微成像研究人员的青睐与关注,该技术也很快与其他超分辨显微技术相结合,比如双光子显微、结构光照明、图像扫描显微、受激辐射损耗等,使其空间分辨率、三维成像能力、成像视野等性能得到进一步提升。此外,也有很多科研工作者致力于研发最低光子数超分辨显微成像的设备,使其能够在常规的显微系统中实现超分辨成像效果,这极大了拓展了该技术的应用范围。而基于深度学习的超分辨显微成像技术则从计算重构的角度为超分辨显微提供了新的思路,特别是借助近年来人工智能领域的快速发展,大大加快了基于深度学习的超分辨显微成像技术的发展速度。该技术不需要构建复杂的超分辨成像系统,仅需要从数据挖掘的角度来思考和提升成像分辨能力,在一定程度上降低了超分辨成像的门槛。另一方面,波动超分辨荧光显微成像与反聚束超分辨显微成像都是利用光子的时空分布特性,其中波动超分辨利用的是荧光发色团在较长时间(ms量级)的闪烁特性,而反聚束超分辨利用的是荧光光子在较短时间(ns量级)的亚泊松分布特性。相比其他显微成像技术,波动超分辨显微成像对光束的操控以及光学系统的要求都比较低,便于使用,然而其缺陷也较为明显,即对空间分辨率的提升有限。而反聚束超分辨显微成像作为量子超分辨显微成像的代表,目前仍处于发展阶段,尚未展现出巨大的优势,但在不久的将来,随着量子科技的快速发展,量子超分辨显微成像很可能为超分辨荧光显微成像带来新的机遇。

对于超分辨荧光显微成像的未来,限于作者水平,我们很难给出定言,但很可能会在以下几方面取得新的发展。其一仍然是进一步提高超分辨显微成像的性能,包括空间分辨率、时间分辨率、成像视野、光毒性等。目前部分超分辨显微成像的空间分辨率已经达到了令人满意的程度,然而时间分辨率还有待进一步提高,以此来研究具有较快动力学行为的生理反应。未来可能要特别关注成像视野的问题:一个普遍的观点是成像分辨率和成像视野不可得兼,然而过小的成像视野会限制对很多关联体系之间相互作用的研究,不利于超分辨显微成像的实际应用。光毒性是活体超分辨成像必须关注的问题,特别是在未来将超分辨显微成像应用于临床医学中,降低激光功率是不可避免的要求。其二是发展更易使用的超分辨成像算法。尽管目前已经发展了很多超分辨显微成像技术,但无疑都要求对原始成像数据进行特定的处理,这些处理方法目前主要处于实验室阶段,还没有完全实现普及化和自动化,要求使用者具有相当的技术背景才能实现较好的成像效果,在一定程度上限制了超分辨显微成像的使用。另一方面,基于深度学习的超分辨显微成像技术缺乏泛化能力,难以处理不同方法和不同环境下获得的原始成像数据,这可能也是未来数据处理需要解决的问题。其三是推广超分辨荧光显微成像的实际应用。目前发展的诸多超分辨荧光显微成像技术主要还是应用在科研院所,需要由科研人员或受过相当训练的工作人员才能使用,极大限制了这些技术的应用范围。瓶颈主要体现在两方面:在硬件方面,超分辨荧光显微成像往往涉及较为复杂的光学系统,模块化和集成化可能是简化光学系统,降低使用门槛的重要手段;在软件方面,简化数据处理流程,减少操作步骤,设计客户友好的访问界面,可能是推广超分辨显微成像应用必须解决的问题。总而言之,在不久的将来,超分辨荧光显微成像很可能像目前常规的光学显微镜一样,进入到各个领域,为探索生命活动,揭示生命起源带来无穷的想象。

参考文献

[1] Lim C S, Kim E S, Kim J Y, et al. Measurement of the nucleus area and nucleus/cytoplasm and mitochondria/nucleus ratios in human colon tissues by dual-colour two-photon microscopy imaging[J]. Scientific Reports, 2015, 5(1): 1-11.

[2] Kampmann M, Atkinson C E, Mattheyses A L, et al. Mapping the orientation of nuclear pore proteins in living cells with polarized fluorescence microscopy[J]. Nature Structural & Molecular Biology, 2011, 18(6): 643-649.

[3] Okabe K, Inada N, Gota C, et al. Intracellular temperature mapping with a fluorescent polymeric thermometer and fluorescence lifetime imaging microscopy[J]. Nature Communications, 2012, 3(1): 1-9.

[4] Summers P A, Lewis B W, Gonzalez-Garcia J, et al. Visualising G-quadruplex DNA dynamics in live cells by fluorescence lifetime imaging microscopy[J]. Nature Communications, 2021, 12(1): 1-11.

[5] Schermelleh L, Ferrand A, Huser T, et al. Super-resolution microscopy demystified[J]. Nature Cell Biology, 2019, 21(1): 72-84.

[6] Abbe E. Beiträge zur theorie des mikroskops und der mikroskopischen wahrnehmung[J]. Archiv Für Mikroskopische Anatomie, 1873, 9(1): 413-418.

[7] Moerner W E, Kador L. Optical detection and spectroscopy of single molecules in a solid[J]. Physical Review Letters, 1989, 62(21): 2535-2538.

[8] Dickson R M, Cubitt A B, Tsien R Y, et al. On/off blinking and switching behaviour of single molecules of green fluorescent protein[J]. Nature, 1997, 388(6640): 355-358.

[9] Betzig E, Patterson G H, Sougrat R, et al. Imaging intracellular fluorescent proteins at nanometer resolution[J]. Science, 2006, 313(5793): 1642-1645.

[10] Rust M J, Bates M, Zhuang X W. Sub-diffraction-limit imaging by stochastic optical reconstruction microscopy (STORM)[J]. Nature Methods, 2006, 3(10): 793-796.

[11] Hell S W, Wichmann J. Breaking the diffraction resolution limit by stimulated emission: stimulated-emission-depletion fluorescence microscopy[J]. Optics Letters, 1994, 19(11): 780-782.

[12] Gustafsson M G. Surpassing the lateral resolution limit by a factor of two using structured illumination microscopy[J]. Journal of Microscopy, 2000, 198(2): 82-87.

[13] Sigal Y M, Zhou R B, Zhuang X W. Visualizing and discovering cellular structures with super-resolution microscopy[J]. Science, 2018, 361(6405): 880-887.

[14] Qiao C, Chen X Y, Zhang S W, et al. 3D structured illumination microscopy via channel attention generative adversarial network[J]. IEEE Journal of Selected Topics in Quantum Electronics, 2021, 27(4): 6801711.

[15] Vicidomini G, Bianchini P, Diaspro A. STED super-resolved microscopy[J]. Nature Methods, 2018, 15(3): 173-182.

[16] Balzarotti F, Eilers Y, Gwosch K C, et al. Nanometer resolution imaging and tracking of fluorescent molecules with minimal photon fluxes[J]. Science, 2017, 355(6325): 606-612.

[17] Xiao J, Ha T. Flipping nanoscopy on its head[J]. Science, 2017, 355(6325): 582-584.

[18] Eilers Y, Ta H S, Gwosch K C, et al. MINFLUX monitors rapid molecular jumps with superior spatiotemporal resolution[J]. Proceedings of the National Academy of Sciences of the United States of America, 2018, 115(24): 6117-6122.

[19] Gwosch K C, Pape J K, Balzarotti F, et al. MINFLUX nanoscopy delivers 3D multicolor nanometer resolution in cells[J]. Nature Methods, 2020, 17(2): 217-224.

[20] Pape J K, Stephan T, Balzarotti F, et al. Multicolor 3D MINFLUX nanoscopy of mitochondrial MICOS proteins[J]. Proceedings of the National Academy of Sciences of the United States of America, 2020, 117(34): 20607-20614.

[21] Masullo L A, Steiner F, Zähringer J, et al. Pulsed interleaved MINFLUX[J]. Nano Letters, 2021, 21(1): 840-846.

[22] Schmidt R, Weihs T, Wurm C A, et al. MINFLUX nanometer-scale 3D imaging and microsecond-range tracking on a common fluorescence microscope[J]. Nature Communications, 2021, 12(1): 1478.

[23] Masullo L A, Szalai A M, Lopez L F, et al. An alternative to MINFLUX that enables nanometer resolution in a confocal microscope[J]. Light: Science & Applications, 2022, 11(1): 1-9.

[24] Masullo L A, Stefani F D. Multiphoton single-molecule localization by sequential excitation with light minima[J]. Light: Science & Applications, 2022, 11(1): 1-4.

[25] Zhao K, Xu X Z, Ren W, et al. Two-photon MINFLUX with doubled localization precision[J]. eLight, 2022, 2(1): 1-10.

[26] Müller C B, Enderlein J. Image scanning microscopy[J]. Physical Review Letters, 2010, 104(19): 198101.

[27] SlendersE, VicidominiG. ISM-FLUX: single-step MINFLUX with an array detector[EB/OL]. (2022-09-12)[2023-01-05]. https://www.biorxiv.org/content/10.1101/2022.04.19.488747v2.

[28] Cnossen J, Hinsdale T, Thorsen R Ø, et al. Localization microscopy at doubled precision with patterned illumination[J]. Nature Methods, 2020, 17(1): 59-63.

[29] Weber M, Leutenegger M, Stoldt S, et al. MINSTED fluorescence localization and nanoscopy[J]. Nature Photonics, 2021, 15(5): 361-366.

[30] Schnitzbauer J, Strauss M T, Schlichthaerle T, et al. Super-resolution microscopy with DNA-PAINT[J]. Nature Protocols, 2017, 12(6): 1198-1228.

[31] Ostersehlt L M, Jans D C, Wittek A, et al. DNA-PAINT MINFLUX nanoscopy[J]. Nature Methods, 2022, 19(9): 1072-1075.

[32] Dertinger T, Colyer R, Iyer G, et al. Fast, background-free, 3D super-resolution optical fluctuation imaging (SOFI)[J]. Proceedings of the National Academy of Sciences of the United States of America, 2009, 106(52): 22287-22292.

[33] Dertinger T, Colyer R, Vogel R, et al. Achieving increased resolution and more pixels with superresolution optical fluctuation imaging (SOFI)[J]. Optics Express, 2010, 18(18): 18875-18885.

[34] Geissbuehler S, Dellagiacoma C, Lasser T. Comparison between sofi and storm[J]. Biomedical Optics Express, 2011, 2(3): 408-420.

[35] Michalet X, Pinaud F F, Bentolila L A, et al. Quantum dots for live cells, in vivo imaging, and diagnostics[J]. Science, 2005, 307(5709): 538-544.

[36] Murray C B, Kagan C R, Bawendi M G. Synthesis and characterization of monodisperse nanocrystals and close-packed nanocrystal assemblies[J]. Annual Review of Materials Science, 2000, 30(1): 545-610.

[37] Zeng Z P, Chen X Z, Wang H N, et al. Fast super-resolution imaging with ultra-high labeling density achieved by joint tagging super-resolution optical fluctuation imaging[J]. Scientific Reports, 2015, 5(1): 1-7.

[38] Grußmayer K S, Geissbuehler S, Descloux A, et al. Spectral cross-cumulants for multicolor super-resolved SOFI imaging[J]. Nature Communications, 2020, 11(1): 1-8.

[39] Uno S N, Kamiya M, Yoshihara T, et al. A spontaneously blinking fluorophore based on intramolecular spirocyclization for live-cell super-resolution imaging[J]. Nature Chemistry, 2014, 6(8): 681-689.

[40] Grußmayer K, Lukes T, Lasser T, et al. Self-blinking dyes unlock high-order and multiplane super-resolution optical fluctuation imaging[J]. ACS Nano, 2020, 14(7): 9156-9165.

[41] Dedecker P, Mo G C H, Dertinger T, et al. Widely accessible method for superresolution fluorescence imaging of living systems[J]. Proceedings of the National Academy of Sciences of the United States of America, 2012, 109(27): 10909-10914.

[42] Glogger M, Spahn C, Enderlein J, et al. Multi-color, bleaching-resistant super-resolution optical fluctuation imaging with oligonucleotide-based exchangeable fluorophores[J]. Angewandte Chemie, 2021, 60(12): 6310-6313.

[43] Kim M, Park C, Rodriguez C, et al. Superresolution imaging with optical fluctuation using speckle patterns illumination[J]. Scientific Reports, 2015, 5(1): 1-10.

[44] Yi X Y, Son S, Ando R, et al. Moments reconstruction and local dynamic range compression of high order superresolution optical fluctuation imaging[J]. Biomedical Optics Express, 2019, 10(5): 2430-2445.

[45] Geissbuehler S, Bocchio N L, Dellagiacoma C, et al. Mapping molecular statistics with balanced super-resolution optical fluctuation imaging (bSOFI)[J]. Optical Nanoscopy, 2012, 1(1): 1-7.

[46] Dedecker P, Duwé S, Neely R K, et al. Localizer: fast, accurate, open-source, and modular software package for superresolution microscopy[J]. Journal of Biomedical Optics, 2012, 17(12): 126008.

[47] Moeyaert B, Vandenberg W, Dedecker P. SOFIevaluator: a strategy for the quantitative quality assessment of SOFI data[J]. Biomedical Optics Express, 2020, 11(2): 636-648.

[48] Girsault A, Lukes T, Sharipov A, et al. SOFI simulation tool: a software package for simulating and testing super-resolution optical fluctuation imaging[J]. PLoS One, 2016, 11(9): e0161602.

[49] Geissbuehler S, Sharipov A, Godinat A, et al. Live-cell multiplane three-dimensional super-resolution optical fluctuation imaging[J]. Nature Communications, 2014, 5(1): 1-7.

[50] MizrachiJ, NarasimhanA, QiX, et al. Super-resolution light-sheet fluorescence microscopy by SOFI[EB/OL]. [2023-01-05]. https://www.biorxiv.org/content/biorxiv/early/2020/08/18/2020.08.17.254797.full.pdf.

[51] Sroda A, Makowski A, Tenne R, et al. SOFISM: super-resolution optical fluctuation image scanning microscopy[J]. Optica, 2020, 7(10): 1308-1316.

[52] Aßmann M. Quantum-optically enhanced STORM (QUEST) for multi-emitter localization[J]. Scientific Reports, 2018, 8(1): 1-12.

[53] Mo G C H, Ross B, Hertel F, et al. Genetically encoded biosensors for visualizing live-cell biochemical activity at super-resolution[J]. Nature Methods, 2017, 14(4): 427-434.

[54] Giovannetti V, Lloyd S, Maccone L. Quantum-enhanced measurements: beating the standard quantum limit[J]. Science, 2004, 306(5700): 1330-1336.

[55] Brida G, Genovese M, Ruo Berchera I. Experimental realization of sub-shot-noise quantum imaging[J]. Nature Photonics, 2010, 4(4): 227-230.

[56] Tsang M. Quantum imaging beyond the diffraction limit by optical centroid measurements[J]. Physical Review Letters, 2009, 102(25): 253601.

[57] Giovannetti V, Lloyd S, Maccone L, et al. Sub-Rayleigh-diffraction-bound quantum imaging[J]. Physical Review A, 2009, 79(1): 013827.

[58] D’Angelo M, Chekhova M V, Shih Y. Two-photon diffraction and quantum lithography[J]. Physical Review Letters, 2001, 87(1): 013602.

[59] Walls D F, Zoller P. Reduced quantum fluctuations in resonance fluorescence[J]. Physical Review Letters, 1981, 47(10): 709-711.

[60] Mandel L. Sub-Poissonian photon statistics in resonance fluorescence[J]. Optics Letters, 1979, 4(7): 205-207.

[61] Senellart P, Solomon G, White A. High-performance semiconductor quantum-dot single-photon sources[J]. Nature Nanotechnology, 2017, 12(11): 1026-1039.

[62] Kimble H J, Dagenais M, Mandel L. Photon antibunching in resonance fluorescence[J]. Physical Review Letters, 1977, 39(11): 691-695.

[63] Schwartz O, Oron D. Improved resolution in fluorescence microscopy using quantum correlations[J]. Physical Review A, 2012, 85(3): 033812.

[64] Schwartz O, Levitt J M, Tenne R, et al. Superresolution microscopy with quantum emitters[J]. Nano Letters, 2013, 13(12): 5832-5836.

[65] Cui J M, Sun F W, Chen X D, et al. Quantum statistical imaging of particles without restriction of the diffraction limit[J]. Physical Review Letters, 2013, 110(15): 153901.

[66] Monticone D G, Katamadze K, Traina P, et al. Beating the Abbe diffraction limit in confocal microscopy via nonclassical photon statistics[J]. Physical Review Letters, 2014, 113(14): 143602.

[67] Israel Y, Tenne R, Oron D, et al. Quantum correlation enhanced super-resolution localization microscopy enabled by a fibre bundle camera[J]. Nature Communications, 2017, 8: 14786.

[68] Classen A, von Zanthier J, Scully M O, et al. Superresolution via structured illumination quantum correlation microscopy[J]. Optica, 2017, 4(6): 580-587.

[69] Tenne R, Rossman U, Rephael B, et al. Super-resolution enhancement by quantum image scanning microscopy[J]. Nature Photonics, 2019, 13(2): 116-122.

[70] Li W W, Wang Z Y. Breaking the diffraction limit using fluorescence quantum coherence[J]. Optics Express, 2022, 30(8): 12684-12694.

[71] LeCun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436-444.

[72] Alom M Z, Taha T M, Yakopcic C, et al. A state-of-the-art survey on deep learning theory and architectures[J]. Electronics, 2019, 8(3): 292.

[73] Fukushima K. Neocognitron: a hierarchical neural network capable of visual pattern recognition[J]. Neural Networks, 1988, 1(2): 119-130.

[74] Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial networks[J]. Communications of the ACM, 2020, 63(11): 139-144.

[75] Cheng J R, Yang Y, Tang X Y, et al. Generative adversarial networks: a literature review[J]. KSII Transactions on Internet and Information Systems, 2020, 14(12): 4625-4647.

[76] RonnebergerO, FischerP, BroxT. U-Net: convolutional networks for biomedical image segmentation[M]∥Navab N, Hornegger J, Wells W M, et al. Medical image computing and computer-assisted intervention-MICCAI 2015. Lecture notes in computer science. Cham: Springer, 2015, 9351: 234-241.

[77] Rivenson Y, Göröcs Z, Günaydin H, et al. Deep learning microscopy[J]. Optica, 2017, 4(11): 1437-1443.

[78] Wang H D, Rivenson Y, Jin Y Y, et al. Deep learning enables cross-modality super-resolution in fluorescence microscopy[J]. Nature Methods, 2019, 16(1): 103-110.

[79] Zhang H, Fang C Y, Xie X L, et al. High-throughput, high-resolution deep learning microscopy based on registration-free generative adversarial network[J]. Biomedical Optics Express, 2019, 10(3): 1044-1063.

[80] Li X Y, Zhang G X, Qiao H, et al. Unsupervised content-preserving transformation for optical microscopy[J]. Light: Science & Applications, 2021, 10(1): 1-11.

[81] Jin L H, Liu B, Zhao F Q, et al. Deep learning enables structured illumination microscopy with low light levels and enhanced speed[J]. Nature Communications, 2020, 11(1): 1-7.

[82] Qiao C, Li D, Guo Y T, et al. Evaluation and development of deep neural networks for image super-resolution in optical microscopy[J]. Nature Methods, 2021, 18(2): 194-202.

[83] Ling C, Zhang C L, Wang M Q, et al. Fast structured illumination microscopy via deep learning[J]. Photonics Research, 2020, 8(8): 1350-1359.

[84] Zhang Q N, Chen J W, Li J S, et al. Deep learning-based single-shot structured illumination microscopy[J]. Optics and Lasers in Engineering, 2022, 155: 107066.

[85] Ouyang W, Aristov A, Lelek M, et al. Deep learning massively accelerates super-resolution localization microscopy[J]. Nature Biotechnology, 2018, 36(5): 460-468.

[86] Gaire S K, Zhang Y, Li H Y, et al. Accelerating multicolor spectroscopic single-molecule localization microscopy using deep learning[J]. Biomedical Optics Express, 2020, 11(5): 2705-2721.

[87] Speiser A, Müller L R, Hoess P, et al. Deep learning enables fast and dense single-molecule localization with high accuracy[J]. Nature Methods, 2021, 18(9): 1082-1090.

[88] Nehme E, Weiss L E, Michaeli T, et al. Deep-STORM: super-resolution single-molecule microscopy by deep learning[J]. Optica, 2018, 5(4): 458-464.

[89] Fang L J, Monroe F, Novak S W, et al. Deep learning-based point-scanning super-resolution imaging[J]. Nature Methods, 2021, 18(4): 406-416.

卫奥尼, 秦成兵, 董帅, 孟新钦, 宋蕴睿, 李向东, 梁喜龙, 张国峰, 陈瑞云, 胡建勇, 杨志春, 霍建忠, 肖连团, 贾锁堂. 超分辨荧光显微成像的若干研究进展[J]. 激光与光电子学进展, 2023, 60(11): 1106012. Aoni Wei, Chengbing Qin, Shuai Dong, Xinqin Meng, Yunrui Song, Xiangdong Li, Xilong Liang, Guofeng Zhang, Ruiyun Chen, Jianyong Hu, Zhichun Yang, Jianzhong Huo, Liantuan Xiao, Suotang Jia. Research Progress of Super-Resolution Fluorescence Microscopy[J]. Laser & Optoelectronics Progress, 2023, 60(11): 1106012.

本文已被 3 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!