快速荧光寿命显微成像技术及其在活体应用的研究进展（特邀）

荧光寿命显微成像（FLIM）已经广泛应用于生命科学研究领域，具有高灵敏和高特异性的特点，在对组织微环境进行定量表征方面具有独特优势，但由于成像速度相对较慢，限制了FLIM的活体应用。近年来，随着光电子器件和人工智能等技术的发展，开启了FLIM活体成像新篇章。介绍通过优化硬件和算法两方面提升时域和频域FLIM技术的成像速度，以及其在生物医学基础研究和临床疾病诊断中的应用研究进展。最后，对活体FLIM成像的未来发展进行展望。

Abstract

Because of the high sensitivity and specificity and unparalleled ability to quantitatively analyze tissue microenvironments, fluorescence lifetime imaging microscopy (FLIM) is widely used in the field of life sciences. However, the use of FLIM in live imaging is hindered by its slow imaging speed. Recent advancements in optoelectronics and artificial intelligence technologies have ushered in a new era for in vivo FLIM. This review introduces ways to improve the imaging speed of the time-domain and frequency-domain FLIM techniques through hardware optimization and algorithmic improvements as well as via advancements in fundamental biomedical research and clinical diagnostics. Finally, we explore the future directions of the in vivo FLIM technology.

1　引言

光学显微镜的发明打开了细胞生物学说的大门。在众多光学显微成像技术中，荧光显微成像技术以高时空分辨率、高特异性、非侵入及原位探测等优势，已成为生命科学研究中不可或缺的工具。荧光是指荧光分子处于基态的电子在吸收光子能量后，从基态跃迁到激发态，经过短暂的弛豫过程之后，再通过辐射跃迁回到基态所发出的光^［1］。描述荧光特性的参量包括荧光强度、荧光光谱、荧光寿命及荧光偏振，根据这些参量在荧光分子和非荧光背景之间的差异，能够形成高对比度的图像。但是，由于荧光的光致发光特性，荧光的表征容易受到成像系统影响，其中包括光源功率和探测器响应等因素，使得实现定量的生物医学检测变得颇具挑战。

荧光寿命是与时间有关的一个参量，表示电子在激发态平均停留的时间。通常情况下，停止激发荧光分子后，在t时刻的荧光强度服从指数衰减^［2］，表达式为

I (t) = I_{0} \sum_{i} a_{i} e^{(- t / τ_{i})}

，（1）

式中：a_i为第i个荧光组分的相对权重；τ是荧光寿命，是荧光从初始强度I₀衰减至原来的1/e所需的时间，这个时间取决于荧光分子的类型及其所处的微环境，与激发光的强度、荧光分子的浓度和光漂白效应等因素无关。因此，荧光寿命显微成像（FLIM）是一种非常适用于定量表征微环境的工具，已在细胞内多种生理参数的高灵敏检测上得到广泛应用，这些参数包括温度^［3］、离子浓度^［4-5］、极性^［6］、氧气浓度^［7］、蛋白质浓度^［8-10］、黏度^［11-12］、磷脂膜张力^［13-14］和pH值^［15-16］等。此外，FLIM在临床癌症诊断领域显示出巨大潜力，通过测量正常和肿瘤组织中像烟酰胺腺嘌呤二核苷酸（NADH）和黄素腺嘌呤二核苷酸（FAD）这样生物内源性辅酶的荧光寿命的差异，可以辨别肿瘤边界和评估肿瘤的发展阶段^［17-21］。

随着对生命科学研究的深入，人们越来越希望能在保持动物正常生理状态稳定的条件下表征细胞或组织的微环境，从而探索细胞组织的功能信息与生命活动之间的关系。通过结合多光子成像、近红外成像及内窥成像等技术，FLIM能够在活体动物中对一定深度的组织进行成像^［22-24］。如图1所示，从2000年以来，利用FLIM进行活体研究的论文数量逐年递增，近几年趋于平稳（数据来源：Web of Science，检索词：fluorescence lifetime imaging AND in vivo）。在活体微环境表征中，无论是内源性还是外源性荧光团，它们的荧光寿命一般是纳秒量级^［25-26］。为了精准测量这样快速的时间，通常需要用到间接的成像技术，这就导致单帧荧光寿命图像的获取时间较长。动物的心跳、运动和呼吸等生理活动常常会干扰FLIM的质量，这在很大程度上限制了FLIM技术在体表征生理功能信息的能力。因此，提高FLIM的速度和减少生理活动对成像的干扰是突破其在体应用瓶颈的关键。本文从硬件和算法两个方面展开，首先介绍通过优化光学系统提高不同FLIM技术成像速度的内容。其次，探讨运动伪影减少、算法优化及人工智能在提高FLIM活体成像适用性方面的作用。还综述FLIM技术在生物医学研究和临床疾病诊断领域的最新进展。最后，讨论当前面临的挑战和未来FLIM在体研究的发展趋势。

图 1. FLIM用于活体成像研究的论文数量

Fig. 1. Number of papers focusing on FLIMfor in vivo imaging

下载图片查看所有图片

2　从硬件方面提升FLIM速度

荧光寿命的测量是FLIM技术的关键，根据测量方式的不同，FLIM技术可以分为两大类：1）时域（TD）法，如图2（a）~（d）所示，主要包括时间相关单光子计数（TCSPC）法、脉冲采样（PS）法、门控（TG）法及条纹相机（SC）法；2）频域（FD）法，如图2（e）所示。国内外有多篇综述已经详细阐述了这些FLIM技术的基本原理和特点^［27-30］，这里重点介绍各类方法是如何提升成像速度的。

图 2. TD-FLIM和FD-FLIM的原理简图

Fig. 2. Principle diagram of TD-FLIM and FD-FLIM

下载图片查看所有图片

2.1　TCSPC-FLIM

TCSPC是目前应用最广泛的荧光寿命测量技术，它可以和扫描成像或者宽场成像相结合。以其结合传统共聚焦扫描技术为例，通过使用高重复频率的脉冲激光，对样品进行逐点扫描，每个像素点所产生的单光子信号被光电倍增管（PMT）或雪崩光电二极管（APD）等高灵敏探测器收集，通过计时模块分析光子到达探测器的时间，并将结果记录在“到达时间-光子数”直方图中。不过，分析过程会有一段无法记录的死区时间，这是探测模块在记录一个脉冲后，到可以记录下一个新脉冲之前需要的时间间隔，通常为几十到几百纳秒。在这段时间内，其他的光子不会被记录。另外，为了防止堆叠效应影响荧光衰减曲线的准确性，需要把光子的计数率保持在一个较低的水平，大概是激发脉冲数的1%~5%^［31］。因此，为了获取足够数量的光子来精准拟合荧光寿命，每个像素点需要通过多次扫描累计上千个光子^［26］。这就使得TCSPC-FLIM技术具有优异的时间分辨能力，但同时也意味着其成像速度较慢，通常需要至少30 s才能得到一幅FLIM图像，这在很大程度上限制了它在活体成像中的应用。

近年来，随着微电子工艺的不断改进，发展出许多基于时间数字转换器（TDC）的TCSPC模块，这些模块具有更短的死区时间。同时，探测技术也在不断更新，出现了混合型PMT^［32］、单光子雪崩二极管（SPAD）阵列^［33］、硅光电倍增管（SiPM）^［34］及超导纳米线单光子探测器（SNSPD）^［35］等超快响应探测器，这些硬件方面的革新使得快速FLIM成为可能。例如，德国PicoQuant公司^［36］研制的TCSPC采集卡（TimeHarp 260 Nano），其死区时间小于2 ns，结合死区时间极短的混合型PMT，能够在相邻的脉冲周期里测量多个光子，如图3（a）所示，显著提高了光子计数率，而且还能维持高荧光寿命测量精度，时间分辨率大约为250 ps。当像素驻留时间为8 μs时，该技术对溶液中的荧光珠进行128×128像素的FLIM的速度可达3 frame/s^［36］。通过集成多个计时模块以实现并行探测，该技术可以减少死区时间引起的堆积效应，从而提升FLIM速度。Becker等^［37］采用1个混合型PMT和4个TCSPC模块，实现了时间分辨率优于25 ps的快速FLIM，其核心技术是使用一个由光子脉冲驱动的“自旋器”作为切换开关，依次选通4个TCSPC模块，如图3（b）所示，每个模块分别记录1/4光子数，有效减少了计数损失，对铃兰根茎切片样品进行256×256像素的FLIM只需要0.16 s。浙江大学匡翠方教授团队^［38］发展了基于图像扫描（ISM）的FLIM技术，在探测端使用含有7根纤芯的光纤束传递荧光信号，其中每根纤芯都连接着一个带有独立TCSPC模块的APD，从而实现对7个光子的并行测量，再结合光子重分配算法，在提升有效光子计数率的同时也能提升FLIM 图像的横向分辨率（~140 nm），对于荧光珠和染色的固定细胞样品，成像速度比传统的共聚焦TCSPC-FLIM技术提升了约2.5 倍，如图3（c）所示。Tyndall等^［34］开发了一种微型化高通量SiPM探测器，其集成了32×32 SPAD阵列和多通道TDC架构，并采用质心算法对荧光寿命进行预计算。该TCSPC模块能够在每个激发脉冲周期内记录8个光子的到达时间，在测量荧光染料溶液和荧光珠等单寿命组分样品时，光子计数率达到25%时其仍可以有效抑制堆叠效应。这类提高光子计数率的方法通常更适用于使用荧光染料得到标记的强荧光信号样品，达到在单位时间内采集到更多光子数的目的。当样品的荧光信号较弱时，包括生物自发荧光和荧光蛋白等，该方法的收益并不高，此时TCSPC-FLIM技术的成像速度将受限于扫描速度。

图 3. 优化探测方式提升TCSPC-FLIM速度。（a）使用更短死区时间的采集模块实现单脉冲周期内记录多个光子^［36］；（b）使用光子“自旋器”缩短采集卡的死区时间^［37］；（c）使用并行阵列探测模块提升光子计数率^［38］

Fig. 3. Imaging speed improving of TCSPC-FLIM by optimizing detection methods. (a) Using a collection module with a shorter dead time to record multiple photons within a single pulse cycle^[36]; (b) using a photon'Spinner' to shorten the dead time of the capture card^[37]; (c) using parallel array detection modules to improve photon counting rate^[38]

下载图片查看所有图片

在对生物样品进行成像时，感兴趣区域（ROI）通常只占整个视场的一部分，并且这些区域常常呈现不规则的形状。本团队^［39-40］开发了一种快速FLIM技术，如图4（a）所示，它基于寻址扫描原理，使用一对声光偏转器（AOD）来精确控制光束，对任意二维形状的ROI进行高速扫描，通过优化扫描面积来提高成像速度。此外，使用多焦点光斑扫描样品，并结合之前提到的SPAD阵列探测器，可以将成像速度提高数倍。Poland等^［41］使用空间光调制器（SLM）加载全息相位，生成包含64个焦点的二维阵列，如图4（b）所示，利用检流振镜快速扫描表达增强型绿色荧光蛋白（EGFP）的活细胞样品，SPAD阵列并行探测每个焦点产生的光子，在1%光子计数率的情况下，FLIM速度比传统TCSPC技术快了约20倍。通过优化角谱迭代算法，他们创建了一个可编码的多焦点三维阵列，其能够以0.1 frame/s的成像速度同时对活细胞4个焦平面进行FLIM^［42］。线型的SPAD阵列通常具有更高的填充因子^［43］，有利于获得更高横向分辨率的图像。最近，Poland团队^［44］使用1024×8 SPAD线阵列实现了基于共聚焦一维线扫描的快速FLIM，如图4（c）所示，在512×512像素分辨率下，对铃兰根茎样品的成像速度可达4 frame/s。此外，随着SPAD阵列和微通道板（MCP）等面阵探测器的发展，基于宽场照明^［45-48］的TCSPC-FLIM也具有较快的成像速度，当与光片成像技术结合使用时，它能显著提高空间分辨率，并快速获取大体积样品的三维荧光寿命信息^［49］。例如，Samimi等^［50］利用一个具有192×128像素的SPAD阵列作为光片FLIM系统的探测器，每个像素独立的TDC时间分辨率约为41 ps。应用这种技术对斑马鱼中性粒细胞的成像速度比点扫描方式至少提高了6倍。然而，由于样品的自发荧光较弱，该技术采集一幅FLIM图像的时间仍需约10 s。

图 4. 优化扫描方式提升TCSPC-FLIM速度。（a）基于2D-AOD实现任意形状快速扫描^［39］；（b）利用多焦点阵列实现快速扫描^［41］；（c）利用线激发实现快速扫描及切片样品的成像结果^［44］

Fig. 4. Imaging speed improving of TCSPC-FLIM by optimizing scanning methods. (a) Implementing fast scanning with arbitrary shapes based on 2D-AOD^[39]; (b) using a multifocal array to achieve fast scanning^[41]; (c) using line excitation to realize fast scanning, and the imaging results of two slices shown on right^[44]

下载图片查看所有图片

2.2　TG-FLIM

TG-FLIM是一种宽场荧光寿命测量技术，通过脉冲光源和门控探测器的配合，控制荧光信号的获取时间和探测频率。具体操作是在脉冲激光激发后不同时刻选通成像，获取一系列荧光强度图像来记录荧光衰减。这里的获取时间包含两个方面：相对于激发脉冲的延迟和单次探测的门宽（即探测器的曝光时间）。目前，延迟和门宽一般可达到纳秒级别或更短，而探测频率可达10³ Hz以上。在单帧的门宽内，TG-FLIM可以多次获取脉冲激发后相同时间延迟的荧光信号；并在不同帧之间设置不同的时间延迟，从而根据不同时间延迟帧的强度变化解析每个像素的荧光寿命。与TCSPC-FLIM类似，TG-FLIM同样需要高重复频率的脉冲光源及对荧光强度衰减曲线进行拟合；但TG-FLIM对单组分的荧光寿命进行测量时理论上只需要记录两个不同时间延迟的荧光强度图像，是各类FLIM技术中速度最快的。

在探测模块方面，基于各种技术的TG-FLIM之间存在一些差别，主要体现在成像器件的选择和门控的实现方式上。TG-FLIM常用的成像器件包括增强型电荷耦合器件（ICCD）和SPAD阵列。ICCD是由CCD相机和门控光学图像增强器（GOI）结合而成的，GOI负责将微弱的荧光信号转换为电信号，通过电子放大进而轰击荧光靶面得到增强的光信号，此光信号传输至CCD被接收。这一过程包含光-电-光信号的两次转换，通过外部的调制电路可以控制GOI，以实现门控功能。与基于TCSPC-FLIM的多点SPAD阵列不同，TG-FLIM中的SPAD阵列用于面探测，因此需要更多的像素，门控信号作用于SPAD的偏置电路，使SPAD在指定时刻响应入射光。近期报道的SPAD阵列，像素数达到500×500^［51］或512×512^［52-53］，配合互补金属氧化物半导体（CMOS）器件，能够以高达17.9 ps的时间分辨率和最短0.99 ns的门宽实现TG-FLIM测量。半导体技术的不断进步大大提高了sCMOS的灵敏度和速度，sCMOS也可以用于TG-FLIM。然而，它的响应速度相比CCD和SPAD还是较慢，因此门控信号通常不直接作用于感光器件，而是控制光信号调制器件（如电光调制器^［54］或GOI^［55］），使荧光信号在门宽时间内照射到sCMOS感光面，从而实现窄门宽和高探测频率。sCMOS具有全局曝光和卷帘曝光两种模式，通常使用全局曝光模式进行TG-FLIM测量，此时每个像素均以相同的脉冲时间延迟探测门宽内的荧光信号；而在卷帘曝光模式下，不同行像素之间存在曝光时间延迟，接近行像素的读出时间（约数10 μs），而这已经远超过门宽时间，将导致门宽内仅有个别行像素能够成像，无法实现快速的宽场全画幅荧光寿命成像。如图5所示，深圳技术大学陈玲玲教授团队^［55］使用sCMOS和GOI作为门控探测模块，并引入数字扫描光片技术实现了三维大视场的快速TG-FLIM，门宽和相邻门的时间间隔都低至1 ns，在对EGFP标记的活体斑马鱼成像时获得了很好的成像结果。

图 5. 基于光片技术的TG-FLIM系统^［55］。（a）系统示意图；（b）对活体斑马鱼的成像结果

Fig. 5. Schematic of TG-FLIM system based on light-sheet^[55]. (a) Schematic of the system; (b) imaging results of a living zebrafish

下载图片查看所有图片

2.3　PS-FLIM

近年来，发展出一种直接且快速的荧光寿命测量方法：在样品被单个脉冲光激发后，利用高采样率和宽带宽的数据采集模块（如数字示波器）直接记录荧光衰减曲线，该方法称为PS-FLIM^［56］。为了有效实施这个方法，需要满足以下条件：1）待测样品的荧光信号必须足够强，能够高于系统噪声，确保记录到的信号包含了可识别的样品信息；2）探测器必须具备高灵敏度和宽带宽，这样才能精确捕捉到强度的细微变化，并能够清楚地区分不同时间点的荧光信号，对单次激发后的荧光衰减曲线有良好的响应。在PS-FLIM中常用的一种探测器是MCP-PMT，其特点是有很短的脉冲响应时间，一般百皮秒的响应时间就足以满足纳秒级荧光寿命的测量需求；3）数据采集系统需要非常高的采样率，针对纳秒级的荧光寿命，根据采样定理，采样率应达到10⁹ Hz以上才能有效记录荧光衰减曲线，这对成像系统的硬件提出了很高的要求。与TCSPC和TG方法一样，PS-FLIM所用的激发光源脉宽应远小于样品的荧光寿命，但是由于单次激发后即可获得荧光衰减曲线，因此光源的重复频率在10³ Hz量级即可。由于PS-FLIM不适用于宽场成像而是采用单点探测，它特别适合与内窥光纤结合使用，以进行快速的活体荧光寿命测量，在临床疾病诊断中发挥着重要作用^［57-59］。

2.4　SC-FLIM

使用条纹相机（SC）作为探测器，可以实现高时间分辨率的FLIM，在SC的二维光电阴极上，一个维度用于反映时间信息，另一个维度则记录空间信息或者光谱信息^［60-61］，其基本原理如图2（d）所示。SC的工作需与脉冲光源时序同步，以保证单次测量的荧光信号来自同一激发脉冲。通过柱透镜或一维振镜对样品进行线扫描激发，并使其与狭缝耦合。不同时刻到达光电阴极的荧光光子受到SC内部扫描电场的作用，偏转不同角度并轰击SC荧光屏靶面的不同位置，从而记录时间信息。同时，光电子信号经过像增强器被放大。但由于这一过程包括一维扫描以及相机的曝光和读取，获取一幅图像需要的时间较长，因此SC-FLIM通常用于研究离体细胞^［62-64］和病理切片^［65］，而在活体动物中的应用报道不多。

本团队^［66］开发了一种基于一对检流振镜的双光子2D SC-FLIM技术，其能够测量百皮秒至数微秒的荧光寿命，时间分辨率为50 ps。通过引入双螺旋点扩散函数工程和三维定位追踪技术，从单个快照同时获取多个粒子在微米级深度范围内的空间运动和荧光寿命信息，沿X、Y、Z方向的平均定位精度分别达26 nm、35 nm和53 nm，时间分辨率为103 ps。此外，本团队^［67］还研究了巨噬细胞吞噬外源颗粒过程中微环境的动态变化，如图6（a）所示。最近，Ma等^［68］提出了一种创新的SC-FLIM方法，如图6（b）所示，该方法利用压缩感知算法和数字微镜器件（DMD）对宽场图像进行空间编码，对活细胞样品的成像速度达100 frame/s（受限于相机的读出速度）。与传统的SC-FLIM方法不同的是，该方法将相机在时间维度上的1016个像素分配给若干个物点进行同步的荧光寿命测量，其中时间分配由扫频电压和偏转电场中电子运动速度的配合实现，空间分配通过DMD编码实现。即使对神经元细胞骨架这类复杂结构，该方法依然可以实现高速宽场FLIM，将来有望应用于稀疏标记的活体成像。

图 6. 用于快速成像的SC-FLIM技术。（a）基于双螺旋点扩散函数工程的单粒子追踪FLIM^［67］；（b）基于压缩感知的DMD空间编码技术实现高速FLIM^［68］

Fig. 6. SC-FLIM technique for rapid imaging. (a) Single particle tracking FLIM based on double helix point spread function engineering^[67]; (b) implementation of high-speed FLIM using compressed sensing-based DMD spatial encoding technology^[68]

下载图片查看所有图片

2.5　FD-FLIM

荧光信号的产生频率与激发光的信号同步，但是会有幅度的减小和相位的延迟。根据这一原理，Wang等^［69］提出了一种基于调制系数M、角频率为ω和相位延迟Δφ来计算荧光寿命的频域荧光寿命显微成像技术（FD-FLIM）。这种方法对设备要求不高，常用连续的激光器作为光源，对激发光进行正弦调制，并解调测得的荧光信号从而得到荧光寿命。需要注意的是，测得荧光寿命与调制频率成反比，所以测量不同荧光寿命时需要使用不同的调制频率。此外，发光二极管（LED）^［70］和脉冲激光器^［71］也可以用来提供FD-FLIM的光源。使用LED时也要进行正弦调制，而处理脉冲光源则有所不同，对于固定重复频率的脉冲激发光，产生的荧光信号既有直流分量也有交流分量，与激发光混合之后产生差频信号，从中可解调出荧光寿命信息。FD-FLIM可以与点扫描成像^［72］或宽场成像^［73-75］结合使用，根据不同需要选择探测器。点扫描FD-FLIM通常使用PMT和光电二极管（PD）作为探测器，其中PMT检测荧光信号，PD获取激发光波形，两路波形由采集卡获取后计算荧光寿命。在宽场成像模式下，FD-FLIM需要获得传感器上每个像素的响应曲线来确定每个像素的荧光寿命，结合高频调制（10⁶ Hz量级），传统的CCD或CMOS无法直接使用，因此宽场FD-FLIM通常采用具有门控功能的高时间分辨率传感器。最近，Yahav等^［70］使用MCP和CCD作为探测模块，如图7所示，通过1~120 MHz的变频调制LED激发光源，实现了时间分辨率高达80 ps的多色FD-FLIM。由于一般工作在高频调制状态，频域法的荧光寿命测量精度取决于获取信号波形的保真度。因此，采集卡的采样率和位深度等参数至关重要。例如，当激发光频率为10 MHz时，采集模块的采样率应该大于100 MHz；位深度方面，应根据系统的数据处理能力尽量增大，比如使用14 bit或16 bit。这有助于更精确地确定信号峰值的相位延迟和相对幅值，从而提高荧光寿命的测量精度。

图 7. 调制LED光源的宽场FD-FLIM^［70］。（a）光路示意图；（b）不同比例荧光素-甘油混合溶液的荧光强度成像结果；（c）对应的荧光寿命成像结果

Fig. 7. Widefield FD-FLIM based on modulation of LED^[70]. (a) Schematic of the system; (b) fluorescence intensity images of Fluorescein-Glycerol (Fl-Gly) solutions with different ratios; (c) corresponding fluorescence lifetime images

下载图片查看所有图片

3　从算法方面提升FLIM 速度

3.1　校正运动伪影

上述各种FLIM技术都有其独特之处，但通常难以同时实现高的荧光寿命分辨精度和快速成像。因此，在进行活体FLIM时，除了权衡选择合适的FLIM技术外，还可以通过校正运动伪影来实现长时间稳定成像。运动伪影是指在成像期间活体样品的心跳、呼吸或肢体运动等原因造成的图像扭曲。当图像帧率较高时，样品运动主要在帧间引入伪影，这对于需要多帧叠加获取图像堆栈的应用是不利的，比如采集多帧荧光强度图像后获取单帧荧光寿命图像；而当帧率较低时，除了帧间伪影，单帧图像内也会出现失真，导致最终结果进一步恶化。需要特别指出的是，TCSPC-FLIM在获取单帧图像时通常需要更长时间，这使得它对运动伪影更敏感，由此引起的误差会降低测量精度。相比之下，TG-FLIM、PS-FLIM和FD-FLIM速度较快，测量精度相对较低，所以运动伪影对它们的影响相对较小。

采用外部固定的手段，如麻醉、夹持等^［76］，能够有效降低成像活体样品时的运动伪影，从而减小后续图像配准的难度。如图8（a）所示，归一化互相关分析和基于特征的配准等运动校正算法具有较好的帧间运动伪影校正能力，可用于实现活体内窥FLIM，通过只合并TCSPC所采集的帧堆栈中具有高度互相关性的图像，在成像速度为0.1 Hz时仍能清晰分辨单个细胞核^［77］。Warren等^［78］基于TCSPC-FLIM数据所带有的时间戳信息开发了Galene软件，以Lucas-Kanade框架为基础，检测帧间和帧内图像中生物结构的位移，通过刚性对齐和线性插值校正像素并重构之后恢复出高分辨的原始生物结构，有效优化了二维或三维成像结果，如图8（b）所示。对于心跳等间歇性运动，还可通过心跳识别^［79］或运动帧自动检测^［80］方式，避免在剧烈运动期间采集图像或将所采集图像从时间序列中移除。

图 8. 通过后期图像处理校正活体FLIM的运动伪影。（a）基于归一化互相关算法的帧间伪影校正^［77］；（b）基于Lucas-Kanade框架的帧间和帧内伪影校正^［78］

Fig. 8. Correcting motion artifacts for in vivo FLIM through post-processing. (a) Inter frame artifact correction based on normalized cross-correlation algorithm^[77]; (b) inter frame and intra frame artifact correction based on the Lucas-Kanade framework^[78]

下载图片查看所有图片

3.2　优化荧光寿命分析算法

最小二乘法（LS）是TD-FLIM中常用的荧光衰减曲线拟合算法，需要累积足够数量的光子才能准确分析荧光寿命，这是限制成像速度的主要因素。因此，改进荧光寿命数据的分析算法也能间接提升成像速度。近年来，发展了一些其他算法，能够减少荧光衰减曲线拟合对光子数的需求，包括极大似然估计（MLE）^［81-82］、贝叶斯分析^［83-84］及压缩感知^［85］等。最近，本团队^［86］提出了交替下降条件梯度（ADCG）分析法，将荧光寿命分析看作稀疏逆问题，交替进行全局条件梯度和非凸局部搜索，实现快速收敛。该方法适用于仅45个光子数的极端条件，尤其当存在高水平噪声时，具有更好的准确性和荧光寿命精度，如图9所示。结合上文介绍的AOD-FLIM系统，对布朗运动的荧光珠进行快速追踪，成像速度达7.8 frame/s^［87］。此外，无须曲线拟合的相量图分析法（phasor plot）将所采集的时域信息转换为频域显示，在需要聚类分析的应用中更加简便快速^［88-89］。

图 9. ADCG算法流程和光子数为45时的拟合结果^［86］

Fig. 9. Flowchart of ADCG algorithm and the fitting results with photon number of 45^[86]

下载图片查看所有图片

3.3　深度学习

随着计算机算力的快速提升，深度学习（DL）也逐渐在间接提升FLIM速度方面发挥重要作用，主要分为以下3种方式。

1）替代传统数据分析中耗时的迭代过程。作为一种数据驱动方法，DL通过对原始数据执行多次非线性变换以提取高级特征，从而进行分层表示学习，可直接输入原始数据映射得到相应的荧光寿命结果。Wu等^［90］提出了一种基于人工神经网络（ANN）的FLIM方法，构建了由1个输入层、1个输出层和2个隐藏层组成的多层感知机（MLP）。输入层用于向MLP传递测得的荧光衰减数据，其节点数量取决于数据采集系统的时间通道数，输出层具有4个神经元映射双指数衰减曲线的荧光寿命参数。结果表明，ANN-FLIM可以提供相当甚至更好的图像质量，并且数据分析速度比传统的LS算法快180倍。然而，该方法忽略了仪器响应函数（IRF）对荧光衰减曲线的影响。Yao等^［91］设计了大量模拟数据集，先采用压缩感知算法处理时间分辨的单像素数据集，再通过基于卷积神经网络（CNN）结构的方法进行荧光强度和寿命图像重构训练，其图像生成速度比传统拟合方法快了约7000倍，并且在低光子数（<100）情况下也具有可定量性。如图10（a）所示，Smith等^［92］为TCSPC和TG技术开发了一种基于3D CNN架构的荧光寿命成像网络（FLI-Net），用于快速量化荧光寿命。FLI-Net的输入数据是一个双指数衰减3D数据矩阵（t×28×28像素），其与IRF卷积之后训练网络，输出为荧光寿命参数图像，比分析软件SPCImage（Becker & Hickl GmbH）快了约30倍。然而，Xiao等^［93］认为，分析FLIM数据时只需要评估时间衰减特征，因此提出了一种更简单、快速的1D-CNN框架。与2D或3D-CNN相比，1D-CNN对硬件更友好，可以在现场可编程门阵列（FPGA）上实现。当使用相同的合成数据训练模型时，1D-CNN使用CPU（Intel i7-4790）只需要0.5 h即可完成训练，比使用GPU（NVIDIA TITAN XP）的FLI-Net快8倍。结果表明，对于强度阈值为每像素100个光子数的数据集，1D-CNN框架分析256×256的图像仅需要几秒。

图 10. 3类间接减少FLIM成像时间的DL算法。（a）使用3D-CNN^［92］（左）或1D-CNN^［93］（右）替代传统衰减曲线拟合过程；（b）采用LLE和NIII子网络对低光子数生成高光子数^［96］；（c）基于图像分辨率增强的网络框架^［97］

Fig. 10. Three types of DL algorithms contribute to reduce FLIM processing time. (a) Traditional curve fitting is substituted by either a 3D-CNN^[92] (left) or a 1D-CNN^[93] (right) framework; (b) LLE and NIII sub networks are utilized to produce data with high photon counts from low photon counts^[96]; (c) DL algorithms are employed to improve imaging resolution^[97]

下载图片查看所有图片

2）使用低光子数原始数据生成高光子数数据。为了在光子匮乏的条件下（50光子数/像素）生成高质量的FLIM图像，Chen等^［94］发展了一种名为flimGANE（generative adversarial network estimation）的网络框架，基于对抗生成网络生成图像的思想，将低光子计数的荧光衰减直方图输入到Wasserstein GAN中直接生成高光子计数的荧光衰减直方图，然后使用估计器计算双指数荧光寿命参数。在生成512×512像素的FLIM图像时，flimGANE比LS算法快258倍，比MLE快2800倍。然而，整个flimGANE的训练比较耗时，最长达500 h。此外，当FLIM系统发生变化时，IRF也会发生变化，相应需要重新训练神经网络，导致通用性降低。最近，已有不少研究尝试减少这种劣势。Zang等^［95］提出了一种使用极限学习机（ELM）的方法，该方法在训练阶段无需反向传播过程，所以能提供更快的训练速度，支持任何系统配置的在线网络训练。Xiao等^［96］提出了一种基于DL的极少光子数荧光寿命成像方法，由局部寿命估算（LLE）和神经隐式图像插值（NIII）两个子网络构成，如图10（b）所示。其中LLE网络用于对某一像素的相邻像素进行合并，估计样品局部区域的荧光寿命；NIII网络用于融合荧光强度和局部寿命信息，重建最终的荧光寿命图像，充分利用了相邻像素之间荧光寿命的空间相关性与荧光强度信息。结果表明，该方法可在每个像素点光子数少于10的情况下有效地估计荧光寿命，对小鼠肾脏切片等样品获取512×512像素图像的时间不到2 s。

3）对低空间分辨率荧光寿命图像进行图像增强。如图10（c）所示，Xiao等^［97］在前期构建的1D-CNN中增加了空间分辨率提升网络性能，实现对时间和空间的同时解耦。它们生成包含了不同细胞形态、荧光寿命和多组分信息的FLIM数据，并基于退化模型获得成对的高/低分辨图像用于训练杂交神经网络，快速生成了从低分辨到高分辨的小鼠巨噬细胞FLIM图像。

DL算法已能在FPGA和智能手机等边缘计算平台上实现，促进了智能便携式FLIM设备的开发^［98］。表1列出了近年来用以加快荧光寿命获取速度的典型DL算法，其预测时间几乎都能达到秒级。虽然现有的DL算法需要在不同方面做出一些妥协，但随着FLIM技术在生命科学、材料科学以及临床医学等多个领域的应用日益广泛，DL算法的潜力将越发显现^［99］。

表 1. 几种基于不同DL网络的快速FLIM技术性能对比

Table 1. Performance comparison of several fast FLIM technologies based on DL

Network structure	Training time	Prediction time	Photon count
ANN^［90］	4 h	0.9 s（256 $\times$ 256 pixel）	<900
CNN^［91］	4.5 h	<3 ms（32 $\times$ 32 pixel）	25‒1600
3D CNN^［92］		~2.5 s（512 $\times$ 512 pixel）	250 or 500
1D CNN^［93］	a few minutes	a few seconds（256 $\times$ 256 pixel）
GAN^［94］	GAN：6.1 h Estimator：0.1 h	~0.15‒0.17 ms	50‒200
LLE and NIII^［96］		0.63 s（256 $\times$ 256 pixel）	4‒10
τ-Net and spatial resolution improved net^［97］	400 h	a few seconds（256 $\times$ 256 pixel）	100‒10000

查看所有表

4　FLIM技术在活体中的应用

如前所述，FLIM通过利用内源性或外源性荧光物质，能够高灵敏地对细胞和组织的微环境进行量化分析。随着仪器硬件和分析算法的共同发展，如今FLIM技术的应用已经不限于离体样品，而是能够在活体水平提供高时空分辨的图像，给生物医学基础研究和临床疾病诊断等领域的发展提供了重要支持。

4.1　生物医学基础研究

生物电信号在脑神经元之间的传导机制是脑科学研究中的一个热门且是具有挑战性的话题。一方面因为Ca²⁺探针的响应速度远远赶不上生物电信号的传导速度；另一方面，现有的膜电位探针在进行荧光强度成像时，还面临着灵敏度低、易光漂白等问题。因此，利用荧光寿命来对膜电位探针进行在体定量表征具有重要意义，这对FLIM速度提出了更高的要求。Bowman等^{［54，100］}发展了一种基于电光调制器的快速TG-FLIM方法，通过时空复用对荧光进行偏振延迟调制和分光，实现在单帧图像中获取不同时间门的荧光信号。通过该技术，他们能够对活体果蝇单个脑神经元的动作电位进行高灵敏度成像，成像速度达1 kHz，且荧光寿命分辨率优于5 ps。他们还观察到，当果蝇受到直接机械刺激时，能产生持续毫秒量级的动作电位尖峰^［101］，这展示了快速FLIM技术在脑科学研究中的应用潜力。Zhang等^［71］发展了一种基于模拟信号处理的双光子点扫描FD-FLIM，能够实时显示荧光强度、荧光寿命和phasor plot的图像结果。他们将PMT探测到的荧光信号一分为四，与经过四步相移（间隔0.5π）的脉冲激光信号进行混频，再从中解调差频项，得到荧光寿命信息，如图11（a）所示。利用这种技术在活体小鼠上进行的小胶质细胞动力学研究显示，小胶质细胞在脑受到损伤后，其突触和突触尖端会向损伤区域伸展，且这些部位的微环境变化比胞体更加明显，如图11（b）所示。这一发现有助于生物学家理解小胶质细胞在免疫监测中的作用。

图 11. “即时”FLIM技术的原理和对活体小鼠脑神经元成像的结果^［71］

Fig. 11. Schematic of instant FLIM technique and its in vivo imaging results of neurons in mouse brain^[71]

下载图片查看所有图片

通过颅骨固定的方式减少运动伪影，速度较慢的TCSPC-FLIM也能够实现活体脑成像。Gómez等^［102］对阿尔茨海默病（AD）转基因小鼠的脑皮层进行双光子FLIM，phasor plot分析结果表明，在淀粉样（Aβ）蛋白周围的内源性NADH和脂褐素荧光寿命与野生型小鼠有明显差异，暗示其可以作为评估AD的指标之一。如果使用高亮度的外源荧光探针标记，能够显著缩短成像时间，TCSPC-FLIM则有可能获取更高分辨率的图像。如图12（a）所示，Hou等^［103］开发了一种特异性靶向Aβ蛋白的近红外荧光探针（ZW800-1C），对颅骨完整的AD小鼠进行FLIM。结果表明，由于蛋白聚集程度不同，ZW800-1C在淀粉样血管病变、Aβ斑块和神经纤维缠结这些典型AD病灶结构中的荧光寿命存在明显差异，该方法有望用于非侵入的高分辨AD诊疗研究。Díaz-García等^［104］利用特异性检测葡萄糖的荧光寿命探针，定量表征了清醒小鼠视觉皮层神经元的葡萄糖浓度在0.7~2.5 mmol/L之间，可清晰分辨单个细胞胞体，如图12（b）所示。浙江大学钱骏教授课题组^［105］基于具有聚集诱导发光效应的荧光探针开展了小鼠脑血管的三光子FLIM研究，其成像深度和分辨率分别达600 μm和1.9 μm，能够清晰获取微小毛细血管的荧光寿命，如图12（c）所示。最近，本课题组开发了基于传像光纤束和微型GRIN透镜的内窥双光子FLIM系统^［106］，该系统对小鼠肾脏、肝脏、小肠及皮下移植瘤的在体成像深度约100 μm，对小肠进行层析成像后能够获取肌肉、血管和隐窝等不同深度组织的荧光寿命信息，如图12（d）所示，成像速度约0.25 frame/s。

图 12. TCSPC-FLIM用于活体小鼠成像。（a）AD小鼠的脑血管和Aβ斑块成像^［103］；（b）脑皮层神经元细胞内葡萄糖浓度的定量表征^［104］；（c）脑血管的三光子FLIM^［105］；（d）基于内窥显微技术的小鼠多脏器成像^［106］

Fig. 12. TCSPC-FLIM for living mice. (a) Imaging brain vessels and Aβ plaque in AD mice^[103]; (b) quantitative characterization of intracellular glucose concentration in cortical neurons^[104]; (c) three photon FLIM of cerebral vessels^[105]; (d) imaging of different organs in mice based on microendoscopy^[106]

下载图片查看所有图片

4.2　临床疾病诊断研究

NADH和FAD等内源性荧光团的荧光寿命能反映其状态、浓度及结合蛋白质的比率，与细胞的呼吸作用密切相关。不同于正常细胞，癌细胞的主要产能方式为糖酵解，这会改变NADH和FAD的荧光寿命，从而为肿瘤的诊断提供一种辅助的无标记检测方法。加利福尼亚大学戴维斯分校的Marcu团队长期开展FLIM在临床的应用研究，通过表征生物组织自发荧光寿命的差异，实现手术过程中的病变组织实时鉴别，该技术已经用于脑肿瘤^［107］、头颈癌^［108］、口咽癌^［59］、口腔扁平苔藓^［109］和甲状旁腺^［58］诊断等。他们将带有渐变折射率（GRIN）透镜的光纤束与TG-FLIM系统结合，用于术中脑瘤边界的辅助诊断，并且展示了NADH荧光寿命在人脑胶质瘤和正常脑组织中的显著性差异。虽然该显微系统具有较大的成像视场（4 mm），但为了获取足够准确的荧光寿命信息，需要设置29个“时间门”（门宽和间隔均为0.5 ns），获取一张FLIM图像需要约2 min，所以术中需要通过外加稳定装置的方式减少运动伪影的影响^［110］。随后，该团队使用皮秒脉冲紫外光纤激光器作为光源，发展了多光谱时间分辨荧光光谱显微系统（ms-TRFS）^［111］，采用基于多芯内窥光纤的PS-FLIM方法对生物组进行逐点测量，获取并显示荧光寿命编码结果的速度大于10 frame/s^［112］。他们将ms-TRFS整合到机器人外科手术操作系统中，利用多个光谱通道的荧光寿命信息优化机器人对口腔癌的视觉评估功能^［113］，该系统对原位癌、淋巴组织上方原位癌以及正常组织具有很好的辨别能力。为了便于医生在术中徒手操纵ms-TRFS光纤探头扫描病灶，并提高稀疏采样数据的配准精度和可视化连贯性，他们在软件中引入基于DL的图像分割、运动校正及插值图像重构，如图13（a）所示，实现了视频级（30 frame/s）的FLIM速度^［108］。在临床肿瘤切除手术过程中，该技术能够对皮层、白质、肿瘤和辐射诱导坏死组织进行高对比度区分^［107］，有效改善了术中决策的效果。最近，他们在DL网络中使用支持向量机、随机森林和1D-CNN分类器分析了上万组口咽癌病人的荧光寿命和光谱等多项特征信息之后，能够在术中实时呈现组织的癌变概率热图^{［59，114］}，并且无需任何荧光造影剂。此外，德国JenLab公司的医用多光子显微镜MPTflex^TM具备TCSPC-FLIM功能，已经用于实时获取术中脑胶质瘤的高分辨层析FLIM图像，如图13（b）所示，对侵入正常脑组织中的癌细胞识别能力接近单细胞水平^［115］。

图 13. FLIM在临床术中肿瘤诊断的应用。（a）基于PS-FLIM的肿瘤边界识别^［108］；（b）基于TCSPC-FLIM的高分辨肿瘤细胞识别^［115］；（c）基于5-ALA探针标记的FD-FLIM大视场快速成像^［117］

Fig. 13. Applications of FLIM for intraoperative tumor diagnosis. (a) Recognition of tumor boundary based on PS-FLIM^[108]; (b) high-resolution recognition of tumor cells based on TCSPC-FLIM^[115]; (c) fast FD-FLIM with a large field-of-view based on 5-ALA labeling^[117]

下载图片查看所有图片

除了通过内源荧光实现脑肿瘤的临床诊断之外，利用外源造影剂的荧光寿命也能实现对癌变区域的高对比度识别。5-氨基乙酰丙酸（5-ALA）是脑瘤术中导航常用的造影剂，经过肿瘤组织的代谢之后生成具有红色荧光的原卟啉IX（PpIX），从而特异性识别肿瘤。对于荧光强度较弱的肿瘤组织边缘，通过获取PpIX的荧光寿命能够减少组织自发荧光的干扰^［116］，从而更准确地判断切除区域。Reichert等^［117］在外科显微镜中引入点扫描FD-FLIM对人脑组织中的PpIX进行成像，获取6.5 mm $\times$ 6.5 mm视场的低分辨图像只需1 s，而在高分辨模式下耗时为64 s。结果表明，虽然快速成像时分辨率从20 μm降低至100 μm，但仍可以从FLIM图像中鉴别出与高分辨模式几乎一致的肿瘤区域，可以满足术中需求，如图13（c）所示。传统的肿瘤外科手术十分依赖医生的经验和耗时的病理切片染色，而上述一系列研究工作展现了快速FLIM技术在辅助术中即时决策方面的巨大潜力，有助于提升癌症患者的术后存活率和生存质量。

5　结束语

FLIM技术不仅拥有荧光显微成像的高分辨率和高特异性，还可以定量分析荧光团的微环境和相互作用，因此成为了生命科学研究中强有力的工具。然而，如何在保持其准确的荧光寿命分辨能力的同时提高成像速度，是FLIM长期面临的挑战，也限制了其在活体研究中的应用。综述了时域和频域FLIM技术是如何通过硬件与算法的优化实现快速成像的，并讨论每种方法的重要进展及其在活体成像中的应用。目前，这些研究通常基于单一尺度和有限的寿命范围，但未来实际应用需要跨尺度和宽量程的FLIM技术。跨尺度成像可灵活适应不同的模式动物，同时满足切换大视场-低分辨和小视场-高分辨的需求；而宽的寿命量程可以测量更多种类的荧光团，实现多生理参量的同步定量分析。另一方面，扩大成像深度是FLIM在活体应用中急需解决的问题。尽管多光子荧光显微技术能实现约1~2 mm的成像深度，但仍不足以满足活体应用的需求。结合生物相容性好的近红外荧光探针或者利用组织光透明化技术，有望进一步提升成像深度。近年来，基于单根多模光纤的高分辨内窥显微成像技术日趋成熟，其微创性和深穿透能力有望继续扩展FLIM技术在临床研究中的应用。此外，人工智能在图像处理方面的应用也将推动临床活检成像技术的革新。

参考文献

[1] LakowiczJ R. Principles of fluorescence spectroscopy[M]. Boston: Springer US, 2006.

[2] Suhling K, French P M W, Phillips D. Time-resolved fluorescence microscopy[J]. Photochemical & Photobiological Sciences, 2005, 4(1): 13-22.

[3] Okabe K, Inada N, Gota C, et al. Intracellular temperature mapping with a fluorescent polymeric thermometer and fluorescence lifetime imaging microscopy[J]. Nature Communications, 2012, 3: 705.

[4] Szmacinski H, Lakowicz J R. Sodium Green as a potential probe for intracellular sodium imaging based on fluorescence lifetime[J]. Analytical Biochemistry, 1997, 250(2): 131-138.

[5] Zheng K Y, Jensen T P, Rusakov D A. Monitoring intracellular nanomolar calcium using fluorescence lifetime imaging[J]. Nature Protocols, 2018, 13(3): 581-597.

[6] Sha J, Liu W M, Zheng X L, et al. Polarity-sensitive probe for two-photon fluorescence lifetime imaging of lipid droplets in vitro and in vivo[J]. Analytical Chemistry, 2023, 95(41): 15350-15356.

[7] Zhao Y H, Liu L W, Luo T, et al. A platinum-porphine/poly(perfluoroether) film oxygen tension sensor for noninvasive local monitoring of cellular oxygen metabolism using phosphorescence lifetime imaging[J]. Sensors and Actuators B: Chemical, 2018, 269: 88-95.

[8] Pliss A, Levchenko S M, Liu L X, et al. Cycles of protein condensation and discharge in nuclear organelles studied by fluorescence lifetime imaging[J]. Nature Communications, 2019, 10(1): 455.

[9] Lin F R, Das P, Zhao Y H, et al. Monitoring the endocytosis of bovine serum albumin based on the fluorescence lifetime of small squaraine dye in living cells[J]. Biomedical Optics Express, 2019, 11(1): 149-159.

[10] Levchenko S M, Pliss A, Peng X, et al. Fluorescence lifetime imaging for studying DNA compaction and gene activities[J]. Light, Science & Applications, 2021, 10(1): 224.

[11] Kashirina A S, López-Duarte I, Kubánková M, et al. Monitoring membrane viscosity in differentiating stem cells using BODIPY-based molecular rotors and FLIM[J]. Scientific Reports, 2020, 10(1): 14063.

[12] Zou G J, Yu W H, Xu Y J, et al. Investigation of apoptosis based on fluorescence lifetime imaging microscopy with a mitochondria-targeted viscosity probe[J]. RSC Advances, 2021, 11(61): 38750-38758.

[13] Colom A, Derivery E, Soleimanpour S, et al. A fluorescent membrane tension probe[J]. Nature Chemistry, 2018, 10(11): 1118-1125.

[14] Shimizu T, Murakoshi H, Matsumoto H, et al. Tension sensor based on fluorescence resonance energy transfer reveals fiber diameter-dependent mechanical factors during myelination[J]. Frontiers in Cellular Neuroscience, 2021, 15: 685044.

[15] Huang M J, Liang X Y, Zhang Z X, et al. Carbon dots for intracellular pH sensing with fluorescence lifetime imaging microscopy[J]. Nanomaterials, 2020, 10(4): 604.

[16] Sanders R, Draaijer A, Gerritsen H C, et al. Quantitative pH imaging in cells using confocal fluorescence lifetime imaging microscopy[J]. Analytical Biochemistry, 1995, 227(2): 302-308.

[17] Galletly N P, McGinty J, Dunsby C, et al. Fluorescence lifetime imaging distinguishes basal cell carcinoma from surrounding uninvolved skin[J]. The British Journal of Dermatology, 2008, 159(1): 152-161.

[18] Butte P V, Fang Q Y, Javier J A, et al. Intraoperative delineation of primary brain tumors using time-resolved fluorescence spectroscopy[J]. Journal of Biomedical Optics, 2010, 15(2): 027008.

[19] Wang Y L, Song C, Wang M Y, et al. Rapid, label-free, and highly sensitive detection of cervical cancer with fluorescence lifetime imaging microscopy[J]. IEEE Journal of Selected Topics in Quantum Electronics, 2016, 22(3): 6801307.

[20] Cicchi R, Crisci A, Cosci A, et al. Time- and spectral-resolved two-photon imaging of healthy bladder mucosa and carcinoma in situ[J]. Optics Express, 2010, 18(4): 3840-3849.

[21] Shen B L, Yan J S, Wang S Q, et al. Label-free whole-colony imaging and metabolic analysis of metastatic pancreatic cancer by an autoregulating flexible optical system[J]. Theranostics, 2020, 10(4): 1849-1860.

[22] Yaseen M A, Sakadžić S, Wu W C, et al. In vivo imaging of cerebral energy metabolism with two-photon fluorescence lifetime microscopy of NADH[J]. Biomedical Optics Express, 2013, 4(2): 307-321.

[23] Zhu X Y, Liu X, Zhang H X, et al. High-fidelity NIR-II multiplexed lifetime bioimaging with bright double interfaced lanthanide nanoparticles[J]. Angewandte Chemie: International Edition, 2021, 60(44): 23545-23551.

[24] Kennedy G T, Manning H B, Elson D S, et al. A fluorescence lifetime imaging scanning confocal endomicroscope[J]. Journal of Biophotonics, 2010, 3(1/2): 103-107.

[25] Marcu L. Fluorescence lifetime techniques in medical applications[J]. Annals of Biomedical Engineering, 2012, 40(2): 304-331.

[26] Ueda H H, Nagasawa Y, Murakoshi H. Imaging intracellular protein interactions/activity in neurons using 2-photon fluorescence lifetime imaging microscopy[J]. Neuroscience Research, 2022, 179: 31-38.

[27] 屈军乐, 牛憨笨, 郭宝平. 荧光寿命成像显微技术及其应用[J]. 光子学报, 1997, 26(9): 809-817.

Qu J L, Niu H B, Guo B P. Fluorescence lifetime imaging microscopy and its applications[J]. Acta Photonica Sinica, 1997, 26(9): 809-817.

[28] 刘雄波, 林丹樱, 吴茜茜, 等. 荧光寿命显微成像技术及应用的最新研究进展[J]. 物理学报, 2018, 67(17): 178701.

Liu X B, Lin D Y, Wu Q Q, et al. Recent progress of fluorescence lifetime imaging microscopy technology and its application[J]. Acta Physica Sinica, 2018, 67(17): 178701.

[29] 刘立新, 齐美捷, 郜鹏, 等. 荧光寿命成像在癌症诊断研究中的应用(特邀)[J]. 光子学报, 2021, 50(10): 1017001.

Liu L X, Qi M J, Gao P, et al. Application of fluorescence lifetime imaging in cancer diagnosis (invited)[J]. Acta Photonica Sinica, 2021, 50(10): 1017001.

[30] Datta R, Heaster T M, Sharick J T, et al. Fluorescence lifetime imaging microscopy: fundamentals and advances in instrumentation, analysis, and applications[J]. Journal of Biomedical Optics, 2020, 25(7): 071203.

[31] YguerabideJ. Nanosecond fluorescence spectroscopy of macromolecules[M]∥Methods in enzymology. Amsterdam: Elsevier, 1972: 498-578.

[32] Becker W, Su B, Holub O, et al. FLIM and FCS detection in laser-scanning microscopes: increased efficiency by GaAsP hybrid detectors[J]. Microscopy Research and Technique, 2011, 74(9): 804-811.

[33] Krstajić N, Poland S, Levitt J, et al. 0.5 billion events per second time correlated single photon counting using CMOS SPAD arrays[J]. Optics Letters, 2015, 40(18): 4305-4308.

[34] Tyndall D, Rae B R, Li D D U, et al. A high-throughput time-resolved mini-silicon photomultiplier with embedded fluorescence lifetime estimation in 0.13 μm CMOS[J]. IEEE Transactions on Biomedical Circuits and Systems, 2012, 6(6): 562-570.

[35] Korzh B, Zhao Q Y, Allmaras J P, et al. Demonstration of sub-3 ps temporal resolution with a superconducting nanowire single-photon detector[J]. Nature Photonics, 2020, 14: 250-255.

[36] Koenig M, Orthaus-Mueller S, Dowler R, et al. Rapid flim: the new and innovative method for ultra-fast imaging of biological processes[J]. Biophysical Journal, 2017, 112(3): 298a.

[37] Becker W, Bermann A, Smietana S. Fast-acquisition TCSPC FLIM with sub-25-ps IRF width[J]. Proceedings of SPIE, 2019, 10882: 1088206.

[38] Liu S C, Zhang Z M, Zheng J Y, et al. Parallelized fluorescence lifetime imaging microscopy (FLIM) based on photon reassignment[J]. Optics Communications, 2018, 421: 83-89.

[39] Qi J, Shao Y H, Liu L X, et al. Fast flexible multiphoton fluorescence lifetime imaging using acousto-optic deflector[J]. Optics Letters, 2013, 38(10): 1697-1699.

[40] Yan W, Peng X, Qi J, et al. Dynamic fluorescence lifetime imaging based on acousto-optic deflectors[J]. Journal of Biomedical Optics, 2014, 19(11): 116004.

[41] Poland S P, Krstajić N, Monypenny J, et al. A high speed multifocal multiphoton fluorescence lifetime imaging microscope for live-cell FRET imaging[J]. Biomedical Optics Express, 2015, 6(2): 277-296.

[42] Poland S P, Chan G K, Levitt J A, et al. Multifocal multiphoton volumetric imaging approach for high-speed time-resolved Förster resonance energy transfer imaging in vivo[J]. Optics Letters, 2018, 43(24): 6057-6060.

[43] Erdogan A T, Walker R, Finlayson N, et al. A CMOS SPAD line sensor with per-pixel histogramming TDC for time-resolved multispectral imaging[J]. IEEE Journal of Solid-State Circuits, 2019, 54(6): 1705-1719.

[44] Mai H N, Jarman A, Erdogan A T, et al. Development of a high-speed line-scanning fluorescence lifetime imaging microscope for biological imaging[J]. Optics Letters, 2023, 48(8): 2042-2045.

[45] Becker W, Hirvonen L M, Milnes J, et al. A wide-field TCSPC FLIM system based on an MCP PMT with a delay-line anode[J]. The Review of Scientific Instruments, 2016, 87(9): 093710.

[46] Suhling K, Hirvonen L M, Becker W, et al. Wide-field TCSPC-based fluorescence lifetime imaging (FLIM) microscopy[J]. Proceedings of SPIE, 2016, 9858: 98580J.

[47] Oleksiievets N, Thiele J C, Weber A, et al. Wide-field fluorescence lifetime imaging of single molecules[J]. The Journal of Physical Chemistry A, 2020, 124(17): 3494-3500.

[48] Hirvonen L M, Becker W, Milnes J, et al. Picosecond wide-field time-correlated single photon counting fluorescence microscopy with a delay line anode detector[J]. Applied Physics Letters, 2016, 109(7): 071101.

[49] Hirvonen L M, Nedbal J, Almutairi N, et al. Lightsheet fluorescence lifetime imaging microscopy with wide-field time-correlated single photon counting[J]. Journal of Biophotonics, 2020, 13(2): e201960099.

[50] Samimi K, Desa D E, Lin W, et al. Light-sheet autofluorescence lifetime imaging with a single-photon avalanche diode array[J]. Journal of Biomedical Optics, 2023, 28(6): 066502.

[51] Wayne M, Ulku A, Ardelean A, et al. A 500 × 500 dual-gate SPAD imager with 100% temporal aperture and 1 ns minimum gate length for FLIM and phasor imaging applications[J]. IEEE Transactions on Electron Devices, 2022, 69(6): 2865-2872.

[52] Ulku A C, Bruschini C, Antolovic I M, et al. A 512 × 512 SPAD image sensor with integrated gating for widefield FLIM[J]. IEEE Journal of Selected Topics in Quantum Electronics, 2019, 25(1): 6801212.

[53] Smith J T, Rudkouskaya A, Gao S, et al. Characterization of a large gated SPAD array for widefield NIR fluorescence lifetime imaging in vitro and in vivo[J]. Biophysical Journal, 2022, 121(3): 415a.

[54] Bowman A J, Klopfer B B, Juffmann T, et al. Electro-optic imaging enables efficient wide-field fluorescence lifetime microscopy[J]. Nature Communications, 2019, 10: 4561.

[55] Li R, Liu A, Wu T, et al. Digital scanned laser light-sheet fluorescence lifetime microscopy with wide-field time-gated imaging[J]. Journal of Microscopy, 2020, 279(1): 69-76.

[56] Butte P V, Mamelak A N, Nuno M, et al. Fluorescence lifetime spectroscopy for guided therapy of brain tumors[J]. NeuroImage, 2011, 54(Suppl 1): S125-S135.

[57] Unger J, Hebisch C, Phipps J E, et al. Real-time diagnosis and visualization of tumor margins in excised breast specimens using fluorescence lifetime imaging and machine learning[J]. Biomedical Optics Express, 2020, 11(3): 1216-1230.

[58] Marsden M, Weaver S S, Marcu L, et al. Intraoperative mapping of parathyroid glands using fluorescence lifetime imaging[J]. The Journal of Surgical Research, 2021, 265: 42-48.

[59] Weyers B W, Birkeland A C, Marsden M A, et al. Intraoperative delineation of p16+ oropharyngeal carcinoma of unknown primary origin with fluorescence lifetime imaging: preliminary report[J]. Head & Neck, 2022, 44(8): 1765-1776.

[60] Qu J L, Liu L X, Chen D N, et al. Temporally and spectrally resolved sampling imaging with a specially designed streak camera[J]. Optics Letters, 2006, 31(3): 368-370.

[61] Komura M, Itoh S. Fluorescence measurement by a streak camera in a single-photon-counting mode[J]. Photosynthesis Research, 2009, 101(2/3): 119-133.

[62] Krishnan R V, Saitoh H, Terada H, et al. Development of a multiphoton fluorescence lifetime imaging microscopy system using a streak camera[J]. Review of Scientific Instruments, 2003, 74(5): 2714-2721.

[63] Kusumi A, Tsuji A, Murata M, et al. Development of a streak-camera-based time-resolved microscope fluorometer and its application to studies of membrane fusion in single cells[J]. Biochemistry, 1991, 30(26): 6517-6527.

[64] Camborde L, Jauneau A, Brière C, et al. Detection of nucleic acid-protein interactions in plant leaves using fluorescence lifetime imaging microscopy[J]. Nature Protocols, 2017, 12(9): 1933-1950.

[65] Maklygina Y S, Romanishkin I D, Skobeltsin A S, et al. Time-resolved fluorescence imaging technique for rat brain tumors analysis[J]. Journal of Physics: Conference Series, 2021, 2058(1): 012028.

[66] Liu L X, Li Y H, Sun L G, et al. Fluorescence lifetime imaging microscopy using a streak camera[J]. Proceedings of SPIE, 2014, 8948: 89482L.

[67] Chen D N, Li H, Yu B, et al. Four-dimensional multi-particle tracking in living cells based on lifetime imaging[J]. Nanophotonics, 2022, 11(8): 1537-1547.

[68] Ma Y Y, Lee Y, Best-Popescu C, et al. High-speed compressed-sensing fluorescence lifetime imaging microscopy of live cells[J]. Proceedings of the National Academy of Sciences of the United States of America, 2021, 118(3): e2004176118.

[69] Wang X F, Uchida T, Minami S. A fluorescence lifetime distribution measurement system based on phase-resolved detection using an image dissector tube[J]. Applied Spectroscopy, 1989, 43(5): 840-845.

[70] Yahav G, Pawar S, Weber Y, et al. Imaging the rotational mobility of carbon dot-gold nanoparticle conjugates using frequency domain wide-field time-resolved fluorescence anisotropy[J]. Journal of Biomedical Optics, 2023, 28(5): 056001.

[71] Zhang Y D, Guldner I H, Nichols E L, et al. Instant FLIM enables 4D in vivo lifetime imaging of intact and injured zebrafish and mouse brains[J]. Optica, 2021, 8(6): 885-897.

[72] Serafino M J, Applegate B E, Jo J A. Direct frequency domain fluorescence lifetime imaging using field programmable gate arrays for real time processing[J]. The Review of Scientific Instruments, 2020, 91(3): 033708.

[73] Clayton A H A, Hanley Q S, Arndt-Jovin D J, et al. Dynamic fluorescence anisotropy imaging microscopy in the frequency domain (rFLIM)[J]. Biophysical Journal, 2002, 83(3): 1631-1649.

[74] Erkkilä M T, Bauer B, Hecker-Denschlag N, et al. Widefield fluorescence lifetime imaging of protoporphyrin IX for fluorescence-guided neurosurgery: an ex vivo feasibility study[J]. Journal of Biophotonics, 2019, 12(6): e201800378.

[75] Reichert D, Erkkilä M T, Holst G, et al. Towards real-time wide-field fluorescence lifetime imaging of 5-ALA labeled brain tumors with multi-tap CMOS cameras[J]. Biomedical Optics Express, 2020, 11(3): 1598-1616.

[76] Ducourthial G, Leclerc P, Mansuryan T, et al. Development of a real-time flexible multiphoton microendoscope for label-free imaging in a live animal[J]. Scientific Reports, 2015, 5: 18303.

[77] Sparks H, Kondo H, Hooper S, et al. Heterogeneity in tumor chromatin-doxorubicin binding revealed by in vivo fluorescence lifetime imaging confocal endomicroscopy[J]. Nature Communications, 2018, 9: 2662.

[78] Warren S C, Nobis M, Magenau A, et al. Removing physiological motion from intravital and clinical functional imaging data[J]. eLife, 2018, 7: e35800.

[79] Streich L, Boffi J C, Wang L, et al. High-resolution structural and functional deep brain imaging using adaptive optics three-photon microscopy[J]. Nature Methods, 2021, 18(10): 1253-1258.

[80] Soulet D, Paré A, Coste J, et al. Automated filtering of intrinsic movement artifacts during two-photon intravital microscopy[J]. PLoS One, 2013, 8(1): e53942.

[81] Maus M, Cotlet M, Hofkens J, et al. An experimental comparison of the maximum likelihood estimation and nonlinear least-squares fluorescence lifetime analysis of single molecules[J]. Analytical Chemistry, 2001, 73(9): 2078-2086.

[82] Kim J, Seok J, Lee H, et al. Penalized maximum likelihood estimation of lifetime and amplitude images from multi-exponentially decaying fluorescence signals[J]. Optics Express, 2013, 21(17): 20240-20253.

[83] Rowley M I, Coolen A C C, Vojnovic B, et al. Robust Bayesian fluorescence lifetime estimation, decay model selection and instrument response determination for low-intensity FLIM imaging[J]. PLoS One, 2016, 11(6): e0158404.

[84] Wang S L, Chacko J V, Sagar A K, et al. Nonparametric empirical Bayesian framework for fluorescence-lifetime imaging microscopy[J]. Biomedical Optics Express, 2019, 10(11): 5497-5517.

[85] Yang S, Lee J, Lee Y M, et al. Estimation of multiexponential fluorescence decay parameters using compressive sensing[J]. Journal of Biomedical Optics, 2015, 20(9): 096003.

[86] 张潇, 林丹樱, 牛敬敬, 等. 基于交替下降条件梯度的低光子数荧光寿命分析[J]. 中国激光, 2020, 47(2): 207022.

Zhang X, Lin D Y, Niu J J, et al. Low photon count fluorescence lifetime analysis based on alternating descent conditional gradient method[J]. Chinese Journal of Lasers, 2020, 47(2): 207022.

[87] Chen P F, Kang Q, Niu J J, et al. Fluorescence lifetime tracking and imaging of single moving particles assisted by a low-photon-count analysis algorithm[J]. Biomedical Optics Express, 2023, 14(4): 1718-1731.

[88] Ranjit S, Malacrida L, Jameson D M, et al. Fit-free analysis of fluorescence lifetime imaging data using the phasor approach[J]. Nature Protocols, 2018, 13(9): 1979-2004.

[89] Zhou T, Luo T, Song J, et al. Phasor-fluorescence lifetime imaging microscopy analysis to monitor intercellular drug release from a pH-sensitive polymeric nanocarrier[J]. Analytical Chemistry, 2018, 90(3): 2170-2177.

[90] Wu G, Nowotny T, Zhang Y L, et al. Artificial neural network approaches for fluorescence lifetime imaging techniques[J]. Optics Letters, 2016, 41(11): 2561-2564.

[91] Yao R Y, Ochoa M, Yan P K, et al. Net-FLICS: fast quantitative wide-field fluorescence lifetime imaging with compressed sensing-a deep learning approach[J]. Light, Science & Applications, 2019, 8: 26.

[92] Smith J T, Yao R Y, Sinsuebphon N, et al. Fast fit-free analysis of fluorescence lifetime imaging via deep learning[J]. Proceedings of the National Academy of Sciences of the United States of America, 2019, 116(48): 24019-24030.

[93] Xiao D, Chen Y, Li D D U. One-dimensional deep learning architecture for fast fluorescence lifetime imaging[J]. IEEE Journal of Selected Topics in Quantum Electronics, 2021, 27(4): 7000210.

[94] Chen Y I, Chang Y J, Liao S C, et al. Generative adversarial network enables rapid and robust fluorescence lifetime image analysis in live cells[J]. Communications Biology, 2022, 5(1): 18.

[95] Zang Z Y, Xiao D, Wang Q, et al. Fast analysis of time-domain fluorescence lifetime imaging via extreme learning machine[J]. Sensors, 2022, 22(10): 3758.

[96] Xiao D, Sapermsap N, Chen Y, et al. Deep learning enhanced fast fluorescence lifetime imaging with a few photons[J]. Optica, 2023, 10(7): 944-951.

[97] Xiao D, Zang Z Y, Xie W J, et al. Spatial resolution improved fluorescence lifetime imaging via deep learning[J]. Optics Express, 2022, 30(7): 11479-11494.

[98] Xiao D, Zang Z Y, Sapermsap N, et al. Dynamic fluorescence lifetime sensing with CMOS single-photon avalanche diode arrays and deep learning processors[J]. Biomedical Optics Express, 2021, 12(6): 3450-3462.

[99] Adhikari M, Houhou R, Hniopek J, et al. Review of fluorescence lifetime imaging microscopy (FLIM) data analysis using machine learning[J]. Journal of Experimental and Theoretical Analyses, 2023, 1(1): 44-63.

[100] Bowman A J, Kasevich M A. Resonant electro-optic imaging for microscopy at nanosecond resolution[J]. ACS Nano, 2021, 15(10): 16043-16054.

[101] Bowman A J, Huang C, Schnitzer M J, et al. Wide-field fluorescence lifetime imaging of neuron spiking and subthreshold activity in vivo[J]. Science, 2023, 380(6651): 1270-1275.

[102] Gómez C A, Fu B Y, Sakadžić S, et al. Cerebral metabolism in a mouse model of Alzheimer’s disease characterized by two-photon fluorescence lifetime microscopy of intrinsic NADH[J]. Neurophotonics, 2018, 5(4): 045008.

[103] Hou S S, Yang J, Lee J H, et al. Near-infrared fluorescence lifetime imaging of amyloid-β aggregates and tau fibrils through the intact skull of mice[J]. Nature Biomedical Engineering, 2023, 7(3): 270-280.

[104] Díaz-García C M, Lahmann C, Martínez-François J R, et al. Quantitative in vivo imaging of neuronal glucose concentrations with a genetically encoded fluorescence lifetime sensor[J]. Journal of Neuroscience Research, 2019, 97(8): 946-960.

[105] Ni H W, Xu Z C, Li D Y, et al. Aggregation-induced emission luminogen for in vivo three-photon fluorescence lifetime microscopic imaging[J]. Journal of Innovative Optical Health Sciences, 2019, 12(5): 1940005.

[106] Lin F R, Zhang C S, Zhao Y H, et al. In vivo two-photon fluorescence lifetime imaging microendoscopy based on fiber-bundle[J]. Optics Letters, 2022, 47(9): 2137-2140.

[107] Alfonso-Garcia A, Bec J, Sridharan Weaver S, et al. Real-time augmented reality for delineation of surgical margins during neurosurgery using autofluorescence lifetime contrast[J]. Journal of Biophotonics, 2020, 13(1): e201900108.

[108] Marsden M, Fukazawa T, Deng Y C, et al. FLImBrush: dynamic visualization of intraoperative free-hand fiber-based fluorescence lifetime imaging[J]. Biomedical Optics Express, 2020, 11(9): 5166-5180.

[109] Gorpas D, Davari P, Bec J, et al. Time-resolved fluorescence spectroscopy for the diagnosis of oral lichen planus[J]. Clinical and Experimental Dermatology, 2018, 43(5): 546-552.

[110] Sun Y H, Hatami N, Yee M, et al. Fluorescence lifetime imaging microscopy for brain tumor image-guided surgery[J]. Journal of Biomedical Optics, 2010, 15(5): 056022.

[111] Yankelevich D R, Ma D L, Liu J, et al. Design and evaluation of a device for fast multispectral time-resolved fluorescence spectroscopy and imaging[J]. The Review of Scientific Instruments, 2014, 85(3): 034303.

[112] Ma D L, Bec J, Gorpas D, et al. Technique for real-time tissue characterization based on scanning multispectral fluorescence lifetime spectroscopy (ms-TRFS)[J]. Biomedical Optics Express, 2015, 6(3): 987-1002.

[113] Gorpas D, Phipps J, Bec J, et al. Autofluorescence lifetime augmented reality as a means for real-time robotic surgery guidance in human patients[J]. Scientific Reports, 2019, 9: 1187.

[114] Marsden M, Weyers B W, Bec J, et al. Intraoperative margin assessment in oral and oropharyngeal cancer using label-free fluorescence lifetime imaging and machine learning[J]. IEEE Transactions on Bio-Medical Engineering, 2021, 68(3): 857-868.

[115] Kantelhardt S R, Kalasauskas D, König K, et al. In vivo multiphoton tomography and fluorescence lifetime imaging of human brain tumor tissue[J]. Journal of Neuro-Oncology, 2016, 127(3): 473-482.

[116] Erkkilä M T, Reichert D, Hecker-Denschlag N, et al. Surgical microscope with integrated fluorescence lifetime imaging for 5-aminolevulinic acid fluorescence-guided neurosurgery[J]. Journal of Biomedical Optics, 2020, 25(7): 071202.

[117] Reichert D, Erkkilae M T, Gesperger J, et al. Fluorescence lifetime imaging and spectroscopic co-validation for protoporphyrin IX-guided tumor visualization in neurosurgery[J]. Frontiers in Oncology, 2021, 11: 741303.

林方睿, 王义强, 易敏, 张晨爽, 刘丽炜, 屈军乐. 快速荧光寿命显微成像技术及其在活体应用的研究进展（特邀）[J]. 激光与光电子学进展, 2024, 61(6): 0618005. Fangrui Lin, Yiqiang Wang, Min Yi, Chenshuang Zhang, Liwei Liu, Junle Qu. Research Progress on Fast Fluorescence Lifetime Imaging Microscopy and Its in vivo Applications (Invited)[J]. Laser & Optoelectronics Progress, 2024, 61(6): 0618005.