激光与光电子学进展, 2020, 57 (18): 180001, 网络出版: 2020-09-02   

点扫描移频超分辨显微成像进展 下载: 2917次封面文章特邀综述

Progress of Point Scanning Super-Resolution Microscopy Based on Frequency Shifting
作者单位
1 浙江大学光电科学与工程学院现代光学仪器国家重点实验室, 浙江 杭州 310027
2 山西大学极限光学协同创新中心, 山西 太原 030006
3 浙江大学宁波技术研究所, 浙江 宁波 315100
摘要
由于光学衍射极限的存在,一直以来常规光学显微镜的分辨率被限制在照明光波长的一半左右,这严重限制了生物、材料等研究领域对于更细微结构的观察。共聚焦显微成像技术作为最典型也是最早的点扫描显微技术,凭借其良好的光切片能力和高信噪比成为如今应用最为广泛的光学显微技术。然而由于共聚焦显微成像技术的截止频率有限,分辨率的提升也受到限制。移频技术是将更高频的信息移动到可观察的频率范围,从而提高点扫描显微技术的分辨率。详细介绍了点扫描移频超分辨成像技术的基本原理、优缺点,并对其进行了展望。
Abstract
The resolution of conventional optical microscopes is limited to about half of the wavelength of illumination light due to the optical diffraction limit, which severely limits the observation of finer structures in biological and material research fields. As the most typical and earliest point scanning microscopy, the confocal microscopy has become the most widely used optical microscopy with good optical slicing ability and high signal-to-noise ratio. However, due to the limited cut-off frequency of the confocal microscopy, the improvement of resolution is also limited. Frequency shifting technique aims to move the higher frequency information to the observable frequency range, so as to improve the resolution of point scanning microscopy. In this review, the basic principle, advantages, and disadvantages of point scanning frequency shifting super-resolution imaging technology are introduced in detail, and its prospect is also given.

1 引言

一直以来,远场光学显微镜作为生物、材料、化学等研究领域的重要观察工具,推动着科学技术的发展。但是,衍射作为电磁波的基本特性,限制了远场光学显微技术的分辨率提升。1873年,德国物理学家Abbe[1]首次系统地定义了衍射极限:

d=λ2nsinα,(1)

式中:λ是激发光的波长;nsin α是物镜的数值孔径(NA),其中n为物方折射率;α为系统透镜的光线收集半角。

1874年Lord Rayleigh[2]提出了瑞利判据,将普通光学显微镜的分辨率表示为

R=0.61λNA(2)

在之后的近一个世纪,远场光学显微的分辨率都被认为只能达到激发光波长的一半左右。传统光学显微镜通常采用面光源对样品进行照明,由于样品存在一定厚度,且样品深度上每一层都产生携带结构信息的荧光信号,因此焦平面的上方和下方发出的荧光(离焦信号)会干扰对焦面的成像结果。共聚焦显微成像技术的提出为突破衍射极限提供切实可行的方法[3]。共聚焦显微成像技术采用聚焦的高斯艾里斑(AU)进行点照明,再通过振镜等转动器件在样品面上进行点扫描,然后引入一个与物镜焦平面共轭的小孔来滤除焦外光,从而提高系统的光切片能力和信噪比,同时整个系统的有效点扩展函数(PSF)也会由于小孔的存在被压缩,如此可获得更高分辨率的图像。凭借着高分辨率和高对比度的优点,共聚焦显微成像技术广泛应用于材料、生物、医学等研究领域[4-10]。共聚焦显微成像系统的PSF可以表示为

hcon(r)=hexc(r)[hemi(r)Ph(r)],(3)

式中:r为像面的径向坐标;hexc(r)和hemi(r)分别是共聚焦显微成像系统的激发点扩展函数和发射点扩展函数;Ph(r)表示针孔函数;⊗是卷积算子。当针孔无限小时,Ph(r)成为一个冲击函数,此时共聚焦显微成像系统的分辨率理论上能够达到分辨率极限,即宽场显微系统的 2[11]。但是太小的针孔会大大减小接收到的有效信号,导致最后的成像信噪比太低,从而限制了理论分辨率的提升。在实际中,共聚焦显微成像系统通常采用0.6个艾里斑大小的针孔来平衡信噪比和分辨率,从而可以实现20%的分辨率提升[12]

随着光电器件性能的提升和新型荧光探针的研制成功,科研工作者们提出了各种超分辨光学显微成像技术,这些技术在保留传统荧光显微镜特异性识别和直接快速成像等优点的同时,巧妙地绕过了衍射极限,实现了远超共聚焦显微成像技术的分辨率。这些超分辨显微成像技术包括:基于PSF工程的受激发射损耗显微技术(STED)[13];基于移频的结构光照明显微技术(SIM)[14-16];基于单分子定位(SMLM)的稀疏重建的超分辨显微方法,包括光激活定位显微技术(PALM)[17]、随机光学重建显微技术(STORM)[18]和荧光激活定位显微技术(FPALM)[19]

从频域的角度评价衍射极限的问题时,一般是采用光学传递函数(OTF),也就是PSF的傅里叶变换进行评估。对于一个分辨率无限大的点光源(狄拉克函数型),其光学传递函数在整个频谱上是均匀分布的,然而光学显微镜的PSF是高斯型的,其光学传递函数随着频率的增大而不断减小。因此通常将光学显微系统视为一个低通滤波器,只有最低衍射级波数位于其空间带宽内(即小于接收物镜的截止空间频率)的细节才能被物镜接收,而超出截止频率的信息会被舍弃,因此无法分辨样品中周期小于有效截止频率倒数的余弦分量的细微结构,也就是说系统光学传递函数的截止频率决定其极限分辨率。

结构光照明显微成像技术[14]就是使用一个周期结构的图样化激发光(通常是用两束或三束激光束干涉产生的正弦波图案)照明样品。当这样的正弦波激发光照明未知结构的物体时,在样品空间频率与激发光空间频率不同的地方会产生莫尔条纹,从而可以传输超过光学系统空间频率的高频图像信息。然后旋转结构光,在不同角度的结构光下分别记录多个具有不同相位的图像,就能利用移频算法解调出这一系列图像的高频信息并重构出超分辨图像。常规的结构光照明显微成像技术通常应用于宽场显微系统,这限制了其成像深度,因此只能对薄样品进行成像。但是随着点扫描超分辨技术的发展,人们已经提出了多种基于点扫描模式的移频超分辨方法,同样可以将超出光学系统范围的更高频信息移到可探测范围内。

2 并行探测技术

通过减小共聚焦针孔的直径可以提高横向分辨率,但是这也会导致光通量的降低,影响系统的信噪比。而并行探测技术能够解决这个问题,通过使用阵列探测器或点探测器阵列代替传统共聚焦显微镜中的单个点探测器,在提高共聚焦显微成像中探测信号强度的同时,理论上最高分辨率可以达到衍射极限的2倍(图1)。从频域的角度来说,并行探测技术通过小针孔和阵列探测器中的离轴像素或子探测器来拓宽系统的频率带宽,再利用后处理算法将高频信息恢复。并行探测技术最早是由Sheppard[20]提出并被Müller和Enderlein[21]利用EMCCD(electron multiplier charge coupled device)阵列探测器实验实现,是当前应用较为广泛的一种点扫描移频超分辨成像技术,Airyscan[22]、ISM(image scanning microscopy)[21]、OPRA(optical photon reassignment microscopy)[23]等都属于该类方法。

图 1. 并行探测系统示意图[24]。插图Ⅰ是由32个点探测器组成的探测器阵列示意图。GM:振镜;M:反射镜;SL:扫描透镜;TL:场镜;OL:物镜;S:样品;DM:二色镜;BPF:带通滤波片;L:透镜;DA:探测器阵列

Fig. 1. Schematic diagram of parallel detection system[24]. Inset Ⅰ is diagram of detector array composed of 32 point-detectors. GM: Galvo mirror; M: mirror; SL: scanning lens; TL: tube lens; OL: objective lens; S: sample; DM: dichroic mirror; BPF: bandpass filter; L: lens; DA: detector array

下载图片 查看所有图片

图 2. 并行探测技术中距离光轴vd处的有效PSF横截面,蓝色曲线为普通共焦显微的PSF,红色曲线为位于光轴中心时的PSF,黑色曲线为距离光轴不同距离的PSF[25]。(a)随着vd的增大,黑色曲线的峰值强度不断降低,并向侧面移动;(b)移动有效PSF使其峰值位于轴上;(c)像素重组后整个系统的有效PSF横截面;(d)峰值强度、探测效率和半峰全宽随最大偏离距离的变化

Fig. 2. Cross sections of effective PSF at distance vd from optical axis in parallel detection technology. Blue curve represents PSF of common confocal microscopy, red curve is PSF at center of optical axis, and black curve stands for PSF at different distances from optical axis[25]. (a) Peak intensity of black curve decreases with increasing vd and moves to side; (b) effective PSF is shifted to peak value on axis; (c)

下载图片 查看所有图片

在并行探测技术中,阵列探测器上的每个像素或子探测器同时充当共焦针孔和探测器,因此在样品面的每个扫描位置能够同时记录多个单点探测结果。由于大部分被激发的荧光都会被探测器阵列收集,因此基本没有任何光信号损失,且信噪比较高。而阵列探测器的像素或子探测器的尺寸远小于传统共聚焦显微镜中使用的针孔尺寸,能达到更高的分辨率。但是如果将整个扫描过程中所有的单点探测成像结果直接相加,得到的图像会变得模糊,不能实现理想的分辨能力。这是因为对于大部分像素来说,其激发PSF和探测PSF是错位的,因此最终生成的有效PSF也是偏离光轴的(图2),于是单个像素的有效PSF变为

hd(r,vd)=hexc(r)·[hemi(r)Ph(r-vd)], (4)

式中:vd表示像素偏离光轴的距离。值得注意的是,随着vd的增大,h(r,vd)的峰值会不断降低,但是半峰全宽会减小,也就是说分辨率更高。因此需要先将偏离的图像移回光轴中心(即进行像素重组),在不考虑斯托克斯位移的情况下,只需将图像沿光轴方向移动vd/2,然后将各个像素的值加起来就能得到一张分辨率和信噪比都有着明显提升的图像[图2(c)]。如果存在斯托克斯位移,需要移动的距离则变成vd/(1+β),其中β是荧光和激发光波长的比。

Ge等[26]提出了一种新的移频算法来重建阵列探测器采集的图像。这种方法无需事先了解探测器阵列的分布,而是通过将各个子探测器采集图像的相位信息转化到傅里叶域,以代替原始的并行探测概念中的重新像素分配,改变每个子探测器傅里叶图像的相位值使之对应于空间域图像需要移动的距离。这样就可以将像素重组过程以更灵活的方式完成,因为它移动的距离不再被限制于像素大小的整数倍,而是可以移动任意距离,从而获得更好的成像结果。Yu等[27]比较了在不同噪声水平和不同的探测器阵列设置下使用线性反卷积、RL(Richardson-Lucy)反卷积以及最大似然估计反卷积的恢复算法获得的图像成像质量,结果证明线性反卷积在不同条件下均具有最佳性能。Zhu等[28]研究了4种不同的基于并行探测的显微镜的分辨率提升方法,对它们的分辨率、成像速度和信噪比进行了分析和比较。

除了上述移频算法外,还可以用全光学的手段进行并行探测的像素重组,从而避免后处理算法耗费时间。如图3(a)所示,de Luca等[29-30]提出了Rescan的方法,通过增加一个同步的振镜扫描系统对荧光进行再扫描,其扫描振幅为激发扫描振镜的2倍,从而在光学上实现像素重组的过程。而Roth等[23]也提出了OPRA的方法[图3(b)],让样品发出的荧光两次通过扫描振镜,通过一组透镜(L4和L5)将再扫描时的荧光光束直径扩大为之前的2倍,也能达到相同的效果。当然,考虑到斯托克斯位移的影响,在实际实验中可以通过改变透镜组的焦距比或扫描透镜的振幅比来调整图像移动的距离。OPRA也被成功应用于转盘共聚焦显微成像系统中[31]

图 3. 并行探测的全光学实现。(a) Rescan系统[29];(b) OPRA系统[23]

Fig. 3. All-optical realizations of parallel detection. (a) Rescan system[29]; (b) OPRA system[23]

下载图片 查看所有图片

另一种更能显著提高并行探测成像速度的方法是采用多焦点激发和并行读取的方法。York等[32]通过采用数字微镜设备(DMD)生成激发点阵列并进行样品扫描,而DMD的快速刷新允许在样品上移动多焦点图案,实现了快速的并行探测成像。同样,Schulz等[33]于2013年在共聚焦转盘显微镜中也提出了类似的方案,通过以小于10 μs的开启时间对激发光进行脉冲处理,可以在磁盘全速旋转时快速拍摄多焦点阵列的成像结果。而为了确定多焦点光斑的具体位置,一种基于多测量矢量的稀疏贝叶斯学习算法[34]也被提出,从而避免了照明图案的估计过程,并确保了给定数据的最佳分辨率提升。

随着并行探测技术的发展,蔡司公司于2014年发布了第一款商用并行探测系统[35],该系统使用按六边形图案排列的32根光纤束来接收荧光信号,每根光纤的末端连接到一个砷化镓磷化物光电倍增管(GaAsP-PMT)探测器。之后一些能够进一步提升并行探测技术性能的方法也纷纷问世,如:利用探测器阵列内圈和外圈之间的信号差来提高显微镜的轴向分辨率[25];通过使用荧光发射差分(FED)方法,将不同针孔尺寸下获取的图像分为由中心针孔获取的一个图像和由环形针孔获取的多个图像,然后将它们组合以进一步提高分辨率和信噪比[36];对将经过像素重组的并行探测结果与各个子探测器图像直接相加的结果进行相减,以提高系统的横向和轴向分辨率[37]

将并行探测技术与许多其他的超分辨方法相结合的方法已成功应用于各个研究领域。Roider等[38]使用类似于AiryScan系统的7束六边形光纤,将荧光耦合至光谱仪的狭缝入口,从而提高共聚焦拉曼显微镜的分辨率,从3个维度揭示样品的化学成分。并行探测技术应用于受激发射损耗显微系统则能够在低损耗光强下实现更高的分辨率,其能够在不影响图像质量和分辨率的情况下,缩短单点停留时间,进而使得成像速度提升3.3倍[39]。Zhi等[40]证明并行探测技术可用于反射光显微镜。Sun等[41]则提出了一种基于并行探测的双光子显微镜,其采用7束光纤将荧光耦合到对应的雪崩光电二极管(APD)探测器阵列上,相比于传统的双光子显微镜分辨率仅能提高约21.4%。最近,Tzang等[42]报道了一种基于PSF工程的双光子并行探测显微技术,该技术可通过一次二维扫描实现三维成像,通过将飞秒脉冲的全息多焦点阵列与高效率单螺旋PSF相位掩模探测相结合,能够在超过1500 nm的景深范围内对生物样本进行体积成像,且轴向分辨率优于400 nm。匡翠方课题组还将并行探测与荧光寿命成像显微镜(FLIM)相结合[43],不但解决了时间相关单光子计数(TCSPC)测量中死区引起的堆积效应,显著提高了荧光寿命成像速度,还提高了系统的光子探测效率和分辨率。Tenne等[44]则将并行探测技术与量子成像相结合,利用光子反聚束效应来进一步提高分辨率,达到了4倍衍射极限的超高分辨率。

3 激光扫描移频显微技术

并行探测技术是利用像素重组算法来进行显微图像的移频重建,这里介绍另一类更直接的点扫描移频超分辨显微成像技术,即激光扫描移频显微技术,其同样利用空间不均匀成像系统,以共聚焦显微成像系统为基础,利用各种方法在点照明模式下得到类似于宽场结构光照明显微成像技术的原始数据,再用SIM算法解调出高频信息,从而克服了结构光照明显微成像技术无法进行厚样品成像的缺陷。

Lu等[45]于2009提出了两种超高分辨率的激光扫描显微技术:一种称为扫描图案照明显微技术(SPIN),该技术通过对入射激发光的峰值强度进行调制以及通过宽场探测器的时间累积成像来合成一个有效的结构照明场;另一种称为扫描图案探测显微技术(SPADE),其利用探测端的掩模和单点探测器的空间累积成像来实现系统的空间频移。这两种方案都实现了与传统SIM相同的分辨率,同时能够利用光学切片或者非荧光非相干光学方法(如自发拉曼散射成像)对厚样品进行成像。

SPIN的系统装置如图4(a)所示,激光器发出的激发光被调制为随时间在[0,1]区间变化的函数Iex(t)= 12[1+cos(ωt)],其中ω是时间调制频率。随着扫描的进行,CCD相机在时间累加下能够生成一张类似于结构光照明的成像结果。因此只要改变激发光的时间调制函数,就能产生沿同一方向不同相位的一组图像,然后再通过改变振镜的扫描方向,实现各项同性的分辨率提升。

图 4. SPIN系统和SPADE系统的装置示意图[45]。(a) SPIN系统;(b) SPADE系统

Fig. 4. Diagrams of SPIN and SPADE systems[45]. (a) SPIN system; (b) SPADE system

下载图片 查看所有图片

SPADE系统则是将激发光的峰值强度保持恒定,通过在单点探测器前插入一块透射率m(x)=[1+cos(ωsx)]/2(其中ωs为空间调制频率)的掩模来进行调制。光电倍增管(PMT)对所有通过掩模的信号进行求和并将积分强度分配给当前二维振镜扫描位置对应的单个像素,这样在扫描完整个视场后同样可以重构出一幅类似于SIM的图像。为了提取位于显微系统通带外的频率分量,SPADE同样需要移动和旋转掩模以生成不同方向和相位的一系列图像,然后使用常规的SIM移频算法恢复出超分辨图像。

基于虚拟结构探测(VSD)的超分辨扫描激光显微技术[46]是一种通过对图像进行数字处理来实现时空调制的探测端虚拟移频成像技术,该技术不需要使用复杂的装置(如SIM的光栅、DMD或SPIN的声光调制器)对照明光路中的激光强度进行调制,也不需要在探测光路中使用物理掩模,从而大大简化了系统的复杂度。而且由于VSD采用数字方式进行虚拟调制,其不会因不同物理掩模之间的相位变化精度不够而产生调制伪像[47]。此外,由于在SPIN和SPADE中,调制图案和物理掩模不允许存在负值,需要加上一个直流分量,而这个直流分量要远大于能将样品频率移回系统带宽的有效谐波分量,因此在实验中可能会出现被系统光学传递函数(OTF)衰减的谐波分量淹没在噪声中的现象,从而影响图像高频信息的恢复。而数字掩模可以取任意值,故能采用没有直流分量的正弦波作为调制图案。为了改进VSD有限的成像速度,该课题组还将其与线扫描显微技术相结合,能够将对一幅400 pixel×400 pixel的超分辨图像的成像时间由原先的160 s左右缩短至3 s左右[48]

虚拟k空间调制光学显微(VIKMOM)技术[49]同样是通过对探测端的数字图像进行虚拟调制以获得高频信息,不过其在将探测器阵列采集到的图像转换为SIM数据后,采用改进的傅里叶叠层成像算法而不是传统的SIM移频算法来恢复出超分辨图像,因此对噪声不敏感,且能校正未知光学像差。VIKMOM技术的成像过程[图5(a)]类似于VSD,使用带有二维探测器阵列的共聚焦显微镜进行图像采集,对于每个扫描位置,将激发光斑投影到样品上,并将记录在探测器阵列上的相应图像与数字掩模相乘以进行虚拟调制。这样,当样品被扫描到不同的位置时,可以获得一系列强度图像,再对每张图像的信号进行求和并将积分强度分配给该位置的像素。同时通过改变虚拟数字掩模的参数可获得不同方向和相位的调制图像,最后构成一组SIM数据。VIKMOM中超分辨图像的恢复过程以迭代方式在傅里叶域和空间域之间切换,如图5(b)所示,使用 Iobj(0)(r)和IOTF(0)(k)分别表示样本空间信息和激发光路中光学传递函数的初始估计,在所有调制后的图像被用于更新样品空间信息之后,重复整个过程直到解收敛为止,就能获得不受噪声和像差影响的超分辨图像。

图 5. VIKMOM示意图及其用于超分辨率图像恢复的解码过程[49]。(a)成像系统原理; (b)用于超分辨率图像恢复的解码程序流程图

Fig. 5. Schematic of VIKMOM and its decoding procedure for super-resolution image recovery[49]. (a) Principle of imaging system; (b) decoding procedure for super-resolution image recovery

下载图片 查看所有图片

图 6. 多焦点饱和虚拟调制技术。(a) LSM的扫描过程;(b)多焦斑探测系统;(c)虚拟调制过程[50]

Fig. 6. Multifocal saturated virtual modulation microscopy. (a) Scanning process of LSM; (b) multiple focal spot detection system; (c) procedure for virtual modulation[50]

下载图片 查看所有图片

Cao等[50]提出的多焦点饱和虚拟调制技术利用荧光饱和激发的非线性效应以及多焦斑照明技术分别提高了VSD的空间分辨率和时间分辨率。如图6(a)所示,周期性的多个焦斑用来提高生成SIM数据的速度,星号表示物体的位置,箭头表示图案的扫描路径。由于荧光团的激发强度达到最大值时,其发射强度将达到最大值,因此可以使用此先验知识来估计照明的各个焦斑的初始位置,进而将其重排成与单焦斑SIM成像相同的数据集。值得注意的是,两个相邻焦斑之间的间隔最好要大于激发光和探测光二维PSF的直径之和,以确保它们不会相互干扰。然后再采用之前提到的傅里叶叠层成像恢复算法来对如图6(b)所示的两种虚拟调制方法(虚拟时间调制和虚拟空间调制)生成的SIM数据集进行移频重建,以提取出超过线性超分辨的高频信息。图6(c)为虚拟调制过程,可以通过两种方式对第i个探测器捕获的图像进行数字调制,探测器阵列的中心标记为“1”,对应于焦斑中心。

文献[ 51]还提出了一种激光扫描饱和结构光照明显微(SSIM)方法[51],该方法也是利用荧光响应的非线性效应引入更高次的谐波,从而将激光扫描移频显微技术的分辨率提升至宽场的2.7倍。相比于常规的SSIM,激光扫描SSIM在引入高次谐波的同时,所需的激发光功率要低得多,因此具有较弱的光漂白和光毒性。如图7所示,使用空间光调制器进行相位调制以生成具有两个峰值的激发PSF,然后沿PSF波谷的方向进行扫描并将图像累积记录在CCD相机上,这样就可以获得结构化的照明图像。当然,为了在所有方向上扩展频域,还需要旋转空间光调制器上的相位调制图案并相应地更改扫描路径。图7中CL为准直透镜,P为偏振片,SLM为空间光调制器,HWP为半波片,GM为振镜,SL为扫描透镜,TL为场镜,DM为二向色镜,OL为物镜。

图 7. 激光扫描饱和结构光照明显微(SSIM)成像。(a)激光扫描SSIM装置示意图;(b)空间光调制器上的相位调制图案和相应的扫描路径[51]

Fig. 7. Laser scanning SSIM imaging. (a) Diagram of laser scanning SSIM setup; (b) phase modulation pattern on SLM and corresponding scanning route[51]

下载图片 查看所有图片

4 非线性焦斑调制显微技术

非线性焦斑调制显微(NFOMM)技术[52]也是通过高强度照明产生的荧光激发的非线性效应来扩展系统的有效空间频率带宽,再采用空间光调制器在激发光路进行相位调制以实现PSF空间频率的重新分配,从而保留来自物体的高频分量。而样品的高频信息在一个或多个激发光斑的相位调制下被移回系统的频率通带,这样就可以利用多视图反卷积算法进行后处理,以重建超分辨对象。NFOMM技术的基本原理如图8(a)所示,经过相位延迟和偏振调制的激发光被物镜聚焦在样本平面,产生不同图案的照明光斑[图8(a)中ii][53-54]。在普通的点扫描显微镜中样品发射的荧光是高斯型PSF[图8(b)中iv],图8(b)中v、vi则为非线性焦斑调制显微技术使用的另外两种常用的照明图案,是通过利用对应的相位掩模[图8(b)中ii、iii]调制入射光束的相位得到的。当增加激发光的功率时,荧光发射会产生非线性效应[图8(a)中iii]。从图8(b)中3种照明图案对应的有效OTF可以看出,饱和空心斑发射(SDE)模式具有多于饱和高斯发射(GE)模式的高频分量,而y方向饱和线形发射(SLE)模式涵盖了更多沿x方向的高频分量。图8(c)给出了沿x方向的OTF归一化曲线,以直观地比较3种不同照明光斑的性能。当将照明强度增加到100 kW/cm2时,由荧光饱和产生的非线性效应扩展了3种发射模式的有效OTF,高频分量明显增加。值得注意的是,饱和高斯发射模式中高频分量较少,这就是点扫描饱和SIM的分辨率提高被限制在2.6倍衍射极限的原因[51,55]。而SDE和SLE模式虽然携带更多的高频信息,但是其在中频区域存在着一个凹陷,因此为了弥补其频率缺失,需要采用由RL反卷积演变而成的多视图反卷积迭代模型[56-57]:

sk+1=sk×i=1NF-1F(Ii)F(sk)*HOTFeffi×HOTFeffi,*,(5)

式中: HOTFeffi是第i个光学传递函数;Ii为第i个光学传递函数对应的采集图像;F-1F分别表示傅里叶逆变换和傅里叶变换;*是共轭算子;sk是经过k次迭代后样本的估计值。开始第一次迭代前的估计值s1一般选择原始图像I本身。由于迭代是收敛的,可以设定当迭代前后样本的估计值变化小于某个值时终止迭代,当然也可以提前设置合适的迭代次数。NFOMM将SDE/SLE模式与GE模式代入多视图反卷积迭代模型,可在将高频信息提取出来的同时弥补缺频现象,从而重建出超分辨图像。

图 8. NFOMM工作原理和成像结果[33]。(a)焦斑调制示意图;(b) PSF与OTF;(c) OTF曲线;(d)辐条状样品的成像结果;(e)(f) NFOMM与标准共聚焦显微技术对于Vero细胞的双色成像结果

Fig. 8. Working principle and imaging results of NFOMM[33]. (a) Diagram of focal spot modulation; (b) PSF and OTF; (c) profiles of OTF; (d) imaging results of spoke-like sample; (e)(f) dual-color imaging results of NFOMM and standard confocal microscopy for Vero cells

下载图片 查看所有图片

图8(d)为辐条状样品的模拟结果,SDE模式[图8(d)中iii]实线圆弧的直径比GE[图8(d)中ii]小得多,这表明其分辨率更高。然而,SDE模式的双波峰特征产生的缺频现象会导致其辐条错位和模糊(虚线圆弧)。在图8(d)中iv、v中,普通的RL反卷积虽然可以使得已经识别的区域更加清晰,重建的辐条更薄,但其分辨率边界没有改变[58]。而NFOMM图像能够显示出更多细节信息,不会出现位置错误等问题,这证明了其优越的性能。如图8(d)中vii所示,从单个y方向SLE图像中恢复的结果[图8(d)中vii]在x方向获得了更高的分辨率,如上所述,这是因为在该方向上存在大量的高频分量。但是,由于缺少y方向的频率分量,因此辐条会沿顺时针方向变得模糊并且发生变形。因此需要采集4张在不同照明方向(相对于x方向分别为0°,45°,90°,135°)图案下的SLE图像,以及一个用于弥补缺频的GE图像。图8(e)、(f)为对双色Vero细胞的成像结果,可以看出NFOMM在生物样品中可实现远高于传统共聚焦显微成像系统的分辨率,证明了NFOMM用于多色生物成像的超分辨能力。

经验证,NFOMM能够实现λ/10的横向分辨率,尽管存在更容易遭受光漂白的问题,但其具有装置简单、照明功率低等优点。不过由于NFOMM需要在不同照明光斑下拍摄多个图像,这将导致成像速度下降,因此一种基于交错重建的非线性焦斑调制显微技术被提出[59],以在不改变传统非线性焦斑调制显微技术原始数据的情况下弥补成像速度下降的缺陷。

图9(a)上方所示,传统非线性焦斑调制显微技术的重建算法仅使用每个照明光斑的成像结果来生成一张超分辨率图像。例如,使用实心和空心照明光斑下的系统点扩展函数以及原始图像(P1,P2,S1和H1)得到第一张非线性焦斑调制显微图像N1,然后使用S2和H2重构第二张超分辨率图像。但是整个重建过程对不同照明光斑的成像顺序是没有特殊要求的,因此可以通过将每张原始图像进行复用[如图9(a)的底部所示,H1和S2被再次使用以重建额外的中间帧N'1)来挖掘潜在的时间信息,从而通过使用同一个原始数据集实现成像速度的提升。也就是说,在使用m个照明光斑的长时间成像中,采用交错重建的方法可以实现的成像速度是传统非线性焦斑调制显微技术的m倍。而且相比于时间插值方法,交错重建不会由于时间序列上连续的两张错位图像的空间平均造成图像结果的展宽。

图 9. 基于交错重建的非线性焦斑调制显微技术。(a)交错重构算法示意图;(b)饱和图像融合算法(SIFM)示意图

Fig. 9. Nonlinear focal modulation microscopy based on interleaved reconstruction. (a) Schematic of interleaved reconstruction algorithm; (b) schematic of SIFM

下载图片 查看所有图片

在共聚焦显微成像系统中,针孔越小,分辨率越高,从频域的角度来看,即小针孔会增加图像的高频信息。对于非线性焦斑调制技术,同样可以利用并行探测技术在保证高信噪比的前提下进一步提高分辨率。值得注意的是,在NFOMM中并非仅使用传统的高斯光斑对样品进行照明,不论是SDE模式还是SLE模式,在经历像素重组后都会破坏中心区域的零强度点,从而导致高频信息的大幅度衰减。这是由于外圈的子探测器是偏离光轴的,造成SDE和SLE模式下系统PSF中心的零强度区域也会随之发生偏离。如图9(b)所示,为了获得最多的高频信息,饱和图像融合显微技术(SIFM)在SDE模式和SLE模式下只采用中心子探测器采集图像[图9(b)中III],而其信噪比低和频率缺失的问题同样需要利用多视图反卷积算法解决,因此还得采集一张GE模式下的常规并行探测图像[图9(b)中II],将两张图像融合后便能得到具备高分辨率、高信噪比、无缺频现象的成像结果[图9(b)中VI]。

5 结束语

介绍了点扫描移频超分辨显微成像的最新进展。点扫描移频超分辨显微成像以激光共聚焦显微成像为开端,在十几年的发展中出现了ISM、NFOMM和激光扫描移频显微技术等。相比于共聚焦、超分辨率光学波动成像(SOFI)[60]等常规显微成像方法,点扫描移频超分辨显微成像技术具有较高的成像分辨率,足以满足人们观察微观物质结构和运动的需求;相比于受激辐射淬灭显微、饱和吸收竞争[61]等显微成像方法,点扫描移频超分辨显微成像技术在实现相同分辨率的情况下减弱了高激光光强对样品的光漂白和光毒性。相比于SIM、单分子定位等宽场超分辨显微成像,点扫描移频超分辨显微成像技术具有三维成像效果和层切能力好的优点[62-64]。在今后的研究中,移频技术不仅可获得较高的空间分辨率,还可与寿命成像技术相结合,获得样品的多参量信息。目前三维移频成像仍处于起步阶段,在提高轴向分辨率方面还需要很多研究。三维移频成像结合4Pi技术等可以大幅提高三维移频成像的分辨率。另外,该技术也可拓展到非荧光成像领域,如对金颗粒等介质进行成像可获得表面等离子体共振散射信号。因此,点扫描移频超分辨显微成像技术集成了常规显微仪器的大部分优点,随着现代科学技术的发展将成为一种标准的显微技术,可以预见其在生物、医学、材料等研究领域将起着越来越重要的作用。

参考文献

[1] Abbe E. Beiträge zur Theorie des Mikroskops und der mikroskopischen Wahrnehmung[J]. Archiv Für Mikroskopische Anatomie, 1873, 9( 1): 413- 468.

[2] Lord Rayleigh F R S. XII. On the manufacture and theory of diffraction-gratings[J]. The London, Edinburgh, Dublin PhilosophicalMagazine and Journal ofScience, 1874, 47( 310): 81- 93.

[3] Minsky M. Memoir on inventing the confocal scanning microscope[J]. Scanning, 1988, 10(4): 128-138.

[4] Tearney G J, Webb R H, Bouma B E. Spectrally encoded confocal microscopy[J]. Optics Letters, 1998, 23(15): 1152-1154.

[5] Matthew White W, Rajadhyaksha M, Gonzalez S, et al. Noninvasive imaging of human oral mucosa in vivo by confocal reflectance microscopy[J]. Laryngoscope, 1999, 109(10): 1709-1717.

[6] Busam K J, Charles C, Lee G, et al. Morphologic features of melanocytes, pigmented keratinocytes, and melanophages by in vivo confocal scanning laser microscopy[J]. Modern Pathology, 2001, 14(9): 862-868.

[7] Fitzgerald A J, Berry E, Zinovev N N, et al. An introduction to medical imaging with coherent terahertz frequency radiation[J]. Physics in Medicine and Biology, 2002, 47(7): R67-R84.

[8] Smolyaninov I I, Davis C C, Zayats A V. Image formation in surface plasmon polariton mirrors: applications in high-resolution optical microscopy[J]. New Journal of Physics, 2005, 7(1): 175.

[9] Zhang Y H, Poonja S, Roorda A. MEMS-based adaptive optics scanning laser ophthalmoscopy[J]. Optics Letters, 2006, 31(9): 1268-1270.

[10] Stender A S, Marchuk K, Liu C, et al. Single cell optical imaging and spectroscopy[J]. Chemical Reviews, 2013, 113(4): 2469-2527.

[11] Brakenhoff G J, Blom P, Barends P J. Confocal scanning light microscopy with high aperture immersion lenses[J]. Journal of Microscopy, 1979, 117(2): 219-232.

[12] Borlinghaus R T. 13(3): i-iii[J]. Kappel C. HyVolution: the smart path to confocal super-resolution. Nature Methods, 2016.

[13] Hell S W, Wichmann J. Breaking the diffraction resolution limit by stimulated emission: stimulated-emission-depletion fluorescence microscopy[J]. Optics Letters, 1994, 19(11): 780-782.

[14] Gustafsson M G L. Surpassing the lateral resolution limit by a factor of two using structured illumination microscopy[J]. Journal of Microscopy, 2000, 198(2): 82-87.

[15] Gustafsson M G L, Shao L, Carlton P M, et al. Three-dimensional resolution doubling in wide-field fluorescence microscopy by structured illumination[J]. Biophysical Journal, 2008, 94(12): 4957-4970.

[16] Mudry E, Belkebir K, Girard J C, et al. Structured illumination microscopy using unknown speckle patterns[J]. Nature Photonics, 2012, 6(5): 312-315.

[17] Betzig E, Patterson G H, Sougrat R, et al. Imaging intracellular fluorescent proteins at nanometer resolution[J]. Science, 2006, 313(5793): 1642-1645.

[18] Rust M J, Bates M, Zhuang X W. Sub-diffraction-limit imaging by stochastic optical reconstruction microscopy (STORM)[J]. Nature Methods, 2006, 3(10): 793-796.

[19] Hess S T. Girirajan T P K, Mason M D. Ultra-high resolution imaging by fluorescence photoactivation localization microscopy[J]. Biophysical Journal, 2006, 91(11): 4258-4272.

[20] Sheppard C J R. Super-resolution in confocal imaging[J]. Optik, 1988, 80(2): 53-54.

[21] Müller C B, Enderlein J. Image scanning microscopy[J]. Physical Review Letters, 2010, 104(19): 198101.

[22] Huff J. The Airyscan detector from ZEISS: confocal imaging with improved signal-to-noise ratio and super-resolution[J]. NatureMethods, 2015, 12(12): i-ii.

[23] Roth S, Sheppard C, Wicker K, et al. Optical photon reassignment microscopy (OPRA)[J]. Optical Nanoscopy, 2013, 2(1): 5.

[24] Ge B L, Wang Y F, Huang Y J, et al. Three-dimensional resolution and contrast-enhanced confocal microscopy with array detection[J]. Optics Letters, 2016, 41(9): 2013-2016.

[25] Sheppard C J R, Mehta S B, Heintzmann R. Superresolution by image scanning microscopy using pixel reassignment[J]. Optics Letters, 2013, 38(15): 2889-2892.

[26] Ge B L, Huang Y J, Fang Y, et al. Frequency domain phase-shifted confocal microscopy (FDPCM) with array detection[J]. Journal of Modern Optics, 2017, 64(16): 1597-1603.

[27] Yu Z Z, Liu S C, Sun S Y, et al. Imaging resolution and properties analysis of super resolution microscopy with parallel detection under different noise, detector and image restoration conditions[J]. Journal of Modern Optics, 2018, 65(10): 1188-1198.

[28] Zhu D Z, Fang Y, Chen Y H, et al. Comparison of multi-mode parallel detection microscopy methods[J]. Optics Communications, 2017, 387: 275-280.

[29] Breedijk R M P, Brandt R A J, et al. Re-scan confocal microscopy: scanning twice for better resolution[J]. Biomedical Optics Express, 2013, 4(11): 2644-2656.

[30] Breedijk R M P, Hoebe R A, et al. Re-scan confocal microscopy (RCM) improves the resolution of confocal microscopy and increases the sensitivity[J]. Methods and Applications in Fluorescence, 2017, 5(1): 015002.

[31] Azuma T, Kei T. Super-resolution spinning-disk confocal microscopy using optical photon reassignment[J]. Optics Express, 2015, 23(11): 15003-15011.

[32] York A, Parekh S H, Nogare D D, et al. Resolution doubling in live, multicellular organisms via multifocal structured illumination microscopy[J]. Nature Methods, 2012, 9(7): 749-754.

[33] Schulz O, Pieper C, Clever M, et al. Resolution doubling in fluorescence microscopy with confocal spinning-disk image scanning microscopy[J]. Proceedings of the National Academy of Sciences of the United States of America, 2013, 110(52): 21000-21005.

[34] Wu J J, Li S W, Cao H Q, et al. Resolution improvement of multifocal structured illumination microscopy with sparse Bayesian learning algorithm[J]. Optics Express, 2018, 26(24): 31430-31438.

[35] . 13 (11): i-ii[J]. Huff J. The fast mode for ZEISS LSM 880 with Airyscan: high-speed confocal imaging with super-resolution, improved signal-to-noise ratio. Nature Methods, 2016.

[36] Chen Y H, Zhu D Z, Fang Y, et al. A novel method for enhancing the lateral resolution and image SNR in confocal microscopy[J]. Optics Communications, 2017, 404: 184-188.

[37] Li Y C, Liu S C, Liu D H, et al. Image scanning fluorescence emission difference microscopy based on a detector array[J]. Journal of Microscopy, 2017, 266(3): 288-297.

[38] Roider C, Ritsch-Marte M, Jesacher A. High-resolution confocal Raman microscopy using pixel reassignment[J]. Optics Letters, 2016, 41(16): 3825-3828.

[39] Wang W S, Zhang Z M, Liu S C, et al. Stimulated emission depletion microscopy with array detection and photon reassignment[J]. Optics and Lasers in Engineering, 2020, 129: 106061.

[40] Zhi Y N, Wang B Q, Yao X C. Super-resolution scanning laser microscopy based on virtually structured detection[J]. Critical Reviews in Biomedical Engineering, 2015, 43(4): 297-322.

[41] Sun S Y, Liu S C, Wang W S, et al. Improving the resolution of two-photon microscopy using pixel reassignment[J]. Applied Optics, 2018, 57(21): 6181-6187.

[42] Tzang O, Feldkhun D, Agrawal A, et al. Two-photon PSF-engineered image scanning microscopy[J]. Optics Letters, 2019, 44(4): 895-898.

[43] Liu S C, Zhang Z M, Zheng J Y, et al. Parallelized fluorescence lifetime imaging microscopy (FLIM) based on photon reassignment[J]. Optics Communications, 2018, 421: 83-89.

[44] Tenne R, Rossman U, Rephael B, et al. Super-resolution enhancement by quantum image scanning microscopy[J]. Nature Photonics, 2019, 13(2): 116-122.

[45] Lu J, Min W, Conchello J A, et al. Super-resolution laser scanning microscopy through spatiotemporal modulation[J]. Nano Letters, 2009, 9(11): 3883-3889.

[46] Lu R W, Wang B Q, Zhang Q X, et al. Super-resolution scanning laser microscopy through virtually structured detection[J]. Biomedical Optics Express, 2013, 4(9): 1673-1682.

[47] Shroff S A, Fienup J R, Williams D R. Phase-shift estimation in sinusoidally illuminated images for lateral superresolution[J]. Journal of the Optical Society of America A-Optics Image Science and Vision, 2009, 26(2): 413-424.

[48] Zhi Y N, Lu R W, Wang B Q, et al. Rapid super-resolution line-scanning microscopy through virtually structured detection[J]. Optics Letters, 2015, 40(8): 1683-1686.

[49] Kuang C F, Ma Y, Zhou R J, et al. Virtual k-space modulation optical microscopy[J]. Physical Review Letters, 2016, 117(2): 028102.

[50] Cao R Z, Kuang C F, Yong L, et al. Superresolution via saturated virtual modulation microscopy[J]. Optics Express, 2017, 25(26): 32364-32379.

[51] Huang Y J, Zhu D Z, Jin L H, et al. Laser scanning saturated structured illumination microscopy based on phase modulation[J]. Optics Communications, 2017, 396: 261-266.

[52] Zhao G Y, Zheng C, Kuang C F, et al. Nonlinear focal modulation microscopy[J]. Physical Review Letters, 2018, 120(19): 193901.

[53] Yamanaka M, Tzeng Y, Kawano S, et al. SAX microscopy with fluorescent nanodiamond probes for high-resolution fluorescence imaging[J]. Biomedical Optics Express, 2011, 2(7): 1946-1954.

[54] Eggeling C, Volkmer A. Seidel C A M. Molecular photobleaching kinetics of rhodamine 6G by one- and two-photon induced confocal fluorescence microscopy[J]. ChemPhysChem, 2005, 6(5): 791-804.

[55] Laporte G P J, Stasio N, Sheppard C J R, et al. Resolution enhancement in nonlinear scanning microscopy through post-detection digital computation[J]. Optica, 2014, 1(6): 455-460.

[56] KrzicU. Multiple-view microscopy with light-sheet based fluorescence microscope[EB/OL]. [2020-04-27].https://www.researchgate.net/publication/33429476_Multiple-View_Microscopy_with_Light-Sheet_Based_Fluorescence_Microscope.

[57] PreibischS, AmatF, StamatakiE, et al. ( 2014-02-02)[2020-04-27]. org/abs/1308. 0730. https://arxiv.

[58] Heintzmann R. Estimating missing information by maximum likelihood deconvolution[J]. Micron, 2007, 38(2): 136-144.

[59] Chen Y C, Zhang C F, Kuang C F. Nonlinear focal modulation microscopy based on interleaved reconstruction[J]. Proceedings of SPIE, 2019, 1118: 1118611.

[60] Dertinger T, Colyer R, Iyer G, et al. Fast, background-free, 3D super-resolution optical fluctuation imaging (SOFI)[J]. Proceedings of the National Academy of Sciences of the United States of America, 2009, 106(52): 22287-22292.

[61] Zhao G Y, Kabir M M, Toussaint K C, et al. Saturated absorption competition microscopy[J]. Optica, 2017, 4(6): 633-636.

[62] 付芸, 王天乐, 赵森. 超分辨光学显微的成像原理及应用进展[J]. 激光与光电子学进展, 2019, 56(24): 240002.

    Fu Y, Wang T L, Zhao S. Imaging principles and applications of super-resolution optical microscopy[J]. Laser & Optoelectronics Progress, 2019, 56(24): 240002.

[63] 胡春光, 查日东, 凌秋雨, 等. 超分辨显微技术在活细胞中的应用与发展[J]. 红外与激光工程, 2017, 46(11): 15-25.

    Hu C G, Zha R D, Ling Q Y, et al. Super-resolution microscopy applications and development in living cell[J]. Infrared and Laser Engineering, 2017, 46(11): 15-25.

[64] 林丹樱, 屈军乐. 超分辨成像及超分辨关联显微技术研究进展[J]. 物理学报, 2017, 66(14): 246-268.

    Lin D Y, Qu J L. Recent progress on super-resolution imaging and correlative super-resolution microscopy[J]. Acta Physica Sinica, 2017, 66(14): 246-268.

陈宇宸, 李传康, 郝翔, 匡翠方, 刘旭. 点扫描移频超分辨显微成像进展[J]. 激光与光电子学进展, 2020, 57(18): 180001. Yuchen Chen, Chuankang Li, Xiang Hao, Cuifang Kuang, Xu Liu. Progress of Point Scanning Super-Resolution Microscopy Based on Frequency Shifting[J]. Laser & Optoelectronics Progress, 2020, 57(18): 180001.

本文已被 4 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!