基于结构照明的超分辨荧光显微成像重建算法

刘智; 罗泽伟; 王正印; 涂壮; 庄正飞; 陈同生

doi:doi:10.3788/CJL202148.0307001

中国激光, 2021, 48 (3): 0307001, 网络出版: 2021-02-02

基于结构照明的超分辨荧光显微成像重建算法下载： 1719次

Super-Resolution Fluorescence Microscopy Image Reconstruction Algorithm Based on Structured Illumination

论文大纲

刘智 ^1,2罗泽伟 ^1,2王正印 ^1,2涂壮 ^1,2庄正飞 ^1,2陈同生 ^1,2,*

作者单位

¹ 华南师范大学生物光子学研究院, 教育部激光生命科学重点实验室, 广东广州 510631

² 华南师范大学生物光子学研究院, 广东省激光生命科学重点实验室, 广东广州 510631

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

由于具有低光毒性、高速宽视场以及多通道三维超分辨成像能力,超分辨结构照明显微术(SR-SIM)特别适合用于活细胞中动态精细结构的实时检测研究。超分辨结构照明显微图像重建算法(SIM-RA)对SR-SIM的成像质量具有决定性影响。本文首先简要介绍了超分辨显微术的发展现状,阐述了研究SR-SIM图像重建算法的必要性;然后介绍了SR-SIM的成像原理,并重点介绍了SR-SIM图像重建算法,包括SR-SIM中频繁使用的去卷积重建算法、SR-SIM校准与重建过程中参数值获取的算法,以及目前发展的超分辨结构照明显微图像重建算法,并介绍了SR-SIM工具箱;最后总结了当前发展超分辨结构照明显微图像重建算法需解决的5个问题。

Abstract

Significance Super-resolution microscopy overcomes the 200 nm spatial resolution limitation of traditional optical microscopy and has been widely used to image subcellular structures in living cells. Super-resolution microscopy mainly includes stimulated emission depletion (STED) microscopy, structured illumination microscopy (SIM), and single-molecule localization microscopy (SMLM). Super-resolution structured illumination microscopy (SR-SIM) is the most widely used super-resolution microscopy technique. Owing to the low phototoxicity, high-speed wide field of view, and multichannel three-dimensional super-resolution imaging capabilities, SR-SIM is especially suitable for real-time detection of dynamic fine structures in living cells. SR-SIM has high-speed wide-field imaging capabilities that enable rapid dynamic measurement of living cells. Compared with STED and SMLM microscopy imaging under a light intensity of ~1000 W/cm ², SR-SIM allows imaging under a low light intensity of ~10 W/cm ², which meets the requirement of long-term imaging of living cells. At the same time, multicolor and multichannel imaging by SR-SIM is beneficial to the study of molecular interactions.

The super-resolution structured illumination reconstruction algorithm (SIM-RA) is the key to realizing fast, long-term, and nondestructive super-resolution imaging of SR-SIM. SR-SIM uses structured light in different directions and phases to excite the fluorescent sample for acquiring multiple original images with illumination patterns and then reconstructs a single super-resolution image through mathematical calculations. Owing to the imperfection of the experiment and the inevitable uncertainty in the measurement of experimental parameters, the estimation of the reconstruction parameters results in false signal and noise, which reduces the resolution of the SR-SIM image and introduces artifacts that can be misinterpreted as biologically relevant features. An excellent SIM-RA can improve the accuracy of reconstruction parameters and filter out noise to reduce artifacts and ensure image quality. In addition, a long exposure time will increase the phototoxicity and photobleaching, which is not conducive to the long-time observation of living cells. SIM-RA can reduce the exposure time by two orders of magnitude for the reconstruction of SR-SIM images, allowing the use of fewer original images to achieve SR-SIM image reconstruction, providing longer and faster super-resolution imaging. Initially, SR-SIM requires users to have professional knowledge. The development of SIM-RA makes it unnecessary to manually set parameters, automatically obtain reconstruction parameters and estimate their uncertainty, and thus to reconstruct super-resolution images with a considerably reduced threshold. The super-resolution structured illumination microscopic image reconstruction process requires strict analysis and calculation to ensure the final super-resolution image quality and imaging speed, which relies on an efficient and stable SIM-RA.

In the past two decades, to achieve automatic, simple, and stable acquisition of high-quality and high-spatial-resolution reconstruction images, the development of super-resolution SIM image reconstruction algorithms has never stopped. Systematic summary and analysis of SIM-RA are necessary for users who want to construct a higher-performance super-resolution structured illumination microscopy system.

Progress This article systematically elaborates and analyzes the reconstruction algorithm of super-resolution structured illumination microscopy. First, it briefly introduces the realization principles and respective advantages of the three super-resolution microscopy techniques, i.e., STED, SIM, and SMLM, and expounds the necessity of studying SIM-RA based on the characteristics of SR-SIM imaging. Second, it introduces the imaging principle of SR-SIM based on structured illumination in detail, and focuses on SIM-RA. In view of the possible reasons for the poor imaging quality caused in the SR-SIM image reconstruction process and the improvement of the algorithm for fast, long-term, and nondestructive imaging of SR-SIM, the calibration and parameter value acquisition algorithms of SR-SIM, SIM-RA, and SR-SIM toolbox are analyzed and summarized. Initially, Gustafsson extended the Wiener filter and applied it to SR-SIM image reconstruction to solve the problem of reconstruction artifacts. Compared with Wiener filtering, the R-L deconvolution algorithm reduces the influence of photon noise on the imaging results, and MAP-SIM further reduces the influence of noise by suppressing defocused light (Fig.4). System calibration before SR-SIM imaging helps reduce artifacts, and the accuracy of reconstruction parameters determines the quality of the reconstructed image. Using algorithms including iterative calculations to accurately determine reconstruction parameters such as illumination frequency and illumination phase is a prerequisite for achieving artifact-free SR-SIM imaging. The inversion of SR-SIM images based on Bayesian theory allows automatic acquisition of parameters and reduces the number of reconstructed original images, which is helpful for the realization of fast automatic imaging. The Hessian-SIM algorithm automatically filters the original image to reduce artifacts and uses methods such as rolling reconstruction to achieve fast and long-term imaging (Fig.5). To promote the development of SR-SIM, FairSIM and SIMcheck have been developed to provide general reconstruction algorithms. OpenSIM and SIMToolbox provide open-source codes to help researchers further study SIM-RA. In addition, machine learning is also used to achieve fast SR-SIM image reconstruction. At the end of the article, five problems to be solved in the current development of super-resolution structured illumination microscopy image reconstruction algorithms are summarized.

Conclusion and Prospect The super-resolution SIM image reconstruction algorithm has a decisive influence on the imaging quality and imaging speed of super-resolution SIM. To achieve fast, stable, and automatic acquisition of high-quality, high-temporal-resolution super-resolution SIM images without artifacts, it is necessary to build better imaging algorithms. Excellent SIM-RA is necessary for reconstructing higher-resolution, faster, longer, and nondestructive SR-SIM images.

1 引言

超分辨显微术突破了光衍射极限对传统光学显微成像分辨率的限制^[1-2]。超分辨显微术主要包括受激发射损耗显微术(STED)、结构照明显微术(SIM)和单分子定位显微术(SMLM)三种。STED利用荧光分子的自发辐射和受激辐射来压缩光学传递函数对应光斑的大小^[3],SIM使用结构照明对荧光样品的发射光进行调制^[4],SMLM通过持续收集处于激活状态的荧光分子发出的荧光实现单分子定位。光活化定位显微术(PALM)^[5]与随机光学重建显微术(STORM)^[6-7]是两种经典的SMLM,它们的区别在于使用的荧光分子类型不同。超分辨显微术不仅具有超高的空间分辨率,还具有与其原理相匹配的独特优势。STED理论上能够将分辨率级别降低到无限小,但受照明强度、标记密度和成像时间的限制,目前的横向分辨率仅可达到30~80 nm^[8]。线性SIM允许在低光照强度下以约80 nm的横向分辨率对活细胞进行快速动态成像^[8];SMLM的横向分辨率可以达到20 nm且轴向分辨率可以达到50 nm,能提供分子数量的信息和高精度的细胞结构图像^[9]。超分辨显微术的时空分辨率需要匹配研究对象的尺寸与运动特征^[2]。为了提高超分辨显微术的可用性,研究人员发展了一系列新的超分辨成像方法,包括由STED扩展的可逆饱和光学荧光跃迁(RESOLFT)显微术^[10]、基于多点扫描的Instant-SIM显微术^[11]、基于全内反射荧光(TIRF)的TIRF-SIM显微术^[12],以及结合结构照明和单分子定位的最小光学通量(MINFLUX)显微术^[13]等。超分辨成像方法的选择需要在时间分辨率和空间分辨率间进行权衡,用户可以根据成像目标的特点选择合适的超分辨显微术^[2,9,14]。

由于同时具有高时间分辨率和空间分辨率,结构照明激发的超分辨结构照明显微术(SR-SIM)特别适用于对活细胞进行实时动态超分辨成像^[15]。2000年,Gustafsson^[4]利用结构化光激发荧光样品,获得了不同方向和不同相位照明模式下含照明条纹的图像,然后采用图像重建算法获得了超分辨图像。SR-SIM将对应于精细结构的高频信号调制为低频信号,显微镜接收低频信号后通过解调来获取样本的高频(细节)信息,实际过程并未违背阿贝衍射极限理论^[16]。STED能获得30~80 nm的横向高分辨率,而线性SR-SIM只能使横向分辨率达到100 nm左右,轴向分辨率达到300 nm左右^[7];但其十分“温和”,照明强度仅约为10 W/cm²,从而使其能用于活细胞的长时间动态成像^[9,17]。此外,在对成像速度和成像时间无严格要求的条件下,非线性结构光显微术(NL-SIM)在足够明亮和稳定的荧光样品上也能实现小于60 nm的横向分辨率^[18]。SR-SIM能以毫秒级的时间分辨率和80~90 nm的横向分辨率成像^[12],且无需复杂的样品制备流程^[15]。

SR-SIM已被广泛应用于活细胞精细结构和快速动态事件的研究中。SR-SIM可用于研究生物的中心体结构和动力学^[19-21]、肌动蛋白网络动力学^[22]和线粒体嵴^[12]。2012年,Sonnen等^[23]使用3D-SIM通过观测特异性结合的抗体发现了Cep152的C端比N端更接近中心体。2014年,Burnette等^[22]使用商用ELYRA SIM系统观察细胞顶部由肌动蛋白弧和肌球蛋白IIA细丝组成的收缩性网状结构时发现,当网状结构收缩时,它会将背侧纤维拉离基底,背侧纤维与黏着斑的附着力会抵消这种拉力,使背侧纤维向下弯曲并使细胞变得扁平,从而证明了肌动蛋白可控制细胞的形状。2018年,Huang等^[12]通过自主搭建的Hessian-SIM系统成功地观察到线粒体嵴,同时也观察到了新的现象,即融合孔在囊泡胞吐过程中的扩大。此外,SIM也可以被应用于DNA复制^[24-25]、内吞^[26]和核结构^[27-28]等方面的研究。在经典线性2D-SIM和3D-SIM的基础上,研究人员还发展了一些新的SR-SIM系统^[29],包括Instant-SIM^[11]、掠入射SIM、Hessian-SIM^[12]和偏振光SIM^[30]。

与STED可以直接基于原始数据生成超分辨图像不同,SR-SIM需要进行额外的计算处理才能重建超分辨图像^[2,31]。Heintzmann等^[32]通过对横向调制激发显微系统获取的8张在两个方向上具有4个相位的原始图像进行重建,获得了一张超分辨图像,Gustafsson^[4]通过对SR-SIM获取的9张在3个方向上均有3个相位的原始数据图像进行重建获得了一张超分辨图像。Heintzmann和Gustafsson在实验中均使用光栅产生结构照明光;与Heintzmann不同的是,Gustafsson在重建过程使用了矩阵描述和加权平均的算法^[15],该算法改善了重建伪影问题,但并未能解决该问题。实验的不完善,以及实验参数测量过程中不可避免的不确定性,使得SIM图像在重建过程中需要严格的分析计算来保障最终超分辨图像的质量^[33-34]。为保证重建过程中图像数据信息传递的准确性以及重建参数的精度^[35],通常需要投入大量精力来发展SR-SIM重建算法。SR-SIM图像重建算法决定了最终获得的超分辨图像的质量。本综述将重点介绍超分辨结构照明显微图像重建算法(SIM-RA)及其发展方向。

2 SR-SIM的成像原理

由于光学衍射的限制,超出宽场荧光显微系统光学传递函数(OTF)范围的频率信息(包含精细结构信息的高频)会被截断,导致图像的空间分辨率受限^[36]。宽场显微成像过程在空间域可表示为^[32]

D (r) = [I_{ex} (r) \cdot S (r)] \otimes f_{PSF} (r), (1)

式中:I_ex(r)为激发光的光强分布;S(r)为样本的荧光密度分布;f_PSF(r)为系统的点扩散函数;D(r)为相机探测到的光强分布;r=(x,y)为二维空间位置。宽场荧光显微系统空间分辨率受λ_em的限制,计算公式为

d = \frac{λ_{em}}{2 NA}, (2)

式中:λ_em为发射光波长;NA为物镜的数值孔径;d为系统的分辨率。

对(1)式进行傅里叶变换,即

\dot{A} (k) = [{\dot{I}}_{ex} (k) \otimes \dot{S} (k)] \cdot \dot{H} (k), (3)

式中: $\dot{D}$ (k)、 ${\dot{I}}_{ex}$ (k)、 $\dot{S}$ (k)、 $\dot{H}$ (k)分别对应D(r)、I_ex(r)、S(r)、f_PSF(r)的傅里叶变换结果。 $\dot{H}$ (k)是决定成像系统可观测频率范围的光学传递函数,其截止频率是k_em=2NA/ ${λ_{em}}^{[14]}$ ,如图1所示。

图 1. 使用宽场照明的荧光显微系统可探测到的频率范围^[14]

Fig. 1. Detectable frequency range of a fluorescence microscope with wide-field illumination^[14]

下载图片查看所有图片

使用具有空间结构的照明光选择性激发样本的SR-SIM,将宽场照明下无法获得的截止频率外的样品细节信息搬移到系统OTF内,可以实现相对宽场显微成像两倍分辨率的提高^[4,16]。传统SR-SIM利用干涉产生正弦模式的照明图案作为结构照明光激发荧光染料样本。正弦结构照明的数学表达式为

I_{ex} (r) = I_{θ, φ} (r) = I_{0} [1 - \frac{m}{2} \cos (2 π p_{θ} \cdot r + φ)], (4)

式中:I_θ_,_φ(r)为正弦照明强度;I₀为照明光的峰值强度;m为调制对比度;p_θ为照明频率;θ为正弦照明图案的方向;φ为正弦照明图案的相位^[33]。

在使用正弦模式照明图案作为激发光的SR-SIM下获取的单张原始图像D_θ_,_φ(r),包含宽场照明下的样本荧光信息以及经正弦照明图案调制扩展的样本荧光信息。将(4)式变换到频域后代入到(3)式中可以得到

\begin{array}{l} {\dot{D}}_{θ, φ} (k) = [\dot{S} (k) \otimes {\dot{I}}_{θ, φ} (k)] \cdot \dot{H} (r) = \\ \frac{I_{0}}{2} [\dot{S} (k) - \frac{m}{2} \dot{S} (k - p_{θ}) \exp (- i φ) - \frac{m}{2} \dot{S} (k + p_{θ}) \exp (+ i φ)] \cdot \dot{H} (r) \end{array}, (5)

式中: $\dot{S}$ (k)为宽场照明下的样本荧光信息频谱; $\dot{S}$ (k-p_θ)和 $\dot{S}$ (k+p_θ)为正弦照明图案调制扩展的样本荧光信息频谱,该部分频谱携带样本的细节(超分辨)结构信息。由于系统对照明图案同样存在衍射限制,因此正弦照明模式下的SR-SIM可以观察到的最高样本频率为k_em+p_θ,其中p_θ不大 $于 {k_{em}}^{[16]}$ 。

SR-SIM图像重建过程是先从原始图像分离出分量部分,然后在傅立叶空间中将其移回正确位置,从而扩展系统的整体传输频率^[32],如图2所示。

SR-SIM的原理[14]。宽场照明的荧光显微系统改用照明频率为pθ、方向为θ的正弦强度结构光照明后,荧光样本的频谱S˙(k)被移动至S˙</inline-formu

图 2. SR-SIM的原理^[14]。宽场照明的荧光显微系统改用照明频率为p_θ、方向为θ的正弦强度结构光照明后,荧光样本的频谱 $\dot{S}$ (k)被移动至 $\dot{S}$
Fig. 2. Principles of SR-SIM^[14]. After the wide-field fluorescence microscope is switched to be illuminated by the sine intensity structure illumination with frequency p_θ and the direction θ, the spectrum $\dot{S}$ (k) of the fluorescence sample will be mov
下载图片  查看所有图片

为求解 $\dot{S}$ (k)、 $\dot{S}$ (k-p_θ)和 $\dot{S}$ (k+p_θ),需要获取三个相位不同的SR-SIM图像 $D_{θ, φ_{1}}$ (r)、 $D_{θ, φ_{2}}$ (r)、 $D_{θ, φ_{3}}$ (r),用以构建方程

[\begin{array}{l} {\dot{D}}_{θ, φ_{1}} (r) \\ {\dot{D}}_{θ, φ_{2}} (r) \\ {\dot{D}}_{θ, φ_{3}} (r) \end{array}] = \frac{I_{0}}{2} [\begin{array}{l} 1 & - \frac{m}{2} \exp (- i φ_{1}) & - \frac{m}{2} \exp (+ i φ_{1}) \\ 1 & - \frac{m}{2} \exp (- i φ_{2}) & - \frac{m}{2} \exp (+ i φ_{2}) \\ 1 & - \frac{m}{2} \exp (- i φ_{3}) & - \frac{m}{2} \exp (+ i φ_{3}) \end{array}] [\begin{array}{l} \dot{S} (k) \dot{H} (k) \\ \dot{S} (k - p_{θ}) \dot{H} (k) \\ \dot{S} (k + p_{θ}) \dot{H} (k) \end{array}] 。 (6)

此外,在θ方向获取的三个相位不同的D_θ_,_φ(r)图像不包含各向同性的超分辨信息,只能实现单方向超分辨^[37]。为了重建全视场超分辨图像,需要获取多个方向的原始图像。

对于2D-SIM,通常需要获取3个方向且每个方向有3个相位的9帧图像^[38-39],如图3所示。为保证最终的超分辨图像各向同性,通常在2π内以平均间隔取值,取3个方向(θ_i=0°,60°,120°),每个方向有3个相位(φ_i=0,2π/3,4π/3)^[40]。

重建SR-SIM图像[14]。(a)(b)(c)单方向结构光照明荧光染料样本后可观察到的频率信息含量是3个圆形区域的线性组合,参见(5)式;(d)3个方向合并后覆盖的频率信息含量,可用于构建样本的超分辨图像;(e)(f)(g)将频率分量频移回正确位置后所得的频率信息含量,参见(6)式;(h)通过组合频移最终获得的超分辨图像的频率信息含量

图 3. 重建SR-SIM图像^[14]。(a)(b)(c)单方向结构光照明荧光染料样本后可观察到的频率信息含量是3个圆形区域的线性组合,参见(5)式;(d)3个方向合并后覆盖的频率信息含量,可用于构建样本的超分辨图像;(e)(f)(g)将频率分量频移回正确位置后所得的频率信息含量,参见(6)式;(h)通过组合频移最终获得的超分辨图像的频率信息含量

Fig. 3. Reconstruct SR-SIM image^[14]. (a)(b)(c) Observable frequency information content of a fluorescent dye sample under unidirectional structured light illumination is a linear combination of three circular regions, see equation (5); (d) frequency information content covered by the combination of the three directions can be used to construct a super-resolution image of the sample; (e)(f)(g) frequency information content obtained after the frequency co

下载图片查看所有图片

在理想情况(无噪声和无偏移误差等影响)下, $\dot{H}$ (k)是可提前测量的系统参数,照明频率p_θ、方位角θ和相位φ均为精确值,调制对比度m=1,I₀为常数。通过(6)式可解出分量 $\dot{S}$ (k) $\dot{H}$ (k)、 $\dot{S}$ (k+p_θ) $\dot{H}$ (k)和 $\dot{S}$ (k-p_θ) $\dot{H}$ (k),再根据确定的±p_θ将分量在频域内移动到正确的位置,就可实现垂直于θ方向的样本频率信息的获取^[33]。进行步骤相同的计算,获取3个不同方位角θ下的频率信息,组合3个方向的样本频率信息,使用傅里叶逆变换将频域图像还原到空间域,即可获得分辨率提高两倍的全视场超分辨图像S'(x)。

3 SR-SIM图像重建算法

3.1 SR-SIM去卷积重建算法

去卷积算法在SIM-RA中被频繁使用^[4,40-45]。为消除噪声和误差带来的不利影响,2000年,Gustafsson^[4]将维纳滤波进行扩展并应用于SR-SIM图像的重建。显微成像理论建立在卷积运算上,空间域内所获得的像是物分布函数和系统点扩散函数的卷积,而维纳滤波是针对成像卷积运算在频域内做的逆运算。维纳滤波以频域滤波的方式产生样本的估计值,目的是保证估计值与真实值之间的均方差最小^[46-47],即

δ_{\min} = \min (E | \overset{⌒}{S} (k) - \dot{S} (k) |^{2}), (7)

式中:δ_min为最小均方差; $\overset{⌒}{S}$ (k)为重建图像的频谱; $\dot{S}$ (k)为荧光样本的频谱。对于单张宽场图像,利用维纳滤波重建可以获得 $\overset{⌒}{S}$ (k)为

\overset{⌒}{S} (k) = \frac{f_{OTF}^{*} (k)}{| f_{OTF} (k) |^{2} + 1 / α_{SNR} (k)} \dot{D} (k), (8)

其中,

1 / α_{SNR} (k) = Φ_{s} (k) / Φ_{N} (k), (9)

式中:f_OTF(k)为系统光学传递函数; $\dot{D}$ (k)为测量的像频谱;*为共轭符号;α_SNR(k)为图像的信噪比;Φ_s(k)为样本信号功率谱的均值;Φ_N(k)为噪声功率谱的均值。

Gustafsson^[4]将维纳滤波扩展到SR-SIM,并利用9张原始图像获得了单帧高质量超分辨图像。在SR-SIM中用广义维纳滤波重建^[4,48]可以获得 $\overset{⌒}{S}$ (k),即

\overset{⌒}{S} (k) = \frac{\overset{N}{\sum_{n = 1}} f_{OT F_{n}}^{*} (k) \cdot {\dot{S}}_{n} (k)}{\overset{N}{\sum_{n = 1}} | f_{OT F_{n}} (k) |^{2} + w}, (10)

式中: ${\dot{S}}_{n}$ (k)为移回正确频率位置的图像频谱; $f_{OT F_{n}}$ (k)是与 ${\dot{S}}_{n}$ (k)对应的光学传递函数;N为结构光照明获得的原始图像的数量;w是控制重建图像内噪点的常数^[49]。对滤波得到的 $\overset{⌒}{S}$ (k)进行切趾操作,以减少傅里叶光谱尖锐边缘引起的振铃伪影^[41,50],再将其变换回实空间,就可获得超分辨重建图像S'(x)。

Richardson-Lucy(R-L)反卷积算法是基于贝叶斯定理构建的概率分布函数,该函数受实际样本荧光密度分布、采集样本密度分布、系统点扩散函数的控制。通过迭代使该函数值收敛到最大,就可获得最佳的样本估计值^[51-52]。2013年,York等^[11]在其构建的Instant-SIM系统上利用R-L去卷积算法进行40次迭代实现了SR-SIM超分辨图像的获取,如(11)式所示。

\begin{array}{l} S^{i + 1} (r) = S^{i} (r) \times f_{PSF} \otimes [\frac{S^{i} (r)}{f_{PSF} \otimes S^{i} (r)}], \\ i = 1,2, \dots, N, (11) \end{array}

式中:Sⁱ(r)表示第i次运算获得的图像。R-L反卷积算法通过迭代来逼近真实样本的密度分布。需要注意的是,为避免出现不收敛的情况,通常需要一个接近估计值的初始值^[53]。

2016年,Perez等^[54]基于R-L反卷积算法,在图像重建过程中两次使用滤波来消除常见的周期性伪影和旁瓣伪影。他们通过对原始图像进行反卷积操作来提高参数估计的精确度,消除周期性伪影并减少超分辨图像中由失焦信号导致的伪影,同时利用连续反卷积消除了旁瓣伪影。相对于维纳滤波,R-L反卷积算法减弱了光子噪声对成像结果的影响^[47],进一步提高了超分辨图像的质量,但多次迭代会降低时间分辨率。

通过合理构造约束函数和控制迭代次数^[55]可以使反卷积重建算法在SR-SIM图像重建中达到更好的效果,实现精确获取样本信息的同时减少由噪声和误差导致的伪影。2014年,K $\overset{ˇ}{r}$ ížek等^[48]构建了最大后验概率结构照明显微算法(MAP-SIM),该算法通过确保成本函数最小化来实现高分辨率图像重建。成本函数的表达式为

\begin{array}{l} S {(r)}_{MAP} = \underset{S^{i} (r)}{argmin} \{\overset{N}{\sum_{i = 1}} ‖ D_{θ, φ} (r) - [S^{i} (r) \cdot I_{θ, φ} (r)] \otimes H (r) ‖^{2} + λΓ [S^{i} (r)]\}, (12) \\ S^{(i + 1)} (r) = S^{(i)} (r) - a^{(i)} g^{(i)}, (13) \end{array}

式中:S(r)_MAP是由(12)、(13)式确定的高分辨图像;Sⁱ(r)为采用贝叶斯方法重建的高分辨率图像;λ为常数因子;Γ $[S^{i} (r)]$ 是由贝叶斯理论计算得到的正则化项^[44];a⁽ⁱ⁾为步长;g⁽ⁱ⁾为成本函数的梯度;i为迭代次数。(12)式中的第一项描述了高分辨率图像和观察到的低分辨率图像之间的均方误差;第二项是正则项,由与噪声方差成比例的常数λ控制^[48]。通过梯度下降优化方法获得第i+1次迭代的估计值S⁽ⁱ⁺¹⁾(r),将其代入(12)式,使(12)式两项的和最小化,获得第i+1次迭代图像S(r)_MAP,S(r)_MAP即作为最终的高分辨图像。

MAP-SIM算法通过迭代使成本函数最小化,并利用光学切片^[56]抑制散焦光,目的是降低样品内折射率的不匹配以及减少由照明缺陷引起的重建伪影,进而获得高质量的超分辨图像^[44]。MAP自身无法抑制散焦光,因此MAP-SIM算法还需要计算光学切片(抑制散焦光)^[57-58],然后在频域内将光学切片图像与MAP图像加权合并^[44]就可获得最终的超分辨图像,如图4所示。计算公式为

\begin{array}{l} S {(r)}_{OS} = |\overset{N}{\sum_{n = 1}} D_{θ, φ} (r) \exp (2 π i \frac{n}{N})|, (14) \\ S' (r) = F^{- 1} \{(1 - a) F [S {(r)}_{OS}] \exp (- \frac{f^{2}}{2 ρ^{2}}) + a F [S {(r)}_{MAP}] [1 - \exp (- \frac{f^{2}}{2 ρ^{2}})]\}, (15) \end{array}

式中:S(r)_OS为光学切片图像;F^-1和F表示傅里叶逆变换和正变换;a为常数;f为照明光的空间频率;ρ为高斯滤波器的标准偏差,用以控制图像的平滑效果。将光学切片图像与MAP图像组合,就可获取超分辨图像S'(x)。

图 4. MAP-SIM成像效果与算法流程图^[49]。(a)经典的结构照明显微维纳重建算法与MAP-SIM的成像效果对比;(b)MAP-SIM流程图

Fig. 4. MAP-SIM imaging effect and algorithm flow chart^[49].(a) Comparison of imaging effects between the classic structured illumination microscopy Wiener reconstruction algorithm and the maximum posterior probability structured illumination microscopy algorithm; (b) flow chart of maximum posterior probability structured lighting microscopy algorithm

下载图片查看所有图片

3.2 SR-SIM的校准与参数值获取

为保证SR-SIM图像成功重建,重建过程需要校准SR-SIM系统并获取重建参数的精确值。通常需要校准相机、光源以及光路来消除相应的伪影。在分离原始图像重叠部分时,相机背景信息可能以非零级分量的形式存在,这些分量移回傅里叶空间中的正确位置后,残留的背景信息位于错误的位置,会导致重建图像包含周期性伪影。在原始图像中减去相机暗曝光下的背景图像可以消除相机背景信息的影响^[59]。光源照明不均匀和照明波动可能会导致无法计算出参数的精确值。平场校正可以解决照明不均匀的问题,对每个原始图像作归一化预处理可以消除照明波动的影响^[47]。光路OTF的准确性对于无伪影SIM图像的重建至关重要,使用错误的OTF会导致点状结构周围产生均匀分布的“雪花”伪像,使用系统实际测量的OTF可以最小化“雪花”伪影^[12]。此外,荧光背景过高会造成图像包含六边形图案伪影,在频率分离和移位过程中使用陷波滤波器可以减弱残余频率峰值,达到消除六边形伪影的目的^[12,33]。

重建参数的精确度决定了重建图像的质量。图像重建过程需要获取照明频率、照明相位、调制对比度的精确值。若照明频率与其精确值之间的偏差大于0.6,就会导致图像中心区域的结构产生偏离,边缘位置的点状结构变为明显的环状结构^[12]。对于已精确校准过的SR-SIM系统,照明频率通常为已知^[31,60-61],但当不确定系统是否已精确校准时,采用自相关迭代方法从原始数据中获取实际照明频率的精确数值^[33]可以提高系统的稳定性。照明相位错误会导致整个视场点状结构变成环状结构^[12],在傅里叶域中计算含照明图案图像的峰相位是一种有效估计照明相位的后处理方法,但当照明频率与系统截止频率的比值接近1或0时,即照明频率非常高或非常低时,该方法便无法提供精确的值^[60],此时需要使用迭代的方式来改进算法。基于频率分量互相关迭代的方法,能以λ/100的精度确定照明相位^[61],同时还可以避免在过高或过低照明频率下失效,但互相关迭代方法通常会耗费较长时间。通过傅里叶图像自相关确定照明相位能减少时间损耗,且获取的照明相位值在实际信噪比水平下的误差小于λ/500^[62]。在较低的照明调制对比度下,相对于其他求解照明相位值的算法,图像重组变换算法^[63]可以更精确地获取照明相位的数值。此外,当照明空间频率已知时,在空间域中对相位φ赋初值,再通过迭代自相关获得照明图案相位值^[33],获得的相位值也是足够精确的。调制对比度决定着图像分辨率:调制对比度偏大,就会抑制高频分量,导致重建图像分辨率降低;调制对比度偏小,就会放大高频分量,使点状荧光体周围出现波纹状伪影。调制对比度的求解依赖于其他重建参数,其正确性也于取决于其他重建参数的精确度^[12]。

针对SR-SIM系统因各种不正确设置或参数取值不当而出现的问题,相关研究人员给出了很好的建议^[12,33,35]。

3.3 SIM-RA和SR-SIM工具箱

为实现自动、简单和稳定地获取高质量、高时空分辨率的重建图像,针对SIM-RA及其工具的开发从未停止。在对Gustafsson经典重建算法进行扩展的同时,一些更加高效的算法不断出现^{[4,27,36,39-44,64-67]}。2012年,Orieux等^[44]基于贝叶斯理论对SR-SIM图像进行了反演,他们使用贝叶斯估计重建了超分辨图像。该算法将所有参数进行联合估计,无需人为设置参数,能自动估计最佳重构超参数及其不确定性,并支持用4张原始图像重建一张超分辨图像。2012年,Mudry等^[68]搭建了盲结构照明显微镜(blind-SIM),该显微镜只需简单地用几个不受控制的随机散斑照亮样品,就可获得比传统宽视野显微镜高约两倍的分辨率。2013年, Ayuk等^[69]扩展了blind-SIM算法,该算法在光照严重失真下的情况下也能处理SR-SIM数据。2014年,Chu等^[70]基于全变分(TV)约束成功地对降低两个数量级曝光时间下获取的原始图像进行了重建。由于短时曝光下荧光染料的光毒性和光漂白减少了,因此SR-SIM连续成像的时间点翻了15倍。2015年,Dong等^[71]通过改变照明图案的方向,使用3个方向各两次相移(共6张原始图像)实现了超分辨成像,使用两垂直方向且各方向两张相位互补的原始图像(共4张原始图像)实现了超分辨成像。2018年,Lal等^[31]发展了一种基于最小二乘法的频域算法(该算法允许使用4张原始图像成像),并分析了使分辨率翻倍所需最少原始图像数量的根本原因。2018年,Huang等^[12]利用Hessian重建来减少随机噪声引起的伪影,利用拟合优度函数对原始图像质量进行控制和筛选,同时对原始图像进行滚动重建,并使用快速求解惩罚函数的Split-Bregman算法,极大地提高了SR-SIM的时空分辨率,如图5所示。2019年,Markwirth等^[72]将具有视频速率的SR-SIM和FairSIM重建软件结合,通过GPU(Nvidia GTX 1060)加速重建,实现了测量和重建图像显示之间延迟小于250 ms的即时成像。

Hessian-SIM系统硬件图、长时间成像效果对比和算法流程图[12,73]。(a) Hessian-SIM系统硬件图(AOTF表示声光可调滤波器,L1~L5表示透镜,PBS表示偏振分束器,HWP表示半波片,SLM表示空间光调制器,PR表示偏振旋转器,DM表示二向色镜);(b)传统的SR-SIM和Hessian-SIM长时间成像过程中3个不同时间的成像效果,第1次(上),第601次(中),第3001次(下);(c)Hessian-SIM算法流程图,其中R2是质量控制函数,SIMCheck是用于检查原始图像质量的软件,MCNR是调制对比度噪声比,MIV是运动和照明变化

图 5. Hessian-SIM系统硬件图、长时间成像效果对比和算法流程图^[12,73]。(a) Hessian-SIM系统硬件图(AOTF表示声光可调滤波器,L1~L5表示透镜,PBS表示偏振分束器,HWP表示半波片,SLM表示空间光调制器,PR表示偏振旋转器,DM表示二向色镜);(b)传统的SR-SIM和Hessian-SIM长时间成像过程中3个不同时间的成像效果,第1次(上),第601次(中),第3001次(下);(c)Hessian-SIM算法流程图,其中R²是质量控制函数,SIMCheck是用于检查原始图像质量的软件,MCNR是调制对比度噪声比,MIV是运动和照明变化

Fig. 5. Hessian-SIM system hardware diagram, long-term imaging effect comparison and algorithm flow chart^[12,73]. (a) Hessian-SIM system hardware diagram(AOTF represents acousto-optic tunable filter; L1, L2, L3, L4, and L5 represent lenses; PBS represents polarization beam splitter; HWP represents half-wave plate; SLM represents spatial light modulator; PR represents polarization rotator; DM represents dichroic mirr

下载图片查看所有图片

ImageJ是常用的生物图像处理工具。开发与SR-SIM配套的ImageJ插件将会极大地促进SR-SIM的发展。2015年,Ball等^[73]通过Jave开发了一个ImageJ插件SIMcheck,并将其作为评估SR-SIM分辨率、图像质量以及识别SR-SIM成像中错误和伪影来源的工具,简化了校准和图像处理步骤。2016年,Müller等^[74]基于Gustafsson和Heintzmann的SR-SIM重建算法使用Jave语言开发了支持ImageJ的插件FairSIM。FairSIM为SR-SIM系统提供了切片重建,同时,该插件可用于两光束模式和三光束模式的SR-SIM超分辨图像重建。2012年,York等^[75]通过数字微镜设备(DMD)生成稀疏多焦点的照明图案,在物理上抑制了散焦光,成功构建了多焦点结构照明显微镜(MSIM),该显微镜使样品中的3D亚衍射成像厚度提升了8倍。为解决MSIM成像速度的问题,研究人员发展了即时结构照明显微镜(ISIM)^[11],该显微镜通过模拟图像处理实现了即时对活细胞和胚胎的超分辨率成像。MSIM和ISIM成像算法的Python代码均开源,同时被Fiji(ImageJ的衍生版本)支持。

MATLAB是数学模型建立和算法分析的主流软件,正确使用该软件有助于研究人员发展和学习SIM-RA。2016年,K $\overset{ˇ}{r}$ ížek等^[48]发布了用于结构照明荧光显微术的MATLAB工具箱SIMToolbox。SIMToolbox支持处理由结构化照明显微术获得的2D和3D图像数据,并为用户配备了友好的图形界面,其MATLAB代码同样开源。SIMToolbox集成了光学切片算法和经典的SIM-RA实现模块,同时支持使用最大后验概率图像估计(MAP-SIM)算法。2016年,Lal等^[33]为行业研究人员提供了开源代码OpenSIM,同时系统地说明了SR-SIM重建算法的经典流程,使研究者能够更好地理解、学习SIM-RA;同时,SR-SIM使用交互的方式调整参数,可以最大程度地减少SIM重构误差和伪像,实现高效的超分辨图像重建。2018年,Huang等^[12]在实现Hessian-SIM的同时开源了Hessian-SIM-RA,Hessian-SIM-RA包含多种SIM-RA的实现代码。

3.4 单帧成像

采用机器学习可以实现SR-SIM超分辨图像的获取。2019年,Wang等^[76]通过配有GPU(NVDIA GeForce GTX1080)的计算机对样本数据进行训练生成了对抗网络(GAN),该网络可以将衍射受限的输入图像转换为超分辨图像。该方法无需在成像过程中针对性地进行数学建模,亦无需对系统的点扩散函数进行估计。GAN通过匹配低分辨率图像与高分辨率图像实现跨模态超分辨率^[76],对包含细胞和组织的亚细胞结构全内反射荧光(TIRF)显微图像进行转换,输出与TIRF-SIM超分辨图像近似的结果。深度网络无需任何迭代或精确参数即可快速输出SR-SIM超分辨图像,使SR-SIM超分辨图像的获取更加方便。

SR-SIM多帧成像与单帧成像均可实现SR-SIM超分辨图像的获取。SIM多帧成像基于在同一样本上获取多次不同角度和方向的图像,利用多张低分辨率图像之间的信息互补执行重构。相对于单幅图像超分辨算法,多帧成像能获得更直接体现样本信息的超分辨图像。使用单帧图像获取SR-SIM图像的过程中无需多次成像。样本学习估计是常用的单帧成像方法,其基于自然界间图像结构存在的相似性实现超分辨成像;该方法也是机器学习在单帧图像超分辨重构方面的应用。此外,研究人员经常采用结合线性或非线性的像素内插估计方法来填补空白像素,改善图像的视觉质量,也经常通过建立低分辨率图像与高分辨率图像间的数据观测模型来增强图像的细节保持能力^[77]。

4 结束语

近20年来,国内外针对超分辨结构照明显微术重建算法的研究取得了很大进展,但依旧存在进步空间。为提高SR-SIM的适用性,当前需要解决的SIM-RA的5个问题如下:

1)假设条件过于简化。大多数SIM-RA通过引入假设条件来获取高质量的超分辨图像,这也是解决实际需要的有效方法。随着计算能力的提高,有望减少一些过于简化的假设,以提高算法的鲁棒性和加快图像的重建速率^[12]。

2)先验知识仅限于一维结构。使用合适的先验知识可以有效增强图像精细结构的表达。为实现多维成像,将一维结构先验扩展到高维是需要解决的问题^[39]。

3)实际的成像物理过程仍存在未知。在实际的显微成像过程中需要建立具体的数学模型,以控制问题的复杂程度;计算时需要使用线性空不变系统,并需要用去卷积代替图像去模糊,但实际的物理过程存在不可知。为此,需要发展高性能的盲超分辨算法^[68-69]。

4)高时间分辨率与高空间分辨率无法兼得。成像系统的空间分辨率和时间分辨率受计算方法与能力的限制而相互制约,可以通过寻求更高效的算法与具有更强计算能力的工具解决该问题。多核GPU等计算工具的发展有望突破该限制,提升系统的时空分辨率^[70,72,77]。

5)图像重构过程缺少图像质量的反馈。目前,SIM-RA重构图像过程中的图像筛选、参数确定和超分辨图像获取相互独立执行,执行过程中相互间无质量反馈。发展协同优化的理论和算法将有助于提高SIM-RA的鲁棒性和获取更高质量的超分辨图像^[33,78]。

参考文献

[1] Abbe E. Beiträge zur theorie des mikroskops und der mikroskopischen wahrnehmung[J]. Archiv Für Mikroskopische Anatomie, 1873, 9( 1): 413- 468.

[2] Sigal Y M, Zhou R, Zhuang X. Visualizing and discovering cellular structures with super-resolution microscopy[J]. Science, 2018, 361(6405): 880-887.

[3] Hell S W, Wichmann J. Breaking the diffraction resolution limit by stimulated emission: stimulated-emission-depletion fluorescence microscopy[J]. Optics Letters, 1994, 19(11): 780-782.

[4] Gustafsson M G L. Surpassing the lateral resolution limit by a factor of two using structured illumination microscopy[J]. Journal of Microscopy, 2000, 198(2): 82-87.

[5] Betzig E, Patterson G H, Sougrat R, et al. Imaging intracellular fluorescent proteins at nanometer resolution[J]. Science, 2006, 313(5793): 1642-1645.

[6] Rust M J, Bates M, Zhuang X W. Sub-diffraction-limit imaging by stochastic optical reconstruction microscopy (STORM)[J]. Nature Methods, 2006, 3(10): 793-795.

[7] 潘文慧, 陈秉灵, 张建国, 等. 基于噪声校正主成分分析的压缩感知STORM超分辨图像重构[J]. 中国激光, 2020, 47(2): 0207024.

Pan W H, Chen B L, Zhang J G, et al. Compressed sensing STORM super-resolution image reconstruction based on noise correction-principal component analysis preprocessing algorithm[J]. Chinese Journal of Lasers, 2020, 47(2): 0207024.

[8] Schermelleh L, Ferrand A, Huser T, et al. Super-resolution microscopy demystified[J]. Nature Cell Biology, 2019, 21(1): 72-84.

[9] Sauer M, Heilemann M. Single-molecule localization microscopy in eukaryotes[J]. Chemical Reviews, 2017, 117(11): 7478-7509.

[10] Hofmann M, Eggeling C, Jakobs S, et al. Breaking the diffraction barrier in fluorescence microscopy at low light intensities by using reversibly photoswitchable proteins[J]. Proceedings of the National Academy of Sciences, 2005, 102(49): 17565-17569.

[11] York A G, Chandris P, Nogare D D, et al. Instant super-resolution imaging in live cells and embryos via analog image processing[J]. Nature Methods, 2013, 10(11): 1122-1126.

[12] Huang X, Fan J, Li L, et al. Fast, long-term, super-resolution imaging with Hessian structured illumination microscopy[J]. Nature Biotechnology, 2018, 36(5): 451-459.

[13] Balzarotti F, Eilers Y, Gwosch K C, et al. Nanometer resolution imaging and tracking of fluorescent molecules with minimal photon fluxes[J]. Science, 2017, 355(6325): 606-612.

[14] Wu Y, Shroff H. Faster, sharper, and deeper: structured illumination microscopy for biological imaging[J]. Nature Methods, 2018, 15(12): 1011-1019.

[15] Heintzmann R, Huser T. Super-resolution structured illumination microscopy[J]. Chemical Reviews, 2017, 117(23): 13890-13908.

[16] Wicker K, Heintzmann R. Resolving a misconception about structured illumination[J]. Nature Photonics, 2014, 8(5): 342-344.

[17] 吴美瑞, 杨西斌, 熊大曦, 等. 结构光照明荧光显微镜突破衍射极限的原理和在生命科学中的应用[J]. 激光与光电子学进展, 2015, 52(1): 010003.

Wu M R, Yang X B, Xiong D X, et al. Structured illumination fluorescence microscopy: diffraction-limit breaking principle and application in life science[J]. Laser & Optoelectronics Progress, 2015, 52(1): 010003.

[18] Gustafsson M G. Nonlinear structured-illumination microscopy: wide-field fluorescence imaging with theoretically unlimited resolution[J]. Proceedings of the National Academy of Sciences of the United States of America, 2005, 102(37): 13081-13086.

[19] Mennella V, Keszthelyi B. McDonald K L, et al. Subdiffraction-resolution fluorescence microscopy reveals a domain of the centrosome critical for pericentriolar material organization[J]. Nature Cell Biology, 2012, 14(11): 1159-1168.

[20] Lawo S, Hasegan M, Gupta G D, et al. Subdiffraction imaging of centrosomes reveals higher-order organizational features of pericentriolar material[J]. Nature Cell Biology, 2012, 14(11): 1148-1158.

[21] Conduit P T, Richens J H, Wainman A, et al. A molecular mechanism of mitotic centrosome assembly in Drosophila[J]. Elife, 2014, 3: e03399.

[22] Burnette D T, Shao L, Ott C, et al. A contractile and counterbalancing adhesion system controls the 3D shape of crawling cells[J]. Journal of Cell Biology, 2014, 205(1): 83-96.

[23] Sonnen K F, Schermelleh L, Leonhardt H, et al. 3D-structured illumination microscopy provides novel insight into architecture of human centrosomes[J]. Biology Open, 2012, 1(10): 965-976.

[24] Baddeley D, Chagin V O, Schermelleh L, et al. Measurement of replication structures at the nanometer scale using super-resolution light microscopy[J]. Nucleic Acids Res, 2010, 38(2): e8.

[25] Chagin V O. Casas-Delucchi C S, Reinhart M, et al. 4D visualization of replication foci in mammalian cells corresponding to individual replicons[J]. Nature Communications, 2016, 7: 11231.

[26] LiD, ShaoL, Chen BC, et al. and cytoskeletal dynamics[J].Science, 2015, 349(6251): aab3500.

[27] Schermelleh L, Carlton P M, Haase S, et al. Subdiffraction multicolor imaging of the nuclear periphery with 3D structured illumination microscopy[J]. Science, 2008, 320(5881): 1332-1336.

[28] Smeets D, Markaki Y, Schmid V J, et al. Three-dimensional super-resolution microscopy of the inactive X chromosome territory reveals a collapse of its active nuclear compartment harboring distinct Xist RNA foci[J]. Epigenetics & Chromatin, 2014, 7: 1-27.

[29] 文刚, 李思黾, 杨西斌, 等. 基于激光干涉的结构光照明超分辨荧光显微镜系统[J]. 光学学报, 2017, 37(3): 0318003.

Wen G, Li S M, Yang X B, et al. Super-resolution fluorescence microscopy system by structured light illumination based on laser interference[J]. Acta Optica Sinica, 2017, 37(3): 0318003.

[30] Zhanghao K, Chen X Y, Liu W H, et al. Super-resolution imaging of fluorescent dipoles via polarized structured illumination microscopy[J]. Nature Communications, 2019, 10(1): 4694.

[31] Lal A, Shan C Y, Zhao K, et al. A frequency domain SIM reconstruction algorithm using reduced number of images[J]. IEEE Transactions on Image Processing, 2018, 27(9): 4555-4570.

[32] Heintzmann R, Cremer C G. Laterally modulated excitation microscopy: improvement of resolution by using a diffraction grating[J]. Proceedings of SPIE, 1999, 3568: 185-196.

[33] Lal A, Shan C Y, Xi P. Structured illumination microscopy image reconstruction algorithm[J]. IEEE Journal of Selected Topics in Quantum Electronics, 2016, 22(4): 50-63.

[34] 周兴, 但旦, 千佳, 等. 结构光照明显微中的超分辨图像重建研究[J]. 光学学报, 2017, 37(3): 0318001.

Zhou X, Dan D, Qian J, et al. Super-resolution reconstruction theory in structured illumination microscopy[J]. Acta Optica Sinica, 2017, 37(3): 0318001.

[35] Demmerle J, Innocent C, North A J, et al. Strategic and practical guidelines for successful structured illumination microscopy[J]. Nature Protocols, 2017, 12(5): 988-1010.

[36] Hirvonen L M, Wicker K, Mandula O, et al. Structured illumination microscopy of a living cell[J]. European Biophysics Journal, 2009, 38(6): 807-812.

[37] Heintzmann R, Benedetti P A. High-resolution image reconstruction in fluorescence microscopy with patterned excitation[J]. Applied Optics, 2006, 45(20): 5037-5045.

[38] Shroff S A, Fienup J R, Williams D R. Phase-shift estimation in sinusoidally illuminated images for lateral superresolution[J]. Journal of the Optical Society of America A, 2009, 26(2): 413-424.

[39] Gustafsson M G, Shao L, Carlton P M, et al. Three-dimensional resolution doubling in wide-field fluorescence microscopy by structured illumination[J]. Biophysical Journal, 2008, 94(12): 4957-4970.

[40] Chang B J, Chou L J, Chang Y C, et al. Isotropic image in structured illumination microscopy patterned with a spatial light modulator[J]. Optics Express, 2009, 17(17): 14710-14721.

[41] Kner P, Chhun B B, Griffis E R, et al. Super-resolution video microscopy of live cells by structured illumination[J]. Nature Methods, 2009, 6(5): 339-342.

[42] Somekh M G, Hsu K, Pitter M C. Stochastic transfer function for structured illumination microscopy[J]. Journal of the Optical Society of America A, 2009, 26(7): 1630-1637.

[43] Shao L, Kner P, Rego E H, et al. Super-resolution 3D microscopy of live whole cells using structured illumination[J]. Nature Methods, 2011, 8(12): 1044-1046.

[44] Orieux F, Sepulveda E, Loriette V, et al. Bayesian estimation for optimized structured illumination microscopy[J]. IEEE Transactions on Image Processing, 2012, 21(2): 601-614.

[45] Shroff S A, Fienup J R, Williams D R. Phase-shift estimation in sinusoidally illuminated images for lateral superresolution[J]. Journal of the Optical Society of America A, 2009, 26(2): 413-424.

[46] WienerN. Extrapolation, interpolation, and smoothing of stationary time series[M]. London: Technology Press of the Massachusetts Institute of Technology, 1950.

[47] 但旦. 结构照明光学超分辨与光切片显微技术的理论和实验研究[D]. 北京: 中国科学院大学, 2017.

DanD. Research on the theory and experiment of structured illumination microscopy for super-resolution and optical sectioning[D]. Beijing: University of Chinese Academy of Sciences, 2017.

[48] Lukeš T, Ovesny M, et al. SIMToolbox: a MATLAB toolbox for structured illumination fluorescence microscopy[J]. Bioinformatics, 2016, 32(2): 318-320.

[49] Lukeš T. K rˇížek P, Švindrych Z, et al. Three-dimensional super-resolution structured illumination microscopy with maximum a posteriori probability image estimation[J]. Optics Express, 2014, 22(24): 29805-29817.

[50] Righolt C H, Slotman J A, Young I T, et al. Image filtering in structured illumination microscopy using the Lukosz bound[J]. Optics Express, 2013, 21(21): 24431-24451.

[51] Richardson W H. Bayesian-based iterative method of image restoration[J]. Journal of the Optical Society of America A, 1972, 62(1): 55-59.

[52] Lucy L B. An iterative technique for the rectification of observed distributions[J]. The Astronomical Journal, 1974, 79: 745-754.

[53] Ingaramo M, York A G, Wawrzusin P, et al. Two-photon excitation improves multifocal structured illumination microscopy in thick scattering tissue[J]. Proceedings of the National Academy of Sciences of the United States of America, 2014, 111(14): 5254-5259.

[54] Perez V, Chang B J, Stelzer E H. Optimal 2D-SIM reconstruction by two filtering steps with Richardson-Lucy deconvolution[J]. Scientific Reports, 2016, 6: 37149.

[55] Sage D, Donati L, Soulez F, et al. DeconvolutionLab2: an open-source software for deconvolution microscopy[J]. Methods, 2017, 115: 28-41.

[56] 谢新林, 陈蓉, 赵宇轩, 等. 结合光片照明与超分辨的三维荧光显微成像[J]. 中国激光, 2018, 45(3): 0307006.

Xie X L, Chen R, Zhao Y X, et al. Combination light-sheet illumination with super-resolution three-dimensional fluorescence microimaging[J]. Chinese Journal of Lasers, 2018, 45(3): 0307006.

[57] Neil M A, Juskaitis R, Wilson T. Method of obtaining optical sectioning by using structured light in a conventional microscope[J]. Optics Letters, 1997, 22(24): 1905-1907.

[58] Wilson T. Neil M A A, Juskaitis R. Optically sectioned images in wide-field fluorescence microscopy[J]. Proceedings of SPIE, 1998, 3261(2): 205-216.

[59] WickerK. Increasing resolution and light efficiency in fluorescence microscopy[D]. London: King'sCollege London, 2010.

[60] Shroff S A, Fienup J R, Williams D R. Lateral superresolution using a posteriori phase shift estimation for a moving object: experimental results[J]. Journal of the Optical Society of America A, 2010, 27(8): 1770-1782.

[61] Wicker K, Mandula O, Best G, et al. Phase optimisation for structured illumination microscopy[J]. Optics Express, 2013, 21(2): 2032-2049.

[62] Wicker K. Non-iterative determination of pattern phase in structured illumination microscopy using auto-correlations in Fourier space[J]. Optics Express, 2013, 21(21): 24692-24701.

[63] Zhou X, Lei M, Dan D, et al. Image recombination transform algorithm for superresolution structured illumination microscopy[J]. Journal of Biomedical Optics, 2016, 21(9): 96009.

[64] Gao L, Shao L, Higgins C D, et al. Noninvasive imaging beyond the diffraction limit of 3D dynamics in thickly fluorescent specimens[J]. Cell, 2012, 151(6): 1370-1385.

[65] Fiolka R, Shao L, Rego E H, et al. Time-lapse two-color 3D imaging of live cells with doubled resolution using structured illumination[J]. Proceedings of the National Academy of Sciences, 2012, 109(14): 5311-5315.

[66] Dan D, Lei M, Yao B, et al. DMD-based LED-illumination super-resolution and optical sectioning microscopy[J]. Scientific Reports, 2013, 3: 1116.

[67] Shaw M, Zajiczek L. O'Holleran K. High speed structured illumination microscopy in optically thick samples[J]. Methods, 2015, 88: 11-19.

[68] Mudry E, Belkebir K, Girard J, et al. Structured illumination microscopy using unknown speckle patterns[J]. Nature Photonics, 2012, 6(5): 312-315.

[69] Ayuk R, Giovannini H, Jost A, et al. Structured illumination fluorescence microscopy with distorted excitations using a filtered blind-SIM algorithm[J]. Optics Letters, 2013, 38(22): 4723-4726.

[70] Chu K. McMillan P J, Smith Z J, et al. Image reconstruction for structured-illumination microscopy with low signal level[J]. Optics Express, 2014, 22(7): 8687-8702.

[71] Dong S, Liao J, Guo K, et al. Resolution doubling with a reduced number of image acquisitions[J]. Biomedical Optics Express, 2015, 6(8): 2946-2952.

[72] Markwirth A, Lachetta M, Mönkemöller V, et al. Video-rate multi-color structured illumination microscopy with simultaneous real-time reconstruction[J]. Nature Communications, 2019, 10(1): 4315.

[73] Ball G, Demmerle J, Kaufmann R, et al. SIMcheck: a toolbox for successful super-resolution structured illumination microscopy[J]. Scientific Reports, 2015, 5: 15915.

[74] Müller M, Mönkemöller V, Hennig S, et al. Open-source image reconstruction of super-resolution structured illumination microscopy data in Image[J]. Nature Communications, 2016, 7: 10980.

[75] York A G, Parekh S H, Dalle Nogare D, et al. Resolution doubling in live, multicellular organisms via multifocal structured illumination microscopy[J]. Nature Methods, 2012, 9(7): 749-754.

[76] Wang H D, Rivenson Y, Jin Y Y, et al. Deep-learning enables cross-modality super-resolution in fluorescence microscopy[J]. Proceedings of SPIE, 2019, 1093: 109370G.

[77] 肖亮, 韦志辉, 邵文泽, 等. 基于图像先验建模的超分辨增强理论与算法:变分PDE、稀疏正则化与贝叶斯方法[M]. 北京: 国防工业出版社, 2017.

XiaoL, Wei ZH, Shao WZ. Image priors modeling based super-resolution theory and algorithms: variational PDE, sparse regularization and Bayesian method[M]. Beijing: National Defense Industry Press, 2017.

[78] Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

刘智, 罗泽伟, 王正印, 涂壮, 庄正飞, 陈同生. 基于结构照明的超分辨荧光显微成像重建算法[J]. 中国激光, 2021, 48(3): 0307001. Zhi Liu, Zewei Luo, Zhengyin Wang, Zhuang Tu, Zhengfei Zhuang, Tongsheng Chen. Super-Resolution Fluorescence Microscopy Image Reconstruction Algorithm Based on Structured Illumination[J]. Chinese Journal of Lasers, 2021, 48(3): 0307001.

基于结构照明的超分辨荧光显微成像重建算法下载： 1719次

1 引言

2 SR-SIM的成像原理

图 1. 使用宽场照明的荧光显微系统可探测到的频率范围^[14]

Fig. 1. Detectable frequency range of a fluorescence microscope with wide-field illumination^[14]

Fig. 2. Principles of SR-SIM^[14]. After the wide-field fluorescence microscope is switched to be illuminated by the sine intensity structure illumination with frequency p_θ and the direction θ, the spectrum $\dot{S}$ (k) of the fluorescence sample will be mov

3 SR-SIM图像重建算法

3.1 SR-SIM去卷积重建算法

图 4. MAP-SIM成像效果与算法流程图^[49]。(a)经典的结构照明显微维纳重建算法与MAP-SIM的成像效果对比;(b)MAP-SIM流程图

3.2 SR-SIM的校准与参数值获取

3.3 SIM-RA和SR-SIM工具箱

3.4 单帧成像

4 结束语

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于结构照明的超分辨荧光显微成像重建算法 下载： 1719次

1 引言

2 SR-SIM的成像原理

图 1. 使用宽场照明的荧光显微系统可探测到的频率范围[14]

Fig. 1. Detectable frequency range of a fluorescence microscope with wide-field illumination[14]

Fig. 2. Principles of SR-SIM[14]. After the wide-field fluorescence microscope is switched to be illuminated by the sine intensity structure illumination with frequency pθ and the direction θ, the spectrum S˙(k) of the fluorescence sample will be mov

3 SR-SIM图像重建算法

3.1 SR-SIM去卷积重建算法

图 4. MAP-SIM成像效果与算法流程图[49]。(a)经典的结构照明显微维纳重建算法与MAP-SIM的成像效果对比;(b)MAP-SIM流程图

3.2 SR-SIM的校准与参数值获取

3.3 SIM-RA和SR-SIM工具箱

3.4 单帧成像

4 结束语

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于结构照明的超分辨荧光显微成像重建算法下载： 1719次

图 1. 使用宽场照明的荧光显微系统可探测到的频率范围^[14]

Fig. 1. Detectable frequency range of a fluorescence microscope with wide-field illumination^[14]

Fig. 2. Principles of SR-SIM^[14]. After the wide-field fluorescence microscope is switched to be illuminated by the sine intensity structure illumination with frequency p_θ and the direction θ, the spectrum $\dot{S}$ (k) of the fluorescence sample will be mov

图 4. MAP-SIM成像效果与算法流程图^[49]。(a)经典的结构照明显微维纳重建算法与MAP-SIM的成像效果对比;(b)MAP-SIM流程图