激光与光电子学进展, 2021, 58 (24): 2400007, 网络出版: 2021-12-07   

深度学习在超分辨显微成像中的应用研究进展 下载: 1340次

Progress on Applications of Deep Learning in Super-Resolution Microscopy Imaging
作者单位
1 浙江经贸职业技术学院人文旅游系,浙江 杭州 310018
2 浙江大学生物医学工程系,生物医学工程教育部重点实验室,浙江省心脑血管检测技术与 药效评价重点实验室,浙江 杭州 310027
摘要
荧光超分辨显微成像技术的发展使得人们有望以前所未有的时空分辨率来实现细胞内动态生命活动的纳米尺度探测。传统超分辨显微成像技术需要较强的激发光源或采集数量较多的原始数据用于图像重建,因此在活细胞动态实时成像应用中存在不足。深度学习驱动的超分辨成像新技术的研究,有望在多个方面突破现有超分辨成像技术的发展瓶颈。从超分辨成像技术的原理出发,分析了传统超分辨成像技术的不足,总结阐述了深度学习技术在超分辨显微成像领域中的最新应用及未来的研究方向与面临的挑战。
Abstract
Researchers can now identify dynamic activities in living cells at the nanoscale with remarkable temporal and spatial resolution because of the advancement in fluorescent super-resolution imaging. Traditional super-resolution microscopy requires high-power lasers or numerous raw images to rebuild a single super-resolution image, limiting its applications in live cell dynamic imaging. In many ways, deep learning-driven super-resolution imaging approaches break the bottleneck of existing super-resolution imaging technology. In this review, we explain the theory of optical super-resolution imaging systems and discuss their limitations. Furthermore, we outline the most recent advances and applications of deep learning in the field of super-resolution imaging, as well as address challenging difficulties and future possibilities.

1 引言

生命活动的众多反应都发生在各种细胞器中,这些亚细胞结构的形态与功能的异常是众多疾病发生的主要原因。如细胞内物质运输相关的重要载体囊泡,其转运障碍会导致糖尿病、肿瘤等疾病的发生1。微管作为重要的细胞骨架聚合物,参与了众多维持细胞稳态至关重要的生理活动2,如细胞内物质运输、细胞迁移和细胞有丝分裂等。微管结构功能发生异常,会导致癌症与神经退行性疾病等的发生。此外,细胞内的很多生理功能需要通过细胞器之间的相互作用来共同执行3,如内质网在脂质和蛋白质生物合成中具有突出的作用,被视为细胞器互作的枢纽。其中,内质网-线粒体接触位点已被证实在钙信号传导、脂质转移、线粒体裂变、线粒体DNA合成等生命活动中发挥重要作用4-5。因此,对细胞内的亚细胞结构开展动态的成像分析对理解细胞的功能以及在分子水平上揭示疾病的机理有重要意义,将有助于未来开展疾病诊断、疗效监测、新药物开发及疾病治疗等。

荧光显微镜是细胞生物学研究中非常重要的科学仪器。在荧光成像中,由于存在光学衍射的现象,所成的像存在衍射极限。根据Abbe定律和Rayleigh判据,常规的衍射极限约为激发光波长的一半,故对生物成像应用来说,基于可见光的荧光显微成像系统的横向分辨率约为200 nm,纵向分辨率仅为500 nm6。传统的荧光显微镜由于无法解决衍射极限的问题,因而无法直接用于观察细胞内尺寸低于衍射极限的亚细胞结构。此外,由于自发荧光、非聚焦光及光的散射等原因,传统荧光显微镜的信噪比(SNR)通常比理论值更差。

在这个需求背景下,发展出了超分辨荧光显微镜7-10。如今,人们能够以前所未有的时空分辨率来观察细胞内复杂的生命状态,甚至可以实时拍摄大量时间序列图像来研究细胞内部复杂的动态过程,这为生物医学研究打开了全新的视野。亚百纳米尺度下的显微成像与图像定量分析有望帮助人们在细胞甚至亚细胞水平更精细地研究与生命活动相关的结构与功能特性,从而理解生命活动规律与重大疾病发生机理。2014年的诺贝尔化学奖颁给了Eric Betzig、William Moerner和Stefan Hell这三位超分辨光学成像先驱,也进一步表明这类超分辨成像技术在未来生物医学成像应用中的重要性。

传统的超分辨重建方法多建立在复杂的硬件系统或软件算法上,苛刻的成像条件和速度限制了其在活细胞长时程动态监测中的广泛应用。同时,批量处理和分析这些数据也是一个新的挑战。基于数字图像处理技术实现的图像后处理方式使得相关研究人员需要面对大量冗余图像信息存储的负担,在获取有效信息时也存在滞后性。

深度学习作为一项快速发展的新技术,在显微图像处理领域得到了越来越多的关注,主要集中在图像分割分类、目标识别与追踪等任务中。近年来,深度学习技术在图像去噪、超分辨重建、跨系统模态重建等多项研究中也取得了较多令人振奋的成果11-13。结合深度学习技术建立智能显微成像辅助软件或智能显微镜将成为成像领域内的一大主流趋势。

综上,超分辨成像技术的发展为细胞生物学及生物医学的发展提供了强有力的技术支持,而深度学习技术的发展又为进一步优化现有超分辨技术的性能带来了新机遇。本文首先概述几类具有代表性的传统超分辨成像技术的理论基础,讨论相关技术的发展瓶颈,然后综述利用深度学习解决这些问题的研究进展,最后对结合深度学习的超分辨成像技术的局限性和发展方向进行总结和展望。

2 传统光学超分辨成像技术

根据成像原理,传统的超分辨荧光显微成像技术可分为基于改造点扩展函数的技术、基于单分子定位的技术、基于数字图像处理的技术这三大类。

2.1 改造点扩展函数实现超分辨成像

从硬件角度出发,通过设计复杂的光学调控元件来减小点扩展函数(PSF)带来的影响14,或结合特定的算法实现超分辨成像,相关器件如结构光照明显微镜(SIM)8、受激发射损耗荧光显微镜(STED)9等。

其中,STED通过改变激发光的图样模式获得更小的PSF来实现超分辨重建。而SIM则基于莫尔条纹效应,通过条纹调制,实现信号的高频分量移动到系统的低通带范围之内,再结合傅里叶变换,提取出高频信息,从而实现超分辨重建。SIM实验对荧光标记样品的普适性强,无需特殊的染料标记便可实现分辨率的提升,在超分辨显微成像领域有广泛的应用10

二十多年来,不断有学者致力于从提升成像速度和分辨率15-16、结合不同成像技术实现三维超分辨重建17、降低照明条件等角度来进一步优化SIM超分辨成像技术。例如通过估计显微成像系统的成像参数来优化设计重建算法18、抑制SIM重建结果中的伪影问题19、减少原始数据需求量20、根据原始数据质量实现自适应重建21等。但是,这些方法的优化及应用难点在于需要对成像系统有足够充分的理解,即对先验知识的需求较高。

2.2 基于单分子定位实现超分辨成像

单分子定位超分辨成像技术(SMLM)是利用特定成像条件下荧光分子能随机稀疏发光的特性实现的,是超分辨成像技术中分辨率优势最显著的技术22。通过采集一系列带有稀疏荧光信号的图像数据,结合单分子定位算法,最后进行叠加处理,得到一张超分辨图。这类方法在图像处理上的原理大同小异,区别在于如何采集稀疏荧光信号23

其中,基于荧光探针实现单分子超分辨重建的主要技术代表为随机光学重建超分辨成像技术(STORM)24和光激活定位显微成像技术(PALM)25-26。STORM采用化学合成的染料,在不同波长的激发光下可实现开关切换的荧光基团标记样品。采样时,先用强激光将所有荧光基团打到暗态,再利用另一波段的脉冲波将样品中的荧光分子随机稀疏激发,采集包含稀疏荧光分子的数据。在这个基础上,衍生出了基于传统荧光染料或多色荧光染料的dSTORM27以及为了提升单分子定位算法的效率而设计的rapidSTORM28、SimpleSTORM29、DAOSTORM30等。而PALM/FPALM则通过使用具有光激活特性的基因表达荧光蛋白来标记样品。用特定波长的脉冲波随机激发样品中的一部分荧光分子,同时采样,随即用另一个波长的强激光将已经激发的荧光分子漂白,以这个顺序采集带有稀疏荧光信号的图像数据。在这个采样方案上,为了提升单分子定位算法的速度和效率,衍生出了QuickPALM31等图像重建技术。此外,也有从染料角度进一步拓宽PALM应用的研究32。重复光学选择性曝光(ROSE)33和基于最少光子数的纳米尺度定位(MINIFLUX)的变体技术SIMFLUX34等是通过使用结构光照明来提高单分子成像精度的另一类技术。

基于荧光分子的随机漂白原理实现的超分辨重建方法也可归为基于单分子定位的超分辨重建这一类。由于荧光分子在连续激光照射下会发生随机荧光漂白或闪烁的现象,通过求帧间差图,可得随机分布的闪烁或消失的稀疏荧光分子。研究人员将这种随机淬灭现象结合单分子定位算法,也设计了不少提升横向分辨率的方法35-36,这些技术可用于以更高的精度来观察原本由于衍射极限而无法区分开的目标。最具代表性的一个研究成果是通过对荧光分子的闪烁和光漂白进行贝叶斯分析(Bayesian analysis of the blinking and photobleaching,3B)实现的,该技术可将图像的横向分辨率提升到50 nm37。然而复杂的计算过程也为这项技术的发展及推广带来了局限性,如用一台普通的台式计算机对200张存在荧光漂白现象的图像进行3B分析时,需要花费几天的运算时间。因此,为了更好地应用这项技术,需要使用云计算服务器资源。这些方法仅限于稀疏标记的荧光样品,对于荧光分子密度很高的荧光亚细胞结构,如微丝和微管等目标,很难获取单一荧光分子的信息,也就导致质心定位精度的降低。

2.3 基于数字图像处理算法实现超分辨重建

最后一类是基于图像处理的图像重建算法,来提升传统荧光图像的分辨率。典型代表为利用荧光分子的径向梯度信息实现的超分辨径向涨落(SRRF)算法38和利用时间上荧光波动信息建立的超分辨光学涨落成像(SOFI)技术39

SOFI技术通常需要用量子点来标记目标,利用量子点自身的发射荧光随时间发生强度涨落的特性,即荧光间歇性,结合数学相关函数的分析和处理来实现超分辨重建。该技术通常需要100~1000张原始数据。

相对来说,对硬件系统和染料特性无特殊要求的SRRF重建算法的使用价值及研究价值更高40。具体来说,SRRF方法是通过利用宽场成像得到的时间序列图像中荧光分子存在随机波动的特征,来重建超分辨图像的。传统的SRRF算法需要根据图像质量选择不同数量的荧光图片,从而计算出一张超分辨图像,通常需要大于200张的时间序列图像。该算法对于普通的荧光染料能得到较好的超分辨重建效果。为了加速SRRF算法的处理过程,研究人员也在GPU上实现了SRRF算法的处理41

2.4 传统超分辨成像技术的瓶颈与机遇

由于上述各种超分辨成像技术主要提升图像的横向分辨率,为了实现三维超分辨重建,通常需要结合全内反射荧光显微镜(TIRFM)成像系统的轴向超分辨优势。即SIM、STORM、SRRF这些成像技术通常是在TIRFM照明场下完成的。基于这些技术,荧光超分辨成像已使细胞成像超越了横向衍射极限的限制,在常用的激发光波段为几百纳米的前提下,还能将分辨率提高到几十纳米42

现有的超分辨重建方法根据成像原理,也存在不足之处。第一类是利用优化硬件系统,通过减小点扩展函数的影响来实现超分辨率成像的方法,该方法需要昂贵的光学模块和复杂的机械部件,因而普适性不高;第二类是基于荧光染料特殊的激发特性实现超分辨重建的方法,是基于荧光单分子定位的特点建立的,以时间分辨率来换取空间分辨率,很难应用于快速的活细胞成像研究中;第三类是基于数字图像处理算法的技术,该技术对原始数据的信息量丰富性要求高,即除了需要用强激光、长曝光时间来获取质量良好的原始数据外,还需要数量较大的原始图像。

图1为几大经典的超分辨成像技术。它们的局限性可概述为硬件装置昂贵、成像时对光条件的要求严苛、对原始数据的质量和数量要求偏高、在捕捉动态性较高的目标时会引入动态伪影的问题,在对活细胞内动态性较高的亚细胞结构进行长时程成像的研究中存在明显的局限性。

图 1. 经典超分辨重建方法的原理。(a) STED9;(b) SOFI39;(c) STORM24;(d) PALM26

Fig. 1. Principle of traditional super-resolution reconstruction methods. (a) STED[9]; (b) SOFI[39]; (c) STORM[24]; (d) PALM[26]

下载图片 查看所有图片

近年来,随着深度学习的不断发展,其在显微成像领域的应用也越来越受到研究者们的关注43,最常见的是图像分割与分类、目标识别与追踪等44。除此之外,最近几年利用深度学习技术开展荧光显微图像的定量分析处理的研究也得到了很大的关注。如考虑到超分辨重建对原始图像的质量要求很高,即意味着采样前需根据样品质量设置最优采样参数,因而自适应性不高,有研究根据样品质量,利用深度学习技术自动设置成像所需参数45。与此同时,利用深度学习技术进行图像去噪和图像增强也有不少的应用46-47。目前,卷积神经网络优秀的学习能力也为超分辨成像技术的发展带来了新机遇。根据网络需要学习的数据来源不同,深度学习技术在超分辨成像中的最新应用主要可以分为四类。第一类为利用网络加快超分辨重建速度,这部分研究中,网络的输入输出数据来源于同一套显微成像系统;第二类是跨系统实现超分辨成像,顾名思义,这类研究中网络的输入输出端数据来自不同的光学成像系统;第三类利用二维数据重建得三维信息,这类研究中,网络所需数据的特点在于输入输出数据的维度不同;最后一类为无标记超分辨成像,其特征是网络输入输出端的数据特征不同。

3 研究进展

自从在2015年ISBI细胞追踪大赛上获得冠军后,U-Net成为了当前最受关注的卷积神经网络之一。U-Net得名于其“U”型的网络结构,可分为下采样和上采样两个过程。其中,下采样过程主要通过卷积层和池化层实现,在提取图像特征的同时,可以增强模型对噪声干扰的鲁棒性,降低过拟合的风险,减少运算量,增加感受野的大小;上采样过程则主要通过反卷积实现,可以把抽象的特征还原解码为输入图像的尺寸,得到最终的处理结果。此外,相比传统的卷积网络,U-Net使用了跳层连接的方式,从而解决了随网络深度加深会逐渐丢失原始输入信息的问题,这使得其在小样本的训练数据集中也可以得到很好的训练效果。尤其是在细胞分割项目中的卓越表现,充分表明了U-Net网络在提取图像特征及根据任务要求正确解码特征复原图像中的能力48,因而都是基于U-Net网络或以U-Net网络为原型的优化版网络来实现很多图像对图像的任务的。

此外,随着生成对抗型网络(GAN)的发展,其在显微图像处理领域中也逐渐展示出卓越的优势。如图2所示,GAN通常由生成器和判别器两部分组成。其中生成器用于生成图像,常用全卷积网络(FCN)或具备编码解码功能的U-Net等;而判别器功能类似分类网络,用于判断生成图像是否符合要求,常用卷积神经网络(CNN)加全连接层等。GAN借鉴博弈的思想,单独交替迭代训练两端网络,直到输出数据被判别器判定为真,则完成训练。GAN的发展使得很多问题从有监督学习慢慢过渡到无监督学习,故这项技术得到了越来越多的关注和应用。

图 2. 用作图像重建的GAN结构

Fig. 2. GAN structure for image reconstruction

下载图片 查看所有图片

3.1 加快超分辨重建速度

如前所述,众多超分辨成像技术需要采集较多高质量的原始数据,使得它们在活细胞生物学应用中存在很大的局限性。针对这一问题,研究人员利用深度学习技术分别从缩短采样时的曝光时间、减少原始数据的需求量这两个角度缩短了采样耗时,有助于将现有的超分辨成像技术用于研究活细胞内动态性较高的亚细胞结构信息。另外,传统超分辨重建技术,尤其是基于SMLM原理实现的方法,计算复杂度很高,需要经历多次迭代,且易受到噪声的干扰。利用卷积网络取代传统的数字图像处理算法的研究也取得了较好的研究成果。具体而言,深度学习技术在加快超分辨重建速度方面又可细分为三类:1)缩短曝光时间来加快成像速度,通过网络实现高质量原始数据的重建以及超分辨数据的重建;2)利用卷积网络优秀的学习能力替代传统超分辨重建算法,从计算的角度实现快速超分辨重建;3)利用网络学习少量原始数据与金标准之间的关系,以期在后续应用阶段可通过减小采样率来加快成像速度。

3.1.1 降低照明强度

传统超分辨重建算法要求输入数据包含足够多、有效、高质量的原始数据,也就意味着,在采样过程中需要用强功率的激光、长的曝光时间来成像。这在一定程度上会带来荧光漂白的问题,影响荧光样品的寿命,对活细胞长时程的成像实验非常不利。降低激发光强度的用时、缩短采样时的曝光时间可加快采样速度,但会导致采集的原始数据的SNR降低。利用深度学习技术复原荧光信息也可理解为是训练一个图像降噪或弱信号增强的模型49

研究表明,基于深度学习技术实现的图像降噪模型的质量甚至远胜过非局域均值(NLM)50或反卷积51-52等经典的数字图像处理技术。例如以低SNR图作为输入,对应的高SNR图作为金标准训练的CARE网络可复原光子数相差60倍的荧光图像的质量53。这项研究表明,深度学习技术可对光敏感且动态性高的荧光样品进行快速采样。

为验证网络所得结果的可信度,研究人员验证了U-Net网络在弱照明条件下复原SIM原始数据中结构光信息的能力54。如图3所示,在两种照明条件下将对同一个荧光样品采集到的结构光原始数据分别作为网络的输入和金标准。测试结果验证了U-Net网络确实具备在弱照明条件下复原结构光信息的能力。即意味着,对其他需要用到结构光照明的成像技术来说,U-Net网络也具有应用优势。如在ROSE和SIMFLUX这两种成像系统中结合U-Net,也可实现弱照明采样。研究也表明,在弱照明条件下采集的原始数据作为输入的情况下,深度学习技术也可直接得到接近良好照明条件下传统方法得到的超分辨重建图54

图 3. 深度学习用于弱照明条件下SIM超分辨重建54

Fig. 3. Application of deep learning in SIM image reconstruction under low-light condition[54]

下载图片 查看所有图片

3.1.2 取代传统重建算法

传统的STORM/PALM等SMLM超分辨重建技术需要成千上万张带有稀疏单分子信息的图像数据,故本质上是牺牲时间分辨率来换取空间分辨率。且这类技术中用到的单分子定位算法,除需要使用者根据经验预设很多参数外,计算中多次的迭代过程也使得处理数据时耗时很长。虽然有较多的研究从加快单分子图像处理的角度进行算法优化55,但这类技术仍然需要多次迭代、人工调参等耗时的步骤。

现如今,代替传统超分辨重建算法的深度学习技术在极大地加快图像处理速度的同时还能保持较强的鲁棒性,如Deep-STORM56。在训练阶段,网络的输入端为带有稀疏荧光信号的STORM原始数据,金标准为开源图像处理软件ImageJ/Fiji57-58中的插件ThunderSTORM59计算得到的单分子定位结果图。训练好的模型即可通过快速、无迭代、无需任何先验知识的计算获得高精度的单分子定位结果。同时,模型对图像的噪声容忍度也更高。

此外,还有将深度学习与单分子定位显微成像技术相结合的三维超分辨重建,即用卷积网络来代替三维单分子定位算法60-62。以经典的CNN为例,Zelger等60训练了一个取代传统3D-STORM超分辨重建算法的网络。训练阶段所用的金标准为认可度最高的、定位精度最好的最大似然估计(MLE)所得的结果。虽然MLE的三维定位精度很高,但它对噪声敏感,且重建结果依赖于初始值的选取。而CNN能得到定位精度相似,但是速度更快、稳定性更好的结果。这证实了深度学习在基于单分子定位的三维超分辨重建上也充分具备可行性。

3.1.3 减少原始数据需求量

传统的SMLM为了获得足够多的稀疏荧光信号用于后续分析,通常需要采集成千上万张原始数据,这一过程耗时长,且计算复杂度很高。有研究人员尝试利用卷积网络结合少量的PALM/STORM的原始数据来实现超分辨重建效果。以条件生成对抗型网络(cGAN)63实现的ANNA-PALM64为例,训练阶段,网络的输入端主要由两种数据构成:一张宽场荧光图像,用于给网络提供完整目标的结构信息;另一张为少量PALM原始数据经单分子定位后得到的叠加图,用于给网络提供稀疏的荧光分子信息,对应的金标准为传统的PALM得到的超分辨图,如图4所示。在随后的实验阶段,对于每个荧光样本,只需采集一张宽场荧光图像加少量的PALM数据,通过训练所得模型即可快速计算出一张超分辨图像。该方法从采样到数据处理都比传统的PALM快了很多。此外对于同样需要大量原始数据的SRRF算法,在结合深度学习后,只需要1/20的原理数据需求量54

图 4. ANNA-PALM原理与重建结果64

Fig. 4. Principle and reconstruction results of ANNA-PALM[64]

下载图片 查看所有图片

传统的3D-SIM超分辨重建算法在每层成像中需要15张高质量的结构光数据,导致成像速度有限,有研究尝试将U-Net网络优异的学习能力结合SIM成像带来的结构光信息,在不牺牲分辨率的前提下只需要1/5的原始数据需求量54。通过实验发现,若将用某一种亚细胞结构数据训练出来的超分辨模型直接应用于任意一种别的形态的亚细胞结构的超分辨重建,会产生极强的伪影,从而使得超分辨结果不理想。而对每一种亚细胞结构进行从零开始的训练又是一个极其耗时的过程。研究人员引用迁移学习65的概念研究了模型在四种不同形态的亚细胞结构中的可迁移性,极大地提高了学习的效率。

3.2 跨成像系统超分辨重建

传统超分辨荧光显微成像技术,尤其是依赖复杂精密的硬件系统的技术,成像系统昂贵且图像后处理过程繁琐,应用普适性不足。深度学习技术在超分辨成像领域中的发展有望解决这种约束。

利用卷积网络学习不同成像系统的成像原理,今后则有可能在不依赖于昂贵复杂的硬件装置与苛刻的成像条件的前提下,实现活细胞长时程的动态超分辨观测,让更多的科学家们可以使用超分辨成像技术的优势。利用这种策略,还可以结合不同成像系统的成像优势。如对同一个目标,先后以10倍和20倍放大的镜头采样,结果分别作为深度网络的输入和金标准。训练所得模型即可将低倍物镜成像视野大和高倍物镜图像信号好这两种优势相结合。再如,以低分辨率的confocal数据作为输入,对应的STED数据作为金标准训练网络,所得模型有助于研究人员在不需要超分辨成像设备的情况下,可将confocal拍摄的数据分辨率提升到接近于STED的水平49。最近,清华大学戴琼海与中国科学院李栋团队合作利用深度傅里叶通道注意(DFCA)网络,实现了普通宽场荧光图像到SIM超分辨成像结果的高质量重建,并建立了大量相关数据集66,具体如图5所示。

图 5. DFCA网络原理与重建结果66

Fig. 5. Principle and reconstruction results of DFCA network[66]

下载图片 查看所有图片

总的来说,这种利用深度学习技术实现的跨模态超分辨成像有助于摆脱昂贵的硬件装置的需求约束,减少计算复杂度,快速获得高质量的超分辨图像,有望进一步拓展超分辨成像技术的应用场景。

3.3 二维到三维的扩展

在三维空间中观察亚细胞结构的分布和形态信息有助于提取更多重要的生物学信息。利用机械装置在轴向上进行分层扫描以复原三维信息是一种常见的方式,典型代表为共聚焦显微镜67、双光子显微镜68、光片成像显微镜69等。基于点扫描实现的三维超分辨成像技术的采样速度有限且会给荧光样品带来光毒性,不利于长时程成像。利用复杂度相对较低的多角度TIRFM系统提升轴向信息的方法虽也得到了较多的关注70-72,但算法鲁棒性不强且横向分辨率有限。

为了克服这些挑战,利用卷积网络直接实现二维信息到三维信息重建的研究也得了越来越多的关注73。基于GAN实现的Deep-Z61的输入端是用一组用户定义的数字传播矩阵对一张二维荧光图像进行卷积处理获得的不同轴向位置的图像,金标准是通过扫描样本获取的真实的、多个焦平面的三维荧光信息,如图6所示。在使用Deep-Z模型进行训练之后,可以基于单个焦平面上获得的时间序列荧光图像计算三维空间中活体样品的动态信息。该技术在没有任何轴向扫描的情况下将景深增加了20倍。

图 6. Deep-Z原理61

Fig. 6. Principle of Deep-Z[61]

下载图片 查看所有图片

3D-SMLM技术主要基于荧光分子在不同聚焦状态下(焦平面上方400 nm到焦平面下方400 nm)的形态及灰度值不同,建立深度标定曲线。应用时对于每个随机发光的荧光分子,根据成像状态,结合深度标准曲线来确定其距离焦平面的相对距离74-76。这类技术的局限性与传统的2D-SMLM相同,都需要大量的单分子原始数据经历复杂的迭代计算。3D-STORM技术的建立60可帮助用户快速得到定位精度与金标准相近,且稳定性更好的结果。

考虑到除了轴向位置外,荧光基团的发射波长也会影响PSF的形态。在此基础上,研究人员提出了一种基于深度学习的三维多色SMLM62。研究中首先采用交叉熵损失函数训练人工神经网络(ANN),实现利用PSF特征对每个单分子进行颜色分类的目的。同时利用L2损失函数对每一种激发波长的荧光分子训练可靠的神经网络来代替传统单分子定位算法的三维定位模型。最终构建了一个集颜色分类和三维定位于一体的多色3D-SMLM重建模型。

3.4 无标记超分辨成像

上述所有研究均是基于生物样品的荧光标记来实现成像的。利用荧光探针的特异性标记,可对标记区域成像,具有对比度高、分辨率高和成像直观等优势。现阶段荧光成像实验,尤其是研究细胞器互作的多色成像实验中,最主要的局限性在于:常用的激发波段有限且激光器昂贵;结合滤光片实现多通道成像时,存在成像系统复杂、光谱重叠、成像延时等问题;在切换激发光波长时,需要对光路进行调整。上述因素导致多色成像在灵活性和稳定性方面存在一定的局限性。此外,部分特殊的标记染料存在一定毒性,也会影响细胞本身的生理功能。

针对这一问题,有研究构造了一种基于深度学习技术实现的对无标记样品提取特定亚细胞结构的技术(In silico labeling,ISL)77,原理如图7所示。该技术可以从未标记的透射光图像中可靠地预测出细胞中不同细胞器的荧光标记效果。这项研究进一步证明了深度学习网络在超分辨率成像中的应用潜力。

图 7. ISL原理77

Fig. 7. Principle of ISL[77]

下载图片 查看所有图片

4 总结与展望

深度学习技术在超分辨显微成像领域中具有极大的应用前景和发展潜能。针对传统荧光显微成像技术的局限性,卷积网络通过训练成千上万个参数,降低了对使用者的先验知识及编程能力的要求78-79,同时还能保持较好的稳定性、鲁棒性及方便快捷的用户体验80。尽管如此,深度学习技术也存在一些局限性,例如训练网络时需要大量准确、高质量且精确配准的训练数据,这是一项繁琐且会极大地影响到模型效果的工作;另外,判断模型的训练是否完成存在一定的主观性,这有可能导致训练不足或者过拟合的问题;最后,模型的可迁移性欠佳,这限制了网络模型在不同研究小组之间共享使用的便利性。针对上述挑战,后续深度学习技术可从以下几个方向进行进一步的发展。

首先是集领域内众多研究人员之力,建立丰富的、具有公信力的公共标准数据集。借鉴自然图像和医学图像处理领域中标准数据集建立的经验,在荧光显微超分辨图像处理领域,可通过组织显微图像处理算法大赛等方式来收集数据源,同时呼吁研究人员公开分享各种亚细胞结构以及超分辨显微图像数据。相比于自然图像处理领域,亚细胞显微图像数据的复杂度较低,对单种结构的数据量要求不大,反而更需要关注成像条件以及样品标记的丰富性。与此同时,研究亚细胞结构数据的计算机模拟技术有助于进一步减少训练过程对真实且完美的标准训练数据集的需求量。有研究充分利用GAN的特性,以少量标注好的真实数据训练一个模拟数据生成器,后续将模拟数据和真实数据混合组成新的训练集,用于高效训练分类任务的模型81。类似地,可借鉴迁移学习的概念82,利用大量模拟数据进行模型的预训练后,结合少量的真实数据对模型进行重训练,有助于快速得到符合要求的新模型。最后,总结综合相关的网络模型,建立一套普适性更好的超分辨显微成像辅助系统也将是值得探索的一个方向83

总的来说,深度学习技术的发展并不能取代传统的超分辨成像技术,只能说是在减少数据采集或减小数据处理复杂度的前提下,尽可能真实地逼近现有技术。故想要更进一步得到更优越的成像分辨率,依然要依赖于显微成像系统的设计和优化,将训练集向更精确的方向推进。在拥有了更优良的训练集数据后,结合机器学习才能实现对数据、照明条件以及成像系统和技术的依赖性的降低,从而将高分辨的计算成像技术应用到生物医学研究的各个方面。

参考文献

[1] Xu Y K, Toomre D K, Bogan J S, et al. Excess cholesterol inhibits glucose-stimulated fusion pore dynamics in insulin exocytosis[J]. Journal of Cellular and Molecular Medicine, 2017, 21(11): 2950-2962.

[2] Xiao X, Geyer V F, Bowne-Anderson H, et al. Automatic optimal filament segmentation with sub-pixel accuracy using generalized linear models and B-spline level-sets[J]. Medical Image Analysis, 2016, 32: 157-172.

[3] Valm A M, Cohen S, Legant W R, et al. Applying systems-level spectral imaging and analysis to reveal the organelle interactome[J]. Nature, 2017, 546(7656): 162-167.

[4] Rowland A A, Chitwood P J, Phillips M J, et al. ER contact sites define the position and timing of endosome fission[J]. Cell, 2014, 159(5): 1027-1041.

[5] Lewis S C, Uchiyama L F, Nunnari J. ER-mitochondria contacts couple mtDNA synthesis with mitochondrial division in human cells[J]. Science, 2016, 353(6296): aaf5549.

[6] 潘文慧, 李文, 屈璟涵, 等. 单分子定位超分辨显微成像有机荧光探针的研究进展[J]. 应用化学, 2019, 36(3): 269-281.

    Pan W H, Li W, Qu J H, et al. Research progress on organic fluorescent probes for single molecule localization microscopy[J]. Chinese Journal of Applied Chemistry, 2019, 36(3): 269-281.

[7] Vangindertael J, Camacho R, Sempels W, et al. An introduction to optical super-resolution microscopy for the adventurous biologist[J]. Methods and Applications in Fluorescence, 2018, 6(2): 022003.

[8] Shao L, Kner P, Rego E H, et al. Super-resolution 3D microscopy of live whole cells using structured illumination[J]. Nature Methods, 2011, 8(12): 1044-1046.

[9] Wildanger D, Medda R, Kastrup L, et al. A compact STED microscope providing 3D nanoscale resolution[J]. Journal of Microscopy, 2009, 236(1): 35-43.

[10] Markwirth A, Lachetta M, Mönkemöller V, et al. Video-rate multi-color structured illumination microscopy with simultaneous real-time reconstruction[J]. Nature Communications, 2019, 10(1): 4315.

[11] Belthangady C, Royer L A. Applications, promises, and pitfalls of deep learning for fluorescence image reconstruction[J]. Nature Methods, 2019, 16(12): 1215-1225.

[12] 王飞, 王昊, 卞耀明, 等. 深度学习在计算成像中的应用[J]. 光学学报, 2020, 40(1): 0111002.

    Wang F, Wang H, Bian Y M, et al. Applications of deep learning in computational imaging[J]. Acta Optica Sinica, 2020, 40(1): 0111002.

[13] 左超, 冯世杰, 张翔宇, 等. 深度学习下的计算成像: 现状、挑战与未来[J]. 光学学报, 2020, 40(1): 0111003.

    Zuo C, Feng S J, Zhang X Y, et al. Deep learning based computational imaging: status, challenges, and future[J]. Acta Optica Sinica, 2020, 40(1): 0111003.

[14] Mishin A S, Lukyanov K A. Live-cell super-resolution fluorescence microscopy[J]. Biochemistry (Moscow), 2019, 84(1): 19-31.

[15] Huang X, Fan J, Li L, et al. Fast, long-term, super-resolution imaging with Hessian structured illumination microscopy[J]. Nature Biotechnology, 2018, 36(5): 451-459.

[16] Dong D, Huang X, Li L, et al. Super-resolution fluorescence-assisted diffraction computational tomography reveals the three-dimensional landscape of the cellular organelle interactome[J]. Light, Science & Applications, 2020, 9: 11.

[17] Chen Y, Liu W, Zhang Z, et al. Multi-color live-cell super-resolution volume imaging with multi-angle interference microscopy[J]. Nature Communications, 2018, 9(1): 4818.

[18] Karras C, Smedh M, Förster R, et al. Successful optimization of reconstruction parameters in structured illumination microscopy: a practical guide[J]. Optics Communications, 2019, 436(1): 69-75.

[19] Perez V, Chang B J, Stelzer E H. Optimal 2D-SIM reconstruction by two filtering steps with Richardson-Lucy deconvolution[J]. Scientific Reports, 2016, 6: 37149.

[20] Lal A, Shan C Y, Zhao K, et al. A frequency domain SIM reconstruction algorithm using reduced number of images[J]. IEEE Transactions on Image Processing, 2018, 27(9): 4555-4570.

[21] Ball G, Demmerle J, Kaufmann R, et al. SIMcheck: a toolbox for successful super-resolution structured illumination microscopy[J]. Scientific Reports, 2015, 5: 15915.

[22] 李雨竹, 李传康, 郝翔, 等. 基于单分子定位成像技术的研究及展望[J]. 激光与光电子学进展, 2020, 57(24): 240002.

    Li Y Z, Li C K, Hao X, et al. Review and prospect for single molecule localization microscopy[J]. Laser & Optoelectronics Progress, 2020, 57(24): 240002.

[23] Biteen J, Willets K A. Introduction: super-resolution and single-molecule imaging[J]. Chemical Reviews, 2017, 117(11): 7241-7243.

[24] Rust M J, Bates M, Zhuang X. Sub-diffraction-limit imaging by stochastic optical reconstruction microscopy (STORM)[J]. Nature Methods, 2006, 3(10): 793-795.

[25] Betzig E, Patterson G H, Sougrat R, et al. Imaging intracellular fluorescent proteins at nanometer resolution[J]. Science, 2006, 313(5793): 1642-1645.

[26] Hess S T, Girirajan T P K, Mason M D. Ultra-high resolution imaging by fluorescence photoactivation localization microscopy[J]. Biophysical Journal, 2006, 91(11): 4258-4272.

[27] Lampe A, Haucke V, Sigrist S J, et al. Multi-colour direct STORM with red emitting carbocyanines[J]. Biology of the Cell, 2012, 104(4): 229-237.

[28] Wolter S, Schüttpelz M, Tscherepanow M, et al. Real-time computation of subdiffraction-resolution fluorescence images[J]. Journal of Microscopy, 2010, 237(1): 12-22.

[29] Köthe U, Herrmannsdörfer F, Kats I, et al. SimpleSTORM: a fast, self-calibrating reconstruction algorithm for localization microscopy[J]. Histochemistry and Cell Biology, 2014, 141(6): 613-627.

[30] Holden S J, Uphoff S, Kapanidis A N. DAOSTORM: an algorithm for high- density super-resolution microscopy[J]. Nature Methods, 2011, 8(4): 279-280.

[31] Henriques R, Lelek M, Fornasiero E F, et al. QuickPALM: 3D real-time photoactivation nanoscopy image processing in ImageJ[J]. Nature Methods, 2010, 7(5): 339-340.

[32] Khan A O, Simms V A, Pike J A, et al. CRISPR-Cas9 mediated labelling allows for single molecule imaging and resolution[J]. Scientific Reports, 2017, 7(1): 8450.

[33] Gu L, Li Y, Zhang S, et al. Molecular resolution imaging by repetitive optical selective exposure[J]. Nature Methods, 2019, 16(11): 1114-1118.

[34] Cnossen J, Hinsdale T, Thorsen R Ø, et al. Localization microscopy at doubled precision with patterned illumination[J]. Nature Methods, 2020, 17(1): 59-63.

[35] Qu X, Wu D, Mets L, et al. Nanometer-localized multiple single-molecule fluorescence microscopy[J]. Proceedings of the National Academy of Sciences of the United States of America, 2004, 101(31): 11298-11303.

[36] Wang Y F, Kuang C F, Cai H Q, et al. Sub-diffraction imaging with confocal fluorescence microscopy by stochastic photobleaching[J]. Optics Communications, 2014, 312: 62-67.

[37] Cox S, Rosten E, Monypenny J, et al. Bayesian localization microscopy reveals nanoscale podosome dynamics[J]. Nature Methods, 2011, 9(2): 195-200.

[38] Gustafsson N, Culley S, Ashdown G, et al. Fast live-cell conventional fluorophore nanoscopy with ImageJ through super-resolution radial fluctuations[J]. Nature Communications, 2016, 7: 12471.

[39] Dertinger T, Colyer R, Iyer G, et al. Fast, background-free, 3D super-resolution optical fluctuation imaging (SOFI)[J]. Proceedings of the National Academy of Sciences of the United States of America, 2009, 106(52): 22287-22292.

[40] Culley S, Tosheva K L, Matos Pereira P, et al. SRRF: universal live-cell super-resolution microscopy[J]. The International Journal of Biochemistry & Cell Biology, 2018, 101: 74-79.

[41] Han Y B, Lu X, Zhang Z M, et al. Ultra-fast, universal super-resolution radial fluctuations (SRRF) algorithm for live-cell super-resolution microscopy[J]. Optics Express, 2019, 27(26): 38337-38348.

[42] Liu Z, Lavis L D, Betzig E. Imaging live-cell dynamics and structure at the single-molecule level[J]. Molecular Cell, 2015, 58(4): 644-659.

[43] Liu Z, Jin L, Chen J, et al. A survey on applications of deep learning in microscopy image analysis[J]. Computers in Biology and Medicine, 2021, 134: 104523.

[44] Moen E, Bannon D, Kudo T, et al. Deep learning for cellular image analysis[J]. Nature Methods, 2019, 16(12): 1233-1246.

[45] Durand A, Wiesner T, Gardner M A, et al. A machine learning approach for online automated optimization of super-resolution optical microscopy[J]. Nature Communications, 2018, 9: 5247.

[46] Arigovindan M, Fung J C, Elnatan D, et al. High-resolution restoration of 3D structures from widefield images with extreme low signal-to-noise-ratio[J]. Proceedings of the National Academy of Sciences of the United States of America, 2013, 110(43): 17344-17349.

[47] Liu J, Huang X, Chen L, et al. Deep-learning-enhanced fluorescence microscopy via degeneration decoupling[J]. Optics Express, 2020, 28(10): 14859-14873.

[48] RonnebergerO, FischerP, BroxT. U-net: convolutional networks for biomedical image segmentation[M]∥Navab N, Hornegger J, Wells W M, et al. Medical image computing and computer-assisted intervention-MICCAI 2015. Lecture notes in computer science. Cham: Springer, 2015, 9351: 234-241. 10.1007/978-3-319-24574-4_28

[49] Wang H, Rivenson Y, Jin Y, et al. Deep learning enables cross-modality super-resolution in fluorescence microscopy[J]. Nature Methods, 2019, 16(1): 103-110.

[50] BuadesA, CollB, MorelJ M. A non-local algorithm for image denoising[C]∥2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05), June 20-25, 2005, San Diego, CA, USA. New York: IEEE Press, 2005: 60-65. 10.1109/cvpr.2005.38

[51] Sage D, Donati L, Soulez F, et al. DeconvolutionLab2: an open-source software for deconvolution microscopy[J]. Methods, 2017, 115: 28-41.

[52] Preibisch S, Amat F, Stamataki E, et al. Efficient Bayesian-based multiview deconvolution[J]. Nature Methods, 2014, 11(6): 645-648.

[53] Weigert M, Schmidt U, Boothe T, et al. Content-aware image restoration: pushing the limits of fluorescence microscopy[J]. Nature Methods, 2018, 15(12): 1090-1097.

[54] Jin L, Liu B, Zhao F, et al. Deep learning enables structured illumination microscopy with low light levels and enhanced speed[J]. Nature Communications, 2020, 11(1): 1934.

[55] GazagnesS, SoubiesE, Blanc-FéraudL. High density molecule localization for super-resolution microscopy using CEL0 based sparse approximation[C]∥2017 IEEE 14th International Symposium on Biomedical Imaging (ISBI 2017), April 18-21, 2017, Melbourne, VIC, Australia. New York: IEEE Press, 2017: 28-31. 10.1109/isbi.2017.7950460

[56] Nehme E, Weiss L E, Michaeli T, et al. Deep-STORM: super-resolution single-molecule microscopy by deep learning[J]. Optica, 2018, 5(4): 458-464.

[57] Rueden C T, Schindelin J, Hiner M C, et al. ImageJ2: ImageJ for the next generation of scientific image data[J]. BMC Bioinformatics, 2017, 18(1): 529.

[58] Schindelin J, Arganda-Carreras I, Frise E, et al. Fiji: an open-source platform for biological-image analysis[J]. Nature Methods, 2012, 9(7): 676-682.

[59] Ovesný M, Křížek P, Borkovec J, et al. ThunderSTORM: a comprehensive ImageJ plug-in for PALM and STORM data analysis and super-resolution imaging[J]. Bioinformatics, 2014, 30(16): 2389-2390.

[60] Zelger P, Kaser K, Rossboth B, et al. Three-dimensional localization microscopy using deep learning[J]. Optics Express, 2018, 26(25): 33166-33179.

[61] Wu Y, Rivenson Y, Wang H, et al. Three-dimensional virtual refocusing of fluorescence microscopy images using deep learning[J]. Nature Methods, 2019, 16(12): 1323-1331.

[62] Kim T, Moon S, Xu K. Information-rich localization microscopy through machine learning[J]. Nature Communications, 2019, 10(1): 1996.

[63] Goodfellow I, Pouget-Abadie J, Mirza M. Generative adversarial nets[J]. Advances in Neural Information Processing Systems, 2014(1): 2672-2680.

[64] Ouyang W, Aristov A, Lelek M, et al. Deep learning massively accelerates super-resolution localization microscopy[J]. Nature Biotechnology, 2018, 36(5): 460-468.

[65] Han L, Yin Z Z. Learning to transfer microscopy image modalities[J]. Machine Vision and Applications, 2018, 29(8): 1257-1267.

[66] Qiao C, Li D, Guo Y, et al. Evaluation and development of deep neural networks for image super-resolution in optical microscopy[J]. Nature Methods, 2021, 18(2): 194-202.

[67] Nguyen J P, Shipley F B, Linder A N, et al. Whole-brain calcium imaging with cellular resolution in freely behaving Caenorhabditis elegans[J]. Proceedings of the National Academy of Sciences of the United States of America, 2016, 113(8): E1074-E1081.

[68] Schrödel T, Prevedel R, Aumayr K, et al. Brain-wide 3D imaging of neuronal activity in Caenorhabditis elegans with sculpted light[J]. Nature Methods, 2013, 10(10): 1013-1020.

[69] Tomer R, Lovett-Barron M, Kauvar I, et al. SPED light sheet microscopy: fast mapping of biological system structure and function[J]. Cell, 2015, 163(7): 1796-1806.

[70] Fu Y, Winter P W, Rojas R, et al. Axial superresolution via multiangle TIRF microscopy with sequential imaging and photobleaching[J]. Proceedings of the National Academy of Sciences of the United States of America, 2016, 113(16): 4368-4373.

[71] Jin L H, Zhou X X, Xiu P, et al. Imaging and reconstruction of cell cortex structures near the cell surface[J]. Optics Communications, 2017, 402: 699-705.

[72] Jin L H, Wu J, Xiu P, et al. High-resolution 3D reconstruction of microtubule structures by quantitative multi-angle total internal reflection fluorescence microscopy[J]. Optics Communications, 2017, 395: 16-23.

[73] Lim J, Ayoub A B, Psaltis D. Three-dimensional tomography of red blood cells using deep learning[J]. Advanced Photonics, 2020, 2(2): 026001.

[74] Franke C, Sauer M, van de Linde S. Photometry unlocks 3D information from 2D localization microscopy data[J]. Nature Methods, 2017, 14(1): 41-44.

[75] Li Y, Mund M, Hoess P, et al. Real-time 3D single-molecule localization using experimental point spread functions[J]. Nature Methods, 2018, 15(5): 367-369.

[76] Sage D, Pham T A, Babcock H, et al. Super-resolution fight club: assessment of 2D and 3D single-molecule localization microscopy software[J]. Nature Methods, 2019, 16(5): 387-395.

[77] Christiansen E M, Yang S J, Ando D M, et al. In silico labeling: predicting fluorescent labels in unlabeled images[J]. Cell, 2018, 173(3): 792-803.e19.

[78] Nketia T A, Sailem H, Rohde G, et al. Analysis of live cell images: methods, tools and opportunities[J]. Methods, 2017, 115: 65-79.

[79] Godec P, Pančur M, Ilenič N, et al. Democratized image analytics by visual programming through integration of deep models and small-scale machine learning[J]. Nature Communications, 2019, 10(1): 4551.

[80] Sun J, Tárnok A, Su X. Deep learning-based single-cell optical image studies[J]. Cytometry. Part A, 2020, 97(3): 226-240.

[81] Mahmood F, Borders D, Chen R J, et al. Deep adversarial training for multi-organ nuclei segmentation in histopathology images[J]. IEEE Transactions on Medical Imaging, 2020, 39(11): 3257-3267.

[82] Pan S J, Yang Q. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2010, 22(10): 1345-1359.

[83] Midtvedt B, Helgadottir S, Argun A, et al. Quantitative digital microscopy with deep learning[J]. Applied Physics Reviews, 2021, 8(1): 011310.

陆青霜, 金璐红, 许迎科. 深度学习在超分辨显微成像中的应用研究进展[J]. 激光与光电子学进展, 2021, 58(24): 2400007. Qingshuang Lu, Luhong Jin, Yingke Xu. Progress on Applications of Deep Learning in Super-Resolution Microscopy Imaging[J]. Laser & Optoelectronics Progress, 2021, 58(24): 2400007.

该篇论文已被引用 2
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!