1 引言

光学显微成像是生物学研究中最常用也是最重要的技术手段之一。然而,受衍射极限的制约,正常显微成像技术的分辨率最高只有~200 nm,无法对亚细胞精细结构展开深入研究。21世纪初多种超分辨光学成像技术被提出,这些技术因具有纳米级空间分辨率、无损/低损制样、可见即可得等不可替代的优点,成为生命科学领域的新兴技术手段^[1-3]。作为细胞结构的一部分,细胞骨架在细胞各种生命活动中发挥着至关重要的作用^[4]。基于超分辨成像技术,研究者们不断揭示出细胞骨架纤维网络新的超微结构特征和新型相互作用模式^[5-9]。然而,相较于普通荧光成像,超分辨显微术的缺点也十分明显,如对硬件设备要求高、制样步骤繁琐、数据采集量大等,这些缺点使得其不能很好地应对快速、高通量以及活体成像的实际需求^[2-3,10]。

在过去的十余年,基于机器学习的计算机科学迅速发展,广泛应用于各个学科^[11-14]。深度学习是众多机器学习方法中的一类,在图像超分辨重建方面取得了显著成效,在监控设备、卫星图像和医学影像等领域都发挥了重要的作用^[15-19]。深度学习通过建立一个人工神经网络,对大量图像样本进行训练学习,获得高分辨率图像和低分辨率图像之间的映射函数关系,并利用该映射关系得到重建图像所需的高频细节信息。对于图像重建,普通的多层神经网络往往效果较差,2014年Dong等^[20]将深度卷积神经网络引入超分辨图像重建领域,提出超分辨卷积神经网络(SRCNN)。该网络结构较简单,仅用了三个卷积层,但取得了较优的图像重建质量。在此基础上,一系列网络结构[如FSRCNN、ESPCN、VDSR、DRCN、RED、DRRN、LapSRN、SRDenseNet、SRGAN(SRResNet)等]被提出,以应对各类不同需求的图像超分辨重建问题^[21-25]。

近几年,基于深度学习的细胞图像超分辨重建方法不断发展。Christiansen等^[26]于2018年基于深层神经网络的学习将细胞透射光图像转换成对应的荧光图像,使得对未加工的细胞进行长期追踪分析成为可能。同年Ouyang等^[27]通过训练一个深度神经网络,对快速采集的定位图像进行还原,这大大减少了单分子定位显微镜需要采集的图像帧数,缩短了采集时间,但最终仍保证了单分子的定位精度。2019年Wu等^[28]提出Deep-Z深度学习方法,利用二维的荧光图片计算生成对应的三维荧光样本。不难理解,相比于机械三维扫描,虚拟三维重建的方式极大地提升了成像速度,并减少了对样本的重复曝光和由此产生的光损伤。此外,还有多个研究组使用不同的深度学习神经网络对荧光显微镜图像进行三维虚拟重建以精确定位单分子的轴向位置^[29-32]或者通过对多色图像进行分色处理来更好地探究细胞各种生命活动过程。

鉴于深度学习方法在图像超分辨重建尤其是细胞图像超分辨重建中所展现出的潜力和优势,以及现代科学对于快速、批量获取亚细胞超微结构图像的迫切需求,本文使用一种增强型深度超分辨率神经网络对细胞骨架图像进行超分辨重建,通过对细胞微管骨架超分辨图像进行双线性插值降采样,得到其对应的低分辨率图像,将其作为输入图像集进行不断训练和学习,以实现细胞微管骨架高分辨率图像的重建。

2 原理与方法

本文使用的增强型深度超分辨率神经网络(EDSR)由超分辨率残差网络(SRResNet)发展而来,但在结构上去掉了批归一化处理操作^[33]。去掉这一步操作后,相同的计算资源下,EDSR可以堆叠更多的网络层或者提取更多的每层特征以得到更好的性能表现,这一特性使得其对于细胞骨架图像这一类细节丰富、图像特征不规律的图片具有更好的适应性。

EDSR主要由三部分组成,分别是浅层特征提取模块、残差模块和上采样模块。第一个卷积层后连接N个残差模块,当最后一个残差模块的输出经过一层卷积后,将全局残差和第一层卷积输出相加,再在模型末端用亚像素卷积的方法进行上采样以恢复到目的分辨率。EDSR的结构如图1所示。

在该网络中,残差模块能够很好地解决深度神经网络的退化问题,而且使网络收敛得更快。在最终的EDSR中设置32个残差模块,每个模块中的通道数为256。上采样模块由卷积层(Conv)和周期筛选层(Shuffle)组成,周期筛选层通过生成U²(U为上采样因子)个相同尺寸的特征图、再将其拼接成一个大图的方式完成上采样。对于×2、×3超分辨重建网络,只需一次上采样,对于×4超分辨重建网络,使用两次×2上采样(图1)。

图 1. EDSR的结构。Conv表示卷积层,ResBlock表示残差模块,ReLU表示线性整流激活函数,Upsample表示上采样,Shuffle表示周期筛选

Fig. 1. Structural diagram of EDSR. Conv represents convolution layer, ResBlock represents residual module, ReLU represents linear rectification activation function, Upsample represents upsampling, and Shuffle represents cycle screening

下载图片 查看所有图片

3 结果与分析

3.1 细胞微管骨架随机光学重构显微术图像的获取

随机光学重构显微术(STORM)是利用具有闪烁能力的荧光探针进行单分子定位的成像技术,相较于其他超分辨技术具有较高的空间分辨率,已发展为主流的超分辨成像技术。借鉴哈佛大学庄小威教授发明的STORM超分辨成像系统^[34],本课题组自主搭建出一套3D-STORM系统,该系统可实现三色成像,横向分辨率约为25 nm,纵向分辨率约为50 nm,该系统主要包括全电动倒置荧光显微镜(Ti-E,Nikon,日本),405,488,561,647 nm 4个波段激光器,以及EMCCD(DU-897,Andor,英国)。每个成像视野拍摄约4万帧图片,然后使用文献中描述的定位算法,从每一帧图像中获得单分子的质心位置和椭圆率,最终确定每个分子的横向和轴向位置,得到重构的超分辨率图像^[34]。基于此系统,本课题组获得了猴肾成纤维细胞系Cos-7微管骨架的超分辨图像。样品制备和成像的主要步骤依次为:4%多聚甲醛+0.1%戊二醛混合固定剂固定、洗涤、Triton X-100破膜、BSA封闭、孵一抗、洗涤、孵二抗、洗涤、加入成像缓冲液上镜观测、数据采集、漂移校正、降噪处理、获得重构的超分辨图像。

3.2 EDSR的训练过程

对于超分辨重建深度神经网络的训练,本课题组首先将60张STORM获取的细胞微管骨架超分辨图像作为label,然后用双线性插值法进行2,3,4倍降采样处理,将经降采样处理后的图片作为input(图 2),将input和label分别按5∶1的比例分为训练集和测试集。为了获得充分数量的数据集、确保深度神经网络的训练效果,对训练集进行了扩增,即将训练集中的图片无重叠地切分为48×48大小的小图,并通过随机旋转、翻转进行数据扩增,得到最终的训练数据集。训练时网络残差模块数为32,每个卷积层的卷积核个数为256,损失函数选择L1损失,采用Adam 优化方法,每次训练的批尺寸(batch size)为32,一共训练2000 批次(batch)。

3.3 EDSR训练的收敛性分析

对于本文使用的EDSR,损失函数选择L1损失,将其定义为网络输出的超分辨重建图像与实验原始的高分辨率label图像之间的像素平均绝对误差:

图 2. 基于深度学习的图像超分辨重建训练过程

Fig. 2. Schematic of training process for deep-learning based image super-resolution reconstruction

下载图片 查看所有图片

图 3. 二倍降采样条件下损失函数的值与EDSR训练轮数的关系

Fig. 3. Relationship between loss function and training epoch of EDSR in the case of double down-sampling

下载图片 查看所有图片

L=12N∑i=1N‖Ii(x,y)-Ii,gt(x,y)‖1,(1)

式中:L为损失函数;N为输入图片的总数;I_i(x,y)为网络输出的超分辨重建图像;I_i,gt(x,y)为原始的高分辨率label图像;(x,y)为像素坐标;‖‖₁为L1范数。通过最小化重建图像和label图像的平均绝对误差,反向传播优化网络中的参数,进行不断训练,使得输出的超分辨重建图像逐渐接近高分辨率label图像。为了验证该网络训练的收敛性,在图3中展示了二倍降采样条件下损失函数的值与深度学习网络训练的轮数的关系。其中,横轴显示的是深度学习网络训练的轮数,纵轴是损失函数的值。可以明显看出,随着训练轮次的增加,损失函数的值逐渐降低,这证明训练过程具有很好的收敛性。

3.4 基于EDSR深度学习的二倍降采样实验图重建

训练完成后,首先通过细胞微管骨架STORM实验图进行二倍降采样,获得低分辨率马赛克图,再利用深度学习的结果进行超分辨率重建。为了探究深度学习方法的效果,还采取了传统基于三次样条插值的图像超分辨重建技术进行对比。插值法事先假设图像在局部分块上是均匀光滑的,然后根据周围像素点的线性组合来估计中心点的位置像素值,从而实现最为简单的图像放大方法。

图4(a)中4幅图从左到右依次为原图、二倍降采样的马赛克图、传统差值法重建的图和基于EDSR深度学习重建的图。由于细胞骨架图像细节尤其丰富,这4幅图片直观上区别并不十分明显。因此在图4(b)中对不同区域进行了局部放大,以凸显图像细节,并对各种情况进行对比分析。结果显示:基于EDSR深度学习重建的图像视觉效果良好,图像边缘、轮廓和纹理均比较清晰,明显优于使用插值法重建的图像。

为了定量评价超分辨率重建的图像质量,选取平均梯度^[35]作为定量判据。平均梯度是一幅图像的梯度图上所有点的均值,它反映了图像中微小细节反差和纹理变化特征。一般来说,平均梯度越大,图像层次也就越丰富。本文所研究的细胞微管骨架图像的细节信息丰富,因此适合采用平均梯度作为图像质量的评价指标。图4(b)中各个图像区域的平均梯度计算结果如表1所示。可以看出,采用基于EDSR的图像超分辨算法得到的复原图像的平均梯度值高于原始低分辨的图像(降采样马赛克图像)以及三次样条插值法重建的图像,并且其平均梯度值接近原始高分辨图像的值。这说明基于EDSR的图像超分辨算法可显著增大图像的平均梯度,从而可以更好地凸显出细胞骨架图像的细节信息。

图 4. 基于EDSR深度学习对二倍降采样细胞微管骨架实验图的超分辨重建。(a)细胞骨架图像;(b)放大图

Fig. 4. Super-resolution reconstruction of cell microtubule cytoskeleton images obtained by double down-sampling based on EDSR deep learning. (a) Images of cytoskeletons; (b) enlarged views

下载图片 查看所有图片

综上所述,采用基于EDSR深度学习的方法所重建的二倍降采样图像的主观和客观评价指标均较好,明显优于传统插值方法,这证明了EDSR的图像超分辨算法在重建二倍降采样图像中的有效性。

3.5 基于EDSR深度学习对三倍和四倍降采样实验图的重建

进一步地,本课题组对STORM的实验原图经过三倍和四倍降采样获得的低分辨率马赛克图同样使用传统插值法和基于深度学习的方法进行了超分辨重建(图5)。从视觉效果上看,三倍降采样图重建图[图5(a)]和四倍降采样图重建图[图5(b)]的图片质量恢复效果不如二倍降采样图,尤其是四倍降采样图重建图中出现了一些明显的噪点和断点,这说明基于EDSR的图像超分辨算法在图像分辨率的提升上还具有一定的局限性(可将分辨率有效提升2~3倍,超过此范围则效果较差)。普通荧光成像的分辨率理论上只能到~200 nm,而STORM可达到的图像分辨率约为20 nm,目前EDSR还无法对普通的细胞骨架低分辨率荧光图像进行学习重建并获得STORM分辨率级别的图像。

通过对图5中各组图像的平均梯度值进行分析,可知:基于EDSR深度学习得到的三倍和四倍降采样图的平均梯度值均高于采用传统插值法得到的平均梯度值,且接近原始高分辨图像的值(表2)。这说明该算法在凸显细胞骨架图像细节信息方面明显优于传统方法。

图 5. 基于EDSR深度学习对三、四倍降采样STORM图像的超分辨重建。(a)三倍降采样图重建图;(b)四倍降采样图重建图

Fig. 5. Super-resolution reconstruction of three and four times down-sampling STORM images based on EDSR deep learning. (a) Reconstruction of three times down-sampling images; (b) reconstruction of four times down-sampling images

下载图片 查看所有图片

4 结论

针对细胞微管骨架超分辨图像重建问题,提出了一种基于EDSR深度学习的解决方案。通过对STORM超分辨成像实验获取的细胞微管骨架原始图像进行降采样处理,得到其对应的低分辨率图像,利用深度学习方法对大量数据集进行学习训练,完成超分辨率图像的重建。在主观评价方面,该算法重建得到的细胞微管骨架图像细节丰富、视觉效果良好。相比传统的插值方法,所提方法的图像恢复质量更高,所得图像的边缘、轮廓以及纹理等都更加清晰。所提算法在客观评价性能指标上也取得了较好的结果,基于该算法得到的复原图像的平均梯度值高于降采样低分辨图像以及插值法重建的图像的平均梯度值,接近原始高分辨图像的平均梯度值。这些结果证明了基于EDSR的图像超分辨算法的有效性,该方法有望改善超分辨成像实验费力、昂贵等固有缺陷。然而,细胞微管骨架网络图案无明显特征和规律性,以及局部与整体无明显关联等,都给图像的重建增加了难度,因此该方法在提升图像分辨率方面还有一定的局限。另外,值得注意的是,目前数据集的低分辨率图像通常都是采用人工设定的退化模型(双线性插值下采样)仿真得到,未来还有待继续探寻更优化的算法,以期能将几百纳米分辨率的普通荧光成像图片直接转换为几十个纳米级别的超高分辨率图像。