适用于数值孔径和像素尺寸受限的高分辨率叠层成像方法
1 引言
叠层成像(ptychography)可实现大视场定量相位成像,它要求照明光束与物体进行相对阵列扫描,从而当待测物体上照明光斑的相邻扫描位置重叠时记录衍射图像[1]。叠层成像具有视场大、无像差、成像范围广等优点,已被广泛应用于可见光、X射线和电子束等领域的相位成像、波前诊断和光学计量等方面的研究[2-5]。
叠层成像的分辨率受数值孔径和电荷耦合器件(CCD)像素尺寸的限制。当距离固定、光斑散射角或光斑尺寸较大时,在接近CCD靶面边缘处易丢失部分高频信息,采集图像的高阶衍射信息丢失,则会导致叠层成像的分辨率受限[6]。目前解决数值孔径受限的方法主要有两类:缩短成像距离和扩大CCD靶面。缩短成像距离是将待测物体贴近CCD,如片上成像技术[7]以及在待测物和CCD之间插入可收缩光线的元件[8];扩大CCD靶面的物理方法是通过硬件制作或多个CCD拼接来扩展接收面积,但这些方法增加了硬件成本和加工难度;虚拟扩展CCD靶面则通过衍射信息间的联系,利用像素外推虚拟扩大CCD的尺寸[9-10],该方法可以在不增加系统复杂性的情况下解决数值孔径受限的问题[9]。另一影响叠层成像分辨率的因素是CCD的像素尺寸所引起的采样精度问题[11]。理论上,减小CCD的像素尺寸可以提高空间分辨率和调制传输函数,但会牺牲信噪比和动态范围。目前克服CCD像素尺寸限制的方法有:改变照明方式和像素超分辨率方法。改变照明方式利用发散光照明[12]、散射体[13]和空间光调制器产生的结构光照明[14]等方式来突破像素尺寸的限制,如在X射线全息投影成像时,使用结构光照明在三维空间中对多细胞进行纳米级成像[15]。此外,可利用像素超分辨率方法解决CCD像素尺寸对分辨率的限制问题,如在迭代时用最近邻插值扩展重建物的像素数量[16]。但插值会大大增加运算量,导致重建时间过长。为提高运算效率,可采用深度学习[17]方法,该方法提高成像分辨率的效率高,现已在全息成像[18]、太赫兹成像[19]等领域获得了较好的成像效果。当大光斑照明(同面积可减少采集次数)时,两种分辨率受限情况同时存在,严重影响了成像分辨率。虽然文献[9]的方法可同时解决数值孔径和像素尺寸受限的问题,但其重建结果噪点相对多,且由于插值的原因重建效率低。
本文提出一种高分辨率叠层成像方法,可高效处理分辨率受数值孔径和像素尺寸限制的问题。首先,将初始物函数矩阵以零元素向外扩充,利用采集图像间的冗余和联系将衍射信息通过迭代外推到CCD孔径之外。这样可以在一定程度上从采集的图像中得到CCD边界外的高阶衍射信息,解决数值孔径受限问题。在弥补因数值孔径限制丢失的高频信息后,引入基于多权重损失函数的生成对抗网络(GAN)来解决像素尺寸受限问题,无须迭代即可提高叠层成像分辨率,重建的图像噪点较少且重建效率高。
2 基本原理
2.1 像素外推法
利用采集图像间的冗余和联系,将迭代计算时的初始物函数矩阵以零元素向外扩充,使其大于实际采集的衍射图像的矩阵。在用采集光强更新振幅时,只更新非扩充区域,扩充区域保持不变,即可将衍射信息通过迭代外推到CCD孔径之外[9]。根据标量衍射理论,记录的衍射图像是照明光频谱P和待测物体频谱的卷积。由于卷积过程的存在,衍射图像I(u,v)在(u±W,v±W)范围内的值包含了待测物体频谱在任意坐标点的信息,其中:(u,v)表示CCD平面坐标;2W为照明光频谱的宽度。如
2.2 GAN
利用GAN解决叠层成像像素尺寸受限的问题。GAN的生成器部分主要包含深度残差模块和亚像素卷积模块。在生成器中,输入图像经过一个3×3内核的卷积层后经过激活层ReLU,然后经过16个具有相同结构的残差块,每个残差块有两个3×3内核和64通道的卷积层;随后经过批处理归一化(BN)层和ReLU激活函数,输入和输出通过跳链连接,以进行高效的特征提取,一定程度上削弱图像的噪点。使用一层亚像素卷积层将图像尺寸扩大2倍。在整个模型输入和输出部分添加卷积模块,用于数据调整和增强。判别器网络包含8个3×3内核的卷积层来对图像进行特征提取,之后是BN层和LeakyReLU激活层(第一个卷积层无BN层)。通过8个卷积层,特征图的通道数从64逐渐增加到512;通过密集层和LeakyReLU激活层之后,生成的特征图被展平;再通过一个密集层和Sigmoid激活层,即可获得输入图像为高分辨率图像的概率。
基于COCO2017数据集制作所需的训练集,用于模拟物体的振幅和相位,将振幅和相位输入到仿真的叠层成像算法中,以制作高分辨率图像I HR训练集,输出图像尺寸为512 pixel×512 pixel。将算法中初始设置的像元尺寸扩大2倍,像素数目降低为原始的1/2,迭代后获得的重建物为低分辨率图像I LR,输出图像尺寸为256 pixel×256 pixel。将建立的训练对(I LR和I HR)输入GAN中训练2000次。通过训练使GAN具有将I LR映射到IHR的能力。
为了优化生成器,采用由Ledig等[20]提出的由均方误差(MSE)损失
式中:α=1;β=0.5;
MSE损失用来评估生成器生成图像ISR和IHR在像素层面上的差异,表示为
式中:W、H是图像的宽度和高度;C是放大倍数;
为进一步提升重建图像的质量,基于预训练的19层VGG(visual geometry group)网络的ReLU激活层来定义特征图损失,即重建图像
式中,
除MSE损失和特征图损失外,增加对抗损失以优化判别器和生成器,定义对抗损失
式中,
2.3 高分辨成像算法流程
将实验采集的物体衍射图像表示为
1)将物函数估计Om(r,j)和照明光函数估计Pm(r)相乘,得到出射波
2)从
3)更新物函数和照明光函数[21],作为下一个循环的初始猜测,表示为
式中,δ=0.0001,以保证数值稳定,η、σ的取值范围为[0,1],式(
4)重复步骤1)~步骤3),直到完成预设迭代次数,即可获得像素外推扩充后的重建物体和照明探针,此时像素尺寸未变;
5)将步骤4)的重建物输入到训练好的GAN,得到最终重建物。
所提高分辨率叠层成像方法分为两个阶段,算法流程图如
3 仿真分析
分别对比了扩展叠层迭代引擎(ePIE)法、先ePIE重建后多权重损失函数GAN方法、仅外推法、先外推后插值方法、单次迭代同时使用插值与外推法[9]以及所提方法的重建结果,以说明所提方法的有效性。设计了可见光波段的仿真模型,选用的系统参数如下:工作波长λ=632.8 nm,CCD的尺寸为800 pixel×800 pixel,每个像素尺寸为2.4 μm×2.4 μm,光阑到物体、物体到CCD之间的轴向距离分别为5 mm和20 mm,扫描步长为0.1 mm,共扫描6×6个位置。以“peppers”和“airfield”作为物体的初始振幅和相位,振幅的取值范围为0~1,相位的取值范围为(-π~π)rad,CCD采集的物体衍射图像尺寸为640 pixel×640 pixel。运行程序使用的计算机中央处理器(CPU)的主频为2.4 GHz,内存为256 GB,软件为MATLAB R2021a。
图 3. 可见光波段各方法仿真重建图像的振幅、相位及相位局部放大图。(a1)~(a3)ePIE;(b1)~(b3)先ePIE后多权重损失函数GAN方法;(c1)~(c3)仅外推法;(d1)~(d3)先外推后插值方法;(e1)~(e3)单次迭代同时使用插值与外推法;(f1)~(f3)所提方法
Fig. 3. Amplitude and phase with enlarged area of reconstructed image simulated by different methods on visible light band. (a1)‒(a3) ePIE; (b1)‒(b3) ePIE first and then multi-weight loss function GAN; (c1)‒(c3) extrapolation; (d1)‒(d3) extrapolation first and then interpolation; (e1)‒(e3) superresolution ptychographical iterative engine; (f1)‒(f3) proposed method
4 实验结果
搭建实验以验证算法的可行性。选择工作波长为632.8 nm的He-Ne激光器,激光器发出的光束经扩束准直后变成平行光,再通过可变光阑产生照明探针传输到物体表面。CCD的尺寸为3672 pixel×5496 pixel,像素尺寸为2.4 μm×2.4 μm。X-Y方向的位移平台控制待测物体在垂直于照明探针的平面上移动,本实验的扫描步长为0.2 mm,光阑直径为2 mm,物体到CCD的轴向距离为29.11 mm。实验采集的照明探针如
图 4. 照明探针。(a)实验采集的照明探针;(b)重建探针的振幅;(c)重建探针的相位
Fig. 4. Illumination probe. (a) Illumination probe collected in the experiment; (b) amplitude of the reconstructed probe; (c) phase of the reconstructed probe
图 5. 使用不同方法重建的USAF 1951图像振幅及其局部放大。(a1)(a2)先ePIE后多权重损失函数GAN方法;(b1)(b2)仅外推法;(c1)(c2)先外推后插值方法;(d1)(d2)单次迭代同时使用插值与外推法;(e1)(e2)所提方法
Fig. 5. Amplitude with enlarged area of reconstructed image of USAF 1951 by different methods. (a1) (a2) ePIE first and then multi-weight loss function GAN; (b1) (b2) extrapolation; (c1) (c2) extrapolation first and then interpolation; (d1) (d2) superresolution ptychographical iterative engine; (e1) (e2) proposed method
对鼠尾细胞切片重复上述实验,实验中,扫描步长为0.1 mm,光阑的直径为2 mm,物体到CCD的轴向距离为19.56 mm,其余系统参数与上述实验相同。
图 6. 使用不同方法重建的鼠尾细胞图像的振幅、相位及相位的局部放大以及鼠尾细胞实物图。(a1)~(a3)先ePIE后多权重损失函数GAN方法;(b1)~(b3)仅外推法;(c1)~(c3)先外推后插值方法;(d1)~(d3)单次迭代同时使用插值与外推法;(e1)~(e3)所提方法;(f)显微镜下的鼠尾细胞实物图
Fig. 6. Amplitude and phase with enlarged area of reconstructed rat tail cell image by different methods and the photo of rat tail cell. (a1)‒(a3) ePIE first and then multi-weight loss function GAN; (b1)‒(b3) extrapolation; (c1)‒(c3) extrapolation first and then interpolation; (d1)‒(d3) superresolution ptychographical iterative engine; (e1)‒(e3) proposed method; (f) photo of rat tail cell under microscope
5 结论
提出了一种高分辨率叠层成像方法,用来处理分辨率受数值孔径和像素尺寸限制的问题。共比较了6种方法在数值孔径和CCD像素尺寸受限情况下的重建结果,其中仅有先外推后插值方法、单次迭代同时使用插值与外推法、所提方法可同时解决两种分辨率受限问题。先外推后插值方法重建结果的精度较其余三种方法有所提升,但重建图像噪点明显且重建效率低;单次迭代同时使用插值与外推法重建结果的精度较先外推后插值方法进一步提升,但图像有噪点且重建时间长;所提方法在外推法重建的基础上,与多权重损失函数GAN结合,在提高叠层成像分辨率上有明显效果,重建图像的噪点较少,且重建时间短,效率高。使用训练好的GAN可极大地提高重建效率,但由于训练样本数目少以及样本由仿真生成的原因,重建图像的振幅和相位会出现串扰问题。后续拟通过扩充仿真数据集和增加实验数据集的方式来解决振幅和相位串扰的问题。
[1] Rodenburg J M. Ptychography and related diffractive imaging methods[J]. Advances in Imaging and Electron Physics, 2008, 150: 87-184.
[2] Thibault P, Dierolf M, Menzel A, et al. High-resolution scanning X-ray diffraction microscopy[J]. Science, 2008, 321(5887): 379-382.
[3] Jiang Y, Chen Z, Han Y M, et al. Electron ptychography of 2D materials to deep sub-ångström resolution[J]. Nature, 2018, 559(7714): 343-349.
[4] 窦健泰, 武俊超, 杨忠明. 基于非全局轴向多光强限制的快速收敛叠层成像方法[J]. 中国激光, 2021, 48(21): 2109002.
[5] Lupini A R, Oxley M P, Kalinin S V. Pushing the limits of electron ptychography[J]. Science, 2018, 362(6413): 399-400.
[6] 潘兴臣, 刘诚, 陶华, 等. Ptychography相位成像及其关键技术进展[J]. 光学学报, 2020, 40(1): 0111010.
[7] Gao Y H, Yang F, Cao L C. Pixel super-resolution phase retrieval for lensless on-chip microscopy via accelerated wirtinger flow[J]. Cells, 2022, 11(13): 1999.
[8] Zhang F C, Chen B, Morrison G R, et al. Phase retrieval by coherent modulation imaging[J]. Nature Communications, 2016, 7: 13367.
[9] Maiden A M, Humphry M J, Zhang F C, et al. Superresolution imaging via ptychography[J]. Journal of the Optical Society of America A, 2011, 28(4): 604-612.
[10] Rong L, Tan F R, Wang D Y, et al. High-resolution terahertz ptychography using divergent illumination and extrapolation algorithm[J]. Optics and Lasers in Engineering, 2021, 147: 106729.
[11] Shannon C E. Communication in the presence of noise[J]. Proceedings of the IRE, 1949, 37(1): 10-21.
[12] Maiden A, Johnson D, Li P. Further improvements to the ptychographical iterative engine[J]. Optica, 2017, 4(7): 736-745.
[13] Dou J T, Zhang T Y, Wei C, et al. Single-shot ptychographic iterative engine based on chromatic aberrations[J]. Optics Communications, 2019, 440: 139-145.
[14] Song P M, Jiang S W, Zhang H, et al. Super-resolution microscopy via ptychographic structured modulation of a diffuser[J]. Optics Letters, 2019, 44(15): 3645-3648.
[15] Giewekemeyer K, Krüger S P, Kalbfleisch S, et al. X-ray propagation microscopy of biological cells using waveguides as a quasipoint source[J]. Physical Review A, 2011, 83(2): 023804.
[16] Xu W H, Lin H X, Wang H Y, et al. Super-resolution near-field ptychography[J]. Optics Express, 2020, 28(4): 5164-5178.
[17] 张超, 邢涛, 刘紫珍, 等. 基于生成对抗网络的无透镜成像方法[J]. 光学学报, 2020, 40(16): 1611003.
[18] 吴佳雪, 桂进斌, 李俊昌, 等. 基于深度学习的无干扰全息图生成[J]. 光学学报, 2022, 42(14): 1409001.
[19] Long Z Y, Wang T Y, You C W, et al. Terahertz image super-resolution based on a deep convolutional neural network[J]. Applied Optics, 2019, 58(10): 2731-2735.
[20] LedigC, TheisL, HuszárF, et al. Photo-realistic single image super-resolution using a generative adversarial network[C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 21-26, 2017, Honolulu, HI, USA. New York: IEEE Press, 2017: 105-114.
[21] Maiden A M, Rodenburg J M. An improved ptychographical phase retrieval algorithm for diffractive imaging[J]. Ultramicroscopy, 2009, 109(10): 1256-1262.
张静怡, 裴子豪, 胡友友, 杨忠明, 窦健泰. 适用于数值孔径和像素尺寸受限的高分辨率叠层成像方法[J]. 激光与光电子学进展, 2024, 61(8): 0811003. Jingyi Zhang, Zihao Pei, Youyou Hu, Zhongming Yang, Jiantai Dou. High-Resolution Ptychography Method to Solve the Limitation of Numerical Aperture and Pixel Size[J]. Laser & Optoelectronics Progress, 2024, 61(8): 0811003.