无透镜编码叠层显微成像原理及研究进展(特邀)内封面文章特邀综述
1 引言
光学成像系统通过可视化光信息,扩展了人类的视觉感知能力,由各类光学成像系统组成的影像记录工具已经深度融入了人类日常生活中。常见的光学成像系统包括显微系统、摄影系统,以及望远系统。其中,显微镜的发明和使用对物理学、医学、生命科学,以及材料科学等学科的发展发挥了巨大作用。显微镜的发展距今已有四百多年的历史,现代光学显微镜的基本结构由光源、样品台、物镜、筒镜,以及目镜或相机组成。对显微镜来说,最重要的性能指标是分辨率,其具体数值表达式由德国科学家Ernst Abbe给出:
相位问题最初在X射线晶体学领域受到重视。1952年,美国科学家Sayre[1]提出,如果可以恢复衍射图案在倒易空间中的相位,则可以确定真实空间中晶体内部的原子排列结构。随后,为了解决这个棘手的相位问题,1953年,美国科学家Hauptman[2]提出了求解相位问题的直接法,通过数学证明给出了从晶体的衍射图案中求解相位的方法,并因此获得1985年的诺贝尔化学奖。晶体内部的原子排列结构具有特定的空间形式,这为采用直接法求解相位问题提供了先验约束。对于非周期性样品,相位问题依旧是一个巨大的挑战。1969年,为了解决电子显微镜对生物大分子等非晶样品观测时遇到的相位问题,德国科学家Hoppe[3]首次提出了ptychography的概念,ptycho在德语中是卷积的意思。Hoppe通过采集相同样本在多角度相干探针照明下的衍射图像来恢复倒易空间中布拉格峰(Bragg peak)的相位,再利用傅里叶合成法对真实空间中的晶体内部结构进行重建。这一设想提出后,在一段时间内并没有得到进一步的理论和实验验证。1972年,英国剑桥大学卡文迪什实验室的两位科学家Gerchberg和Saxton[4]提出G-S迭代相位恢复算法,利用输入图像与输出图像在实空间与傅里叶空间反复迭代,加以实空间中物体的幅值约束与倒易空间中物体的傅里叶模值约束,用以解决衍射成像中的相位恢复问题。1978年,美国科学家Fienup[5-8]提出误差减小(ER)算法以及混合输入-输出(HIO)算法,将原先G-S算法中实空间物体的幅值约束替换为实空间的支撑域约束,并引入反馈机制来避免算法陷入局部极小值以及收敛停滞的情况,奠定了基于迭代相位恢复算法解决非晶样品衍射成像中相位问题的重要基础。随后,Miao等[9]首次在实验中基于HIO算法从单幅二维非晶样品的衍射图案中恢复出目标信息,从此开启了相干衍射成像(CDI)技术的实验研究。
基于单幅衍射图像实现相位恢复的CDI技术要求被观测的样品具有空间稀疏性,以此来保证相位恢复算法良好的收敛效果,这对于大部分生物样本来说很难满足要求。2004年,英国谢菲尔德大学的Rodenburg等[10]提出基于迭代相位恢复框架的ptychography,即扫描版本的CDI——叠层成像。这里需要强调的是,ptychography一词最早由中国科学院大学史祎诗课题组翻译为叠层[11],这一新型的相位恢复算法又称为叠层迭代引擎(PIE)算法。PIE算法显著提升了相干衍射成像相位恢复过程的收敛速度和抗噪能力,为复杂扩展目标成像提供了新途径,极大地推动了CDI技术的发展。
传统叠层成像技术的实验装置原理如
图 1. 传统叠层成像技术[12]。(a)系统原理图;(b)正向成像模型;(c)迭代相位恢复过程
Fig. 1. Traditional ptychographic imaging technology[12]. (a) System schematic diagram; (b) forward imaging model; (c) iterative phase recovery process
自2004年叠层成像技术问世以来,其迅速引起全球科学界的广泛关注。
图 2. 从2004年—2023年叠层成像技术领域SCI文献数量及引用量
Fig. 2. The number of ptychography-related publications and citations from 2004 to 2023
目前,叠层成像技术可实现的最高等效数值孔径不超过0.4[44],成像通量与商业化的切片扫描仪相比要低几个数量级,限制了其在光学显微成像领域的应用。2013年,美国加州理工学院的Zheng等[45-65]提出了傅里叶叠层显微成像(FPM)的概念。与传统叠层成像不同,FPM成像中的叠层并非在空域,而是发生在频域。典型的FPM成像系统将样品放置在物平面,孔径光阑放置在傅里叶平面,探测器放置在像平面,如
图 3. 傅里叶叠层显微成像[45]。(a)系统原理图;(b)系统装置;(c)血细胞涂片;(d)组织切片的原始图像、重建的彩色成像结果,以及定量相位成像结果
Fig. 3. Fourier ptychographic microscopy[45]. (a) System schematic diagram; (b) system device; (c)(d) raw images,recovered color images, and recovered phase images of blood smear slide and stained tissue slice
叠层成像技术在可见光波段的另一种衍生变体——无透镜编码叠层显微成像(CPM)也是一种高通量光学叠层成像技术。与FPM相比,CPM利用编码层代替了有限孔径的光瞳,用两个自由空间传播代替FPM中的两个傅里叶变换。FPM可以看作是基于编码照明的叠层成像技术,而CPM将编码层与探测器集成形成编码探测器,可以看作是基于编码探测的叠层成像技术[69-70]。与叠层成像技术相比,CPM同样采用无透镜成像装置,不同的地方在于将空间受限的照明探针替换成了编码层。平面波照射物体后经过自由空间传播到达编码层,不再是传统叠层成像技术中简单的逐点像素乘积。此外,CPM的成像视场更大,理论上等同于探测器的成像靶面,显现出在高通量成像方面的技术优势。
本文主要介绍基于编码探测的叠层成像方法——无透镜编码叠层显微成像技术的基本原理及其研究进展。首先,介绍了编码叠层成像技术的成像模型、重建算法、成像系统,以及系统参量的选择,并对系统成像性能进行了分析;然后,介绍了编码叠层成像技术在生物医学领域中的相关应用;最后,对编码叠层成像技术未来的研究方向进行了展望。
2 编码叠层成像的原理
2.1 成像模型
编码叠层成像的系统原理图如
式中:
图 5. 编码叠层成像的成像模型和重建过程[12]。(a)正向成像模型;(b)迭代相位恢复过程
Fig. 5. Imaging model and reconstruction process of coded ptychography[12]. (a) The forward imaging model of coded ptychography; (b) the iterative phase retrieval process
2.2 重建算法
首先,初始化物体的出射波前和编码层。一旦重建出物体的出射波前,就可以通过后向传播距离
1)初始化编码层表面的物体出射波前
式中:
2)初始化编码层
步骤2)仅需要在标定实验中执行一次,一旦重建出
3)根据计算的第
4)将编码层
5)对图像传感器平面上的强度图像执行下采样运算,并利用测量的强度
式中:
6)将更新的波前
7)使用rPIE算法[71]更新偏移的物体出射波前
式中:
8)基于步骤7)更新的偏移的物体出射波前
9)重复步骤3)~8),直至满足预先设定的收敛条件。最后,将物体的出射波前
2.3 成像系统
编码叠层成像系统的关键组成是编码探测器,由编码层与常规的图像传感器构成。此外,基本的成像系统还包括二维电动位移平台、相干照明光源,以及固定样品的样品夹等光机器件。2020年,Jiang等[72]提出一种基于近场叠层调制的无透镜片上显微成像方法,在盖玻片上涂抹一层薄且密的直径为1~5 μm 的微球作为编码层,放置在物体与图像传感器中间进行扫描,可以实现780
图 6. 不同形式的编码叠层成像系统的原理图[12]。(a)基于多波长混合照明的编码叠层;(b)并行编码叠层;(c)基于时间相似性约束的编码叠层;(d)光流编码叠层;(e)基于编码叠层的全视场切片扫描仪;(f)旋转式编码叠层;(g)合成孔径编码叠层;(h)基于多层切片模型的编码叠层
Fig. 6. Schematic diagrams of different coded ptychographic systems[12]. (a) Wavelength-multiplexed coded ptychography; (b) parallel coded ptychography; (c) temporal-similarity constraint coded ptychography; (d) optofluidic coded ptychography; (e) ptychographic whole slide scanner; (f) rotational coded ptychography; (g) synthetic aperture coded ptychography; (h) depth-multiplexed coded ptychography
2021年,Jiang等[44]首次将编码层直接集成在图像传感器的表面,形成一体化编码探测器,有效避免扫描过程中由于系统扰动带来的重建不稳定等问题。同时,在正向成像模型中,考虑了图像传感器单个像元的空间和角度响应特性,对目标高频细节信息的重建非常重要,实现了最高等效数值孔径为0.8的空间分辨率。此外,设计了基于编码探测器阵列的并行编码叠层成像系统,成像系统原理图如
2022年,Jiang等[76]基于编码叠层成像技术开发了手持式无透镜全视场切片扫描仪,如
编码叠层成像的另一个发展方向是合成孔径叠层成像[78],系统原理图如
图 7. 不同形式的编码叠层成像系统的原理样机[44,74-77,79]。(a)并行编码叠层;(b)基于时间相似性约束的编码叠层;(c)光流编码叠层;(d)基于编码叠层的全视场切片扫描仪;(e)旋转式编码叠层;(f)基于多层切片模型的编码叠层
Fig. 7. Hardware platforms for different coded ptychographic implementations[44, 74-77, 79]. (a) Parallel coded ptychography ;(b) integrated ptychographic sensor for large-scale lensless microbial monitoring with high spatiotemporal resolution; (c) optofluidic ptychography with a microfluidic chip for sample delivery; (d) color-multiplexed ptychographic whole slide scanner; (e) rotational coded ptychography; (f) depth-multiplexed coded ptychography
2.4 系统设计
2.4.1 光源的选择
叠层成像技术是一种相干衍射成像技术,使用相干或部分相干光源照明物体。在可见光波段中,通常选择LED或激光作为照明光源。FPM中使用LED光源,主要优势是成本低、相干噪声与伪影少,以及便于控制,但LED的光能量密度较低,导致图像采集的曝光时间较长。与FPM不同,编码叠层成像通常采用单色激光照明样品。主要原因是成像过程包含光波在自由空间传播的过程,在这个过程中,不同波长的光波将被传播至不同的轴向平面。由于编码成像系统采用无透镜成像方式,没有透镜对这种色散效应进行补偿,因此,编码叠层成像通常选择激光作为照明光源。此外,激光的光能量密度高,图像采集的曝光时间较短,支持物体在连续扫描过程中同时采集图像,以此缩短图像数据集的采集时间。
2.4.2 图像传感器的选择
编码叠层成像系统采用无透镜成像方式,为了获得更高的空间分辨率,图像传感器像元的尺寸越小越好。在目前的成像系统中,一般采用The Imaging Source的DMM 37UX226相机,其搭配的索尼公司的IMX226图像传感器的像元尺寸为1.85
2.4.3 编码层的选择
通常将包含有微结构的固体粉末或者液体溶液直接涂抹在传感器的玻璃保护层表面形成编码层,编码层的质量直接影响图像的重建质量,在设计时通常需要考虑以下几点。1)编码层的厚度要薄,且要是单层结构。只有当编码层足够薄且为单层时,物体的出射波前与编码层的相互作用才可以用逐点像素乘积来表示。如果编码层太厚,则需要测量编码层完整的传输矩阵才能够表征它的调制特性。
图 8. 不同种类的编码层对分辨率的影响[74,76]。(a1)使用微球制作的厚编码层;(b1)使用微球制作的薄编码层;(c1)使用鱼血制作的大粒径编码层的相位成像结果;(d1)使用羊血制作的小粒径编码层的相位成像结果;(a2)~(d2)不同编码层对应的分辨率靶成像结果
Fig. 8. Resolution performance using different coded layers[74, 76]. (a1) Thick coded layer coated with microbeads; (b1) single-layer thin coded layer coated with microbeads; (c1) the recovered transmission profile of the monolayer fish blood cells; (d1) the recovered transmission profile of the monolayer goat blood cells; (a2)‒(d2) the recovered images of the resolution target corresponding to different coded layers
2.4.4 位移平台的选择
传统叠层成像中,对电动位移平台的重复定位精度要求高,通常要达到几十纳米,物体的空间位置依赖于高性能位移平台的位置反馈。在编码叠层成像中,物体的空间位置是通过互相关分析算法计算得到的,对位移平台的重复定位精度要求低,因此可以采用低成本的步进电机替代高性能的伺服电机位移平台,重复定位精度大约在5~10
2.4.5 扫描位置的精确计算方法
在编码叠层成像中,物体的扫描位置是通过计算所采集的衍射图像数据集之间的像素偏移得到的。编码探测器表面分为两个区域,一部分是受编码层调制的成像区域,通常占图像传感器表面的90%,剩余10%的区域是不受编码层调制的参考区域,用来跟踪扫描位置。文献[81]提出了一种高精度高鲁棒性的扫描位置计算方法。在常规的计算方法中,一般使用空白区域采集的第一幅图像作为计算位置的参考图像。在新的计算方法中,扫描之前预先采集一幅远离扫描中心的经过编码层调制的图像,将其作为计算位置的参考图像。这种计算位置的策略不再要求编码探测器设置空白区域,扩大了有效成像视场,位置计算的精度也更高。
2.5 系统成像性能的分析
2.5.1 分辨率
编码叠层成像系统的分辨率
式中,
2.5.2 成像视场与成像通量
对于无透镜编码叠层成像系统来说,单个成像视场受限于图像传感器的尺寸。扩大成像视场的方法通常有两种,第一种是直接控制位移平台扫描大尺度样本的不同区域,对于15
2.5.3 数字重聚焦
基于透镜系统的全视场切片扫描仪一般采用焦点图或实时自动对焦的方式计算焦点位置,然后控制电动位移平台轴向移动样品台或者物镜至准焦平面,实现对焦过程[82-84]。在编码叠层成像中,首先利用叠层迭代相位恢复算法重建出物体的出射波前,然后反向传播至不同的物平面得到准焦的成像结果。这种成像方式不需要在图像采集的过程中进行实时自动对焦,对焦的过程可以在图像重建过程中完成。对焦的执行也不需要借助高精度的轴向电动位移平台,通过光波的衍射传播得到准焦的成像结果,省去了大量硬件,降低了系统成本,节约了系统空间。通过重建结果的对比度来确定最佳的准焦位置,基于强度的对比度可用于染色样本,基于相位的对比度可用于未染色的样本[76]。
图 9. 编码叠层成像的数字重聚焦过程[76]。(a)基于数字重聚焦的大视场成像结果;(b)与图9(a)相对应的焦点图;(c1)(c2)不同区域重建的物体出射波前的强度图像;(d1)(d2)不同区域重聚焦后的强度图像;(e1)(e2)不同区域重聚焦后的相位图像
Fig. 9. Digital refocusing of coded ptychographic imaging[76]. (a) Large field of view imaging results based on digital refocusing; (b) focus map corresponding to Fig. 9 (a); (c1) (c2) the recovered intensity of the object exit waves of different regions; (d1) (d2) the refocused intensity images of different regions; (e1) (e2) the refocused phase images of different regions
2.5.4 缓变相位重建
在基于FPM、强度传输方程、无透镜数字全息,以及多距离的相位恢复技术中,重建包含多个
图 10. 缓变相位成像[44,74]。(a1)~(c1)实物图,分别对应2°楔形棱镜、焦距5 cm的双凸透镜,以及细菌菌落;(a2)~(c2)图10(a1)~(c1)的原始图像;(a3)~(c3)图10(a1)~(c1)的包裹相位成像结果;(a4)~(c4)图10(a1)~(c1)的去包裹相位成像结果
Fig. 10. Slow-varying phase imaging[44, 74]. (a1)‒(c1) Object images corresponding to optical prism, biconvex lens, and bacterial colonies; (a2)‒(c2) the captured raw images of Figs. 10(a1)-(c1);(a3)‒(c3) the recovered wrapped phase images of Figs. 10(a1)-(c1); (a4)‒(c4) the recovered unwrapped phase images of Figs. 10(a1)-(c1)
作为一种无透镜相位成像方法,与编码叠层成像技术非常相似的另外一种相位成像技术是无透镜数字全息成像技术。两种成像技术具有相似的系统光路,成像视场都取决于图像传感器的尺寸,都具有系统简单、体积小,以及便携的特点。在分辨率性能方面,Luo等[86]提出了基于合成孔径的无透镜数字全息成像技术,实现了最高等效数值孔径为1.4的空间分辨率。目前,基于无透镜编码叠层成像技术可实现的最高等效数值孔径大约为0.8,结合合成孔径的思想进一步提升空间分辨率是当前编码叠层成像技术下一步发展的重要方向。此外,无透镜数字全息成像技术需要采集的数据量较少,因此成像速度更快,而编码叠层成像技术在对缓变相位物体成像方面具有独特的技术优势。
3 编码叠层成像的应用
3.1 无标记定量相位成像
在临床医学与细胞生物学等领域,需要对透明的生物细胞成像。透明生物样品具有弱吸收特性,常规观察手段包括荧光显微镜以及相衬显微镜。荧光显微镜必须对样品荧光染色,存在光毒性、光漂白的问题,影响细胞内部生理过程且不支持长时程观察。泽尼克相衬成像和微分干涉相衬成像无需荧光染色,然而只能定性地观察透明样品[87-89]。编码叠层成像技术作为一种高通量的无标记定量相位成像技术,可以反映透明生物样品的物理厚度与折射率系数等定量信息,是一种新型的非侵入式细胞分析工具。
图 11. 大尺度细胞集群的无标记定量相位成像[72,76]。(a)未染色甲状腺涂片的定量相位成像结果;(b)U87MG细胞的定量相位成像结果
Fig. 11. Label-free and quantitative phase imaging of the large-scale cell cluster[72, 76]. (a) Quantitative phase imaging results of unstained thyroid smears; (b) quantitative phase imaging results of U87MG cells
3.2 高通量数字病理
使用光学显微镜进行病理组织切片的分析是癌症诊断的金标准[82,90-91]。但是,使用传统显微镜观察的过程是一项高度主观且依赖于病理学家临床经验的工作。数字病理是下一代癌症诊断与分析的基石。目前,组织病理学的定量表征是减少观察者诊断错误的重要研究方向。与传统光学显微镜以及商业化的切片扫描仪相比,编码叠层成像系统可以高速采集组织切片的大视场、高分辨率图像,通过其相位成像能力还能够对癌细胞进行分类和识别。此外,对未染色的组织样本可以实现快速现场诊断,有望简化当前组织切片的制片流程,缩短制片时间,促进术中快速病理评估,在临床医学领域具有潜在应用价值。
图 12. 全视场切片成像结果与数字病理应用[44,76]。(a1)(b1)焦点图;(a2)(b2)虚拟染色的全视场切片成像结果;(a3)(b3)显微镜采集的标准图像;(a4)(b4)虚拟染色重建结果与标准图像的误差图;(c1)(c2)全视场强度和相位成像结果;(d)基于深度学习的阳性细胞与阴性细胞图像分割结果;(e1)子视场相位成像结果;(e2)子视场图像分割结果;(f)阳性细胞与阴性细胞的细胞面积以及细胞干重的散点图;(g)阳性细胞与阴性细胞的偏心率、面积、干重,以及平均相位值的直方图
Fig. 12. Whole slide imaging and digital pathology related applications[44, 76]. (a1) (b1) The focus maps for WSI; (a2) (b2) the virtually stained whole slide images; (a3) (b3) the ground-truth images captured by a 40×, 0.95 NA lens; (a4) (b4) the difference maps; (c1) (c2) the recovered intensity and phase images of a slide labelled with the Ki-67 markers; (d) the segmentation results using the deep neural network; (e1) (e2) zoomed-in views of the highlighted regions in (c2) and (d); (f) the measurement of dry mass and cell area for the Ki-67 positive and negative cells; (g) the histogram analysis of the cell eccentricity, cell area, dry mass, and average phase
3.3 高通量医学检验
血常规、便常规、尿常规是医学检验的“三大常规”项目。血常规主要检查血液里的白细胞、红细胞和血小板。尿常规主要检查尿液中的有形成分,部分肾脏疾病在病变早期就会出现蛋白尿或者尿结晶等。常规的血细胞分析仪只进行各类细胞的分类和计数,无法进行单细胞水平的可视化定量分析,因此难以发现异常的细胞,从而导致漏诊和误诊。目前,临床上多采用基于显微镜系统的细胞形态学分析仪器,但由于视场和分辨率相互制约,成像通量受限。基于无透镜编码叠层成像系统的血细胞分析仪可以做到十亿像素量级的空间带宽积,对于不同疾病的病理特征能够进行精确测量并对细胞的不同参数进行分析。
图 13. 高通量血细胞与尿液沉淀物分析[77]。(a1)基于旋转式编码叠层成像系统重建的大视场血细胞涂片相位成像结果,并对白细胞与寄生虫的位置进行了标记;(a2)血细胞相位成像结果;(a3)白细胞与寄生虫的细胞面积以及平均相位值的散点图;(b1)基于旋转式编码叠层成像系统重建的大视场尿结晶相位成像结果;(b2)不同种类尿结晶的相位成像结果
Fig. 13. High-throughput cytometric analysis of blood cells and urine sediments[77]. (a1) Recovered whole slide phase image of a blood smear via the rotational coded ptychographic platform, inset shows the locations of WBCs and parasites based on the automatic segmentation and tracking process; (a2) recovered phase of the small region in Fig. 13(a1); (a3) scatter plot of WBCs and parasites based on cell area and average phase; (b1) recovered whole slide phase image of a urine sediment sample via the rotational coded ptychographic platform; (b2) recovered phase images of different elements in the urine sediment slides
3.4 长时程细胞生长监测
在药物筛选、细胞生物学等基础医学领域,需要对细菌、细胞的生长繁殖过程进行研究。细菌可用于抗生素敏感性测试,用来确定抗生素是否能有效阻止特定细菌菌株的生长。如果能在感染的早期阶段使用有效的抗生素,就能够在临床环境中避免抗生素耐药性的发展。目前的光学检测方法往往依赖于微生物的整体光学特性,并不能在单细胞水平上监测单体生长过程。无透镜编码叠层成像技术可以对微生物或细胞集群进行大规模和高时空分辨率的细胞分析。
图 14. 细菌繁殖与细胞生长过程的跟踪成像[74,79]。(a)大肠杆菌在不同生长时刻的相位成像结果;(b)细菌菌落的定量相位分析结果;(c1)厘米级视场范围内15个大肠杆菌菌落的相位成像结果;(c2)不同抗生素浓度作用下细菌的生长过程监测;(c3)细菌干重随时间的变化曲线;(d)基于多层切片模型的编码叠层成像系统对HEK 293FT细胞的跟踪成像
Fig. 14. Time-lapse monitoring of bacterial and cell growth[74, 79]. (a) Recovered phase images of E.coli bacterial cells at different time points; (b) quantitative phase analysis results of bacterial colonies; (c1) recovered phase images of 15 bacterial colonies over a centimeter-scale area; (c2) monitoring of bacterial growth process under different antibiotic concentrations; (c3) the variation curve of bacterial dry mass over time; (d) time-lapse monitoring of the HEK 293FT cells via the depth-multiplexed coded ptychographic platform
4 总结与展望
本篇综述聚焦于无透镜编码叠层成像技术的基本原理与近期研究进展,追溯了相位恢复算法与叠层成像技术的起源,介绍了传统叠层成像技术的发展情况,重点描述了可见光波段的光学叠层成像技术,包括基于透镜的傅里叶叠层成像技术以及基于无透镜的编码叠层成像技术。展开介绍了编码叠层成像技术的成像模型、重建算法,以及成像系统,并对成像系统的设计以及系统性能进行了深入分析。随后,介绍了基于编码叠层成像技术在定量相位成像、高通量数字病理、高通量医学检验,以及长时程细胞生长监测等生物医学领域的潜在应用。目前,编码叠层成像技术尚处于快速发展阶段,在分辨率、时空带宽积、系统性能等方面还需要进一步提升,未来潜在的研究方向可以从以下几个方面考虑:
1)编码叠层三维层析
目前的编码叠层成像技术是基于二维薄样品进行建模的,只能对二维薄样品或者多层二维薄样品成像,缺乏对厚样品的三维轴向层析能力。三维层析成像通常采用复折射率表征样品的三维光学特性,可以反映样品在三维体空间中不同轴向位置的折射率信息,比二维成像能更全面精确地反映样品内部本征结构信息[30,92-96],对生命科学与生物医学等领域的众多应用十分重要。传统的荧光显微镜具有高分辨率、3D层析成像能力,比如共聚焦显微镜、光片荧光显微镜等,这也是编码叠层成像技术未来走向实用需要克服的关键技术难题。
2)超表面编码叠层
编码层的设计对编码叠层成像的高质量重建十分重要。现阶段的研究表明,最优的编码层结构需要具备粒径小、厚度薄,以及分布密的特点。超表面是一种厚度小于波长的人工层状材料,其单元结构的尺寸可以到200
3)合成孔径编码叠层
编码叠层成像技术目前可实现的最高等效数值孔径是在照明数值孔径为0的情况下获得的。从原理上,我们可以借鉴傅里叶叠层成像的思想,通过改变照明角度的方式增大照明数值孔径,实现更高分辨率的成像结果。此外,Song等[78]提出的合成孔径编码叠层成像提供了一种远距离大视场高分辨率成像的解决方案,可以用于相干衍射成像系统,照明光源可覆盖可见光、极紫外光,以及X射线等波段。另外,基于这种成像方式,对于更远距离的合成孔径编码叠层成像,可以设计基于编码探测器阵列的方式获得更高的空间带宽积[44]。
4)超高时空带宽积编码叠层
无透镜编码叠层成像提供了一种新型的高通量高空间带宽积成像手段。然而,想要重建出高质量的成像结果至少需要采集几百幅原始图像,需要花费10 s左右的时间,限制了单位时间内的空间带宽积。这对于静态的目标场景或者缓慢变化的场景没有影响,但是对于快速变化的目标尚无能为力。因此,如何突破编码叠层成像系统的时空带宽积限制,实现超高时空带宽积成像,也是未来编码叠层成像的发展方向。
[1] Sayre D. Some implications of a theorem due to Shannon[J]. Acta Crystallographica, 1952, 5(6): 843.
[2] Hauptman H A. The phase problem of X-ray crystallography[J]. Reports on Progress in Physics, 1991, 54(11): 1427.
[3] Hoppe W. Diffraction in inhomogeneous primary wave fields. 1. Principle of phase determination from electron diffraction interference[J]. Acta Crystallographica Section A, 1969, 25: 495-501.
[4] Gerchberg R. A practical algorithm for the determination of phase from image and diffraction plane pictures[J]. Optik, 1972, 35: 237-246.
[5] Fienup J R. Reconstruction of an object from the modulus of its Fourier transform[J]. Optics Letters, 1978, 3(1): 27-29.
[6] Fienup J R. Phase retrieval algorithms: a comparison[J]. Applied Optics, 1982, 21(15): 2758-2769.
[7] Fienup J R, Wackerman C C. Phase-retrieval stagnation problems and solutions[J]. Journal of the Optical Society of America A, 1986, 3(11): 1897-1907.
[8] Fienup J R. Reconstruction of a complex-valued object from the modulus of its Fourier transform using a support constraint[J]. Journal of the Optical Society of America A, 1987, 4(1): 118-123.
[9] Miao J W, Charalambous P, Kirz J, et al. Extending the methodology of X-ray crystallography to allow imaging of micrometre-sized non-crystalline specimens[J]. Nature, 1999, 400(6742): 342-344.
[10] Faulkner H M L, Rodenburg J M. Movable aperture lensless transmission microscopy: a novel phase retrieval algorithm[J]. Physical Review Letters, 2004, 93(2): 023903.
[11] 潘安, 张艳, 赵天宇, 等. 基于叠层衍射成像术的量化相位显微成像[J]. 激光与光电子学进展, 2017, 54(4): 040001.
[12] Wang T B, Jiang S W, Song P M, et al. Optical ptychography for biomedical imaging: recent progress and future directions[J]. Biomedical Optics Express, 2023, 14(2): 489-532.
[13] Rodenburg J M, Hurst A C, Cullis A G, et al. Hard-X-ray lensless imaging of extended objects[J]. Physical Review Letters, 2007, 98(3): 034801.
[14] Thibault P, Dierolf M, Menzel A, et al. High-resolution scanning X-ray diffraction microscopy[J]. Science, 2008, 321(5887): 379-382.
[15] Beckers M, Senkbeil T, Gorniak T, et al. Chemical contrast in soft X-ray ptychography[J]. Physical Review Letters, 2011, 107(20): 208101.
[16] Takahashi Y, Suzuki A, Furutaku S, et al. High-resolution and high-sensitivity phase-contrast imaging by focused hard X-ray ptychography with a spatial filter[J]. Applied Physics Letters, 2013, 102(9): 094102.
[17] Suzuki A, Furutaku S, Shimomura K, et al. High-resolution multislice X-ray ptychography of extended thick objects[J]. Physical Review Letters, 2014, 112(5): 053903.
[18] Tsai E H R, Usov I, Diaz A, et al. X-ray ptychography with extended depth of field[J]. Optics Express, 2016, 24(25): 29089-29108.
[19] Pfeiffer F. X-ray ptychography[J]. Nature Photonics, 2018, 12(1): 9-17.
[20] Maiden A M, Humphry M J, Rodenburg J M. Ptychographic transmission microscopy in three dimensions using a multi-slice approach[J]. Journal of the Optical Society of America A, 2012, 29(8): 1606-1614.
[21] Godden T M, Suman R, Humphry M J, et al. Ptychographic microscope for three-dimensional imaging[J]. Optics Express, 2014, 22(10): 12513-12523.
[22] Li P, Batey D J, Edo T B, et al. Separation of three-dimensional scattering effects in tilt-series Fourier ptychography[J]. Ultramicroscopy, 2015, 158: 1-7.
[23] Dierolf M, Menzel A, Thibault P, et al. Ptychographic X-ray computed tomography at the nanoscale[J]. Nature, 2010, 467(7314): 436-439.
[24] Esmaeili M, Fløystad J B, Diaz A, et al. Ptychographic X-ray tomography of silk fiber hydration[J]. Macromolecules, 2013, 46(2): 434-439.
[25] Trtik P, Diaz A, Guizar-Sicairos M, et al. Density mapping of hardened cement paste using ptychographic X-ray computed tomography[J]. Cement and Concrete Composites, 2013, 36: 71-77.
[26] Holler M, Diaz A, Guizar-Sicairos M, et al. X-ray ptychographic computed tomography at 16 nm isotropic 3D resolution[J]. Scientific Reports, 2014, 4: 3857.
[27] Diaz A, Malkova B, Holler M, et al. Three-dimensional mass density mapping of cellular ultrastructure by ptychographic X-ray nanotomography[J]. Journal of Structural Biology, 2015, 192(3): 461-469.
[28] Deng J J, Lo Y H, Gallagher-Jones M, et al. Correlative 3D X-ray fluorescence and ptychographic tomography of frozen-hydrated green algae[J]. Science Advances, 2018, 4(11): eaau4548.
[29] Li P, Maiden A. Multi-slice ptychographic tomography[J]. Scientific Reports, 2018, 8: 2049.
[30] Shimomura K, Hirose M, Higashino T, et al. Three-dimensional iterative multislice reconstruction for ptychographic X-ray computed tomography[J]. Optics Express, 2018, 26(24): 31199-31208.
[31] Maiden A M, Rodenburg J M. An improved ptychographical phase retrieval algorithm for diffractive imaging[J]. Ultramicroscopy, 2009, 109(10): 1256-1262.
[32] Thibault P, Dierolf M, Bunk O, et al. Probe retrieval in ptychographic coherent diffractive imaging[J]. Ultramicroscopy, 2009, 109(4): 338-343.
[33] Takahashi Y, Suzuki A, Furutaku S, et al. Bragg X-ray ptychography of a silicon crystal: Visualization of the dislocation strain field and the production of a vortex beam[J]. Physical Review B, 2013, 87(12): 121201.
[34] Holt M V, Hruszkewycz S O, Murray C E, et al. Strain imaging of nanoscale semiconductor heterostructures with X-ray Bragg projection ptychography[J]. Physical Review Letters, 2014, 112(16): 165502.
[35] Chamard V, Allain M, Godard P, et al. Strain in a silicon-on-insulator nanostructure revealed by 3D X-ray Bragg ptychography[J]. Scientific Reports, 2015, 5: 9827.
[36] Hruszkewycz S O, Allain M, Holt M V, et al. High-resolution three-dimensional structural microscopy by single-angle Bragg ptychography[J]. Nature Materials, 2017, 16(2): 244-251.
[37] Thibault P, Menzel A. Reconstructing state mixtures from diffraction measurements[J]. Nature, 2013, 494(7435): 68-71.
[38] Batey D J, Claus D, Rodenburg J M. Information multiplexing in ptychography[J]. Ultramicroscopy, 2014, 138: 13-21.
[39] Li P, Maiden A. Lensless LED matrix ptychographic microscope: problems and solutions[J]. Applied Optics, 2018, 57(8): 1800-1806.
[40] 潘兴臣, 刘诚, 肖伟刚, 等. 相干衍射成像技术的最新进展:层叠相位重建技术[J]. 激光与光电子学进展, 2022, 59(22): 2200001.
[41] 潘新宇, 毕筱雪, 董政, 等. 叠层相干衍射成像算法发展综述[J]. 物理学报, 2023, 72(5): 054202.
Pan X Y, Bi X X, Dong Z, et al. Review of development for ptychography algorithm[J]. Acta Physica Sinica, 2023, 72(5): 054202.
[42] Jiang Y, Chen Z, Han Y M, et al. Electron ptychography of 2D materials to deep sub-ångström resolution[J]. Nature, 2018, 559(7714): 343-349.
[43] Chen Z, Jiang Y, Shao Y T, et al. Electron ptychography achieves atomic-resolution limits set by lattice vibrations[J]. Science, 2021, 372(6544): 826-831.
[44] Jiang S W, Guo C F, Song P M, et al. Resolution-enhanced parallel coded ptychography for high-throughput optical imaging[J]. ACS Photonics, 2021, 8(11): 3261-3271.
[45] Zheng G A, Horstmeyer R, Yang C. Wide-field, high-resolution Fourier ptychographic microscopy[J]. Nature Photonics, 2013, 7(9): 739-745.
[46] Ou X Z, Zheng G A, Yang C. Embedded pupil function recovery for Fourier ptychographic microscopy[J]. Optics Express, 2014, 22(5): 4960-4972.
[47] Zheng G A, Ou X Z, Horstmeyer R, et al. Fourier ptychographic microscopy: a gigapixel superscope for biomedicine[J]. Optics and Photonics News, 2014, 25(4): 26-33.
[48] Zheng G A. Breakthroughs in photonics 2013: Fourier ptychographic imaging[J]. IEEE Photonics Journal, 2014, 6(2): 0701207.
[49] Dong S Y, Shiradkar R, Nanda P, et al. Spectral multiplexing and coherent-state decomposition in Fourier ptychographic imaging[J]. Biomedical Optics Express, 2014, 5(6): 1757-1767.
[50] Dong S Y, Nanda P, Shiradkar R, et al. High-resolution fluorescence imaging via pattern-illuminated Fourier ptychography[J]. Optics Express, 2014, 22(17): 20856-20870.
[51] Dong S Y, Horstmeyer R, Shiradkar R, et al. Aperture-scanning Fourier ptychography for 3D refocusing and super-resolution macroscopic imaging[J]. Optics Express, 2014, 22(11): 13586-13599.
[52] Dong S Y, Bian Z C, Shiradkar R, et al. Sparsely sampled Fourier ptychography[J]. Optics Express, 2014, 22(5): 5455-5464.
[53] Ou X Z, Horstmeyer R, Yang C, et al. Quantitative phase imaging via Fourier ptychographic microscopy[J]. Optics Letters, 2013, 38(22): 4845-4848.
[54] Horstmeyer R, Ou X Z, Chung J, et al. Overlapped Fourier coding for optical aberration removal[J]. Optics Express, 2014, 22(20): 24062-24080.
[55] Bian L H, Suo J L, Zheng G A, et al. Fourier ptychographic reconstruction using Wirtinger flow optimization[J]. Optics Express, 2015, 23(4): 4856-4866.
[56] Bian L H, Suo J L, Situ G H, et al. Content adaptive illumination for Fourier ptychography[J]. Optics Letters, 2014, 39(23): 6648-6651.
[57] Guo K K, Bian Z C, Dong S Y, et al. Microscopy illumination engineering using a low-cost liquid crystal display[J]. Biomedical Optics Express, 2015, 6(2): 574-579.
[58] Guo K K, Dong S Y, Nanda P, et al. Optimization of sampling pattern and the design of Fourier ptychographic illuminator[J]. Optics Express, 2015, 23(5): 6171-6180.
[59] Guo K K, Dong S Y, Zheng G A. Fourier ptychography for brightfield, phase, darkfield, reflective, multi-slice, and fluorescence imaging[J]. IEEE Journal of Selected Topics in Quantum Electronics, 2016, 22(4): 77-88.
[60] Horstmeyer R, Ou X Z, Zheng G A, et al. Digital pathology with Fourier ptychography[J]. Computerized Medical Imaging and Graphics, 2015, 42: 38-43.
[61] Ou X Z, Horstmeyer R, Zheng G A, et al. High numerical aperture Fourier ptychography: principle, implementation and characterization[J]. Optics Express, 2015, 23(3): 3472-3491.
[62] Guo K K, Jiang S W, Zheng G A. Multilayer fluorescence imaging on a single-pixel detector[J]. Biomedical Optics Express, 2016, 7(7): 2425-2431.
[63] Guo K K, Zhang Z B, Jiang S W, et al. 13-fold resolution gain through turbid layer via translated unknown speckle illumination[J]. Biomedical Optics Express, 2017, 9(1): 260-275.
[64] Jiang S W, Guo K K, Liao J, et al. Solving Fourier ptychographic imaging problems via neural network modeling and TensorFlow[J]. Biomedical Optics Express, 2018, 9(7): 3306-3319.
[65] Song P M, Jiang S W, Zhang H, et al. Full-field Fourier ptychography (FFP): Spatially varying pupil modeling and its application for rapid field-dependent aberration metrology[J]. APL Photonics, 2019, 4(5): 050802.
[66] Zheng G A, Shen C, Jiang S W, et al. Concept, implementations and applications of Fourier ptychography[J]. Nature Reviews Physics, 2021, 3(3): 207-223.
[69] Zhang F C, Pedrini G, Osten W. Phase retrieval of arbitrary complex-valued fields through aperture-plane modulation[J]. Physical Review A, 2007, 75(4): 043805.
[70] Xu W H, Lin H X, Wang H Y, et al. Super-resolution near-field ptychography[J]. Optics Express, 2020, 28(4): 5164-5178.
[71] Maiden A, Johnson D, Li P. Further improvements to the ptychographical iterative engine[J]. Optica, 2017, 4(7): 736-745.
[72] Jiang S W, Zhu J K, Song P M, et al. Wide-field, high-resolution lensless on-chip microscopy via near-field blind ptychographic modulation[J]. Lab on a Chip, 2020, 20(6): 1058-1065.
[73] Song P M, Wang R H, Zhu J K, et al. Super-resolved multispectral lensless microscopy via angle-tilted, wavelength-multiplexed ptychographic modulation[J]. Optics Letters, 2020, 45(13): 3486-3489.
[74] Jiang S W, Guo C F, Bian Z C, et al. Ptychographic sensor for large-scale lensless microbial monitoring with high spatiotemporal resolution[J]. Biosensors and Bioelectronics, 2022, 196: 113699.
[75] Song P M, Guo C F, Jiang S W, et al. Optofluidic ptychography on a chip[J]. Lab on a Chip, 2021, 21(23): 4549-4556.
[76] Jiang S W, Guo C F, Song P M, et al. High-throughput digital pathology via a handheld, multiplexed, and AI-powered ptychographic whole slide scanner[J]. Lab on a Chip, 2022, 22(14): 2657-2670.
[77] Jiang S W, Guo C F, Wang T B, et al. Blood-coated sensor for high-throughput ptychographic cytometry on a blu-ray disc[J]. ACS Sensors, 2022, 7(4): 1058-1067.
[79] Guo C F, Jiang S W, Yang L M, et al. Depth-multiplexed ptychographic microscopy for high-throughput imaging of stacked bio-specimens on a chip[J]. Biosensors and Bioelectronics, 2023, 224: 115049.
[80] Jiang S W, Song P M, Wang T B, et al. Spatial- and fourier-domain ptychography for high-throughput bio-imaging[J]. Nature Protocols, 2023, 18(7): 2051-2083.
[81] Wang T B, Song P M, Jiang S W, et al. Remote referencing strategy for high-resolution coded ptychographic imaging[J]. Optics Letters, 2023, 48(2): 485-488.
[82] Bian Z C, Guo C F, Jiang S W, et al. Autofocusing technologies for whole slide imaging and automated microscopy[J]. Journal of Biophotonics, 2020, 13(12): e202000227.
[83] Guo C F, Bian Z C, Jiang S W, et al. OpenWSI: a low-cost, high-throughput whole slide imaging system via single-frame autofocusing and open-source hardware[J]. Optics Letters, 2019, 45(1): 260-263.
[84] Guo C F, Jiang S W, Yang L M, et al. Deep learning-enabled whole slide imaging (DeepWSI): oil-immersion quality using dry objectives, longer depth of field, higher system throughput, and better functionality[J]. Optics Express, 2021, 29(24): 39669-39684.
[85] Guo C F, Jiang S W, Song P M, et al. Quantitative multi-height phase retrieval via a coded image sensor[J]. Biomedical Optics Express, 2021, 12(11): 7173-7184.
[86] Luo W, Greenbaum A, Zhang Y B, et al. Synthetic aperture-based on-chip microscopy[J]. Light: Science & Applications, 2015, 4(3): e261.
[87] Zuo C, Li J J, Sun J S, et al. Transport of intensity equation: a tutorial[J]. Optics and Lasers in Engineering, 2020, 135: 106187.
[88] 左超, 陈钱. 计算光学成像:何来,何处,何去,何从?[J]. 红外与激光工程, 2022, 51(2): 20220110.
[89] 左超, 陈钱. 分辨率、超分辨率与空间带宽积拓展: 从计算光学成像角度的一些思考[J]. 中国光学(中英文), 2022, 15(6): 1105-1166.
[90] Pantanowitz L, Farahani N, Parwani A. Whole slide imaging in pathology: advantages, limitations, and emerging perspectives[J]. Pathology and Laboratory Medicine International, 2015: 23-33.
[91] Niazi M K K, Parwani A V, Gurcan M N. Digital pathology and artificial intelligence[J]. The Lancet Oncology, 2019, 20(5): e253-e261.
[92] Horstmeyer R, Chung J, Ou X Z, et al. Diffraction tomography with Fourier ptychography[J]. Optica, 2016, 3(8): 827-835.
[93] Ling R L, Tahir W, Lin H Y, et al. High-throughput intensity diffraction tomography with a computational microscope[J]. Biomedical Optics Express, 2018, 9(5): 2130-2141.
[95] Matlock A, Tian L. High-throughput, volumetric quantitative phase imaging with multiplexed intensity diffraction tomography[J]. Biomedical Optics Express, 2019, 10(12): 6432-6448.
[96] Zuo C, Sun J S, Li J J, et al. Wide-field high-resolution 3D microscopy with Fourier ptychographic diffraction tomography[J]. Optics and Lasers in Engineering, 2020, 128: 106003.
[97] Zhang J C, Fan Y B, Yao J, et al. Programmable optical meta-holograms[J]. Nanophotonics, 2023: 544.
Article Outline
郭成飞, 李婧妍, 江劭玮, 邵晓鹏, 郑国安. 无透镜编码叠层显微成像原理及研究进展(特邀)[J]. 激光与光电子学进展, 2024, 61(6): 0618003. Chengfei Guo, Jingyan Li, Shaowei Jiang, Xiaopeng Shao, Guoan Zheng. Lensless Coded Ptychographic Microscopy Imaging: Principle and Recent Progress (Invited)[J]. Laser & Optoelectronics Progress, 2024, 61(6): 0618003.