无透镜编码叠层显微成像原理及研究进展（特邀）

叠层成像技术是近年来发展快速的相干衍射成像方法，目前已经成为世界上大多数X射线同步加速器和国家实验室不可或缺的成像工具。光学叠层成像是叠层成像技术在可见光波段的应用，分为基于透镜的傅里叶叠层成像与基于无透镜的编码叠层成像。编码叠层成像作为一种新型无透镜片上显微成像技术，具有大视场、高分辨率、无像差、无标记、便携式，以及缓变相位成像等诸多技术优点。本文介绍无透镜编码叠层显微成像的基本原理及最新研究进展，分析了其成像性能，重点介绍了其在生物医学方面的相关应用，并讨论了编码叠层成像技术未来的发展方向。

Abstract

Ptychography is a coherent diffraction imaging technique and has rapidly developed over the last decade, becoming an indispensable imaging tool in most X-ray synchrotrons and national laboratories globally. In the visible light regime, optical ptychography can be divided into two: lens-based Fourier ptychography and lensless-based coded ptychography (CP). CP is a novel lensless on-chip microscopy imaging technique, and its advantages include a large field-of-view, high-resolution, aberration-free, label-free, field portability, and slow-varying phase imaging. In this review, we discuss the basic principles of CP and summarize its recent progress. Additionally, we analyze its imaging performance and highlight its biomedical applications. Finally, we conclude this review article by pointing out several directions for its future development.

1　引言

光学成像系统通过可视化光信息，扩展了人类的视觉感知能力，由各类光学成像系统组成的影像记录工具已经深度融入了人类日常生活中。常见的光学成像系统包括显微系统、摄影系统，以及望远系统。其中，显微镜的发明和使用对物理学、医学、生命科学，以及材料科学等学科的发展发挥了巨大作用。显微镜的发展距今已有四百多年的历史，现代光学显微镜的基本结构由光源、样品台、物镜、筒镜，以及目镜或相机组成。对显微镜来说，最重要的性能指标是分辨率，其具体数值表达式由德国科学家Ernst Abbe给出： $d = λ / 2 n s i n α$ ， $λ$ 表示入射光的波长， $N A = n s i n α$ ，为物镜的数值孔径， $n$ 表示样品与物镜之间的介质的折射率， $α$ 表示物镜的最大孔径角。根据该式可知，显微镜的分辨率由入射光的波长以及物镜的数值孔径决定。因此，为了追求更高的成像分辨率，通常可以采用短波长照明光与大数值孔径的物镜。在可见光波段，基于光折射定律的大数值孔径的物镜比较容易制造和加工。然而，对于X光成像以及电子显微镜来说，制造相同功能的聚焦透镜非常困难。X光成像通常使用衍射光学元件达到聚焦光束的目的，典型的器件是波带片。在电子显微镜中，通常使用电磁透镜实现电子束聚焦。既然制造短波长光束的聚焦透镜比较困难，科学家想到的另外一种技术思路是摒弃透镜，直接采用无透镜成像系统。基于透镜的成像系统可以直接得到物体的像，而基于无透镜的成像系统直接得到的是物体的衍射图案，想要得到物体的像需要进一步从采集到的衍射图案中反解出目标信息，而这个过程需要获取入射光波全部的振幅与相位信息。不幸的是，传统的光电探测器只能测量入射光波的强度变化，导致入射光波的相位信息在数据采集过程中丢失，相位信息的丢失问题也被称为“相位问题”。

相位问题最初在X射线晶体学领域受到重视。1952年，美国科学家Sayre^［1］提出，如果可以恢复衍射图案在倒易空间中的相位，则可以确定真实空间中晶体内部的原子排列结构。随后，为了解决这个棘手的相位问题，1953年，美国科学家Hauptman^［2］提出了求解相位问题的直接法，通过数学证明给出了从晶体的衍射图案中求解相位的方法，并因此获得1985年的诺贝尔化学奖。晶体内部的原子排列结构具有特定的空间形式，这为采用直接法求解相位问题提供了先验约束。对于非周期性样品，相位问题依旧是一个巨大的挑战。1969年，为了解决电子显微镜对生物大分子等非晶样品观测时遇到的相位问题，德国科学家Hoppe^［3］首次提出了ptychography的概念，ptycho在德语中是卷积的意思。Hoppe通过采集相同样本在多角度相干探针照明下的衍射图像来恢复倒易空间中布拉格峰（Bragg peak）的相位，再利用傅里叶合成法对真实空间中的晶体内部结构进行重建。这一设想提出后，在一段时间内并没有得到进一步的理论和实验验证。1972年，英国剑桥大学卡文迪什实验室的两位科学家Gerchberg和Saxton^［4］提出G-S迭代相位恢复算法，利用输入图像与输出图像在实空间与傅里叶空间反复迭代，加以实空间中物体的幅值约束与倒易空间中物体的傅里叶模值约束，用以解决衍射成像中的相位恢复问题。1978年，美国科学家Fienup^［5-8］提出误差减小（ER）算法以及混合输入-输出（HIO）算法，将原先G-S算法中实空间物体的幅值约束替换为实空间的支撑域约束，并引入反馈机制来避免算法陷入局部极小值以及收敛停滞的情况，奠定了基于迭代相位恢复算法解决非晶样品衍射成像中相位问题的重要基础。随后，Miao等^［9］首次在实验中基于HIO算法从单幅二维非晶样品的衍射图案中恢复出目标信息，从此开启了相干衍射成像（CDI）技术的实验研究。

基于单幅衍射图像实现相位恢复的CDI技术要求被观测的样品具有空间稀疏性，以此来保证相位恢复算法良好的收敛效果，这对于大部分生物样本来说很难满足要求。2004年，英国谢菲尔德大学的Rodenburg等^［10］提出基于迭代相位恢复框架的ptychography，即扫描版本的CDI——叠层成像。这里需要强调的是，ptychography一词最早由中国科学院大学史祎诗课题组翻译为叠层^［11］，这一新型的相位恢复算法又称为叠层迭代引擎（PIE）算法。PIE算法显著提升了相干衍射成像相位恢复过程的收敛速度和抗噪能力，为复杂扩展目标成像提供了新途径，极大地推动了CDI技术的发展。

传统叠层成像技术的实验装置原理如图1（a）所示，相干光束经过一个空间受限的孔径光阑照射到待测样品上，透过目标出射后的光波传播到远场夫琅禾费衍射区域被探测器所接收。样品在二维平面内扫描，相邻扫描区域需要保持一定的重叠率，在样品上形成交叠的照明光斑，并在远场采集一系列衍射强度图像。图1（b）展示了传统叠层成像技术的正向建模过程，空间上连续的复振幅目标与照明探针逐点相乘，其传播至远场的过程遵循傅里叶变换原理，最终在探测器上接收到一系列衍射强度图像。图1（c）展示了叠层迭代相位恢复算法的基本过程，其在实空间与倒易空间施加两组约束。在实空间，空间受限的照明探针作为支撑域约束，通过将照明探针区域外的部分设置为零同时保持该区域内部的信号不变，限制单次目标采集的空间物理尺度。在倒易空间，采集的衍射图像作为估计解的傅里叶模值约束，用采集的真实测量值替换探测器平面估计的衍射图像的模值并保持相位不变。迭代相位恢复过程的本质是寻找可以同时满足实空间与倒易空间这两个约束的目标估计解，通过样品扫描产生的大量数据冗余，提高算法的收敛速度和抗噪能力。

图 1. 传统叠层成像技术^［12］。（a）系统原理图；（b）正向成像模型；（c）迭代相位恢复过程

Fig. 1. Traditional ptychographic imaging technology^[12]. (a) System schematic diagram; (b) forward imaging model; (c) iterative phase recovery process

下载图片查看所有图片

自2004年叠层成像技术问世以来，其迅速引起全球科学界的广泛关注。图2为叠层成像技术相关论文的发表数量和被引用频次，可以看出，该技术的关注度持续攀升。一系列基于叠层成像技术的重磅工作相继发表，包括X光叠层成像^［13-19］、三维层析叠层成像^［20-30］、联合重建目标与探针的ePIE算法^［31-32］、布拉格叠层成像^［33-36］、混合态叠层成像^［37-39］，以及针对厚样品的基于多层切片模型的叠层成像^{［17，20，30］}等。其中，ePIE算法的提出降低了原先PIE算法对照明探针的要求，无需提前预知照明探针的准确分布，在迭代相位恢复过程中可以同时求解出目标与照明探针，克服了照明探针分布不均匀对图像重建质量的影响，为之后解决同类型问题提供了一种通用解决方案。由于叠层成像系统采用无透镜成像方式，空间分辨率主要受照明光波长限制，因而在X光成像和电子显微成像领域带来革命性的突破，目前已经成为全球多数X射线同步加速器和国家实验室不可或缺的成像工具^{［19，40-41］}。特别是叠层成像技术与电子显微镜的结合，使其迸发出了极强的高分辨成像能力。2021年，美国康奈尔大学的Chen等^［42-43］使用叠层成像技术结合电子显微镜获得了分辨率达0.02 $n m$ 的单原子图像，是迄今为止世界上分辨率最高的显微镜。

图 2. 从2004年—2023年叠层成像技术领域SCI文献数量及引用量

Fig. 2. The number of ptychography-related publications and citations from 2004 to 2023

下载图片查看所有图片

目前，叠层成像技术可实现的最高等效数值孔径不超过0.4^［44］，成像通量与商业化的切片扫描仪相比要低几个数量级，限制了其在光学显微成像领域的应用。2013年，美国加州理工学院的Zheng等^［45-65］提出了傅里叶叠层显微成像（FPM）的概念。与传统叠层成像不同，FPM成像中的叠层并非在空域，而是发生在频域。典型的FPM成像系统将样品放置在物平面，孔径光阑放置在傅里叶平面，探测器放置在像平面，如图3（a）所示。采用可编程LED阵列控制空间不同角度的照明光束对样品进行扫描，物镜执行傅里叶变换将物体的出射波从空域转换到频域，筒镜执行第二次傅里叶变换将光波变换回空间域形成低分辨率的原始图像。FPM采用传统的透镜式成像系统，将之前叠层成像技术中空间受限的照明孔径约束转变为频域的有限孔径光瞳约束。两者的相同之处在于均需要采集相邻孔径之间重叠的冗余数据集，以此来保证相位恢复过程的鲁棒性。FPM融合了叠层成像技术、合成孔径，以及相位恢复技术的思想，解决了传统显微镜系统视场和分辨率相互制约的矛盾。FPM不需要机械扫描样品，只需要在传统的显微镜系统上外加可编程LED照明光源，系统简单，成本低廉且兼容性强，将传统显微镜系统的空间带宽积从千万像素量级提升至十亿像素量级。因此，在数字病理、无标记定量相位成像、高通量细胞计数、像差测量，以及空间远距离成像等领域展现出广泛的应用前景^［66-68］。图3（b）为世界上第一台傅里叶叠层显微镜，图3（c）、（d）展示了基于傅里叶叠层成像技术重建的彩色成像结果和定量相位成像结果。

图 3. 傅里叶叠层显微成像^［45］。（a）系统原理图；（b）系统装置；（c）血细胞涂片；（d）组织切片的原始图像、重建的彩色成像结果，以及定量相位成像结果

Fig. 3. Fourier ptychographic microscopy^[45]. (a) System schematic diagram; (b) system device; (c)(d) raw images,recovered color images, and recovered phase images of blood smear slide and stained tissue slice

下载图片查看所有图片

叠层成像技术在可见光波段的另一种衍生变体——无透镜编码叠层显微成像（CPM）也是一种高通量光学叠层成像技术。与FPM相比，CPM利用编码层代替了有限孔径的光瞳，用两个自由空间传播代替FPM中的两个傅里叶变换。FPM可以看作是基于编码照明的叠层成像技术，而CPM将编码层与探测器集成形成编码探测器，可以看作是基于编码探测的叠层成像技术^［69-70］。与叠层成像技术相比，CPM同样采用无透镜成像装置，不同的地方在于将空间受限的照明探针替换成了编码层。平面波照射物体后经过自由空间传播到达编码层，不再是传统叠层成像技术中简单的逐点像素乘积。此外，CPM的成像视场更大，理论上等同于探测器的成像靶面，显现出在高通量成像方面的技术优势。

本文主要介绍基于编码探测的叠层成像方法——无透镜编码叠层显微成像技术的基本原理及其研究进展。首先，介绍了编码叠层成像技术的成像模型、重建算法、成像系统，以及系统参量的选择，并对系统成像性能进行了分析；然后，介绍了编码叠层成像技术在生物医学领域中的相关应用；最后，对编码叠层成像技术未来的研究方向进行了展望。

2　编码叠层成像的原理

2.1　成像模型

编码叠层成像的系统原理图如图4所示，其中，物体置于图像传感器正上方。编码层直接附着在图像传感器的石英玻璃保护层表面，形成编码探测器。编码探测器安装于二维电动位移平台上，以实现精确的位置控制。图中3个平面分别为物平面 $(x, y)$ 、编码层平面 $(x', y')$ 和探测器记录平面 $(x'', y'')$ 。距离 $d_{1}$ 为光波从物平面 $(x, y)$ 到编码层平面 $(x', y')$ 的传播距离，通常为500~1000 $μ m$ 。 $d_{2}$ 为编码层平面 $(x', y')$ 到探测器记录平面 $(x'', y'')$ 的传播距离，这段距离与图像传感器的型号有关，以The Imaging Source的DMM 37UX226为例，距离约为840 $μ m$ 。编码叠层成像的正向成像模型可以表示为

图 4. 编码叠层成像的系统原理图

Fig. 4. System schematic diagram of coded ptychography

下载图片查看所有图片

I_{i} (x'', y'') = {|[W (x' - x_{i}, y' - y_{i}) \cdot C S (x', y')] * P S F_{f r e e} (d_{2})|}^{2}

，（1）

式中： $W (x, y)$ 表示光波透过物体到达编码层表面的出射波前； $C S (x', y')$ 表示编码层； $P S F_{f r e e}$ 表示光波在自由空间传播的卷积核，其傅里叶变换即为光波在自由空间传播的光学传递函数； $*$ 表示卷积运算； $(x_{i}, y_{i})$ 表示第 $i$ 幅图像相对初始时刻的二维位置偏移。在无透镜成像系统中，系统放大率约等于1，图像传感器像元的尺寸大小决定了成像系统的空间采样频率。图5（a）为编码叠层成像正向成像过程示意图，高分辨率的复目标经过编码层调制后，在图像传感器上形成低分辨率的衍射图像。可以看出，编码叠层成像的正向成像过程是一个降采样成像过程。随着二维电动位移平台的移动，在不同的空间位置采集相应的低分辨率衍射图像，相邻两幅图像的像素偏移通常在亚像素量级。编码叠层成像的目标重建过程就是由采集到的一系列低分辨率衍射图像通过叠层相位恢复算法，重建出原目标高分辨率的振幅和相位信息。迭代相位恢复过程的示意图如图5（b）所示。

图 5. 编码叠层成像的成像模型和重建过程^［12］。（a）正向成像模型；（b）迭代相位恢复过程

Fig. 5. Imaging model and reconstruction process of coded ptychography^[12]. (a) The forward imaging model of coded ptychography; (b) the iterative phase retrieval process

下载图片查看所有图片

2.2　重建算法

首先，初始化物体的出射波前和编码层。一旦重建出物体的出射波前，就可以通过后向传播距离 $d_{1}$ 重建出物体的高分辨率复振幅 $O (x, y)$ 。详细的重建过程步骤如下：

1）初始化编码层表面的物体出射波前 $W (x', y')$ ：

W (x', y') = P S F_{f r e e} (- d_{2}) * {(\frac{1}{T} \sum_{i = 1}^{T} \sqrt[]{I_{i} (x'' + x_{i}, y'' + y_{i})})}_{↑ M}

，（2）

式中： $I_{i} (x'', y'')$ 表示采集的第 $i$ 幅强度图像； $T$ 表示采集的图像总数； $↑ M$ 表示M倍的最近邻域上采样运算。

2）初始化编码层 $C S (x', y')$ ：

C S (x', y') = P S F_{f r e e} (- d_{2}) * {(\frac{1}{T} \sum_{i = 1}^{T} \sqrt[]{I_{i} (x'', y'')})}_{↑ M}

。（3）

步骤2）仅需要在标定实验中执行一次，一旦重建出 $C S (x', y')$ ，编码层就可固定下来，在后续所有的实验中保持不变，无需另行重建。

3）根据计算的第 $i$ 幅图像的二维图像偏移 $(x_{i}, y_{i})$ 计算偏移的物体出射波前 $W_{i}^{s h i f t} (x', y')$ ：

W_{i}^{s h i f t} (x', y') = W (x' - x_{i}, y' - y_{i})

。（4）

4）将编码层 $C S (x', y')$ 与偏移的物体出射波前 $W_{i}^{s h i f t} (x', y')$ 逐点像素乘积得到离开编码层的出射波前 $E_{i} (x', y')$ 。随后将出射波 $E_{i} (x', y')$ 传播距离 $d_{2}$ 得到图像传感器平面的波前 $S_{i} (x'', y'')$ ：

E_{i} (x', y') = C S (x', y') \cdot W_{i}^{s h i f t} (x', y')

，（5）

S_{i} (x'', y'') = E_{i} (x', y') * P S F_{f r e e} (d_{2})

。（6）

5）对图像传感器平面上的强度图像执行下采样运算，并利用测量的强度 $I_{i} (x'', y'')$ 更新图像传感器平面的波前 $S_{i} (x'', y'')$ ：

U_{i} (⌈x'' / M⌉, ⌈y'' / M⌉) = {({|S_{i} (x'', y'')|}^{2} * P S F_{p i x e l})}_{↓ M}

，（7）

S_{i}' (x'', y'') = S_{i} (x'', y'') \cdot \frac{\sqrt[]{I_{i} (⌈x'' / M⌉, ⌈y'' / M⌉)}}{\sqrt[]{U_{i} (⌈x'' / M⌉, ⌈y'' / M⌉)}}

，（8）

式中： $⌈⌉$ 表示向上取整函数； $P S F_{p i x e l}$ 表示图像传感器像元的空间响应。在图像传感器像元的内部，其中心区域的灵敏度一般要高于边缘区域^［44］。

6）将更新的波前 $S_{i}' (x'', y'')$ 传播回编码层平面：

E_{i}' (x', y') = S_{i}' (x'', y'') * P S F_{f r e e} (- d_{2})

。（9）

7）使用rPIE算法^［71］更新偏移的物体出射波前 $W_{i}^{s h i f t} (x', y')$ 和编码层 $C S (x', y')$ ，编码层的更新仅需要在标定实验中执行一次。

W_{i}^{s h i f t'} (x', y') = W_{i}^{s h i f t} (x', y') + \frac{c o n j [C S (x', y')] \cdot [E_{i}' (x', y') - E_{i} (x', y')]}{(1 - α_{W}) {|C S (x', y')|}^{2} + α_{W} {|C S (x', y')|}_{m a x}^{2}}

，（10）

C S' (x', y') = C S (x', y') + \frac{c o n j [W_{i}^{s h i f t} (x', y')] \cdot [E_{i}' (x', y') - E_{i}' (x', y')]}{(1 - α_{C S}) {|W_{i}^{s h i f t} (x', y')|}^{2} + α_{C S} {|W_{i}^{s h i f t} (x', y')|}_{m a x}^{2}}

，（11）

式中： $α_{W}$ 和 $α_{C S}$ 是rPIE算法的参数，可以将其设置为1。

8）基于步骤7）更新的偏移的物体出射波前 $W_{i}^{s h i f t'} (x', y')$ 更新物体的出射波前 $W (x', y')$ ：

W_{i} (x', y') = W_{i}^{s h i f t'} (x' + x_{i}, y' + y_{i})

。（12）

9）重复步骤3）~8），直至满足预先设定的收敛条件。最后，将物体的出射波前 $W (x', y')$ 反向传播至物平面，得到物体的复振幅信息。

O (x, y) = W (x', y') * P S F_{f r e e} (- d_{1})

。（13）

2.3　成像系统

编码叠层成像系统的关键组成是编码探测器，由编码层与常规的图像传感器构成。此外，基本的成像系统还包括二维电动位移平台、相干照明光源，以及固定样品的样品夹等光机器件。2020年，Jiang等^［72］提出一种基于近场叠层调制的无透镜片上显微成像方法，在盖玻片上涂抹一层薄且密的直径为1~5 μm 的微球作为编码层，放置在物体与图像传感器中间进行扫描，可以实现780 $n m$ 横向分辨率条件下的定量相位成像和大视场高分辨率成像。同年，Song等^［73］提出多波长混合照明的叠层调制无透镜片上显微成像技术，采用5种不同波长的激光器作为照明光源，并在照明光路中放置棱镜进行光谱分离。棱镜的引入使得不同波长的光波能够以不同的入射角照射物体，经过编码层调制后，使不同波长照明下采集的强度图像产生差异，为多波长混合照明下的叠层相位恢复过程引入足够的相位多样性，其成像系统原理图如图6（a）所示。这两种技术可以看作是最初形式的编码叠层成像，图像传感器与待测样品固定，通过扫描编码层实现对物体信息的编码调制。

图 6. 不同形式的编码叠层成像系统的原理图^［12］。（a）基于多波长混合照明的编码叠层；（b）并行编码叠层；（c）基于时间相似性约束的编码叠层；（d）光流编码叠层；（e）基于编码叠层的全视场切片扫描仪；（f）旋转式编码叠层；（g）合成孔径编码叠层；（h）基于多层切片模型的编码叠层

Fig. 6. Schematic diagrams of different coded ptychographic systems^[12]. (a) Wavelength-multiplexed coded ptychography; (b) parallel coded ptychography; (c) temporal-similarity constraint coded ptychography; (d) optofluidic coded ptychography; (e) ptychographic whole slide scanner; (f) rotational coded ptychography; (g) synthetic aperture coded ptychography; (h) depth-multiplexed coded ptychography

下载图片查看所有图片

2021年，Jiang等^［44］首次将编码层直接集成在图像传感器的表面，形成一体化编码探测器，有效避免扫描过程中由于系统扰动带来的重建不稳定等问题。同时，在正向成像模型中，考虑了图像传感器单个像元的空间和角度响应特性，对目标高频细节信息的重建非常重要，实现了最高等效数值孔径为0.8的空间分辨率。此外，设计了基于编码探测器阵列的并行编码叠层成像系统，成像系统原理图如图6（b）所示。同年，Jiang等^［74］针对微生物快速高通量检测的应用需求，提出了基于时间相似性约束的编码叠层成像技术，显著提升了叠层重建算法的收敛能力，实现了7倍的时间分辨率提升。该工作首次实现了对大肠杆菌菌落的长时程、厘米级视场观察，并能对单体微生物进行长时程定量相位成像，成像系统原理图如图6（c）所示。图6（d）为光流叠层成像系统的原理图，该技术结合了编码叠层成像技术与光流成像技术，设计了一种与流式细胞仪工作流程相似的光流叠层显微成像系统^［75］。将编码层附着在微流体通道的底部，随着微流体的流动，样本在平移的过程中同时被编码层所调制，相应的衍射图像被底部的图像传感器所接收。该技术基于无透镜片上显微系统，支持小型化系统设计，并可以集成到多种微流体芯片设备中。

2022年，Jiang等^［76］基于编码叠层成像技术开发了手持式无透镜全视场切片扫描仪，如图6（e）所示。主探测器是编码探测器，采用羊血细胞作为编码层。副探测器的作用是跟踪样品的扫描位置，主探测器和副探测器采用同步触发模式。系统采用红绿蓝三色激光器同时照明样品，低成本的小型化手动位移平台被改装成电动位移平台执行扫描操作。该工作实验验证了对于恶性疟疾感染的血液涂片以及甲状腺涂片的大视场定量相位成像能力，展现出其在无标记、快速现场诊断场景中的应用潜力。同年，Jiang等^［77］提出了一种旋转式扫描的编码叠层成像方法，系统原理图如图6（f）所示。通过改造蓝光DVD的光驱系统构成成像系统的主体，照明光源采用光驱系统内置的激光器，目标放置在圆形转盘上，随着旋转电机的转动采集原始强度图像。同时，利用血液涂层作为编码层，验证了一种全新的编码层设计思路。

编码叠层成像的另一个发展方向是合成孔径叠层成像^［78］，系统原理图如图6（g）所示。通过扩展的平面波照射物体并在远场扫描编码探测器，既扩展了实空间的成像视场同时又增加了傅里叶空间的频率带宽，实现了空间分辨率4倍的提升和成像视场16倍的扩展。在常规的显微镜系统中，对不同的样本成像需要不断移动样本的横向位置，不同的视场需要反复重新调焦。当需要对大量生物样本成像时，对显微镜的成像通量和工作效率具有非常大的挑战性。针对此问题，2023年Guo等^［79］设计了一套基于多层切片模型的编码叠层显微成像系统，系统原理图如图6（h）所示。将不同的样本沿轴向堆叠起来直接放置在编码探测器表面，通过改装汽车侧视镜作为二维扫描振镜，对入射光扫描产生不同角度的照明光波，并采集不同照明角度下的衍射图像。该技术可以对堆叠的多层样品同时成像，成像视场最大为~205 $m m^{2}$ ，横向分辨率最高为~1.1 $μ m$ ，并且可以对活细胞长时程跟踪成像。图7（a）~（f）为不同形式的编码叠层成像系统的原理样机。

图 7. 不同形式的编码叠层成像系统的原理样机^{［44，74-77，79］}。（a）并行编码叠层；（b）基于时间相似性约束的编码叠层；（c）光流编码叠层；（d）基于编码叠层的全视场切片扫描仪；（e）旋转式编码叠层；（f）基于多层切片模型的编码叠层

Fig. 7. Hardware platforms for different coded ptychographic implementations^{[44, 74-77, 79]}. (a) Parallel coded ptychography ;(b) integrated ptychographic sensor for large-scale lensless microbial monitoring with high spatiotemporal resolution; (c) optofluidic ptychography with a microfluidic chip for sample delivery; (d) color-multiplexed ptychographic whole slide scanner; (e) rotational coded ptychography; (f) depth-multiplexed coded ptychography

下载图片查看所有图片

2.4　系统设计

2.4.1　光源的选择

叠层成像技术是一种相干衍射成像技术，使用相干或部分相干光源照明物体。在可见光波段中，通常选择LED或激光作为照明光源。FPM中使用LED光源，主要优势是成本低、相干噪声与伪影少，以及便于控制，但LED的光能量密度较低，导致图像采集的曝光时间较长。与FPM不同，编码叠层成像通常采用单色激光照明样品。主要原因是成像过程包含光波在自由空间传播的过程，在这个过程中，不同波长的光波将被传播至不同的轴向平面。由于编码成像系统采用无透镜成像方式，没有透镜对这种色散效应进行补偿，因此，编码叠层成像通常选择激光作为照明光源。此外，激光的光能量密度高，图像采集的曝光时间较短，支持物体在连续扫描过程中同时采集图像，以此缩短图像数据集的采集时间。

2.4.2　图像传感器的选择

编码叠层成像系统采用无透镜成像方式，为了获得更高的空间分辨率，图像传感器像元的尺寸越小越好。在目前的成像系统中，一般采用The Imaging Source的DMM 37UX226相机，其搭配的索尼公司的IMX226图像传感器的像元尺寸为1.85 $μ m$ ，空间分辨率为3000×4000。目前，消费级的智能手机已经配备单像素尺寸为0.7 $μ m$ 的图像传感器（Sony IMX758），空间分辨率可以达到5000万像素量级。这种传感器往往集成了拜耳滤光片，使用时需要在重建过程中考虑和校正像素间的串扰和滤光片引入的干扰。

2.4.3　编码层的选择

通常将包含有微结构的固体粉末或者液体溶液直接涂抹在传感器的玻璃保护层表面形成编码层，编码层的质量直接影响图像的重建质量，在设计时通常需要考虑以下几点。1）编码层的厚度要薄，且要是单层结构。只有当编码层足够薄且为单层时，物体的出射波前与编码层的相互作用才可以用逐点像素乘积来表示。如果编码层太厚，则需要测量编码层完整的传输矩阵才能够表征它的调制特性。图8（a1）和图8（b1）为使用微球制作的不同厚度的编码层，图8（a2）和图8（b2）为对应的分辨率靶成像结果^［74］。2）编码层的粒径要小。已经在相应的仿真和实验中验证了更小粒径的编码层有助于获得更高空间分辨率的成像结果。例如，羊血细胞的直径为2~3 $μ m$ ，是世界上所有动物细胞里最小的，使用羊血作为编码层，可以获得比使用人血或鱼血更好的成像效果。图8（c1）和图8（d1）为使用鱼血与使用羊血制作的编码层的相位重构结果^［76］，图8（c2）和图8（d2）为对应的分辨率靶成像结果。3）编码层的密度要大。大角度的衍射光波在经过编码层调制后可以变成能够被图像传感器探测的小角度衍射光波，这一编码过程增加了系统的有效数值孔径。因此，密度大的编码层有助于获得最佳的调制效果。以上3点是设计编码层需要考虑的最基本的要素，除此之外，还需要尽可能地考虑编码层的寿命问题。如何更好地将编码层与图像传感器集成，形成不易损坏、永久调制的编码探测器也是需要考虑的问题。

图 8. 不同种类的编码层对分辨率的影响^{［74，76］}。（a1）使用微球制作的厚编码层；（b1）使用微球制作的薄编码层；（c1）使用鱼血制作的大粒径编码层的相位成像结果；（d1）使用羊血制作的小粒径编码层的相位成像结果；（a2）~（d2）不同编码层对应的分辨率靶成像结果

Fig. 8. Resolution performance using different coded layers^{[74, 76]}. (a1) Thick coded layer coated with microbeads; (b1) single-layer thin coded layer coated with microbeads; (c1) the recovered transmission profile of the monolayer fish blood cells; (d1) the recovered transmission profile of the monolayer goat blood cells; (a2)‒(d2) the recovered images of the resolution target corresponding to different coded layers

下载图片查看所有图片

2.4.4　位移平台的选择

传统叠层成像中，对电动位移平台的重复定位精度要求高，通常要达到几十纳米，物体的空间位置依赖于高性能位移平台的位置反馈。在编码叠层成像中，物体的空间位置是通过互相关分析算法计算得到的，对位移平台的重复定位精度要求低，因此可以采用低成本的步进电机替代高性能的伺服电机位移平台，重复定位精度大约在5~10 $μ m$ 的范围。在目前的成像系统中，采用NEMA 17或NAMA 11系列的低成本步进电机是一个不错的选择^［80］，在市场上有成熟的控制系统可选择（GRBL CNC三轴控制器），结合串口通信在MATLAB环境下控制非常方便，便于整个系统的集成化控制以及后续的图像处理。同时，这种方案支持整个系统的小型化设计，有助于开发手持式的编码叠层成像系统^［76］。

2.4.5　扫描位置的精确计算方法

在编码叠层成像中，物体的扫描位置是通过计算所采集的衍射图像数据集之间的像素偏移得到的。编码探测器表面分为两个区域，一部分是受编码层调制的成像区域，通常占图像传感器表面的90%，剩余10%的区域是不受编码层调制的参考区域，用来跟踪扫描位置。文献［81］提出了一种高精度高鲁棒性的扫描位置计算方法。在常规的计算方法中，一般使用空白区域采集的第一幅图像作为计算位置的参考图像。在新的计算方法中，扫描之前预先采集一幅远离扫描中心的经过编码层调制的图像，将其作为计算位置的参考图像。这种计算位置的策略不再要求编码探测器设置空白区域，扩大了有效成像视场，位置计算的精度也更高。

2.5　系统成像性能的分析

2.5.1　分辨率

编码叠层成像系统的分辨率 $R$ 由探测 $N A$ 和照明 $N A$ 共同决定：

R = λ / (N A_{d e t e c t i o n} + N A_{i l l u m i n a t i o n})

，（14）

式中， $λ$ 为照明光波长。对于无透镜编码叠层成像系统，照明光束采用平面波正入射的方式，其照明数值孔径为0，分辨率取决于编码探测器探测数值孔径的大小。目前编码叠层成像系统可实现的最高等效数值孔径大约为0.8^［44］。在正向成像模型中，图像传感器单个像素的空间和角度响应特性是实现高分辨率重建的关键。此外，采用合成孔径的方法增加照明数值孔径，也可以进一步提高空间分辨率。

2.5.2　成像视场与成像通量

对于无透镜编码叠层成像系统来说，单个成像视场受限于图像传感器的尺寸。扩大成像视场的方法通常有两种，第一种是直接控制位移平台扫描大尺度样本的不同区域，对于15 $m m$ ×15 $m m$ 的标准组织切片来说，需要采集6个图像传感器的视场，总的采集时间大约为1~2 min。第二种是采用编码探测器阵列，利用阵列式的并行采集方式。在我们的工作中，设计了由8个编码探测器组成的相机阵列，在15 s的采集时间内获得了240 $m m^{2}$ 的有效成像视场，成像通量超过了目前世界上最快的全视场切片扫描仪^［44］。

2.5.3　数字重聚焦

基于透镜系统的全视场切片扫描仪一般采用焦点图或实时自动对焦的方式计算焦点位置，然后控制电动位移平台轴向移动样品台或者物镜至准焦平面，实现对焦过程^［82-84］。在编码叠层成像中，首先利用叠层迭代相位恢复算法重建出物体的出射波前，然后反向传播至不同的物平面得到准焦的成像结果。这种成像方式不需要在图像采集的过程中进行实时自动对焦，对焦的过程可以在图像重建过程中完成。对焦的执行也不需要借助高精度的轴向电动位移平台，通过光波的衍射传播得到准焦的成像结果，省去了大量硬件，降低了系统成本，节约了系统空间。通过重建结果的对比度来确定最佳的准焦位置，基于强度的对比度可用于染色样本，基于相位的对比度可用于未染色的样本^［76］。图9（a）展示了重建的H&E染色组织切片的大视场成像结果，图9（b）为相应的焦点图，图9（c）展示了子区域重建的物体出射波前的强度图像，图9（d）和图9（e）展示了重聚焦后的强度和相位成像结果。

图 9. 编码叠层成像的数字重聚焦过程^［76］。（a）基于数字重聚焦的大视场成像结果；（b）与图9（a）相对应的焦点图；（c1）（c2）不同区域重建的物体出射波前的强度图像；（d1）（d2）不同区域重聚焦后的强度图像；（e1）（e2）不同区域重聚焦后的相位图像

Fig. 9. Digital refocusing of coded ptychographic imaging^[76]. (a) Large field of view imaging results based on digital refocusing; (b) focus map corresponding to Fig. 9 (a); (c1) (c2) the recovered intensity of the object exit waves of different regions; (d1) (d2) the refocused intensity images of different regions; (e1) (e2) the refocused phase images of different regions

下载图片查看所有图片

2.5.4　缓变相位重建

在基于FPM、强度传输方程、无透镜数字全息，以及多距离的相位恢复技术中，重建包含多个 $2 π$ 包裹的缓变相位信息非常困难，其主要原因是无法将缓变的相位变化信息转化成可测量的强度变化信息^［85］。从相位传递函数的角度解释，对于相位低频分量，在弱相位的假设条件下，相位传递函数接近于0，即在图像采集过程中缓变的相位信息丢失了，因此无法通过相位恢复过程重构缓变相位物体。在编码叠层成像中，缓变的相位信息经过编码层调制后依旧可以记录下来^［44］。图10分别展示了2°楔形棱镜［图10（a）］、焦距5 $c m$ 的双凸透镜［图10（b）］，以及细菌菌落［图10（c）］的缓变相位成像结果。对于远超过 $2 π$ 范围的缓变相位物体，依旧可以重构出定量相位信息。

图 10. 缓变相位成像^{［44，74］}。（a1）~（c1）实物图，分别对应2°楔形棱镜、焦距5 cm的双凸透镜，以及细菌菌落；（a2）~（c2）图10（a1）~(c1)的原始图像；（a3）~（c3）图10（a1）~(c1)的包裹相位成像结果；（a4）~（c4）图10（a1）~(c1)的去包裹相位成像结果

Fig. 10. Slow-varying phase imaging^{[44, 74]}. (a1)‒(c1) Object images corresponding to optical prism, biconvex lens, and bacterial colonies; (a2)‒(c2) the captured raw images of Figs. 10（a1）-(c1);(a3)‒(c3) the recovered wrapped phase images of Figs. 10（a1）-(c1); (a4)‒(c4) the recovered unwrapped phase images of Figs. 10（a1）-(c1)

下载图片查看所有图片

作为一种无透镜相位成像方法，与编码叠层成像技术非常相似的另外一种相位成像技术是无透镜数字全息成像技术。两种成像技术具有相似的系统光路，成像视场都取决于图像传感器的尺寸，都具有系统简单、体积小，以及便携的特点。在分辨率性能方面，Luo等^［86］提出了基于合成孔径的无透镜数字全息成像技术，实现了最高等效数值孔径为1.4的空间分辨率。目前，基于无透镜编码叠层成像技术可实现的最高等效数值孔径大约为0.8，结合合成孔径的思想进一步提升空间分辨率是当前编码叠层成像技术下一步发展的重要方向。此外，无透镜数字全息成像技术需要采集的数据量较少，因此成像速度更快，而编码叠层成像技术在对缓变相位物体成像方面具有独特的技术优势。

3　编码叠层成像的应用

3.1　无标记定量相位成像

在临床医学与细胞生物学等领域，需要对透明的生物细胞成像。透明生物样品具有弱吸收特性，常规观察手段包括荧光显微镜以及相衬显微镜。荧光显微镜必须对样品荧光染色，存在光毒性、光漂白的问题，影响细胞内部生理过程且不支持长时程观察。泽尼克相衬成像和微分干涉相衬成像无需荧光染色，然而只能定性地观察透明样品^［87-89］。编码叠层成像技术作为一种高通量的无标记定量相位成像技术，可以反映透明生物样品的物理厚度与折射率系数等定量信息，是一种新型的非侵入式细胞分析工具。图11（a）展示了基于无透镜编码叠层成像技术对未染色甲状腺涂片的无标记定量相位成像结果^［76］，图11（b）展示了对U87MG透明生物细胞的无标记定量相位成像结果^［72］，该技术为大尺度细胞集群的无损检测提供了新的技术手段。

图 11. 大尺度细胞集群的无标记定量相位成像^{［72，76］}。（a）未染色甲状腺涂片的定量相位成像结果；（b）U87MG细胞的定量相位成像结果

Fig. 11. Label-free and quantitative phase imaging of the large-scale cell cluster^{[72, 76]}. (a) Quantitative phase imaging results of unstained thyroid smears; (b) quantitative phase imaging results of U87MG cells

下载图片查看所有图片

3.2　高通量数字病理

使用光学显微镜进行病理组织切片的分析是癌症诊断的金标准^{［82，90-91］}。但是，使用传统显微镜观察的过程是一项高度主观且依赖于病理学家临床经验的工作。数字病理是下一代癌症诊断与分析的基石。目前，组织病理学的定量表征是减少观察者诊断错误的重要研究方向。与传统光学显微镜以及商业化的切片扫描仪相比，编码叠层成像系统可以高速采集组织切片的大视场、高分辨率图像，通过其相位成像能力还能够对癌细胞进行分类和识别。此外，对未染色的组织样本可以实现快速现场诊断，有望简化当前组织切片的制片流程，缩短制片时间，促进术中快速病理评估，在临床医学领域具有潜在应用价值。图12（a）展示了基于并行编码叠层成像系统结合基于深度学习的虚拟染色技术对H&E染色的组织切片的全切片成像结果^［44］，图12（b）展示了对Ki-67标记的IHC染色的组织切片的成像结果^［76］。图12（c）展示了重建的强度和相位的全切片成像结果，图12（d）展示了基于相位成像结果结合深度学习实现的阳性癌细胞和阴性癌细胞的分类结果，Ki-67阳性肿瘤细胞的比例往往与肿瘤的病变程度相关，对临床医学的诊断起重要作用。图12（e）进行了相关结果的放大展示，图12（f）展示了阳性细胞与阴性细胞的细胞面积以及相对应的细胞干重的测量结果，图12（g）展示了阳性和阴性细胞在偏心率、面积、干重，以及平均相位值的直方图统计结果。

全视场切片成像结果与数字病理应用［44，76］。（a1）（b1）焦点图；（a2）（b2）虚拟染色的全视场切片成像结果；（a3）（b3）显微镜采集的标准图像；（a4）（b4）虚拟染色重建结果与标准图像的误差图；（c1）（c2）全视场强度和相位成像结果；（d）基于深度学习的阳性细胞与阴性细胞图像分割结果；（e1）子视场相位成像结果；（e2）子视场图像分割结果；（f）阳性细胞与阴性细胞的细胞面积以及细胞干重的散点图；（g）阳性细胞与阴性细胞的偏心率、面积、干重，以及平均相位值的直方图

图 12. 全视场切片成像结果与数字病理应用^{［44，76］}。（a1）（b1）焦点图；（a2）（b2）虚拟染色的全视场切片成像结果；（a3）（b3）显微镜采集的标准图像；（a4）（b4）虚拟染色重建结果与标准图像的误差图；（c1）（c2）全视场强度和相位成像结果；（d）基于深度学习的阳性细胞与阴性细胞图像分割结果；（e1）子视场相位成像结果；（e2）子视场图像分割结果；（f）阳性细胞与阴性细胞的细胞面积以及细胞干重的散点图；（g）阳性细胞与阴性细胞的偏心率、面积、干重，以及平均相位值的直方图

Fig. 12. Whole slide imaging and digital pathology related applications^{[44, 76]}. (a1) (b1) The focus maps for WSI; (a2) (b2) the virtually stained whole slide images; (a3) (b3) the ground-truth images captured by a 40×, 0.95 NA lens; (a4) (b4) the difference maps; (c1) (c2) the recovered intensity and phase images of a slide labelled with the Ki-67 markers; (d) the segmentation results using the deep neural network; (e1) (e2) zoomed-in views of the highlighted regions in (c2) and (d); (f) the measurement of dry mass and cell area for the Ki-67 positive and negative cells; (g) the histogram analysis of the cell eccentricity, cell area, dry mass, and average phase

下载图片查看所有图片

3.3　高通量医学检验

血常规、便常规、尿常规是医学检验的“三大常规”项目。血常规主要检查血液里的白细胞、红细胞和血小板。尿常规主要检查尿液中的有形成分，部分肾脏疾病在病变早期就会出现蛋白尿或者尿结晶等。常规的血细胞分析仪只进行各类细胞的分类和计数，无法进行单细胞水平的可视化定量分析，因此难以发现异常的细胞，从而导致漏诊和误诊。目前，临床上多采用基于显微镜系统的细胞形态学分析仪器，但由于视场和分辨率相互制约，成像通量受限。基于无透镜编码叠层成像系统的血细胞分析仪可以做到十亿像素量级的空间带宽积，对于不同疾病的病理特征能够进行精确测量并对细胞的不同参数进行分析。图13（a）为基于旋转式编码叠层成像系统对血细胞涂片的定量相位成像结果^［77］，通过对相位的定量分析，可以统计出血涂片中白细胞与寄生虫的数量以及平均面积等定量参数。使用显微镜对尿液中的有形成分进行检查是了解肾脏和泌尿生殖系统状态的重要工具，然而，显微镜有限的成像通量使得对大尺度的尿液沉积物检验分析成为一项具有挑战性的工作。无透镜编码叠层成像技术通过对尿液沉积物的全切片高速成像可以克服这一难题，图13（b）为基于无透镜编码叠层成像平台在高通量尿液沉积物检查中的应用^［77］，基于定量相位成像结果可自动识别不同种类的尿液结晶。

高通量血细胞与尿液沉淀物分析［77］。（a1）基于旋转式编码叠层成像系统重建的大视场血细胞涂片相位成像结果，并对白细胞与寄生虫的位置进行了标记；（a2）血细胞相位成像结果；（a3）白细胞与寄生虫的细胞面积以及平均相位值的散点图；（b1）基于旋转式编码叠层成像系统重建的大视场尿结晶相位成像结果；（b2）不同种类尿结晶的相位成像结果

图 13. 高通量血细胞与尿液沉淀物分析^［77］。（a1）基于旋转式编码叠层成像系统重建的大视场血细胞涂片相位成像结果，并对白细胞与寄生虫的位置进行了标记；（a2）血细胞相位成像结果；（a3）白细胞与寄生虫的细胞面积以及平均相位值的散点图；（b1）基于旋转式编码叠层成像系统重建的大视场尿结晶相位成像结果；（b2）不同种类尿结晶的相位成像结果

Fig. 13. High-throughput cytometric analysis of blood cells and urine sediments^[77]. (a1) Recovered whole slide phase image of a blood smear via the rotational coded ptychographic platform, inset shows the locations of WBCs and parasites based on the automatic segmentation and tracking process; (a2) recovered phase of the small region in Fig. 13(a1); (a3) scatter plot of WBCs and parasites based on cell area and average phase; (b1) recovered whole slide phase image of a urine sediment sample via the rotational coded ptychographic platform; (b2) recovered phase images of different elements in the urine sediment slides

下载图片查看所有图片

3.4　长时程细胞生长监测

在药物筛选、细胞生物学等基础医学领域，需要对细菌、细胞的生长繁殖过程进行研究。细菌可用于抗生素敏感性测试，用来确定抗生素是否能有效阻止特定细菌菌株的生长。如果能在感染的早期阶段使用有效的抗生素，就能够在临床环境中避免抗生素耐药性的发展。目前的光学检测方法往往依赖于微生物的整体光学特性，并不能在单细胞水平上监测单体生长过程。无透镜编码叠层成像技术可以对微生物或细胞集群进行大规模和高时空分辨率的细胞分析。图14（a）为对单个大肠杆菌生长过程的跟踪成像结果^［74］，通过对其相位的定量分析可以清晰地看到细菌菌落长成层状结构，如图14（b）所示。图14（c1）为在厘米级视场范围内对15个大肠杆菌菌落的相位成像结果。图14（c2）为不同浓度抗生素作用下细菌的生长过程监测，图14（c3）为不同浓度抗生素作用下的细菌干重随时间的变化曲线，显示了编码叠层成像技术在快速抗药性测试方面的应用潜力。图14（d）展示了基于多层切片模型的编码叠层成像系统对HEK 293FT细胞的跟踪成像结果^［79］，为小型化、低成本、无损、定量成像的活细胞培养提供了一种解决方案。

细菌繁殖与细胞生长过程的跟踪成像［74，79］。（a）大肠杆菌在不同生长时刻的相位成像结果；（b）细菌菌落的定量相位分析结果；（c1）厘米级视场范围内15个大肠杆菌菌落的相位成像结果；（c2）不同抗生素浓度作用下细菌的生长过程监测；（c3）细菌干重随时间的变化曲线；（d）基于多层切片模型的编码叠层成像系统对HEK 293FT细胞的跟踪成像

图 14. 细菌繁殖与细胞生长过程的跟踪成像^{［74，79］}。（a）大肠杆菌在不同生长时刻的相位成像结果；（b）细菌菌落的定量相位分析结果；（c1）厘米级视场范围内15个大肠杆菌菌落的相位成像结果；（c2）不同抗生素浓度作用下细菌的生长过程监测；（c3）细菌干重随时间的变化曲线；（d）基于多层切片模型的编码叠层成像系统对HEK 293FT细胞的跟踪成像

Fig. 14. Time-lapse monitoring of bacterial and cell growth^{[74, 79]}. (a) Recovered phase images of E.coli bacterial cells at different time points; (b) quantitative phase analysis results of bacterial colonies; (c1) recovered phase images of 15 bacterial colonies over a centimeter-scale area; (c2) monitoring of bacterial growth process under different antibiotic concentrations; (c3) the variation curve of bacterial dry mass over time; (d) time-lapse monitoring of the HEK 293FT cells via the depth-multiplexed coded ptychographic platform

下载图片查看所有图片

4　总结与展望

本篇综述聚焦于无透镜编码叠层成像技术的基本原理与近期研究进展，追溯了相位恢复算法与叠层成像技术的起源，介绍了传统叠层成像技术的发展情况，重点描述了可见光波段的光学叠层成像技术，包括基于透镜的傅里叶叠层成像技术以及基于无透镜的编码叠层成像技术。展开介绍了编码叠层成像技术的成像模型、重建算法，以及成像系统，并对成像系统的设计以及系统性能进行了深入分析。随后，介绍了基于编码叠层成像技术在定量相位成像、高通量数字病理、高通量医学检验，以及长时程细胞生长监测等生物医学领域的潜在应用。目前，编码叠层成像技术尚处于快速发展阶段，在分辨率、时空带宽积、系统性能等方面还需要进一步提升，未来潜在的研究方向可以从以下几个方面考虑：

1）编码叠层三维层析

目前的编码叠层成像技术是基于二维薄样品进行建模的，只能对二维薄样品或者多层二维薄样品成像，缺乏对厚样品的三维轴向层析能力。三维层析成像通常采用复折射率表征样品的三维光学特性，可以反映样品在三维体空间中不同轴向位置的折射率信息，比二维成像能更全面精确地反映样品内部本征结构信息^{［30，92-96］}，对生命科学与生物医学等领域的众多应用十分重要。传统的荧光显微镜具有高分辨率、3D层析成像能力，比如共聚焦显微镜、光片荧光显微镜等，这也是编码叠层成像技术未来走向实用需要克服的关键技术难题。

2）超表面编码叠层

编码层的设计对编码叠层成像的高质量重建十分重要。现阶段的研究表明，最优的编码层结构需要具备粒径小、厚度薄，以及分布密的特点。超表面是一种厚度小于波长的人工层状材料，其单元结构的尺寸可以到200 $n m$ 量级。目前的编码层采用随机分布的设计结构，基于超表面的编码层设计可以通过定制化的结构设计达到最优的成像性能^［97］。此外，超表面的偏振、光谱响应特性结合编码叠层成像技术在高维光场信息获取方面有望取得进一步突破。

3）合成孔径编码叠层

编码叠层成像技术目前可实现的最高等效数值孔径是在照明数值孔径为0的情况下获得的。从原理上，我们可以借鉴傅里叶叠层成像的思想，通过改变照明角度的方式增大照明数值孔径，实现更高分辨率的成像结果。此外，Song等^［78］提出的合成孔径编码叠层成像提供了一种远距离大视场高分辨率成像的解决方案，可以用于相干衍射成像系统，照明光源可覆盖可见光、极紫外光，以及X射线等波段。另外，基于这种成像方式，对于更远距离的合成孔径编码叠层成像，可以设计基于编码探测器阵列的方式获得更高的空间带宽积^［44］。

4）超高时空带宽积编码叠层

无透镜编码叠层成像提供了一种新型的高通量高空间带宽积成像手段。然而，想要重建出高质量的成像结果至少需要采集几百幅原始图像，需要花费10 s左右的时间，限制了单位时间内的空间带宽积。这对于静态的目标场景或者缓慢变化的场景没有影响，但是对于快速变化的目标尚无能为力。因此，如何突破编码叠层成像系统的时空带宽积限制，实现超高时空带宽积成像，也是未来编码叠层成像的发展方向。

参考文献

[1] Sayre D. Some implications of a theorem due to Shannon[J]. Acta Crystallographica, 1952, 5(6): 843.

[2] Hauptman H A. The phase problem of X-ray crystallography[J]. Reports on Progress in Physics, 1991, 54(11): 1427.

[3] Hoppe W. Diffraction in inhomogeneous primary wave fields. 1. Principle of phase determination from electron diffraction interference[J]. Acta Crystallographica Section A, 1969, 25: 495-501.

[4] Gerchberg R. A practical algorithm for the determination of phase from image and diffraction plane pictures[J]. Optik, 1972, 35: 237-246.

[5] Fienup J R. Reconstruction of an object from the modulus of its Fourier transform[J]. Optics Letters, 1978, 3(1): 27-29.

[6] Fienup J R. Phase retrieval algorithms: a comparison[J]. Applied Optics, 1982, 21(15): 2758-2769.

[7] Fienup J R, Wackerman C C. Phase-retrieval stagnation problems and solutions[J]. Journal of the Optical Society of America A, 1986, 3(11): 1897-1907.

[8] Fienup J R. Reconstruction of a complex-valued object from the modulus of its Fourier transform using a support constraint[J]. Journal of the Optical Society of America A, 1987, 4(1): 118-123.

[9] Miao J W, Charalambous P, Kirz J, et al. Extending the methodology of X-ray crystallography to allow imaging of micrometre-sized non-crystalline specimens[J]. Nature, 1999, 400(6742): 342-344.

[10] Faulkner H M L, Rodenburg J M. Movable aperture lensless transmission microscopy: a novel phase retrieval algorithm[J]. Physical Review Letters, 2004, 93(2): 023903.

[11] 潘安, 张艳, 赵天宇, 等. 基于叠层衍射成像术的量化相位显微成像[J]. 激光与光电子学进展, 2017, 54(4): 040001.

Pan A, Zhang Y, Zhao T Y, et al. Quantitative phase microscopy imaging based on ptychography[J]. Laser & Optoelectronics Progress, 2017, 54(4): 040001.

[12] Wang T B, Jiang S W, Song P M, et al. Optical ptychography for biomedical imaging: recent progress and future directions[J]. Biomedical Optics Express, 2023, 14(2): 489-532.

[13] Rodenburg J M, Hurst A C, Cullis A G, et al. Hard-X-ray lensless imaging of extended objects[J]. Physical Review Letters, 2007, 98(3): 034801.

[14] Thibault P, Dierolf M, Menzel A, et al. High-resolution scanning X-ray diffraction microscopy[J]. Science, 2008, 321(5887): 379-382.

[15] Beckers M, Senkbeil T, Gorniak T, et al. Chemical contrast in soft X-ray ptychography[J]. Physical Review Letters, 2011, 107(20): 208101.

[16] Takahashi Y, Suzuki A, Furutaku S, et al. High-resolution and high-sensitivity phase-contrast imaging by focused hard X-ray ptychography with a spatial filter[J]. Applied Physics Letters, 2013, 102(9): 094102.

[17] Suzuki A, Furutaku S, Shimomura K, et al. High-resolution multislice X-ray ptychography of extended thick objects[J]. Physical Review Letters, 2014, 112(5): 053903.

[18] Tsai E H R, Usov I, Diaz A, et al. X-ray ptychography with extended depth of field[J]. Optics Express, 2016, 24(25): 29089-29108.

[19] Pfeiffer F. X-ray ptychography[J]. Nature Photonics, 2018, 12(1): 9-17.

[20] Maiden A M, Humphry M J, Rodenburg J M. Ptychographic transmission microscopy in three dimensions using a multi-slice approach[J]. Journal of the Optical Society of America A, 2012, 29(8): 1606-1614.

[21] Godden T M, Suman R, Humphry M J, et al. Ptychographic microscope for three-dimensional imaging[J]. Optics Express, 2014, 22(10): 12513-12523.

[22] Li P, Batey D J, Edo T B, et al. Separation of three-dimensional scattering effects in tilt-series Fourier ptychography[J]. Ultramicroscopy, 2015, 158: 1-7.

[23] Dierolf M, Menzel A, Thibault P, et al. Ptychographic X-ray computed tomography at the nanoscale[J]. Nature, 2010, 467(7314): 436-439.

[24] Esmaeili M, Fløystad J B, Diaz A, et al. Ptychographic X-ray tomography of silk fiber hydration[J]. Macromolecules, 2013, 46(2): 434-439.

[25] Trtik P, Diaz A, Guizar-Sicairos M, et al. Density mapping of hardened cement paste using ptychographic X-ray computed tomography[J]. Cement and Concrete Composites, 2013, 36: 71-77.

[26] Holler M, Diaz A, Guizar-Sicairos M, et al. X-ray ptychographic computed tomography at 16 nm isotropic 3D resolution[J]. Scientific Reports, 2014, 4: 3857.

[27] Diaz A, Malkova B, Holler M, et al. Three-dimensional mass density mapping of cellular ultrastructure by ptychographic X-ray nanotomography[J]. Journal of Structural Biology, 2015, 192(3): 461-469.

[28] Deng J J, Lo Y H, Gallagher-Jones M, et al. Correlative 3D X-ray fluorescence and ptychographic tomography of frozen-hydrated green algae[J]. Science Advances, 2018, 4(11): eaau4548.

[29] Li P, Maiden A. Multi-slice ptychographic tomography[J]. Scientific Reports, 2018, 8: 2049.

[30] Shimomura K, Hirose M, Higashino T, et al. Three-dimensional iterative multislice reconstruction for ptychographic X-ray computed tomography[J]. Optics Express, 2018, 26(24): 31199-31208.

[31] Maiden A M, Rodenburg J M. An improved ptychographical phase retrieval algorithm for diffractive imaging[J]. Ultramicroscopy, 2009, 109(10): 1256-1262.

[32] Thibault P, Dierolf M, Bunk O, et al. Probe retrieval in ptychographic coherent diffractive imaging[J]. Ultramicroscopy, 2009, 109(4): 338-343.

[33] Takahashi Y, Suzuki A, Furutaku S, et al. Bragg X-ray ptychography of a silicon crystal: Visualization of the dislocation strain field and the production of a vortex beam[J]. Physical Review B, 2013, 87(12): 121201.

[34] Holt M V, Hruszkewycz S O, Murray C E, et al. Strain imaging of nanoscale semiconductor heterostructures with X-ray Bragg projection ptychography[J]. Physical Review Letters, 2014, 112(16): 165502.

[35] Chamard V, Allain M, Godard P, et al. Strain in a silicon-on-insulator nanostructure revealed by 3D X-ray Bragg ptychography[J]. Scientific Reports, 2015, 5: 9827.

[36] Hruszkewycz S O, Allain M, Holt M V, et al. High-resolution three-dimensional structural microscopy by single-angle Bragg ptychography[J]. Nature Materials, 2017, 16(2): 244-251.

[37] Thibault P, Menzel A. Reconstructing state mixtures from diffraction measurements[J]. Nature, 2013, 494(7435): 68-71.

[38] Batey D J, Claus D, Rodenburg J M. Information multiplexing in ptychography[J]. Ultramicroscopy, 2014, 138: 13-21.

[39] Li P, Maiden A. Lensless LED matrix ptychographic microscope: problems and solutions[J]. Applied Optics, 2018, 57(8): 1800-1806.

[40] 潘兴臣, 刘诚, 肖伟刚, 等. 相干衍射成像技术的最新进展:层叠相位重建技术[J]. 激光与光电子学进展, 2022, 59(22): 2200001.

Pan X C, Liu C, Xiao W G, et al. Recent developments in coherent diffraction imaging: ptychographic iterative engine[J]. Laser & Optoelectronics Progress, 2022, 59(22): 2200001.

[41] 潘新宇, 毕筱雪, 董政, 等. 叠层相干衍射成像算法发展综述[J]. 物理学报, 2023, 72(5): 054202.

Pan X Y, Bi X X, Dong Z, et al. Review of development for ptychography algorithm[J]. Acta Physica Sinica, 2023, 72(5): 054202.

[42] Jiang Y, Chen Z, Han Y M, et al. Electron ptychography of 2D materials to deep sub-ångström resolution[J]. Nature, 2018, 559(7714): 343-349.

[43] Chen Z, Jiang Y, Shao Y T, et al. Electron ptychography achieves atomic-resolution limits set by lattice vibrations[J]. Science, 2021, 372(6544): 826-831.

[44] Jiang S W, Guo C F, Song P M, et al. Resolution-enhanced parallel coded ptychography for high-throughput optical imaging[J]. ACS Photonics, 2021, 8(11): 3261-3271.

[45] Zheng G A, Horstmeyer R, Yang C. Wide-field, high-resolution Fourier ptychographic microscopy[J]. Nature Photonics, 2013, 7(9): 739-745.

[46] Ou X Z, Zheng G A, Yang C. Embedded pupil function recovery for Fourier ptychographic microscopy[J]. Optics Express, 2014, 22(5): 4960-4972.

[47] Zheng G A, Ou X Z, Horstmeyer R, et al. Fourier ptychographic microscopy: a gigapixel superscope for biomedicine[J]. Optics and Photonics News, 2014, 25(4): 26-33.

[48] Zheng G A. Breakthroughs in photonics 2013: Fourier ptychographic imaging[J]. IEEE Photonics Journal, 2014, 6(2): 0701207.

[49] Dong S Y, Shiradkar R, Nanda P, et al. Spectral multiplexing and coherent-state decomposition in Fourier ptychographic imaging[J]. Biomedical Optics Express, 2014, 5(6): 1757-1767.

[50] Dong S Y, Nanda P, Shiradkar R, et al. High-resolution fluorescence imaging via pattern-illuminated Fourier ptychography[J]. Optics Express, 2014, 22(17): 20856-20870.

[51] Dong S Y, Horstmeyer R, Shiradkar R, et al. Aperture-scanning Fourier ptychography for 3D refocusing and super-resolution macroscopic imaging[J]. Optics Express, 2014, 22(11): 13586-13599.

[52] Dong S Y, Bian Z C, Shiradkar R, et al. Sparsely sampled Fourier ptychography[J]. Optics Express, 2014, 22(5): 5455-5464.

[53] Ou X Z, Horstmeyer R, Yang C, et al. Quantitative phase imaging via Fourier ptychographic microscopy[J]. Optics Letters, 2013, 38(22): 4845-4848.

[54] Horstmeyer R, Ou X Z, Chung J, et al. Overlapped Fourier coding for optical aberration removal[J]. Optics Express, 2014, 22(20): 24062-24080.

[55] Bian L H, Suo J L, Zheng G A, et al. Fourier ptychographic reconstruction using Wirtinger flow optimization[J]. Optics Express, 2015, 23(4): 4856-4866.

[56] Bian L H, Suo J L, Situ G H, et al. Content adaptive illumination for Fourier ptychography[J]. Optics Letters, 2014, 39(23): 6648-6651.

[57] Guo K K, Bian Z C, Dong S Y, et al. Microscopy illumination engineering using a low-cost liquid crystal display[J]. Biomedical Optics Express, 2015, 6(2): 574-579.

[58] Guo K K, Dong S Y, Nanda P, et al. Optimization of sampling pattern and the design of Fourier ptychographic illuminator[J]. Optics Express, 2015, 23(5): 6171-6180.

[59] Guo K K, Dong S Y, Zheng G A. Fourier ptychography for brightfield, phase, darkfield, reflective, multi-slice, and fluorescence imaging[J]. IEEE Journal of Selected Topics in Quantum Electronics, 2016, 22(4): 77-88.

[60] Horstmeyer R, Ou X Z, Zheng G A, et al. Digital pathology with Fourier ptychography[J]. Computerized Medical Imaging and Graphics, 2015, 42: 38-43.

[61] Ou X Z, Horstmeyer R, Zheng G A, et al. High numerical aperture Fourier ptychography: principle, implementation and characterization[J]. Optics Express, 2015, 23(3): 3472-3491.

[62] Guo K K, Jiang S W, Zheng G A. Multilayer fluorescence imaging on a single-pixel detector[J]. Biomedical Optics Express, 2016, 7(7): 2425-2431.

[63] Guo K K, Zhang Z B, Jiang S W, et al. 13-fold resolution gain through turbid layer via translated unknown speckle illumination[J]. Biomedical Optics Express, 2017, 9(1): 260-275.

[64] Jiang S W, Guo K K, Liao J, et al. Solving Fourier ptychographic imaging problems via neural network modeling and TensorFlow[J]. Biomedical Optics Express, 2018, 9(7): 3306-3319.

[65] Song P M, Jiang S W, Zhang H, et al. Full-field Fourier ptychography (FFP): Spatially varying pupil modeling and its application for rapid field-dependent aberration metrology[J]. APL Photonics, 2019, 4(5): 050802.

[66] Zheng G A, Shen C, Jiang S W, et al. Concept, implementations and applications of Fourier ptychography[J]. Nature Reviews Physics, 2021, 3(3): 207-223.

[67] Chen J R, Wang A Y, Pan A, et al. Rapid full-color Fourier ptychographic microscopy via spatially filtered color transfer[J]. Photonics Research, 2022, 10(10): 2410-2421.

[68] Tian Z M, Zhao M, Yang D, et al. Optical remote imaging via Fourier ptychography[J]. Photonics Research, 2023, 11(12): 2072-2083.

[69] Zhang F C, Pedrini G, Osten W. Phase retrieval of arbitrary complex-valued fields through aperture-plane modulation[J]. Physical Review A, 2007, 75(4): 043805.

[70] Xu W H, Lin H X, Wang H Y, et al. Super-resolution near-field ptychography[J]. Optics Express, 2020, 28(4): 5164-5178.

[71] Maiden A, Johnson D, Li P. Further improvements to the ptychographical iterative engine[J]. Optica, 2017, 4(7): 736-745.

[72] Jiang S W, Zhu J K, Song P M, et al. Wide-field, high-resolution lensless on-chip microscopy via near-field blind ptychographic modulation[J]. Lab on a Chip, 2020, 20(6): 1058-1065.

[73] Song P M, Wang R H, Zhu J K, et al. Super-resolved multispectral lensless microscopy via angle-tilted, wavelength-multiplexed ptychographic modulation[J]. Optics Letters, 2020, 45(13): 3486-3489.

[74] Jiang S W, Guo C F, Bian Z C, et al. Ptychographic sensor for large-scale lensless microbial monitoring with high spatiotemporal resolution[J]. Biosensors and Bioelectronics, 2022, 196: 113699.

[75] Song P M, Guo C F, Jiang S W, et al. Optofluidic ptychography on a chip[J]. Lab on a Chip, 2021, 21(23): 4549-4556.

[76] Jiang S W, Guo C F, Song P M, et al. High-throughput digital pathology via a handheld, multiplexed, and AI-powered ptychographic whole slide scanner[J]. Lab on a Chip, 2022, 22(14): 2657-2670.

[77] Jiang S W, Guo C F, Wang T B, et al. Blood-coated sensor for high-throughput ptychographic cytometry on a blu-ray disc[J]. ACS Sensors, 2022, 7(4): 1058-1067.

[78] Song P M, Jiang S W, Wang T B, et al. Synthetic aperture ptychography: coded sensor translation for joint spatial-Fourier bandwidth expansion[J]. Photonics Research, 2022, 10(7): 1624-1632.

[79] Guo C F, Jiang S W, Yang L M, et al. Depth-multiplexed ptychographic microscopy for high-throughput imaging of stacked bio-specimens on a chip[J]. Biosensors and Bioelectronics, 2023, 224: 115049.

[80] Jiang S W, Song P M, Wang T B, et al. Spatial- and fourier-domain ptychography for high-throughput bio-imaging[J]. Nature Protocols, 2023, 18(7): 2051-2083.

[81] Wang T B, Song P M, Jiang S W, et al. Remote referencing strategy for high-resolution coded ptychographic imaging[J]. Optics Letters, 2023, 48(2): 485-488.

[82] Bian Z C, Guo C F, Jiang S W, et al. Autofocusing technologies for whole slide imaging and automated microscopy[J]. Journal of Biophotonics, 2020, 13(12): e202000227.

[83] Guo C F, Bian Z C, Jiang S W, et al. OpenWSI: a low-cost, high-throughput whole slide imaging system via single-frame autofocusing and open-source hardware[J]. Optics Letters, 2019, 45(1): 260-263.

[84] Guo C F, Jiang S W, Yang L M, et al. Deep learning-enabled whole slide imaging (DeepWSI): oil-immersion quality using dry objectives, longer depth of field, higher system throughput, and better functionality[J]. Optics Express, 2021, 29(24): 39669-39684.

[85] Guo C F, Jiang S W, Song P M, et al. Quantitative multi-height phase retrieval via a coded image sensor[J]. Biomedical Optics Express, 2021, 12(11): 7173-7184.

[86] Luo W, Greenbaum A, Zhang Y B, et al. Synthetic aperture-based on-chip microscopy[J]. Light: Science & Applications, 2015, 4(3): e261.

[87] Zuo C, Li J J, Sun J S, et al. Transport of intensity equation: a tutorial[J]. Optics and Lasers in Engineering, 2020, 135: 106187.

[88] 左超, 陈钱. 计算光学成像:何来,何处,何去,何从?[J]. 红外与激光工程, 2022, 51(2): 20220110.

Zuo C, Chen Q. Computational optical imaging: an overview[J]. Infrared and Laser Engineering, 2022, 51(2): 20220110.

[89] 左超, 陈钱. 分辨率、超分辨率与空间带宽积拓展: 从计算光学成像角度的一些思考[J]. 中国光学(中英文), 2022, 15(6): 1105-1166.

Zuo C, Chen Q. Resolution, super-resolution and spatial bandwidth product expansion: some thoughts from the perspective of computational optical imaging[J]. Chinese Optics, 2022, 15(6): 1105-1166.

[90] Pantanowitz L, Farahani N, Parwani A. Whole slide imaging in pathology: advantages, limitations, and emerging perspectives[J]. Pathology and Laboratory Medicine International, 2015: 23-33.

[91] Niazi M K K, Parwani A V, Gurcan M N. Digital pathology and artificial intelligence[J]. The Lancet Oncology, 2019, 20(5): e253-e261.

[92] Horstmeyer R, Chung J, Ou X Z, et al. Diffraction tomography with Fourier ptychography[J]. Optica, 2016, 3(8): 827-835.

[93] Ling R L, Tahir W, Lin H Y, et al. High-throughput intensity diffraction tomography with a computational microscope[J]. Biomedical Optics Express, 2018, 9(5): 2130-2141.

[94] Li J J, Matlock A C, Li Y Z, et al. High-speed in vitro intensity diffraction tomography[J]. Advanced Photonics, 2019, 1(6): 066004.

[95] Matlock A, Tian L. High-throughput, volumetric quantitative phase imaging with multiplexed intensity diffraction tomography[J]. Biomedical Optics Express, 2019, 10(12): 6432-6448.

[96] Zuo C, Sun J S, Li J J, et al. Wide-field high-resolution 3D microscopy with Fourier ptychographic diffraction tomography[J]. Optics and Lasers in Engineering, 2020, 128: 106003.

[97] Zhang J C, Fan Y B, Yao J, et al. Programmable optical meta-holograms[J]. Nanophotonics, 2023: 544.

郭成飞, 李婧妍, 江劭玮, 邵晓鹏, 郑国安. 无透镜编码叠层显微成像原理及研究进展（特邀）[J]. 激光与光电子学进展, 2024, 61(6): 0618003. Chengfei Guo, Jingyan Li, Shaowei Jiang, Xiaopeng Shao, Guoan Zheng. Lensless Coded Ptychographic Microscopy Imaging: Principle and Recent Progress (Invited)[J]. Laser & Optoelectronics Progress, 2024, 61(6): 0618003.