基于相干光调控的无透镜光纤成像及其应用（特邀）

基于多模光纤或多芯光纤的无透镜超细光纤内窥成像技术近些年获得了快速发展，有望成为下一代的极微创、高分辨率内窥显微镜。通过对相干入射光场的时空调控，该技术可克服多模光纤中模式色散或多芯光纤中相位畸变的影响，在无需光纤末端透镜或扫描器件的情况下实现高分辨率的聚焦、成像及相关应用。此外，在无透镜光纤内窥成像或图像传输等场景下，通过构建物理或深度学习模型，从光纤输出测量中也能实现物体信息重建。对相干光纤无透镜成像技术的发展进行综述，首先说明无透镜光纤成像的基础原理，并从主动波前调控和被动目标重建这两类角度阐述无透镜光纤成像方法，接着介绍一些先进光纤成像模态和技术，列举光纤成像相关应用，最后分析该领域所面临的挑战，总结并展望其进一步发展方向和应用前景。

Abstract

Lensless ultrathin fiber-optic endomicroscopic imaging technology based on multimode fiber or multicore fiber has made great progress in recent years, and it is expected to produce the next-generation ultra-minimal high-resolution endoscope. By spatiotemporally controlling the coherent incident light field, the influence of mode dispersion in multimode fibers or phase distortion in multicore fibers can be overcome. High-resolution focusing, imaging, and related applications can be achieved through optical fibers without using lens or scanning device at the distal end. In addition, in scenarios of lensless fiber-optic endoscopic imaging or image transmission, object information reconstruction can be achieved from the output measurements by building a physical or deep learning model. This article reviews the development of coherent optical fiber lensless imaging technology. First, it depicts the basic working principles of lensless optical fiber imaging and the imaging methods from the two perspectives of active wavefront control and passive object reconstruction. Then it introduces some advanced optical fiber imaging modalities and technologies and lists fiber imaging related applications, with discussions of general challenges encountered in this field. Finally, a brief summary is made with envision of the development roadmaps.

1　引言

由于光在生物组织中的传播特性能灵敏反映生物组织的异变，光在现代生物医学中扮演了越来越重要的角色。然而，生物组织的光学折射率分布高度不均匀，对光具有强散射作用。光（尤其是可见波段的光）在生物组织中的典型传输平均自由程仅在1 mm左右^［1］，超出此距离后则迅速弥散，导致难以在深层组织进行高分辨光学聚焦。因此，常规光学显微成像技术的成像深度仅局限于浅表组织，例如用于眼科诊断的光学相干层析成像（OCT）、用于切片检查的宽场荧光显微成像、用于监测浅表面毛细血管的光学分辨率光声显微成像（OR PAM）等。即使是采用更长波长的照明和非线性荧光激发的多光子显微成像技术，目前所报道的最大成像深度也仅在脑皮层下1~2 mm^［2-3］。

为了满足深层组织诊断和微创手术的需求，医学内窥镜自1950年代发展起来。通过侵入式地将光源引入组织内部，内窥镜可对深层组织表面进行显微观察和诊断，在自然腔道检查和腹腔镜微创手术等方面具有重要价值。早期的内窥镜主要是物镜和柱透镜组合成的白光硬质内窥镜以及使用玻璃光纤束的白光纤维软质内窥镜。自1980年代以来，使用电荷耦合器件（CCD）的白光电子内窥镜由于具有图像清晰明亮、像素数高、视频级成像帧率等优势，在临床上获得了广泛应用。尽管如此，电子内窥镜的成像分辨率通常局限在10~100 μm左右，灵敏度不够且缺乏分子功能成像能力，并且探头尺寸较大（毫米甚至厘米级），导致电子内窥镜难以应用于精确病理组织诊断方面以及深层脑区等敏感部位。2000年代以来，使用光纤（束）的共聚焦激光内窥成像（CLE）^［4］技术发展起来，主要包括基于光纤束的近端扫描方案（探头CLE即pCLE）和基于单模光纤的远端扫描方案（内窥镜CLE即eCLE）：前者在光纤束近端使用扫描振镜依次将激光耦合进不同纤芯进行扫描成像，其分辨率受光纤束的纤芯间距（~3 μm）决定，因而会在光纤束远端附着一个GRIN透镜或微型物镜以提升分辨率，但同时也显著缩小了成像视场；后者通常在单模光纤末端用微机电系统反射镜对所传导的聚焦光束进行扫描成像，其中激光扫描和信号探测单元往往集成在一个内窥探头内。上述共聚焦激光内窥显微成像术可实现接近光学衍射极限的空间分辨率，可用于对细胞结构进行显微观察，已经应用于内窥型OCT^［5］和内窥型PAM^［6］的研制中。然而，由于光纤束末端光学元件或者扫描器件的使用，该类内窥探头的外径仍然较大，可能造成较大侵入式损伤。

在常用各种光纤类型中，单模光纤仅能传输单个基模，必须借助末端扫描器件才能用于成像；包捆着多根（多达上万）光纤的多芯光纤（MCF，裸纤直径为200~800 μm）则存在图像像素化和纤芯间相位失真的问题；此外，还有多模光纤（MMF，裸纤直径为50~400 μm）。单根多模光纤通常能支持成千上万个传播模式，理论上也具有图像传输的潜力。然而，类似于散射介质，多模光纤也是一种复杂无序介质，其内在的模式色散和耦合会导致相干光通过它后产生随机的散斑图案。所幸的是，这种复杂的光学扰乱过程是确定且可控制的。得益于2007年发展起来的光在散射介质中调控与聚焦的相关研究^［7-12］，如迭代式波前整形（WFS）^［13-14］、光学相位共轭（OPC）^［15-16］、传输矩阵（TM）^［17-18］等技术，可以通过对入射光的相干调制控制光在多模光纤中的传输，实现末端任意位置的光学衍射极限聚焦及扫描成像等相关应用。类似的波前预补偿方法也可以用于克服多芯光纤中的光学畸变，在无需末端物镜/透镜的情况下实现高分辨率的相干成像^［19］。相比需要末端透镜或扫描器件的传统光纤成像，相干光纤无透镜成像技术仅需单根多模或多芯光纤进行成像，从而在最大程度上减少了可能引起的侵入性创伤，还极大简化了成像探头的设计，降低制造与使用成本。此外成像光纤“即用即换”的特点也有利于医疗卫生和临床应用，因而发展无透镜光纤成像技术具有巨大的应用优势。

无透镜光纤（束）的相干光调控通常利用空间光调制器（SLM），包括对幅度、相位或偏振态的空间调控^［20-21］，以及对激光脉冲宽度和形状的时间调控^［22］。除了主动施加波前调控通过无透镜光纤（束）直接进行扫描成像外，在相干光调控的范畴内，光纤（束）的输出测量中也包含成像目标的丰富信息，可在成像过程构建物理或深度学习模型用于物体重建。过去十多年所发展起来的传输矩阵重建^［23-24］、散斑相关^［25-26］、压缩感知^［27-28］、深度学习^［29-31］、光学建模^［32-33］等信号处理方法，已广泛用于透过光纤（束）等复杂介质的被动式目标恢复。

本文旨在系统性回顾基于相干光调控的透过超细光纤（束）实现无透镜内窥成像及其相关应用的研究进展。需要说明的是，所探讨的光纤类型包括多模光纤和多芯光纤（光纤束），光学现象一般限制在相干光照明时的线性光学过程（除非额外说明）。将从光纤光学基础、光调制与探测器件、光场调控原理等方面入手先说明相关理论基础和具体原理，其次将从主动波前调控和被动目标重建这两类角度阐述光纤无透镜成像方法，介绍各种先进的无透镜光纤成像模态和成像技术，并列举一些无透镜光纤内窥成像的相关应用，最终对无透镜光纤成像所面临的成像性能不足和易受扰动影响等问题进行分析讨论，展望其进一步发展方向并作出总结。

2　无透镜光纤成像原理

2.1　光纤光学基础

光纤本质上是一种圆柱状的光波导，它能够对光波进行限制和传输。常规光纤类型一般有单模光纤、多模光纤和多芯光纤，已广泛应用于光通信、传感和成像等领域。先基于几何光学理论简要介绍光在不同类型光纤中的传播特性和传输模式，接着运用波动光学介绍光纤的模式理论，阐述多模光纤中的色散、模式耦合及传输不变模式，最后还将分析光学散斑性质，为利用光纤进行无透镜成像做好理论准备。

2.1.1　光纤波导

光纤由具有较高折射率的纤芯（core）和外周具有较低折射率的包层（cladding），以及最外层起保护作用的涂覆层（coating）构成，其中纤芯形状大小、折射率分布以及纤芯和包层的折射率差异对光在光纤中的传输特性起决定性作用。常规光纤的纤芯截面为圆形，纤芯折射率和包层折射率呈阶跃式分布，此外还有渐变（梯度）折射率光纤。随着纤芯直径的不同，光纤所能支持的传输模式也不同，由此分为仅支持基模的单模光纤和支持多种模式的多模光纤。

描述光纤传光特性的基本结构参数包括结构尺寸、数值孔径（NA）、相对折射率差（ $Δ$ ）和归一化频率（ $V$ ）等。以阶跃型圆光纤为例，令纤芯直径为 $2 r_{1}$ 且折射率为 $n_{1}$ ，包层外径为 $2 r_{2}$ 且折射率为 $n_{2}$ ，则其数值孔径为 $N A = \sqrt[]{n_{1}^{2} - n_{2}^{2}}$ ，表示光纤收集光的能力，在相应孔径角（ $a r c s i n N A$ ）内入射的光线才能在光纤中维持全反射式传播。光纤的相对折射率差为 $Δ = (n_{1} - n_{2}) / n_{1}$ ，当纤芯和包层折射率差异很小，即 $Δ ≪ 1$ 时，称为弱波导。归一化频率（ $V$ ）与光纤数值孔径、纤芯直径和波长（ $λ_{0}$ ）有关，其定义为 $V = 2 π r_{1} N A / λ_{0}$ ，决定了光纤所能支持的传输模式数。一般当 $V \leq 2.405$ 时，光纤为单模光纤， $V > 2.405$ 时为多模光纤。光纤所支持的模式数（M）与 $V$ 之间的关系可表示为 $M = 4 V^{2} / π^{2}$ 。图1描绘了不同类型阶跃折射率光纤的截面形状、折射率分布、光传播特性和传输模式。注意单模光纤的纤芯直径一般为8~12 μm，数值孔径极小，光线平行于光纤轴传播。多模光纤的纤芯直径一般为50~200 μm（通信多模光纤最常见的为50 μm和62.5 μm），数值孔径略大，能支持孔径角内不同入射方向的光线传播，但在光纤内传播的光仅在一些特定反射角下才能形成稳定的光场分布并有对应的模式输出。多芯光纤（光纤束）可以包裹多根单模、少模甚至多模光纤，最常见的是多芯单模光纤。由于制造精度限制和光纤弯曲等情况，相干光照明下不同纤芯内传播的光场可能发生相位差异，引起输出光的相位失真。

图 1. 几种常规光纤的典型结构、纤芯和包层折射率分布、光传播特性及所支持的传输模式，其中红线表示光在纤芯中的传播方向，最右侧为不同光纤所支持传播模式的电场强度分布。（a）阶跃折射率单模光纤；（b）阶跃折射率多模光纤；（c）多芯阶跃折射率单模光纤（光纤束）

Fig. 1. Illustration of structures, refractive index distributions of fiber core and cladding, light propagation properties, and the supported propagation modes of representative optical fibers, where the red lines denote the light propagation inside the fiber cores and the rightest sides represent the electric field intensities of the supported modes for the corresponding optical fibers. (a) Step-index single-mode fiber; (b) step-index multimode fiber; (c) multicore step-index single-mode fiber (fiber bundle)

下载图片查看所有图片

2.1.2　光纤模式理论

以阶跃型多模光纤为例，利用光的电磁场理论分析光纤的导波模式，并由此引出模式的截止条件、多模光纤的色散和模式耦合等问题。在圆柱坐标系（ $r, θ, z$ ）表示下，令光纤导波模式的电场分布为 $\tilde{E} = E (r, θ) e x p [j (ω t - β z)]$ ，其中 $ω$ 和 $β$ 分别为光波角频率和模式传播常数。令真空中波数为 $k_{0}$ ，根据麦克斯韦方程组可推导出描述波（电场）在折射率为 $n$ 的介质中传播的亥姆霍兹方程：

\nabla^{2} \tilde{E} + k_{0}^{2} n^{2} \tilde{E} = 0

，（1）

式中： $\nabla^{2}$ 为二阶梯度算子。先求解 $z$ 方向场分量 $E_{z}$ ，再求出横向电场分量 $E_{r, θ}$ 。柱坐标系下z分量的亥姆霍兹方程为

[\frac{\partial^{2}}{\partial r^{2}} + \frac{1}{r} \frac{\partial}{\partial r} + \frac{1}{r^{2}} \frac{\partial^{2}}{\partial θ^{2}} + ({k_{0}}^{2} n^{2} - β^{2})] E_{z} = 0

。（2）

由于导波模式在沿圆周 $θ$ 方向需要满足周期条件，式（2）的通解具有 $E_{z} = R (r) e x p (\pm j l θ)$ 的形式，其中 $l$ 为 $θ$ 方向变化的周期数，将其代入式（2），得到

\frac{\partial^{2} R}{\partial r^{2}} + \frac{1}{r} \frac{\partial R}{\partial r} + ({k_{0}}^{2} n^{2} - β^{2} - \frac{l^{2}}{r^{2}}) R = 0

。（3）

式（3）便是著名的贝塞尔方程，其中 $l$ 便是贝塞尔方程的阶，该方程对光纤纤芯（ $n_{1}$ ）和包层（ $n_{2}$ ）具有不同的表达式。推导可得：纤芯中的解具有第一类贝塞尔函数 $J_{l} (r)$ 的形式，即 $R (r) = A_{1} J (h r), r \leq a$ （其中 $h = \sqrt[]{k_{0}^{2} n_{1}^{2} - β^{2}}$ ），表示纤芯中电场呈驻波分布；而包层中的解具有第二类贝塞尔函数 $K_{l} (r)$ 的形式，即 $R (r) = A_{2} K_{l} (q r), r \geq a$ （其中 $q = \sqrt[]{β^{2} - k_{0}^{2} n_{2}^{2}}$ ），表示包层中电场是衰减的。由此便得到了光纤中z方向电场分量的解， $r$ 和 $θ$ 方向的电场分量可由z方向电场和磁场分量表示，详细推导可参考Okamoto^［34］所著Fundamentals of Optical Waveguides第三章和Yariv等^［35］所著Photonics：Optical Electronics in Modern Communications第三章。

上述光纤中导波模式解的传播常数 $β$ 还是未知的，这可以通过边界条件，即光纤纤芯和包层边界（ $r = a$ ）上电磁场的切向分量连续来确定。对于常用的光纤，采用弱波导近似，即 $n_{1} / n_{2} \approx 1$ ，经过推导^［35］可得弱波导光纤的近似特征方程（色散方程），

\frac{J'_{l} (h a)}{h a J_{l} (h a)} + \frac{K'_{l} (q a)}{q a K_{l} (q a)} = \pm l [\frac{1}{{(q a)}^{2}} + \frac{1}{{(h a)}^{2}}]

。（4）

根据该特征方程，可数值求解出某个贝塞尔方程的阶 $l$ 下的模式传播常数 $β$ （ $β$ 解的序号为 $m$ ）。满足光纤中波传播亥姆霍兹方程的解为特征（本征）模式。当 $l = 0$ ，对应TE模（ $z$ 向电场 $E_{z} = 0$ ）和TM模（ $z$ 向磁场 $H_{z} = 0$ ）；当 $l \geq 1$ 时，对应 $E_{z}$ 和 $H_{z}$ 均存在的混合模，包括EH模（特征方程右端 $l$ 取正的解）和HE模（特征方程右端 $l$ 取负的解）。光纤中的这4种特征模式（TE模、TM模、EH模和HE模）可以组合为一种线性偏振模式，称为LP模。考虑LP模的截止条件，注意到 ${(h a)}^{2} + {(q a)}^{2} = V^{2}$ ，若将 $q a$ 视作关于 $h a$ 的变量，在固定 $l$ 下，对于 $V$ 数的不同取值，式（4）有不同个数的解。归一化频率 $V$ 越大，解越多；恰好只有一个解时对应的 $V$ 为截止频率。当 $V \leq 2.405$ ，光纤只支持基本模式 $L P_{01}$ （ $H E_{11}$ ）模，这便是阶跃折射率光纤的单模传输条件。图2（a）给出了光纤波导中前12个LP模式的电场幅度分布示意图。

图 2. 光纤模式理论及光学散斑示意图。（a）前12个LP模式的电场幅度分布，其中l和m分别为贝塞尔方程解（径向）的阶数和传输常数解（角向）的阶数；（b）多模光纤输出的散斑图案

Fig. 2. Illustrations for fiber-optic mode theory and optical speckle.(a) Electric amplitude profile of the first 12 LP modes, where l and m are the order of the Bessel equation solution (radial) and the propagation constant solution (angular) respectively; (b) speckle pattern profile output by a multimode fiber

下载图片查看所有图片

光在多模光纤中传输时，相同波长下不同模式的群速度不同引起传输信号发生畸变，这便是模式色散。除此之外，光纤的色散类型还有不同波长的同一模式光程不同导致脉冲展宽的结构色散（也称为波导色散）以及光纤折射率随波长变化引起的材料色散。三种色散的强度一般是模式色散远大于材料色散，材料色散远大于结构色散。弱波导光纤由于避免了模式色散，可以提高传输带宽，常用作通信光纤。在多模光纤中，除了模式色散还有模式耦合，即不同模式彼此串扰导致能量传递的现象。非相干光下的模式耦合可使用功率耦合模型^［36］描述，而相干光场景需要考虑相位相关耦合的模场耦合模型^［37-38］。多模光纤中存在不同幅度、相位和偏振态上的模式耦合，在受到弯曲形变或者温度改变等扰动时模式耦合也会发生变化，更深入的研究可参考文献［38-40］。

2.1.3　传输不变模式

近几年的研究使用多模光纤中的传输不变模式（PIM）进行建模以描述光场从实空间到模式空间的转换，可用于光在多模光纤中传输的建模^［41］、传输矩阵的稀疏重建^［42］及其光学求逆^［43］。PIM在多模光纤传输时维持其电场强度不变而仅发生相位变化，可以用线性偏振（LP）模式或者圆偏振（CP）模式来描述。根据文献［41］，CP模式描述下的PIM为

\{\begin{array}{l} E_{l, m, σ} = (\hat{x} + j σ \hat{y}) R_{l, m} (r) e x p (j l θ) \\ R_{l, m} (r) = \{\begin{array}{l} \frac{J_{l} (h r)}{J_{l} (h a)}, r \leq a \\ \frac{K_{l} (h r)}{K_{l} (h a)}, r \geq a \end{array} \end{array}

，（5）

式中： $\hat{x}$ 、 $\hat{y}$ 分别表示x、y方向矢量； $σ$ 表示自旋态。理论预测的PIM的数学含义是多模光纤传输矩阵的特征向量。由不同PIM构成的基转换矩阵 $P$ 可用作实空间中所测传输矩阵 $T$ 的对角化（转换为模式空间）：

T = P D P^{†}

，（6）

式中： $D$ 为PIM表示下的对角化模式传输矩阵，即 $D = d i a g [e x p (j L β_{1}), \dots, e x p (L β_{N})]$ ，其中 $N$ 为多模光纤所支持PIM的个数， $L$ 为光纤长度。对于实际存在的传输矩阵测量中光纤耦合偏差、光纤制造缺陷情况，都可以进行建模校正，获得PIM基表示的近似对角矩阵^［41］。使用PIM基表示提升了传输矩阵的稀疏性，有利于其重建^［42］，也便于描述多模光纤中的旋转“记忆效应”^［44］及光纤中的光场传输过程，在多模光纤校准、成像、通信和光计算等领域都有潜在应用优势。

2.1.4　光学散斑

前文已提及，类似于散射介质，多模光纤是一种复杂无序介质，相干平面波通过后在模式混叠下只能产生一种看似随机的散斑图案，如图2（b）所示。散斑具有自身的统计性质，且包含入射光的丰富信息。随着1960年代连续波激光器发明以来，人们已对粗糙表面以及散射介质（例如浑浊水体、雾霾、生物组织）中发生的光学散斑现象进行了充分研究^［45］。简要介绍光学散斑的起因、统计分布性质及散斑的应用和抑制。

散斑是由大量的独立复振幅信号分量叠加产生的，例如光在折射率不均匀的散射介质中传输时多次散射后的子波具有随机相位并发生干涉，以及多模光纤中由于群速度不同具有不同相位延迟的传播模式发生耦合和叠加。光学散斑具有许多统计分布性质，这里仅考虑常用的散斑一阶强度统计性质。复振幅散斑的实部和虚部是彼此独立的，均由大量独立随机变量之和提供，且均值都为0。根据中心极限定理可知，散斑的实部和虚部均独立服从 $𝒩 (0, σ^{2})$ 的标准正态分布，即散斑服从圆形复高斯分布。对于完全散射（fully developed）的散斑，即散斑相位 $φ$ 在 $(- π, π)$ 上均匀分布，可推出散斑振幅 $A$ 的概率密度函数呈瑞利分布，

p_{A} (I) = \frac{A}{σ^{2}} e x p (- \frac{A^{2}}{2 σ^{2}}), A \geq 0

，（7）

则散斑强度 $I$ 的概率密度函数为

p_{I} (I) = p_{A} (\sqrt[]{I}) |\frac{d A}{d I}| = \frac{1}{2 σ^{2}} e x p (- \frac{I}{2 σ^{2}}), I \geq 0

。（8）

易知散斑强度均值为 $\bar{I} = 2 σ^{2}$ ，则式（8）可写成 $p_{I} (I) = 1 / \bar{I} e x p (- I / \bar{I})$ ，呈负指数分布。散斑强度的方差为 $σ_{I}^{2} = {\bar{I}}^{2}$ ，则散斑图案的对比度为

C = \frac{σ_{I}}{\bar{I}} = 1

。（9）

由此可知完全散射散斑的涨落与均值具有同样的数量级，表明散斑易受噪声的影响。

散斑在成像、信息加密与传输、传感等领域具有一些重要应用。由于光学散斑对介质本身状态、环境状态及光源波长均十分敏感，通过利用散斑的时间动态性质，可用于生物医学中测血流分布或工业上测液体流动的散斑衬比成像^［46］。散斑编码了输入图像的全部信息且与介质状态高度相关，因此可用于人脸加密^［47］及信息传输应用。散斑探测还可应用于非接触式的光声探测^［48］、光纤扭转角监测^［49］等传感应用。此外，散斑在一些相干成像场景中会遮盖目标，因此需要对其进行抑制^［50-51］。

2.2　光调制与探测器件

在基于相干光调控的无透镜光纤成像研究中，对入射光束的空间调制和对输出光场的空间探测是必不可缺的两个环节。简要介绍常见的光调制和探测器件的原理和使用。

2.2.1　空间光调制器

目前常用的空间光调制器（SLM）主要有液晶空间光调制器（LC-SLM）和数字微镜装置（DMD）两种。LC-SLM利用近晶型或向列型液晶的电光响应特性实现对光场的幅度或相位调制，包括透射型和反射型，比较常用的是反射型仅相位调制LC-SLM。LC-SLM的液晶微显示面结构如图3（a）所示，包括玻璃盖板、前透明电极、匹配层、液晶层、反射像素阵列和CMOS硅基背板。LC-SLM基于液晶的旋光偏振性和双折射效应完成对入射光束的相位调制：当液晶层两端未施加电压时，液晶分子朝向与硅基背板平行，若入射光是与液晶非寻常轴平行的线偏振光，则出射光与入射光之间会产生最大的相位延迟。当增大液晶层上施加的电压时，液晶分子会偏转到几乎与硅基背板相垂直，此时寻常光与非寻常光之间的折射率差最小，出射光与入射光的相位延迟也最小。注意硅基背板和透明电极层之间的每个像素都可以独立编程，实现宽场相位调制。

图 3. 常用的空间光调制器及其显示面结构示意图。（a）液晶空间光调制器^［54］；（b）数字微镜装置^［55］

Fig. 3. Schematic of commonly used SLM and its micro-display structure. (a) LC-SLM^[54]; (b) DMD^[55]

下载图片查看所有图片

LC-SLM采用电压寻址的方式，通过施加灰度图像像素值（0~255）所对应的电压获得相应的0~2π相位延迟。实际使用时，由于液晶的非线性光学响应特性和制造缺陷，不同LC-SLM的灰度-相移对应关系可能有些许差异，因此在使用LC-SLM前需要对其相位调制特性进行标定。LC-SLM标定过程的关键是准确获取不同像素灰度值调制下的相移量，其中的相位测量通常转换为强度测量来完成，具体可分为干涉式相位标定和衍射式相位标定两类方法，可参考综述文献［52］。LC-SLM的相位调制准确度较高，但常规LC-SLM产品液晶响应时间通常在10~100 ms，刷新率在60~200 Hz左右^［53］，限制了其在快速波前整形和动态自适应光学等领域的应用。

DMD是一种通过表面微镜阵列的开合实现光调制的微机电系统二元衍射元件。如图3（b）所示，每个微镜（像素）通过弹簧顶针都与底部一个旋转铰链相连，在CMOS随机存储单元的电压控制下可沿着其对角轴朝向入射光翻转+12^o（“打开”状态）或偏离入射光旋转-12^o（“关闭”状态），从而实现对入射光的二元幅度调制。DMD芯片最初是由美国德州仪器（TI）公司发明的，其像素阵列具有1024×768（0.7 XGA）、1920×1080（0.95 XGA）等多种规格，理论图案刷新率高达32 kHz，产品类型涵盖近红外、可见光和紫外光等多种工作波段。使用DMD时需要前端微镜芯片和后端控制电路的配合，其中控制电路除了TI公司官方提供的DLP® Discovery™ 4100开发套件外，还有如德国VIALUX公司V系列等第三方产品。DMD本质是一个闪耀光栅，对其衍射效应和光栅光谱的理论建模可参考综述文章^［56］和Wavefront shaping网站博客^［57］，实际配置DMD时需调节光束的入射角以实现光谱的闪耀（避免能级分散）。更为重要的是，DMD不仅能提供二元幅度调制，通过全息调控技术可实现相位以及复振幅调控^{［18，20，58］}。

相比刷新率较慢且对入射光偏振态敏感的LC-SLM，DMD具有调控自由度大、刷新率极快及偏振不敏感等显著优势。但由于DMD衍射光束分散为调制光和多余反射光，其能量利用效率不如LC-SLM。DMD在投影显示、激光刻蚀及高分辨显微成像等领域具有大量应用，近些年在波前整形、全息光镊和光纤无透镜成像等领域也获得了越来越多青睐。相比LC-SLM，使用DMD的介质校准以及成像速度都可大大加快。读者可进一步参考一些DMD应用^{［56，59］}及其与LC-SLM性能对比^［60］的文献。

2.2.2　光探测器

无透镜光纤成像中常用的光探测器主要包括CCD/CMOS等宽场图像传感器，以及光电倍增管（PMT）、光电二极管（PD）/雪崩光电二极管（APD）等单像素探测器。将简述这两类光探测器的原理、特点和典型应用。

在透过多模光纤等复杂介质时，常用相机（图像传感器）采集输出光强图像，用于光纤波前整形、TM测量、目标重建及反射式成像等研究。图像传感器主要有CCD和CMOS两种类型，二者均使用光敏元件（如二极管）阵列将光子转换为电荷，主要区别在于电荷的传输和检测方式不同，因此具有不同的集成电路架构：CCD中不同像元处累积的电荷是依次传输到其垂直和水平移位寄存器中的，最终转换为电压并放大输出；而CMOS中像元中的电荷立即被转换为电压并放大，再由纵横交错的金属微导线传导并输出电压。一般而言，CCD成像质量优于CMOS，具有更高灵敏度和更低噪声，但成像速度不如CMOS。目前CMOS成像性能已接近CCD，且成本和功耗更低，结构简单易于集成，自20世纪90年代起已成为图像传感器市场的主导。除了CCD和CMOS之外，还有在CCD基础上具有电子倍增功能的EMCCD（electron-multiplying CCD），相比CCD，具有更高探测灵敏度而不增加读取噪声，但成本也更高，适合于弱光场景下的宽场和单像素荧光探测^［61］；架构介于CCD和CMOS之间的科研级CMOS（sCMOS），其在灵敏度、噪声以及成像速度各方面具有较平衡的性能，已用于采集具有较低对比度的荧光散斑^［62］。

除了使用面阵图像传感器进行光探测，无透镜光纤成像领域也大量使用单像素探测器，如PMT及APD广泛应用于无透镜光纤荧光显微成像^［63-66］和荧光压缩成像^［27］中的荧光探测，PD/APD用于激光脉冲监测^［67］及透过多模光纤聚焦^［68］。此外，硅光电倍增管（SiPM）具有良好的光探测效率和放大增益，且相比PMT，工作电压低、响应快速、装置紧凑，有望成为PMT的有效替代方案用于无透镜光纤成像领域。表1总结了无透镜光纤成像常用光探测器的类型、特点及典型应用，可根据场景需求选择合适的光探测器。

表 1. 无透镜光纤成像中常用光探测器类型、特点及应用

Table 1. Types, characteristics, and typical applications of optical detectors used for lensless fiber-optic imaging

Optical detector	Principle	Pixel number	Feature	Application
CCD	Charge transferred sequentially before converted to voltage for output	Pixel array	High quality & low noiseHigher cost & lower speed	Wavefront optimization［14］‍，‍TM measurement［17］‍，‍and ‍object ‍recovery［23］
EMCCD	CCD with photoelectron multiplication	Pixel array	Extremely high sensitivity & lower noise & high speedHighest cost	Wide-field or single-pixel fluorescence detection［61］
CMOS	Charge converted to voltage and transferred by metal wire for output	Pixel array	Good quality & high speed & lower cost Slightly higher noise & lower sensitivity	Wavefront ‍optimization，‍TM measurement，and object recovery
sCMOS	Hybrid between CCD and CMOS	Pixel array	Good balance between sensitivity，noise，and speed High cost	Wide-field detection of fluorescence speckle［62］
PMT	Photoelectric effect and photoelectron multiplication	Single pixel	Extremely high sensitivity for single-pixel detectionHigh cost	Single-pixel fluorescence detection［63-64］
PD/APD	P-N junction’s inner photoelectric effect，with avalanche signal amplification for APD	Single pixel	High sensitivity for single-pixel detection Lowest cost	Laser pulse monitoring［67］，focusing through multimode fiber［68］

查看所有表

2.3　光场调控原理

基于相干光场调控的无透镜光纤成像是以光学波前整形技术为基础的，调控维度包括空域（振幅、相位及偏振态）和时域（激光脉冲整形），将介绍波前整形技术和多维度光场调控的原理。

2.3.1　波前整形

波前整形技术最早由荷兰的Vellekoop等^［13］提出，通过SLM不断优化出一个与介质相匹配的最优波前，以克服相干光在介质中多次散射的影响并实现光学聚焦，这是成像及相关应用的基础。波前整形的本质是波前预补偿，从而控制多次散射光发生相长干涉，这一过程可描述为

E_{m}^{o u t} = \sum_{n = 1}^{N} T_{m n} E_{n}^{i n}

，（10）

式中： $T_{m n}$ 表示连接输入光场第 $n$ 个单元 $E_{n}^{i n}$ 与输出光场第 $m$ 个单元 $E_{m}^{o u t}$ 的传输矩阵。仅相位调制下，要实现输出光场第 $m$ 个单元处聚焦，则最优入射相位为 ${\hat{E}}_{n}^{i n} = e x p (- j ∠ t_{m n}), n = 1,2, \dots$ 。波前整形理论上所能实现的聚焦峰值背景比（PBR） $η$ ，即优化后焦点光强与背景光强之比，与空间调制方式有关的增益系数 $α$ 和所用的调控单元数 $N$ 成正比，可表示为

η = α (N - 1) + 1

，（11）

其中，相位优化下 $α = \frac{π}{4}$ ，二元幅度调制下 $α = \frac{1}{2 π}$ ，而复振幅优化下 $α = 1$ 。

广义的波前整形技术还包括（数字化）光学相位共轭（DOPC）以及TM方法。DOPC原理包括光场测量和重聚焦两部分，即先对聚焦光经过复杂介质后形成的散斑光场进行全息记录，然后在原位将相位共轭的光束输入介质进行重聚焦。由此可知，DOPC依赖复杂介质后面或内部已有的光学聚焦作为“引导星”（guide-star）才能执行，限制了其实际应用。TM是在线性平移不变假设下描述复杂介质对输入光场响应的一种矩阵，即输出光场某一模式是输入光场所有模式的线性组合，如式（10）所示。测量TM可透过复杂介质实现任意位置处的聚焦，达到“校准”介质的目的，因而是目前使用最广泛的一类波前整形方法。

2.3.2　光场时空调控

光场时空调控方法及应用范围较广，在此仅讨论基于波前整形技术的无透镜光纤成像领域。波前整形技术构建了复杂介质输入和输出光场之间的联系，通过对入射相干光在空间（相位、幅度及偏振态）和时间（脉冲宽度及形状）上的调控，可以充分利用多重散射或模式混叠对光场时空自由度的耦合作用，控制光在复杂介质的传输。

光场空间调控利用各种类型的SLM调整入射光束的振幅和（或）相位，其中LC-SLM通过加载描述相位分布的灰度图对入射光进行相位调制。而DMD可以进行二元幅度调制，甚至相位及复振幅调制，具有高速和高效率等优势，因此近些年已被大量应用于无透镜光纤成像及相关应用。目前主要利用Lee全息^{［18，69］}或超像素编码^［58］方法获得二元计算机生成全息图（CGH），并将其加载于DMD上，并配合使用4f透镜系统。得益于透镜的傅里叶变换作用，4f系统中间的焦平面对应傅里叶平面，通过在傅里叶平面加上特定形状和位置的滤波器，可以对CGH所调制的光场进行频域滤波，从而能在4f系统后焦面上获得所编码的相位或复振幅分布。

对于Lee全息方法，假设需要编码的复光场为 $A (x, y) e x p [j φ (x, y)]$ ，利用载波频率为 $(k_{x}, k_{y})$ 的虚拟离轴参考光与之发生干涉，阈值化后得到的二值CGH为

t (x, y) = 0.5 + 0.5 s g n \{c o s [2 π (k_{x} x + k_{y} y) - φ (x, y)] - c o s [π q (x, y)]\}

，（12）

式中： $q (x, y) = \frac{1}{π} a r c s i n A (x, y)$ ， $s g n (\cdot)$ 为符号函数。观察式（12）， $c o s [2 π (k_{x} x + k_{y} y) - φ (x, y)]$ 部分编码了光场相位，称为相位项，其决定了CGH中分布的条纹位置，是一种脉冲位置调制； $c o s [π q (x, y)]$ 编码了光场振幅，称为振幅项，其决定了CGH中分布的条纹宽度，是一种脉冲宽度调制。相位项可以为零，该情况下所得CGH仅能用于相位调制。利用式（12）产生的二元CGH对光进行调制，其-1衍射级经过滤波后便能获得所编码的复光场。

超像素编码方法的基本原理是：将DMD单元划分为 $n \times n$ 的超像素，通过将DMD后面4f系统中的前后透镜稍微离轴放置，DMD上超像素内每个微镜都能在后焦面上产生 $(0,2 π)$ 内均匀的相位偏置。如图4（a）所示，若设置4f系统频谱面上滤波孔径相较于零级衍射的位置为 $(- a, n a)$ ，其中 $a = λ f / n^{2} d$ ， $λ 、 f 及 d$ 分别为波长、前透镜焦距及DMD间距，则DMD上 $n \times n$ 超像素内相邻像素所产生的相位在x方向以 $2 π / n^{2}$ 间隔分布，在y方向以 $2 π / n$ 间隔分布。以 $n = 4$ 为例，如图4（b）所示， $4 \times 4$ 超像素的相位响应对应一个局部相位掩模，其在目标平面所编码的复振幅为所打开的像素产生的相位叠加，如图4（c）所示，其中高亮背景对应像素打开，则所编码的复振幅为

无透镜光纤成像领域中的光场时空调控原理。（a）~（d）超像素编码方法的原理示意图［58］，分别是4f系统频谱面上滤波孔径位置、4×4相位掩模、相应复振幅平面上的超像素值、4×4超像素所能生成的复振幅光场；（e）LG10模式振幅；（f）LG10模式相位；（g）超像素方法编码LG10模式的CGH［58］；（h）Lee全息方法编码LG10模式的CGH［58］；（i）波前整形可以使水平偏振光通过多模光纤时维持其偏振态或者转换为垂直偏振态输出［21］；（j）利用数字相位共轭（DPC）减小多模光纤引起的时域展宽，实现500 fs的聚焦脉冲传输［22］。部分图像来自于文献［22，58］，经许可重印© Optica Publishing Group

图 4. 无透镜光纤成像领域中的光场时空调控原理。（a）~（d）超像素编码方法的原理示意图^［58］，分别是4f系统频谱面上滤波孔径位置、4×4相位掩模、相应复振幅平面上的超像素值、4×4超像素所能生成的复振幅光场；（e）LG₁₀模式振幅；（f）LG₁₀模式相位；（g）超像素方法编码LG₁₀模式的CGH^［58］；（h）Lee全息方法编码LG₁₀模式的CGH^［58］；（i）波前整形可以使水平偏振光通过多模光纤时维持其偏振态或者转换为垂直偏振态输出^［21］；（j）利用数字相位共轭（DPC）减小多模光纤引起的时域展宽，实现500 fs的聚焦脉冲传输^［22］。部分图像来自于文献［22，58］，经许可重印© Optica Publishing Group

Fig. 4. Principles of spatiotemporal light field modulation in the field of lensless fiber-optic imaging. (a)-(d) Schematic of the principle of superpixel coding method^[58], including the filtering aperture position on the spectrum plane of the 4f system, the 4×4 phase mask, the corresponding superpixel value on the complex-amplitude plane, and the complex-valued optical field that can be generated by the 4×4 superpixel; (e) LG₁₀ mode amplitude; (f) LG₁₀ mode phase; (g) CGH for encoding LG₁₀ mode by superpixel method^[58]; (h) CGH for encoding LG₁₀ mode by Lee hologram^[58]; (i) wavefront shaping allows a horizontally polarized light to retain its polarization state in a MMF or converts it to be vertically polarization for output^[21]; (j) digital phase conjugation (DPC) for mitigating temporal broadening by MMF and achieving the transmission of focused 500 fs pulses^[22]. Note the images from Refs.[22, 58] are reprinted with permission © Optica Publishing Group

下载图片查看所有图片

\begin{array}{l} e x p (j \cdot 0) + e x p (j \frac{π}{8}) + e x p (j \frac{6 π}{8}) = \\ 1.6335 \times e x p (j \cdot 0.7304) \end{array}

。（13）

对于DMD上每个 $4 \times 4$ 超像素，其能编码的复振幅值有6561个，如图4（d）所示，这使得能以较高精度调制出一个任意的复振幅光场。超像素编码方法通常需要一个查找表，这样对应给定复振幅值，便能快速找到所应打开的像素组合，确定出一个最佳二值DMD图案。例如，当需要编码一个 $L G_{10}$ 模式时，其振幅和相位如图4（e）和图4（f）所示，超像素和Lee全息方法所编码的二值CGH分别对应图4（g）和图4（h）。通常超像素方法会比Lee全息方法调制精度更高，但采用查找表相比直接计算Lee全息图耗时更多，对4f系统光路调节的要求也更加严格。

多模光纤中的偏振模式色散导致光传输时偏振态被扰乱。利用光纤中模式混叠对偏振自由度的耦合作用，通过空间调控入射光可以实现对输出光场的偏振控制，如图4（i）所示。偏振调控可以通过迭代方法优化波前^［70］或者测量全偏振TM以构建最优波前^{［21，71］}。对于迭代方法，通常需要使用1/4玻片、线偏振片等元件进行输出光偏振检测，该偏振反馈用于SLM上的空间波前优化。对于全偏振TM方法，需要独立控制输入光的水平及垂直偏振分量，且同时探测两正交偏振方向的输出光场，从而测量出一个完整的偏振解析TM，即

T = [\begin{matrix} T_{H H} & T_{H V} \\ T_{V H} & T_{V V} \end{matrix}]

，（14）

式中：4个TM分量分别代表从水平（H）或垂直（V）的输入偏振分量到水平（H）或垂直（V）的输出偏振分量的光场变换。在光路实现上，输入端可对SLM进行复用以独立调控水平和垂直偏振态的入射波前，结合偏振元件可调整两束调制光使其组合为共轴光；输出端可利用偏振光分束器同时获得水平、垂直偏振的输出光并进行探测。全偏振TM允许同时全矢量调控入射光以增强调制效率或控制输出光的偏振分布。

短脉冲光在多模光纤中传输时会由于模式色散而发生时域展宽，可通过波前整形实现对脉冲光场的时域调控。其原理是通过操控入射波前的空间自由度，激发出多模光纤中具有相似群延迟的模式并使其发生相长干涉，从而减轻时域畸变。例如，瑞士洛桑联邦理工学院Christophe课题组^［22］利用DOPC技术通过多模光纤传输聚焦超短脉冲，将脉宽缩窄为未加控制时的1/30，约500 fs，如图4（j）所示。此外，也可以直接在频域/时域上对脉冲进行整形，通过补偿光谱相位响应实现脉冲光透过多模光纤的时空域聚焦^［72-73］。

3　无透镜光纤成像方法

按照现有无透镜光纤成像方法的操作逻辑，将其分为主动波前调控和被动目标重建两大类。主动波前调控方法通过主动对波前进行预补偿，控制光在光纤中的传输实现末端聚焦，以此直接完成扫描成像；而被动目标重建方法则侧重于从样品产生的散斑或单像素信号等测量结果中恢复出样品信息，涉及到矩阵运算、压缩感知、深度学习等各种信号重建技术。

3.1　主动波前调控

主动波前调控利用SLM对光纤主动施加多维度的波前调制，从而克服多模光纤模式混叠或多芯光纤相位失真的影响，控制光在光纤的传输以实现末端聚焦和激光扫描成像。由于复杂介质的未知性，往往需要来自光纤末端的反馈信号才能获取最优波前。阐述以波前整形技术为代表的对光纤进行主动波前调控的无透镜成像方法，包括迭代式波前优化、波前共轭及传输矩阵方法。

3.1.1　波前优化与共轭

由于多模光纤和多芯光纤都与散射介质一样有着扰乱入射光的相似性质，波前整形技术自2010年后也应用于透过光纤聚焦和无透镜成像。迭代式波前优化的原理在2.3节已经介绍，其典型实验装置如图5（a）所示，一般需要侵入式采集光纤末端的散斑光强作为聚焦反馈（如目标处的聚焦增益），不断迭代调整加载在SLM上的相位直至获得最优聚焦效果。此外，非侵入式的聚焦“引导星”如双光子荧光，已用于多模光纤^［74］和多芯光纤^［75］的相位优化。早期的相位优化有逐步顺序算法、连续顺序算法和分治算法^［14］，此后，并行波前优化算法^［76］、遗传算法^［77］等具有更快的优化速度，二元幅度调制场景下的动态变异算法^［78］和无须调参数算法^［79］也具有相应的使用优势。在透过多模光纤聚焦场景下，一些智能优化算法如遗传算法^［80-81］和自然梯度策略^［82］等往往展现出更快的搜索速度以及噪声扰动环境下更高的聚焦效率。2022年香港理工大学Lai课题组^［82］基于自然梯度上升，以余弦相似度作为一种新的适应度函数进行波前优化，透过15 m长的未固定多模光纤实现了有效的模式聚焦，相比其他相位优化方案，具有最佳的图案保真度和聚焦对比度。除了聚焦，透过多模光纤等复杂介质进行散射光抑制对于一些成像和感知场景也有价值。为了寻找实现特定区域内散斑抑制所需的最佳波前，现有的迭代优化方法常需要较长的硬件迭代时间。2023年香港理工大学Lai课题组^［51］提出一种基于TM的交替投影相位优化方法，在测出TM后仅通过软件计算来优化对应于不同目标区域的多个相位掩模，以~50 Hz帧率实现了对应多模光纤末端对不同尺寸和形状目标区域的有效散斑抑制。

图 5. 实现无透镜光纤成像的几种典型主动波前调控技术示意图。（a）迭代式波前优化；（b）数字光学相位共轭；（c）基于同轴全息的TM测量；（d）基于离轴全息的TM测量

Fig. 5. Schematic of several representative active wavefront modulation implementations used for lensless fiber-optic imaging. (a) Iterative wavefront optimization; (b) DOPC; (c) TM measurement via on-axis holography; (d) TM measurement via off-axis holography

下载图片查看所有图片

DOPC也是一种用于透过多模光纤^［83］及多芯光纤^［84-85］聚焦的波前调控技术，其典型原理如图5（b）所示。相比需要多次测量和迭代的波前优化，DOPC仅需单次干涉测量便可实现重聚焦，然而DOPC依赖用于波前记录的相机和波前调制的SLM之间的像素级配准，且需要光纤末端已有的聚焦“引导星”，因此其使用场景较为受限。

在透过光纤末端聚焦的基础上，要实现焦点扫描，需要对应不同目标位置的多次波前优化或多次波前共轭过程，这在操作上是十分繁琐的。除此之外，还可充分利用光纤中的光学记忆效应（详见3.2.2节），在所获最优补偿相位上叠加倾斜相位进行横向焦点扫描以实现小范围（~10 μm）的激光扫描成像。多芯光纤具有较强的横向记忆效应，可用于焦点扫描^［84］和无透镜荧光成像^{［66，75］}。而常规的圆芯多模光纤仅具有旋转记忆效应，优化扫点成像效率不高，最近已有方芯多模光纤中具有横向记忆效应的荧光扫描成像被报道^［86］。Moser课题组^［83］在2013年基于DOPC首次实现了透过多模光纤的重聚焦，并利用多次波前共轭在光纤末端焦点处进行扫描，实现了神经元亚微米级荧光内窥显微成像，如图6（a）和图6（b）所示。利用类似原理，该课题组随后还实现了透过多模光纤的OR-PAM^［87］以及双光子荧光（2PF）显微成像^［88］。Katz课题组^［74］在此前分别对散射层、多模光纤使用2PF信号进行非线性反馈实现非侵入式聚焦，也同样使2PF信号透过多芯光纤得到聚焦并通过焦点扫描获得物体2PF成像结果^［75］，如图6（c）和图6（d）所示。德国Kuschmierz等^［85］利用光纤束中的单根照明光纤作为虚拟“引导星”，在其末端经半反射涂层背向反射的光到达近端后被相干探测，从而对光纤中相位畸变进行表征以实现自校准。利用前端扫描器件，可透过该自校准光纤实现20 Hz的二维扫描成像和三维扫描，获得不同深度的荧光颗粒图像^［66］，如图6（e）和图6（f）所示。

基于波前优化或共轭实现无透镜光纤成像的典型工作。（a）基于DOPC的多模光纤内窥镜装置［83］；（b）图6（a）装置所得神经元包体、树突荧光成像结果［83］；（c）以近端探测的双光子荧光（2PF）信号为反馈的多芯光纤波前优化装置示意图［75］；（d）图6（c）装置的实验结果，包括优化后光纤末端聚焦结果（焦点旁瓣来源于光纤束的周期性晶格）、优化过程2PF信号曲线、荧光物体及物体2PF图像［75］；（e）使用虚拟“引导星”对相干多芯光纤进行自校准的原理图及所测得的光纤相位畸变［66］；（f）对图6（e）中自校准光纤末端不同深度荧光颗粒的成像结果［66］。图像来自于文献［66，75，83］，经许可重印© Optica Publishing Group

图 6. 基于波前优化或共轭实现无透镜光纤成像的典型工作。（a）基于DOPC的多模光纤内窥镜装置^［83］；（b）图6（a）装置所得神经元包体、树突荧光成像结果^［83］；（c）以近端探测的双光子荧光（2PF）信号为反馈的多芯光纤波前优化装置示意图^［75］；（d）图6（c）装置的实验结果，包括优化后光纤末端聚焦结果（焦点旁瓣来源于光纤束的周期性晶格）、优化过程2PF信号曲线、荧光物体及物体2PF图像^［75］；（e）使用虚拟“引导星”对相干多芯光纤进行自校准的原理图及所测得的光纤相位畸变^［66］；（f）对图6（e）中自校准光纤末端不同深度荧光颗粒的成像结果^［66］。图像来自于文献［66，75，83］，经许可重印© Optica Publishing Group

Fig. 6. Representative works on lensless fiber-optic imaging based on wavefront optimization or conjugation. (a) Experimental setup of an MMF endoscope based on DOPC^[83]; (b) neuron soma and dendrite fluorescence imaging results obtained from the device in Fig.6(a)^[83]; (c) experimental setup of MCF wavefront optimization with proximal detection of 2PF signal as feedback^[75]; (d) experimental results of the device in Fig.6(c) that include the optimized focusing result at fiber end (focal sidelobes originate from the periodic lattice of the fiber bundle), the curves of 2PF signal during optimization, the fluorescent object, and the object 2PF images^[75]; (e) schematic of coherent MCF self-calibration using virtual "guide-star" and the measured phase distortion by MCF^[66]; (f) imaging results of fluorescent particles at different depths from the distal facet of the self-calibrated MCF in Fig.6(e)^[66]. Images are reprinted with permission from Refs.[66, 75, 83] © Optica Publishing Group

下载图片查看所有图片

3.1.2　传输矩阵方法

基于波前优化或共轭的光纤无透镜成像存在一些明显不足，如硬件迭代的时效性较差、多次波前优化或共轭操作繁琐、多模光纤成像视场受记忆效应范围的限制等。因此，目前比较主流的做法是通过测量光纤的TM对其传光特性进行标定，然后利用所测TM构建对应不同聚焦位置的最优波前以实现光纤扫描成像。测量TM时需要获取对应一系列加载到SLM上输入基的输出散斑，其中输入基应该是正交完备的，如哈达玛矩阵^［89］、傅里叶变换矩阵^［90］及焦点形式^{［41，91］}等。作为一种描述复杂介质光场变换的模型，TM通常是复数值的，也可以简化为实数值^［92-93］甚至二值形式^［94］，但复值TM仍然最常用，因为它支持光场的复振幅调控。测量复值TM时需要获取输出散斑复振幅，主要常用同轴全息和离轴全息这两种干涉测量方式。如图5（c）所示，同轴全息方式将相移的内部参考光随调制光一起输入光纤中，形成的干涉图用于TM测量，当对内部参考光施加相移 $β$ ，则输出光场 $m$ 处的干涉光强为

I_{m}^{β} = {|s_{m} + \sum_{n} e^{j β} T_{m n} E_{n}^{i n}|}^{2} = {|s_{m}|}^{2} + {|\sum_{n} e^{j β} T_{m n} E_{n}^{i n}|}^{2} + 2 R e \{{\bar{s}}_{m} e^{j β} \sum_{n} T_{m n} E_{n}^{i n}\}

，（15）

式中： $s_{m}$ 表示内部参考光同轴传播时形成的散斑第 $m$ 个模式， $m = 1, \dots, M$ ， $M$ 为输出光场总模式数。实验一般采用四步相移法，即依次在 $β = 0, π / 2, π, 3 π / 2$ 下测输出光强，由此获得调制光对应的输出复振幅 $E_{m}^{o u t}$ （实际上与参考散斑光共轭 ${\bar{s}}_{m}$ 相混叠），公式为

\frac{(I_{m}^{0} - I_{m}^{π})}{4} + j \frac{(I_{m}^{3 π / 2} - I_{m}^{π / 2})}{4} = {\bar{s}}_{m} \sum_{n} T_{m n} E_{n}^{i n} = {\bar{s}}_{m} E_{m}^{o u t}

。（16）

令参考散斑光构成的对角矩阵为 $S_{r e f} = d i a g ({\bar{s}}_{1}, {\bar{s}}_{2}, \dots, {\bar{s}}_{M})$ ，则观测到的输出光复振幅可表示为 $E_{o u t}^{o b s} = S_{r e f} \times E_{o u t}$ ，其中 $E_{o u t} = [E_{1}^{o u t}, E_{2}^{o u t}, \dots, E_{M}^{o u t}]$ 。理论上TM为 $T = E_{o b s} \times E_{i n}^{- 1}$ ，实际测量的TM为 $T_{o b s} = E_{o u t}^{o b s} \times E_{i n}^{- 1} = S_{r e f} \times T$ 。参考散斑光在某些位置过弱，可能导致输出光干涉测量不够准确，使得 $T_{o b s}$ 可能出现聚焦暗点问题。

另一种复值TM测量方式是使用外部参考光与光纤输出散斑光干涉的离轴全息法，如图5（d）所示。离轴全息可采用相移法或者空间滤波法获取输出光场复振幅，空间滤波法只需要单次干涉测量，而相移法需要不同相移下的多次干涉测量但相应TM测量也更准确。相比同轴全息，离轴全息需要额外引入外部参考光。离轴全息法测TM时一般基于哈达玛输入基，此外还有基于光纤端面入射焦点^{［41，91］}和角谱表示^［95］的TM测量形式。无透镜光纤成像行业先驱Čižmár课题组^{［41，64，91，96］}的系列工作均是利用SLM加载不同频率的栅栏相位的，结合物镜耦合激光聚焦在多模光纤入射端面 $(u, v)$ 处，相应输出光场复振幅可通过入射焦点在2π范围内多次相移确定（光场相位对应干涉强度最大的相移量），并直接构成所测TM的列向量，如图7（b）所示。按此方式利用光栅扫描入射焦点 $(u, v)$ ，可完整测出从光纤输入端面 $(u, v)$ 到输出端面 $(x, y)$ 的TM，即 $M_{u v} (x, y)$ 。角谱表示TM的离轴测量^［95］通过扫描振镜多次改变入射平面波角度 $(θ_{ξ}, η_{ξ})$ ，构建出从OP端角谱分布 $(θ_{ξ}, θ_{η})$ 到IP端空间分布 $(x, y)$ 的TM，即 $T (x, y, θ_{ξ}, θ_{η})$ ，如图7（a）所示。

基于TM测量的光纤校准方法及微侵入内窥成像结果。（a）角谱表示TM的离轴测量示意图［95］；（b）基于光纤入射端面焦点相移的TM离轴测量示意图［91］；（c）典型的多模光纤校准及内窥成像实验装置［61］；（d）对4 μm直径荧光小球分别使用宽场成像和多模光纤内窥成像的结果，标度尺为20 μm［61］；（e）对鼠脑切片分别使用共聚焦显微镜和多模光纤内窥成像所得的海马神经元结果对比，标度尺为20 μm［102］；（f）将多模光纤植入鼠脑过程中所得活体内窥成像结果，包括神经元胞体、树突和出血图像［64］；（g）多芯光纤校准后聚焦的横向和轴向点扩散函数（PSF）［103］；（h）多芯光纤校准前后对2 μm直径荧光小球分别进行非相干宽场成像（左边）和相干点扫描成像（右边）的结果［103］。注意来自于文献［61，91，103］的图像经许可重印© Optica Publishing Group

图 7. 基于TM测量的光纤校准方法及微侵入内窥成像结果。（a）角谱表示TM的离轴测量示意图^［95］；（b）基于光纤入射端面焦点相移的TM离轴测量示意图^［91］；（c）典型的多模光纤校准及内窥成像实验装置^［61］；（d）对4 μm直径荧光小球分别使用宽场成像和多模光纤内窥成像的结果，标度尺为20 μm^［61］；（e）对鼠脑切片分别使用共聚焦显微镜和多模光纤内窥成像所得的海马神经元结果对比，标度尺为20 μm^［102］；（f）将多模光纤植入鼠脑过程中所得活体内窥成像结果，包括神经元胞体、树突和出血图像^［64］；（g）多芯光纤校准后聚焦的横向和轴向点扩散函数（PSF）^［103］；（h）多芯光纤校准前后对2 μm直径荧光小球分别进行非相干宽场成像（左边）和相干点扫描成像（右边）的结果^［103］。注意来自于文献［61，91，103］的图像经许可重印© Optica Publishing Group

Fig. 7. Fiber calibration and minimally invasive endoscopic imaging results based on TM measurement. (a) Schematic of off-axis measurement of angular spectrum represented TM^[95]; (b) schematic of off-axis measurement of TM based on incident focal spot on the MMF facet with phase shifts^[91]; (c) typical experimental setup for MMF calibration and endoscopic imaging^[61]; (d) imaging results of 4-μm fluorescent beads using wide-field microscopy and MMF endoscopy, respectively, where the scale is 20 μm^[61]; (e) comparison of hippocampal neuron results obtained by confocal microscope and MMF endoscopy of mouse brain slices, where the scale is 20 μm^[102]; (f) in vivo endoscopic imaging results obtained by implanting MMF into a mouse brain, including neuronal somata, processes, and haemorrhage images^[64]; (g) lateral and axial point spread functions (PSF) of focusing for the calibrated MCF^[103]; (h) incoherent wide-field imaging and coherent point scanning imaging results of 2-μm fluorescent beads before and after MCF calibration^[103]. Note the images from Ref. [61, 91, 103] are reprinted with permission © Optica Publishing Group

下载图片查看所有图片

离轴全息需要额外引入外部参考光，增加了系统复杂度且依赖有效的干涉测量，近几年发展出利用相位恢复算法直接从散斑强度测量中恢复出光纤复值TM的方法。TM恢复于2015年开始用于无参考光的散射介质校准，其后逐渐拓展于多模光纤的校准上，已有的工作包括使用贝叶斯推理法（prVBEM）^［97］、半正定编程（SDP）^［98］、拓展卡尔曼滤波（EKM）法^［99］、通用Gerchberg-Saxton（GGS）算法^［100］、基于梯度下降的非线性优化法^［90］等。特别是2023年香港理工大学Lai课题组^［101］提出的一种两步重加权幅度流的TM恢复算法，其基于非凸优化原理，仅需更少运行时间或更小采样率便可理论上最佳恢复出TM，且在8倍采样率下实验获得了接近离轴全息法测TM的效率。一般而言，相位恢复法无需外部参考光因而系统更为简单稳健，且TM测量准确度接近离轴全息法，但通常其所需的测量次数较多且计算量较大。

Popoff等^{［17，89］}最早使用SLM和四步相移法同轴测量复杂介质的光学TM。通过对某一行TM取相位共轭可构建最优波前，控制光在复杂介质中的干涉相长实现该处的聚焦。TM方法发展为研究复杂介质光子学的重要工具，并大量应用于光纤无透镜成像相关应用中。在此简述基于TM方法的光纤激光扫描成像的相关进展。2012年，Bianchi等^［104］较早地使用同轴全息测量多模光纤TM并将该光纤作为探针用于全息微操纵及扫描荧光显微成像。同年，Čižmár等^［96］提出一种针对多模光纤的全息光束整形方法，展示了明场和暗场成像、扫描荧光显微成像并基于该无透镜光纤实现了各种类型的光学模式转换。早期通常使用LC-SLM进行空间光调制，此后高速DMD广泛应用于快速光纤校准与扫描成像。2017年Piestun课题组^［61］提出基于DMD调制的单根多模光纤内窥镜，其实验装置如图7（c）所示，这也成为多模光纤内窥成像装置的基本范式。多模光纤内窥成像通常分为预校准阶段和成像阶段，其中校准阶段需要在光纤末端放置相机以同轴或离轴全息方式测量光纤TM；成像阶段则移除校准器件，仅利用单根光纤对离体样品或植入组织内部进行激光扫描成像，不同焦点所激发的信号（如荧光）也通过同根光纤得到反向收集然后通过二向色镜、滤波片分离并被PMT或APD探测。Piestun等在该工作中展示了对4 μm直径荧光小球和猴脑切片的荧光成像结果。此后Čižmár课题组及其合作者继续优化多模光纤校准及成像方法，依次对离体鼠脑组织、麻醉鼠脑中的神经结构进行了亚细胞级植入式荧光内窥成像^［102］，以及在活体小鼠深脑处进行3.5 Hz视频级、1.2 μm高分辨内窥成像，可动态监测神经元胞体、树突及出血过程^［64］，如图7（f）所示。上述TM方法也同样适用于多芯光纤克服相位畸变及扫描成像问题，其中Choi课题组^［103］使用TM方法实现透过多芯光纤的衍射极限聚焦，获得荧光扫描成像结果，如图7（g）和图7（h）所示。

3.2　被动目标重建

光纤无透镜成像一般包括照明和探测均在光纤同侧的内窥成像，以及照明和探测在光纤异侧的数据传输这两种场景。光纤内窥成像场景较多采用主动波前调控方法以补偿前向波前扰乱影响进行点扫描成像，同时也存在基于被动目标重建原理的宽场成像方式，同时校正前向照明和反向探测的波前扰乱过程。数据传输场景则通常是从扰乱的单向输出光场中恢复目标信息的。将从被动目标重建的角度阐述几种光纤无透镜成像方法。

3.2.1　基于传输矩阵

Popoff等^［23］在提出复杂散射介质的光学TM测量方法的同时，也首次将TM运用于透过散射样品的图像传输。TM构建了散射介质输入和输出光场的联系，但由于散斑测量噪声的影响，直接对TM求逆用于从散斑恢复物体的效果并不好。此外TM可能不是一个方阵，不存在矩阵的逆。为此，Popoff等提出了一种均方差优化（MSO）算子（本质是TM的一种伪逆）， $W = {[T_{o b s}^{†} \cdot T_{o b s} + σ \cdot I]}^{- 1} T_{o b s}^{†}$ ，其中 $T_{o b s}$ 是测量TM， $I$ 是单位矩阵， $σ$ 为测量噪声的标准差。可知若系数 $σ$ 取值很小，MSO算子变成TM的逆；若 $σ$ 取值很大，MSO算子正比于TM的转置共轭，成为相位共轭算子。实验表明， $σ$ 取值恰当（最接近实验测量噪声标准差）时具有最佳的重建效果，并且可通过多次平均或增加输出模式数的方式进一步提升重建质量。Fan等^［105］将MSO重建算子引入透过多模光纤的图像重建中，如图8（a）所示，并比较了不同类型TM的图像重建效果，包括常规TM、连接输入到水平和垂直偏振方向输出光场的矢量TM（VTM）、连接输入到输出光场四组Stokes参量的偏振TM（PTM）。然而，由于MSO算子是基于复值TM构建的，需要散斑复振幅测量结果才能用于物体重建。一种基于散斑关联散射矩阵（SSM）的方法被提出并用于从单帧散斑强度图像中恢复出入射光场的幅度和相位信息，该方法起初用于透过散射介质^［106］传输复用的光学轨道角动量（OAM）光场，接着用于透过多模光纤^［107］的OAM复用数据传输。需要注意的是，SSM方法依赖输出光场的无关联性，因此需要在多模光纤末端加上扩散器增强散射效果。

基于被动目标重建的光纤无透镜成像方法。（a）基于TM方法从多模光纤输出散斑中恢复物体，包括MSO算子、TM的逆和相位共轭算子［105］；（b）基于TM的多模光纤宽场成像方法，包括重建光纤末端的散斑调制样品和散斑平均成像［109］；（c）基于散斑关联的多芯光纤宽场成像方法［25］；（d）使用散斑照明序列的多模光纤压缩成像方法［110］；（e）血红细胞及11 μm荧光颗粒的明场显微图像及压缩重建的伪彩色图像，标度尺为30 μm［110］。注意来自文献［25］的图像经许可重印 © Optica Publishing Group

图 8. 基于被动目标重建的光纤无透镜成像方法。（a）基于TM方法从多模光纤输出散斑中恢复物体，包括MSO算子、TM的逆和相位共轭算子^［105］；（b）基于TM的多模光纤宽场成像方法，包括重建光纤末端的散斑调制样品和散斑平均成像^［109］；（c）基于散斑关联的多芯光纤宽场成像方法^［25］；（d）使用散斑照明序列的多模光纤压缩成像方法^［110］；（e）血红细胞及11 μm荧光颗粒的明场显微图像及压缩重建的伪彩色图像，标度尺为30 μm^［110］。注意来自文献［25］的图像经许可重印 © Optica Publishing Group

Fig. 8. Lensless fiber-optic imaging methods based on passive object reconstruction. (a) TM-based method to recover objects from MMF output speckle pattern, including MSO operator, inverse of TM, and phase conjugate operator^[105]; (b) TM-based MMF wide-field imaging method, including the reconstruction of speckle-encoded object at the end of the fiber and speckle average imaging^[109]; (c) MCF speckle-correlation based wide-field imaging^[25]; (d) MMF compressive imaging method with speckle illumination sequence^[110]; (e) red blood cells and 11-μm fluorescent particles bright-field microscopic image and compressive reconstructed pseudo-color image, the scale bar is 30 μm^[110]. Note the image from Refs.[25] is reprinted with permission © Optica Publishing Group

下载图片查看所有图片

除了上述单向数据传输场景，TM重建方法也应用于光纤内窥成像场景中。2012年，Choi课题组^［95］首次提出基于多模光纤的宽场内窥成像。他们先构建出一个从输出平面角谱分布到输入平面空间分布的TM（ $T$ ），使用TM的逆从光纤近端记录的宽场图像 $E_{I P} (x, y)$ 中恢复输出端被散斑照明调制的样品角谱 $E_{O P} (ξ, η)$ ，

E_{O P} (ξ, η) = T^{- 1} E_{I P} (x, y)

。（17）

为了消除前向散斑照明的影响以恢复清晰样品，如图8（b）所示，他们多次扫描入射角度 $(θ_{ξ}, θ_{η})$ ，并对多组所恢复的散斑调制样品图像强度进行平均。由于散斑对比度随着平均次数增加而降低，从500次的平均结果能清晰重建出样品，实现较高质量的宽场内窥成像。此后，同样的思路也被该课题组应用于多芯光纤中，并报道了无像素化、衍射极限（1.07 μm）的宽场内窥成像^［103］。此外，Moser课题组^［108］所提出的多模光纤数字共聚焦显微成像也利用了TM重建方法。虽然采用点扫描成像的方案，他们在光纤近端以宽场探测方式接收样品反射的散斑图案，并利用TM将其数字重聚焦于光纤远端，再通过虚拟小孔滤波获得扫描点处信号值。这种数字共聚焦扫描方法提升了多模光纤反射式内窥成像的对比度和轴向分辨率。

3.2.2　基于散斑关联

散射介质中存在一种“光学记忆效应”，即在一定范围内入射波前倾斜，其所产生的散斑也发生相应倾斜且几乎不发生图案变化。除了这种倾斜（角向）记忆效应，近10年还发现了平移记忆效应以及包含倾斜和平移的广义记忆效应^［111］。通常记忆效应范围随着散射介质厚度增加而急剧缩小^［112］，已被用于薄散射介质的小范围非侵入式成像^［113］。小芯径的多芯光纤可被视为无限薄的随机相位板，展现出较强的角向记忆效应。目前已有利用近端探测中的记忆效应^［25］以及远端激发中的记忆效应^［114］的多芯光纤宽场成像被报道，在无须主动调控波前的情况下，实现突破纤芯间距的成像分辨率。2016年，Katz课题组^［25］使用探测端的记忆效应实现均匀照明物体经多芯光纤的宽场成像。如图8（c）所示，来自物体不同位置的点光源经多芯光纤传输后产生相关联但移位的弥散斑。探测到的混叠弥散斑 $I (r)$ 本质是物体 $O (r)$ 与光纤的散斑点扩散函数 $P S F (r)$ 的卷积，

I (r) = O (r) * P S F (r)

，（18）

式中： $r$ 代表二维位置坐标。对式（18）两端取自相关（用 $\otimes$ 表示），有

\begin{array}{l} I \otimes I = [(O * O) \otimes (P S F * P S F)] = \\ [(O \otimes O) * (P S F \otimes P S F)] \end{array}

。（19）

由于散斑PSF的自相关是一个近似 $δ$ 函数，因此有 $I (r) \otimes I (r) \approx O (r) \otimes O (r)$ ，这意味着可以通过近端探测的弥散斑的自相关获得物体的自相关。因此，根据自相关定理，可以获得物体的傅里叶变换幅度信息，再利用相位复原等方法重建物体。对于使用激发端的记忆效应，Psaltis课题组将文献［113］提出的散斑扫描显微成像技术运用于多芯光纤内窥荧光成像场景中^［114］。通过在多芯光纤角度记忆效应范围内扫描入射光，可在激发端产生相关联但移位的散斑照明。同样地，样品所激发的荧光是物体与散斑照明相卷积的结果。该荧光信号被多芯光纤反向收集并用于宽场探测，多次平均的荧光信号自相关同样约等于物体的自相关，从而用于物体重建。上述基于多芯光纤的散斑关联成像具有无须光纤校准、单次宽场探测、分辨率高等优势，但成像严格依赖于散斑自相关约等于物体自相关的数学假设，限制了成像复杂度及视场大小。

不同于多芯光纤，常规的圆形纤芯多模光纤并不具有明显的角度记忆效应，而是拥有一种旋转记忆效应^［115］，即绕着光纤芯轴旋转入射波前，可使得光纤输出图案发生相应旋转，且不发生明显改变。虽然旋转记忆效应有助于减少波前优化次数，加快点扫描成像，但并不好用，因为需要对光纤芯轴进行定位和系统配准，以及基于波前优化的扫描成像过于繁琐。最近出现了一些对圆形多模光纤中的旋转记忆效应进行操纵^［116］，或者制造方形纤芯多模光纤并利用其特殊的平移记忆效应^［117］用于散斑关联成像^［26］或点扫描成像^［86］的工作，感兴趣的读者可深入探索。

3.2.3　基于压缩感知

对于多模光纤内窥成像，基于主动波前调控原理（通常是TM方法）的扫描成像方式需要预先校准光纤，且需要大量的光栅扫描次数。近些年发展出的透过多模光纤的压缩成像方法无须校准光纤，且仅需要少量的测量次数，便可以重建出达到光纤衍射极限的高分辨率物体。如图8（d）所示，这种压缩成像方法的基本原理是：预先记录一批光纤生成的结构光（如散斑图案）强度，然后在成像阶段仍然采用相同结构光序列照明物体（荧光物体或者是光声物体），并采用单像素探测方式依次记录样品不同位置激发的总信号，最后采用压缩感知方法从所探测的信号序列中重建物体。具体的数学原理描述如下：令样品为 $1 \times N$ 行向量 $O$ ，结构光照明序列 $R$ 为大小为 $(N, M)$ 的矩阵，表示 $M$ 次测量大小为 $N \times 1$ 的照明图案，所记录信号序列为 $1 \times M$ 行向量 $S$ ，则可知 $S = O \times R$ 。考虑到测量次数 $M$ 可能小于样品维度 $N$ ，已知照明序列 $R$ 和信号序列 $S$ 后重建物体 $O$ 是一个病态欠定问题，需要额外的正则化条件才能更准确估计物体，如采用L1范数作为物体的稀疏度约束。物体 $O$ 可通过最小化问题得到重建，

\hat{O} = \underset{O}{a r g m i n} {‖O \times R - S‖}_{2}^{2} + γ \cdot {‖O‖}_{1}

，（20）

式中： ${‖\cdot‖}_{2}$ 指向量L2范数； ${‖\cdot‖}_{1}$ 指向量L1范数； $γ$ 为正则化系数。式（20）同时包含可微分项和不可微分项，可通过多种压缩感知算法进行求解，如文献［27］所采用的L1 magic算法，文献［110］所采用的快速迭代收缩阈值法（FISTA），文献［118］所采用的并行TVAL3算法等。

上述压缩成像方法是建立在单像素探测的信号为样品不同位置激发信号的非相干累加基础上的，即 $S_{k} = \sum_{r} O (r) R (r, k), k = 1, \dots, M$ ，适用于荧光成像场景。对于光声成像，文献［119］表明当光声样品都在超声探头的声学相干范围内，不同位置的光声信号叠加也近似满足这种非相干累加关系，因此已有压缩光声显微成像被报道^{［110，119］}。图8（e）展示了压缩重建方式得到的多模光纤荧光-光声显微成像结果，其中红色代表红细胞，绿色代表荧光颗粒^［110］。通常多模光纤压缩成像采用散斑作为结构光照明，但由于散斑序列不完善的结构以及不充分的正交性，其所能成像的物体局限于简单结构。Yang课题组^［118］使用稀疏的聚焦点列替代散斑作为照明序列，实现了对荧光标记肺切片等复杂样品的压缩重建和体成像。然而，该方法需要对光纤进行预校准且依赖主动波前调控。

3.2.4　基于深度学习

基于数据驱动的深度神经网络对复杂函数具有强大的拟合能力，近些年在透过复杂介质成像方面获得了大量应用，其中一个热门领域便是基于深度学习的多模光纤图像传输。深度学习方法的基本原理是：预先采集大量的输入-输出图像对，然后构建一个网络模型，使用均方误差（MSE）等类型的目标函数并基于小批量随机梯度下降法优化网络各层权重参数，训练好的模型便能将训练阶段未见过的测试散斑恢复为原输入图像。基于深度学习的多模光纤成像方法具有成像帧率高、分辨率高及抗干扰能力强等优势。

Psaltis课题组于2018年从多模光纤输出的散斑强度图案识别和重建输入数字体，采用一个VGG网络用于分类幅度或相位物体，采用一个U-Net用于重建并对长达1 km光纤获得了90%以上保真度的重建效果。Moser课题组^{［120-121］}也证实深度卷积神经网络（CNN）能学习到从多模光纤的输出散斑幅度到输入相位或幅度的非线性关系，还展示了通过迁移学习重建其他类别图像的能力。除了透过静态多模光纤传输图案，研究者还发现通过采集多模光纤在不同弯曲形变下的“一对多”数据所训练的CNN具有极佳的泛化能力，可用于在不同光纤弯曲状态下准确预测输入数字信息。对于重建网络模型，早期多使用以U-Net为代表的多层神经网络，并引入残差结构和密集连接层增强网络性能，也有研究者独辟蹊径采用单隐层网络拟合多模光纤TM的逆矩阵^{［29，122］}，并证实相比深层网络模型，简单网络具有更好的泛化性，且极大减少了模型训练时间。此外，最近也有将自注意力机制引入人工神经网络用于提升图像重建质量的工作^［30］。基于深度学习实现透过多模光纤的图像传输一般都是利用光纤输出的二维空间信息的。最近Xiao课题组^［31］充分利用多模光纤对入射脉冲光的时域展宽效应，证实了从光纤输出的特征波形恢复调制图案的可行性，基于深度学习实现了全光纤的15.4×10⁶ frame/s的高速成像。以上所描述的都是多模光纤单向数据传输场景。近期Gong课题组^［123］通过训练一个网络模型拟合反射矩阵，用于将光纤近端宽场探测的散斑幅度直接匹配末端的幅度物体，且消除了前向照明畸变的影响，展示了基于深度学习的多模光纤单次宽场内窥成像能力。

3.2.5　基于光学建模

对于无透镜多芯光纤内窥成像，还存在一类基于光学建模的方法。相关研究通常在光纤近端以全息测量或相位恢复方式获取反射光场的复振幅信息，并建模光场的衍射传播过程以实现数值重聚焦和图像重建，展示出复振幅成像和体成像能力。在此介绍几种基于光学建模的多芯光纤反射式内窥成像技术。Sun等^［32］近期提出了一种使用无透镜多芯光纤的定量相位成像，该方法具有微侵入性、无标记相位成像及三维成像等优势，有望用于无标记的病理组织在体诊断。如图9（a）所示。该方法首先在光纤探测端（近端）的两个不同位置 $z_{0}$ 和 $z_{1}$ 处宽场探测远端准直相干光源产生的散斑图案，并使用一种迭代相位复原技术恢复多芯光纤不同纤芯光程差在探测端面引起的相位分布 $ϕ_{0}$ 。对于远端物体，也采取同样方法测出探测端面的相位 $ϕ_{1}$ 和幅度 $A_{1}$ 信息，使用参考相位 $ϕ_{0}$ 抵消多芯光纤相位畸变后，光纤测量端面（远端）的物体复振幅可表示为 $E_{s}' = A_{1} \cdot e x p [i (ϕ_{1} - ϕ_{0})]$ 。最后通过角谱方法将端面复振幅分布数值传播到实际的样品面，实现定量相位成像，并对物体不同深度进行重建。图9（b）为对分辨率靶实现振幅和相位重建的展示。

基于光学建模的无透镜多芯光纤反射式成像方法。（a）（b）多芯光纤定量相位成像原理图，及其对分辨率靶第6和第7组元素进行幅度与相位图像重建的结果，刻度尺为50 μm［32］；（c）（d）多芯光纤傅里叶全息显微成像原理图，及相位畸变校正前和校正后的图像［33］；（e）（f）多芯光纤远端全息显微内窥成像装置原理图，及其对分辨率靶的在焦幅度和相位重建结果［124］

图 9. 基于光学建模的无透镜多芯光纤反射式成像方法。（a）（b）多芯光纤定量相位成像原理图，及其对分辨率靶第6和第7组元素进行幅度与相位图像重建的结果，刻度尺为50 μm^［32］；（c）（d）多芯光纤傅里叶全息显微成像原理图，及相位畸变校正前和校正后的图像^［33］；（e）（f）多芯光纤远端全息显微内窥成像装置原理图，及其对分辨率靶的在焦幅度和相位重建结果^［124］

Fig. 9. Lensless MCF reflection imaging methods based on optical modelling. (a)(b) Schematic of quantitative phase imaging through MCF, and amplitude and phase image reconstruction of the 6^th and 7^th group elements of the resolution target, with the scale bar of 50 μm^[32]; (c) (d) schematic of MCF Fourier holographic microscopic imaging, and images before and after correction for fiber-core phase retardation^[33]; (e) (f) schematic of the distal holographic micro-endoscopic imaging, and results of on-focus amplitude and phase reconstruction of the resolution target^[124]

下载图片查看所有图片

Choi课题组^［33］近期提出了一种柔性多芯光纤傅里叶全息内窥镜，该内窥镜无须对光纤进行校准且对光纤弯曲不敏感，可实现反射模式下的无透镜傅里叶全息显微成像，具有0.85 μm的空间分辨率。如图9（c）所示，该技术采用单纤照明和宽场探测的方法。对于单纤照明，考虑了入射光从输入端面（IP）到输出端面（OP）的相位延迟，以及OP到样品面（SP）的光场菲涅耳衍射过程；对于宽场探测，考虑了样品反射光从SP到OP的菲涅耳衍射过程以及从OP到IP的相位延迟过程。研究者对这些过程进行光学建模后，发现光纤近端所探测到的光场分布包含了修改后物体的频谱信息。他们在之前工作（“CLASS”技术，用于从深层组织散射引起的畸变项中分离物体成分）的基础上识别出照明路径和反射路径上的相位延迟，进而获得物体频谱并重建物体。图9（d）显示了不同单纤照明下所探测光场的傅里叶逆变换的相干叠加结果（校正前）以及重建的分辨率靶图像（校正后）。最近Katz课题组^［124］提出了一种基于多芯光纤远端全息的显微内窥成像技术，该方法同样无须校准光纤，具有通过动态弯曲的光纤束对幅度及相位物体实现视频级的宽场衍射极限反射式成像的能力。如图9（e）所示，该多芯光纤宽场内窥成像装置基于一种采用弱相干光源的干涉仪，包含照明臂和参考臂，其中多芯光纤末端附有一个部分反射镜。通过调节参考臂与样品臂的光程差等于光纤末端反射镜到样品距离的2倍，可以控制仅令样品反射的照明光和反射镜反射的参考光发生干涉。相应的干涉强度图可经多芯光纤准确得到反向宽场采集，通过对参考光施加多次相移，可重建出位于光纤测量端面的衍射物体复振幅。最后再通过数字重聚焦将所记录光场反传播到样品面实现三维复振幅重建。图9（f）展示了反向传播后重建的在焦分辨率靶幅度及相位图像。

4　先进光纤成像模态和技术

过去10年，一系列先进的光学显微成像模态和技术已经通过单根多模光纤或多芯光纤得以实现，为无透镜光纤内窥成像提供了不同模态的图像信息，或在分辨率、对比度、景深、视场、速度、稳健性等成像维度上实现突破。介绍一些有代表性的先进无透镜光纤成像模态和技术。

4.1　先进光纤成像模态

常规的无透镜光纤内窥成像主要包括线性荧光扫描成像和反射式成像，还面临诸多不足，例如轴向分辨率不够、成像信息不够充分、荧光成像存在光漂白/光毒性等。为此，研究人员将多种先进显微成像模态引入到无透镜光纤成像范畴，极大地丰富了微侵入式内窥成像的图像信息，并具有很多独特优势，如无标记成像、体成像、组织病理成像、相位成像等。这里介绍几种基于无透镜光纤的先进显微成像模态，包括共聚焦反射成像、非线性光学成像、光片荧光成像、光声成像、定量相位成像。

Lee等^［125］提出了一种基于深度门控的多模光纤共聚焦三维反射式成像，该方法无须主动波前调控，而是通过计算成像的方式，在预校准光纤的基础上，从单个反射矩阵测量中重建出不同组织深度的图像信息，并具有定量相位、暗场及偏振成像的能力。如图10（a）所示，令多模光纤TM为 $T$ ，在宽场反射式成像场景下，考虑光在光纤内前向传播、光纤到样品自由空间衍射传播［ $传播算子 H (z_{i})$ ］、样品反射［样品反射矩阵 $R$ （z_i)］、样品到光纤自由空间传播和光纤内反向传播等过程，其中 $z_{i}$ 表示样品层到光纤末端的距离，则完整的往返反射矩阵 $M$ 可表示为

多种先进的无透镜光纤成像模态。（a）多模光纤三维共聚焦反射式成像原理示意图［125］；（b）图10（a）装置对多模光纤末端的载玻片前表面（距离120 μm）和后表面（距离320 μm）的重建结果［125］；（c）透过多模光纤，在一系列Stokes光和pump光频率差下对2.5 μm直径PMMA颗粒和2 μm直径聚苯乙烯颗粒的相干反斯托克斯拉曼散射图像［126］；（d）利用多模光纤对小鼠心脏的3个不同位置（I心包，II心室壁，III心房壁）进行线性偏振二次谐波成像的结果［127］；（e）利用多模光纤进行光片显微成像的装置示意图，其中子图（I~III）为在焦的，子图（IV~VI）为离焦的高斯（GB）光片、贝塞尔（BB）光片、结构光贝塞尔（SI-BB）光片沿yz方向的剖面图［128］；（f）基于多模光纤对血红细胞进行光声显微成像的原理［129］；（g）基于多芯光纤对麻醉小鼠肠道进行荧光强度与寿命成像的结果，及直线处的信号强度和荧光寿命值［130］；（h）癌细胞分裂的常规强度显微图像（左）与基于多芯光纤定量相位成像的幅度（中）与相位（右）分布［32］。注意来自于文献［125-127，129-130］的图像经许可重印 © Optica Publishing Group

图 10. 多种先进的无透镜光纤成像模态。（a）多模光纤三维共聚焦反射式成像原理示意图^［125］；（b）图10（a）装置对多模光纤末端的载玻片前表面（距离120 μm）和后表面（距离320 μm）的重建结果^［125］；（c）透过多模光纤，在一系列Stokes光和pump光频率差下对2.5 μm直径PMMA颗粒和2 μm直径聚苯乙烯颗粒的相干反斯托克斯拉曼散射图像^［126］；（d）利用多模光纤对小鼠心脏的3个不同位置（I心包，II心室壁，III心房壁）进行线性偏振二次谐波成像的结果^［127］；（e）利用多模光纤进行光片显微成像的装置示意图，其中子图（I~III）为在焦的，子图（IV~VI）为离焦的高斯（GB）光片、贝塞尔（BB）光片、结构光贝塞尔（SI-BB）光片沿yz方向的剖面图^［128］；（f）基于多模光纤对血红细胞进行光声显微成像的原理^［129］；（g）基于多芯光纤对麻醉小鼠肠道进行荧光强度与寿命成像的结果，及直线处的信号强度和荧光寿命值^［130］；（h）癌细胞分裂的常规强度显微图像（左）与基于多芯光纤定量相位成像的幅度（中）与相位（右）分布^［32］。注意来自于文献［125-127，129-130］的图像经许可重印 © Optica Publishing Group

Fig. 10. Multiple advanced lensless fiber-optic imaging modalities. (a) Schematic of MMF 3D confocal reflection imaging^[125]; (b) reconstruction results at the front surface (120 μm away) and the back surface (320 μm away) of a coverslip from the end of the MMF using the setup in Fig.10(a)^[125]; (c) MMF-based CARS images of 2.5 μm PMMA and 2 μm polystyrene particles over a series of frequency difference between the Stokes and pump beams^[126]; (d) MMF-based linear polarization SHG imaging results of the mouse heart for three different positions (I pericardium, II ventricular wall, and III atrial wall)^[127]; (e) simplified diagram of light sheet microscopy using a MMF, in which the sub-plots (I‒III) are in focus, and the subplots (IV‒VI) are defocused yz-plane profiles of the Gaussian (GB), Bessel (BB), and structured light Bessel (SI-BB) light sheets^[128]; (f) schematic of PAM of red blood cells using an MMF^[129]; (g) fluorescence intensity and lifetime imaging results of anesthetized mouse intestine based on MCF and their intensity and fluorescence lifetime values at the straight lines^[130]; (h) cancer cell cytokinesis intensity image with a regular microscope (left), and amplitude (middle) and phase (right) distributions with MCF-based quantitative phase imaging^[32]. Note the images from Ref. [125-127, 129-130] are reprinted with permission © Optica Publishing Group

下载图片查看所有图片

M = T^{T} [\sum_{i} H^{T} (z_{i}) R (z_{i}) H (z_{i})] T

。（21）

通过建模不同距离的传播算子 $H (z_{i})$ 并对实验测得的TM求Tikhonov逆，可分离得到对应不同 $z_{i}$ 的对角矩阵估计 $\tilde{R} (z_{i})$ 。注意 $\tilde{R} (z_{i})$ 的对角元素包含了样品层的反射率分布，对应在 $z_{i}$ 处进行虚拟聚焦照明和探测，创造了一种空间共聚焦滤波效果。图10（b）展示了对光纤末端载玻片前、后表面物体的重建结果。此外，这种自由空间传播算子还可以用于扫描成像中对所测光纤TM进行补充，从而可以数值改变成像平面位置，从而无须测量多个对应不同校准平面的TM。Čižmár课题组^［41］利用建模传输算子对TM进行数值更新，实现多模光纤末端不同距离处的反射式成像。

考虑光纤非线性光学显微成像，Moser课题组^［88］于2015年利用时间门控DOPC技术透过多模光纤产生并扫描飞秒脉冲聚焦光，实现了双光子荧光显微成像。Čižmár课题组^［126］于2019年实现了透过多模光纤的相干反斯托克斯拉曼散射（CARS）显微成像，该技术具有无标记成像能力和化学对比度。图10（c）展示了在一系列Stokes光和pump光频率差下对2.5 μm直径聚甲基丙烯酸甲酯（PMMA）颗粒和2 μm直径聚苯乙烯（polystyrene）颗粒的成像结果。该方法具有对脂质新陈代谢和组织结构的在体成像能力，有望用于深层病变组织的即时原位诊断。此后Čižmár课题组还与同事^［127］合作提出了透过多模光纤的无标记、偏振敏感的二次谐波（SHG）显微成像，可对小鼠尾部肌腱和图10（d）所示的心脏组织进行成像并区分不同结构蛋白，有望用于对敏感组织中的肿瘤和纤维化状况进行微侵入式、即时的原位诊断。这些非线性光学成像技术增加了信号的激发效率，有利于减轻光漂白和光毒性。此外，Čižmár课题组^［128］也展示了基于多模光纤的光片荧光显微成像。如图10（e）所示，测出多模光纤的TM后使用SLM进行复振幅调控，并利用声光偏转器（AOD）快速偏转入射光束，该方法可透过多模光纤生成并高速切换聚焦点，产生光片用于样品荧光激发。进一步，研究者通过对SLM全息图施加圆环滤波，可将高斯光片转换为无衍射贝塞尔（BB）光片和结构光贝塞尔（SI-BB）光片，显著提升成像轴向分辨率和对比度。最近Zhao等^［67］报道了基于多模光纤的光声内窥显微成像，起初他们采用超声换能器，此后使用一种具有平凸微谐振腔的光纤超声传感器^［129］采集光声信号，从而研制出集成多模光纤和光纤超声传感器的光声内窥针管探头。图10（f）为利用多模光纤内窥探头对100 μm视场内的小鼠血红细胞进行光声显微成像的示意图。最近Lin等^［130］报道了基于多芯光纤（末端胶合微型物镜）的双光子荧光寿命显微成像，并用于小鼠肠道［图10（g）］、肾脏、肝脏及肿瘤等多个部位活体成像，具有390 μm成像视场和1.5 μm的横向分辨率。相比荧光强度成像，荧光寿命成像不受荧光浓度、光强和光吸收影响，可对组织细胞微环境实现高对比度和高精度的测量。Sun等^［32］则报道了基于无透镜多芯光纤的定量相位成像，并对癌细胞分裂进行幅度和相位成像，如图10（h）所示。

4.2　先进光纤成像技术

介绍一些先进无透镜光纤成像技术和特种光纤成像技术。它们通过采用新型成像技术或新型光纤工艺，在分辨率、视场、空间深度、稳健性等不同成像维度上取得了显著突破，包括超分辨成像、长距离成像、飞行时间成像、大景深成像、光场成像、侧视多模光纤及抗干扰多芯光纤。

Yang课题组^［131］最近提出了一种基于多模光纤的空间频率域编码追踪自适应信标光场编码（STABLE）内窥成像技术，实现了多模光纤运动状态下的超分辨成像，其中超分辨成像得益于STABLE技术中的全矢量（复振幅和偏振态）调控和荧光发射差分原理^［132］。如图11（a）所示，通过对多模光纤产生的高斯聚焦和甜甜圈聚焦信号进行差分，可产生更窄的系统PSF。令 $I_{c}$ 和 $I_{n}$ 分别为归一化的高斯点扫描图像和甜甜圈点扫描图像，则所得的超分辨差分图像为 $I_{V D} = I_{c} - r I_{n}$ ，其中差分系数r=0.7。图11（b）显示了常规技术和STABLE技术对荧光小球的扫描成像结果，表明STABLE技术可实现1.5倍分辨率提升，从而突破了光学衍射极限，达到了 $λ / 3 N A$ （ $λ$ 为激发波长，NA为光纤数值孔径）。常规多模光纤成像的工作距离受限于光学衍射传播仅有几十到上百微米，导致成像视场较小。2021年，Čižmár课题组^［133］提出了一种多模光纤“远场”反射成像内窥镜，该内窥镜可对20~400 mm距离的远端物体（如机械钟和甜椒的内部）进行探测成像。由于阶跃折射率光纤的PIM模式是近似无衍射光束的，因此通过利用PIM表示的TM在光纤近端共轭面上进行相位调控，可实现在光纤末端远场的高效聚焦［图11（e）］和扫描成像。考虑照明光纤末端的玻璃/空气界面反射对物体反射信号的严重干扰，采用两根多模光纤分别用于入射照明和信号接收。同年，Čižmár课题组还和合作者^［134］提出了基于多模光纤的长距离、飞行时间三维成像，即内窥式激光雷达。如图11（c）所示，研究人员使用照明光纤传导并扫描脉冲聚焦光，使用接收光纤采集远端物体反射回的脉冲信号，通过对脉冲信号进行飞行时间探测可获取物体的空间深度信息。该内窥激光雷达可对光纤末端数米远的移动物体实现~5 Hz的飞行时间成像，其中图11（d）显示了在不同时刻记录到的旋转棋盘的深度图像。针对无透镜光纤成像景深不足的问题，也有一些通过数字调整多芯光纤接收孔径从而拓展景深^［135］或者在多模光纤压缩成像场景中拓展景深^［136］的工作。

近期具有代表性的先进无透镜光纤成像技术。（a）基于荧光发射差分的多模光纤STABLE超分辨成像原理及有无STABLE的系统的PSF曲线对比［131-132］；（b）多模光纤对荧光小球进行常规及STABLE成像的结果对比，其中刻度尺为0.5 μm［131］；（c）多模光纤全息内窥镜用于长距离、飞行时间成像的示意图［134］；（d）图11（c）装置对光纤末端~30 cm处旋转棋盘在不同时刻记录到的深度图像序列［134］；（e）通过在多模光纤近端共轭面上的相位调控，实现光纤末端远场的高效聚焦的示意图［133］；（f）新型侧视多模光纤示意图及其对分辨率靶的侧视成像结果［137］；（g）具有构象不变性的扭曲多芯光纤示意图及其在弯曲状态下对测试目标的双光子成像结果［138］；（h）无透镜多芯光纤光场成像示意图，包括光纤几何结构和输出端面图像（不同纤芯对应不同入射角）［139］；（i）无透镜多芯光纤对透镜纸纤维所成的深度图［139］。注意部分图像来自文献［134，139］© 作者，保留部分权力，AAAS专有许可，经CC BY-NC 4.0协议发布，http：//creativecommons.org/licenses/by-nc/4.0/，经AAAS许可重印；部分图像经许可重印自文献［137-138］© Optica Publishing Group

图 11. 近期具有代表性的先进无透镜光纤成像技术。（a）基于荧光发射差分的多模光纤STABLE超分辨成像原理及有无STABLE的系统的PSF曲线对比^{［131-132］}；（b）多模光纤对荧光小球进行常规及STABLE成像的结果对比，其中刻度尺为0.5 μm^［131］；（c）多模光纤全息内窥镜用于长距离、飞行时间成像的示意图^［134］；（d）图11（c）装置对光纤末端~30 cm处旋转棋盘在不同时刻记录到的深度图像序列^［134］；（e）通过在多模光纤近端共轭面上的相位调控，实现光纤末端远场的高效聚焦的示意图^［133］；（f）新型侧视多模光纤示意图及其对分辨率靶的侧视成像结果^［137］；（g）具有构象不变性的扭曲多芯光纤示意图及其在弯曲状态下对测试目标的双光子成像结果^［138］；（h）无透镜多芯光纤光场成像示意图，包括光纤几何结构和输出端面图像（不同纤芯对应不同入射角）^［139］；（i）无透镜多芯光纤对透镜纸纤维所成的深度图^［139］。注意部分图像来自文献［134，139］© 作者，保留部分权力，AAAS专有许可，经CC BY-NC 4.0协议发布，http：//creativecommons.org/licenses/by-nc/4.0/，经AAAS许可重印；部分图像经许可重印自文献［137-138］© Optica Publishing Group

Fig. 11. Recent advanced lensless fiber-optic imaging techniques. (a) Principle of MMF STABLE super-resolution imaging based on fluorescence emission difference and comparison of system PSF curves with and without STABLE^[131-132]; (b) comparison of MMF images of fluorescent beads with conventional and STABLE techniques, with the scale bar of 0.5 μm^[131]; (c) schematic of MMF holographic endoscope used for long-distance, time-of-flight imaging^[134]; (d) depth image sequence recorded at different time for a revolving chessboard ~30 cm at the end of the fiber^[134]; (e) schematic of phase modulation in a plane conjugate to the proximal fiber facet for achieving efficient far-field focusing through an MMF^[133]; (f) illustration of a novel side-viewing MMF and its side-view imaging results of a resolution target^[137]; (g) illustration of a twist MCF with conformational invariance and its two-photon imaging results of a test target in the bending state^[138]; (h) schematic of lensless MCF light field imaging, including fiber geometry and the distal facet image (note different fiber cores correspond to different incident angles)^[139]; (i) depth map of lens paper tissue with a lensless MCF^[139]. Note some images are from Refs.[134, 139] © The Authors, some rights reserved; exclusive licensee AAAS. Distributed under a CC BY-NC 4.0 license, http://creativecommons.org/licenses/by-nc/4.0/, reprinted with permission from AAAS; some images are reprinted with permission from Refs.[137-138] © Optica Publishing Group

下载图片查看所有图片

研究者还发现可以将单根多芯光纤作为一种非相干光场成像探头^［139］使用，因为多芯光纤的多个纤芯强度图像包含了输入物体的光场信息，而这在之前一直被忽略。如图11（h）所示，光纤末端不同纤芯强度图像对应着荧光点源物体的不同入射角度，通过光场矩成像可以提取所丢失的方向角信息。此外，对光纤末端纤芯强度分布进行数字孔径滤波可以合成收缩的数值孔径。通过对物体光场信息进行建模处理，可以实现对光纤末端显微物体的数字重聚焦、立体视觉及深度匹配。图11（i）展示了在没有扫描的情况下，基于无透镜多芯光纤对透镜纸纤维的三维深度成像结果。对于无透镜光纤成像，一些先进光纤制造工艺也被引进实现更优越的成像性能。Čižmár课题组^［137］于2021年研发出了一种侧视多模光纤，其示意图如图11（f）所示。这种光纤末端具有45^o铝涂层反射面，使光发生反射并经平坦的5^o抛光输出端面实现侧向照明。通过对分辨率靶成像进行表征，侧视多模光纤较常规前视光纤（0.35）具有更大的有效NA（0.41）。进一步，研究人员将这种侧视多模光纤用于活体成像，表明其有助于观察偏离光纤轴的组织体，其侧视结构也减轻了插入时对组织的损伤^［65］。无论是多模光纤还是多芯光纤，都存在变形后传输矩阵失效的问题。Tsvirkun等^［138］通过将多芯光纤中的不同纤芯设计为扭曲形态，研制出了一种具有构象不变性的多芯光纤。这种扭曲多芯光纤在末端形成聚焦后，即使光纤发生弯曲也几乎不改变，因此可用于更稳健、柔性的内窥成像。图11（g）为这种扭曲多芯光纤的示意图及其发生弯曲时的稳定成像结果。

5　无透镜光纤成像相关应用

凭借超细外径、高聚焦分辨率、大传输容量、多种成像模态等优势，相干光下利用主动波前调控或被动目标重建等原理，无透镜光纤在微侵入内窥成像中获得了重要应用。除此之外，由于成像技术是许多相关应用的基础，无透镜光纤还在精准光遗传学、光学操纵、数据通信和光计算等场景下获得了应用。对无透镜光纤成像相关应用的发展进行总结，并将其中的代表性工作归纳于表2。

5.1　光纤内窥显微成像

内窥显微成像是无透镜光纤的主要应用场景和应用基础，其中第3节和第4节已经对成像方法和先进成像技术进行了充分阐述，读者可以从中了解到光纤（特别是多模光纤）内窥成像的技术方向和发展历程。对于多模光纤内窥成像，TM方法相比波前优化或共轭在速度和易用性上具有明显优势，高速DMD（结合4f系统进行相位调制）相比LC-SLM在校准和扫描速度上也有显著优势，因此二者自2017年后成为主流范式。Piestun课题组^［61］所设计的单根多模光纤内窥镜还只是在4 µm荧光小球上进行了荧光扫描成像验证。2018年，Ohayon等^［63］采用同轴相移全息校准多模光纤并对静态离体样品（仓鼠肾细胞，表达eGFP）、动态离体样品（海马神经组织，表达GCaMp6f）甚至对病毒转染的野生小鼠深脑神经元活动进行成像。然而，成像对比度和信噪比（特别是植入式活体成像）还比较低。同年，Čižmár课题组及其合作者^［102］利用多模光纤接连展示了对活体小鼠深层神经元结构（如树突和突触异化）的亚细胞级分辨率荧光成像，以及对活体小鼠视觉皮层抑制性神经元和海马体的在体观测结果^［64］。后者具有较高的横向分辨率（1.18 μm）和荧光成像质量，特别是采用一种平锥端面的多模光纤减少了组织损伤并基于高速DMD达到了3.5 frame/s的成像速率。最近，该课题组^［65］还提出一种基于外径110 μm侧视多模光纤的荧光内窥显微镜，该显微镜能在鼠脑任意部位进行体荧光成像，横向分辨率低于1 μm且具有多波长探测能力。除了展示对荧光标记神经元及树突、血管的结构成像，他们还实现了对神经元钙离子活动和血流速度的功能内窥成像。

无透镜多芯光纤内窥成像也可以基于波前优化、波前共轭以及TM方法（参考第3节）。此外，由于多芯光纤仅存在纤芯间相位畸变，可准确传导强度图像，且具有多纤芯导光结构，因此各种基于宽场探测的计算显微成像方法层出不穷^{［32-33，124，139-141］}（部分可参考第4节），且许多工作都具有无须光纤校准、柔性内窥成像等优势。限于篇幅笔者在此不再过多展开，仅以Choi课题组^［33］的工作为例。他们在2022年提出了一种基于无透镜多芯光纤的傅里叶全息内窥镜，并对未染色大鼠肠道组织进行反射成像，获得了0.85 μm的横向分辨率，该内窥镜可用于对深层组织的早期诊断，其后续工作还实现了对连续移动物体的实时成像^［142］。更多的多芯光纤内窥成像工作介绍可参考综述文章^［143］。

5.2　光纤光遗传学

光遗传学是通过光刺激某些特定神经元或神经环路（均表达光敏蛋白），研究神经活动与相应动物行为特征或疾病关联的科学。微侵入式光纤是对深脑神经元进行光刺激和监测的绝佳载体，因而在光遗传学研究中获得了广泛运用。早期的光纤光遗传学研究直接采用多模光纤传导的弥散光斑进行宽场照明，激活大片神经元^［144］，但无法实现选择性激活，因此难以精确研究哪些神经元活动与行为活动直接关联。得益于波前整形及相关光纤制造技术的发展，研究者可以通过无透镜多模光纤或锥形多芯光纤实现单细胞分辨率的精准光遗传学研究。注意到光纤光遗传学的范围较广，读者可参考综述文章^［145］，在此仅简要回顾基于波前整形赋能的多模光纤以及一种基于相控阵光纤天线的无透镜锥形多芯光纤，用于精准光遗传学。2022年香港理工大学Lai课题组^［146］利用同轴相移全息校准后的多模光纤展示了其透过小鼠颅骨切片进行高分辨光学聚焦（1.6 μm）及扫描的能力，且对离体小鼠原代神经元进行了选择性精准光刺激，并通过膜片钳系统和钙离子荧光成像实验进行了验证。Mohit等^［147］提出了一种末端尺寸仅20 μm的锥形多芯光纤，其可视作一种相控光纤天线阵列，通过改变进入每根光纤天线的相位可调节末端光束的转向。这种锥形多芯光纤能产生5 μm尺寸聚焦点，有望用于单个或多个神经元光刺激的精准光遗传学研究。

表 2. 使用相干光调控的无透镜光纤成像相关应用

Table 2. Related applications of lensless fiber-optic imaging via coherent light modulation

Application	Fiber	Method	Feature	Reference
Endomicroscopic imaging	MMF	TM-based scanning fluorescence imaging	First demo of single MMF endoscope with DMD，FOV is 80 μm，resolution is 2 μm	Ref.［61］
	MMF	TM-based scanning fluorescence imaging	High-fidelity mouse brain in vivo imaging via a polished MMF，lateral resolution is 1.18 μm，frame rate is 3.5 frame/s	Ref.［64］
	MMF	TM-based scanning fluorescence imaging	In vivo functional imaging of neuro and blood flow via a 110 μm thin MMF，lateral resolution is <1 μm	Ref.［65］
	MCF	Fourier holographic reflection imaging	Calibration-free image reconstruction，spatial resolution is 0.85 μm	Ref.［33］
Optogenetics	MMF	TM-based selective focusing	Ex vivo，precise optogenetics with a WFS-empowered MMF，1.6 μm focus	Ref.［146］
Optogenetics	Tapered MCF	Phase control of fiber-optic antenna	Phased matching optical antenna array，focus spots of 5 μm；not applied yet	Ref.［147］
Optical manipulation	MMF	TM-based holographic optical tweezer	Soft-glass MMF with NA~1，real-time manipulation of 3D particles in cavity	Ref.［148］
Optical manipulation	Machined MCF	Self-fabricated MCF-based tweezer	Flexible，single cell manipulation with the machined MCF tweezer of NA 1.039	Ref.［149］
Data communication and computation	MMF	Deep learning for image recovery from speckles	Transmission of natural scene color images at video frame rate	Ref.［29］
	MMF	SSM-based image recovery from speckles	High-fidelity image transmission with 24 OAM-multiplexed channels	Ref.［107］
	MMF	TM-based input phase superposition	All-optic basic logic gates and bitwise operations with a WFS-empowered MMF	Ref.［150］

查看所有表

5.3　光纤光学操纵

光学操纵（也称光学捕获、光学镊子）一般指用聚焦光束中的光学力（包括梯度力和散射力）固定和操纵（如移动、旋转）纳米及微米级的电介质微粒，如生物分子、细菌病毒等。这项技术对于生物医学研究十分关键并获得2018年诺贝尔物理学奖。传统的自由空间光镊需要高NA物镜产生高度聚焦光束，而光纤由于灵活性、高灵敏度、高集成度及衍射极限约束度也已广泛用于多种光学操纵装置中，包括锥形光纤、等离子光纤、纳米光纤及空心光纤等，感兴趣读者可参考综述文章^［151］进一步了解基于光纤的光学操纵技术。然而，常规的多模光纤和多芯光纤由于具有较大的模场直径和较低NA，所产生的光学梯度力较弱，捕获刚度及效率较低，因此并不常用于光镊。但也可以通过制备具有高NA的光纤实现光镊应用。2018年Čižmár课题组^［148］研制出一种新型复合软玻璃阶跃折射率多模光纤，在620 nm波长以下其NA值大于1，用于复杂环境下的三维全息光镊。研究者在PIM表示下对光纤进行校准，并基于DMD进行全息光场调控，实现了对微米颗粒的三维和实时操纵。特别是，得益于PIM表示下的光纤远场聚焦能力，他们在光纤末端100 mm外施展光学捕获并进行纳米级定位。对于无透镜多芯光纤光镊，2018年Anastasiadi等^［149］制备了一种机加工的多芯光纤，其具有4根纤芯，其中两根对角的纤芯末端被刻蚀为反射镜面，因此这两根纤芯发出的光束在末端偏转并会聚，形成一种光学陷阱。经表征，这种微加工多芯光纤的NA值最大可达1.039，最大捕获力为26.5 pN，可用于对微粒的三维操纵。

5.4　光纤数据通信和运算

常规基于光发射器、光纤传输二进制调制信号、光接收机的光纤通信系统已较为成熟，这里所提到的无透镜光纤数据通信聚焦于近期使用物理或深度学习模型实现通过多模光纤的图像传输或逻辑运算等相关研究。多模光纤图像传输方法主要包括基于深度学习和基于TM进行图像重建的方法，读者可参考3.2节。2018年，Psaltis课题组和Moser课题组均使用深度神经网络从多模光纤输出的散斑强度图像重建数字体图像，此后Caramazza等通过使用单隐层网络拟合TM逆矩阵便已经可以通过多模光纤传输彩色自然场景图像，并实现视频级帧率。2020年，Zhao等^［107］通过测量空间域TM，并基于SSM方法从散斑中同时恢复输入光场振幅和相位，透过35 m长多模光纤实现了基于24个OAM模式编码的彩色Lena图像数据传输，误码率为0.72%。然而，基于空间域TM的方法仍存在OAM模式分辨率受限以及从空域到OAM域的空间模式分解较为繁琐的问题。为此，Liu等^［152］提出使用OAM表示的TM，基于相位编码技术和SSM方法，仅利用少量相机测量像素，通过60 m长多模光纤实现了彩色图像传输，误码率低至0.005%。此外，最近香港理工大学Lai课题组^［150］使用基于TM的波前整形方法实现了基于15 m长多模光纤的基础逻辑门和按位运算，该方法有望为光纤长距离逻辑信号处理和传输开辟新途径。

6　讨论及结语

6.1　问题与挑战

目前，无透镜相干光纤成像还面临一些问题和不足，根据光纤类型及成像方法的差异，将分别对多模光纤和多芯光纤成像进行说明。对于多模光纤，首先，基于波前整形技术（特别是TM方法）的多模光纤扫描成像质量仍然不够，主要体现在视场大小、对比度、（轴向）分辨率及成像帧速等方面。多模光纤的成像视场比较小，通常在几十到几百微米，与光纤纤芯直径和工作距离（即校准平面到光纤末端面的距离）有关，且由于衍射效应会随着工作距离增加而增强，横向分辨率显著下降。过小的成像视场也使得多模光纤局限于对神经元、微粒等细微结构和区域进行成像，限制了其在图像引导微创手术、工业监测中的应用。另外，多模光纤的NA值通常较小，造成其轴向分辨率较低，缺乏光学切片成像能力，且引起不同厚度组织激发的信号相混叠，降低了成像对比度。多模光纤扫描成像的帧速也受限于图像像素数和空间光调制器件刷新率，例如当前常用的VIALUX公司DMD产品的典型刷新率上限为23 kHz，即对于100×100图像的成像帧速不超过2.3 frame/s。此外，多模光纤成像另一个主要不足在于所测TM对光纤形变和外部干扰很敏感，一些力学、温度的扰动会导致光纤预校准失效从而引起聚焦、成像发生退化。这使得当前多模光纤成像局限于刚性内窥镜范畴，而实际使用中往往希望使用柔性内窥镜以开展灵活观测和其他应用。

对于多芯光纤，早期的非相干光成像存在像素化问题，而相干光成像则存在纤芯间相位畸变问题，可通过波前预补偿实现衍射极限扫描成像或通过计算成像方法实现衍射极限图像重建，已成为下一代无透镜超细内窥成像的卓越解决方案。多芯光纤的成像视场也在几百微米左右，仅比多模光纤略大，并且成像分辨率、对比度以及成像帧速也需要进一步改进。不过，当前多芯光纤无透镜成像的主要不足还体现在如下方面：弯曲敏感性、多峰点扩散函数及较低的Strehl比率^［9］。类似于会改变多模光纤中的模式传播的弯曲形变，它也会改变多芯光纤中不同纤芯的光程差，造成不同相位畸变，这也可能导致形变前所施加的波前补偿发生失效。由于多芯光纤具有周期性排布的纤芯结构，其成像PSF呈现多峰分布，从而造成聚焦具有旁瓣效应，如图5（d）所示，可能造成扫描成像出现图像重叠。此外，如果纤芯间距较大引起表面覆盖率低，则会导致从多芯光纤发出的光仅有一小部分（称为Strehl比率）经波前整形会聚于焦点上。

6.2　发展方向与展望

6.2.1　提升多模光纤成像质量

针对多模光纤成像质量不足的问题，已有许多工作旨在提升聚焦效果、分辨率、对比度、视场大小及成像速度，特别是一些先进成像技术的运用，读者可回顾4.2节获得细节信息。多模光纤聚焦效果是决定成像性能的重要因素之一，其评价指标通常是聚焦功率比（聚焦时焦点所含能量占全部能量之比），可通过包含幅度、相位和偏振态的全矢量调控提升聚焦功率比^{［20，131］}。为提升多模光纤成像横向分辨率，可将超分辨显微成像技术，如荧光发射差分成像^［131］，引入光纤内窥成像。注意，宽场超分辨技术，如结构光超分辨成像，在光纤内窥场景下面临着照明扰乱和宽场信号扰乱的问题，有望通过散斑照明和单像素成像方式实现超分辨^［119］。早期一些工作还发现通过在多模光纤端面微加工出一种抛物面型微反射体增大NA^［153］或者在末端附着散射介质增大散射角^［154］等方式可以提升横向分辨率。对于提升多模光纤轴向分辨率和对比度，可以通过光片成像^［128］或者在反射场景下基于TM进行数字重聚焦和虚拟滤波的共聚焦成像^{［108，127］}实现。对于增大多模光纤的工作距离和成像视场，可以通过利用PIM表示TM实现几十厘米外的远场聚焦和反射成像^［133］，以及基于脉冲光飞行时间探测实现数米外移动物体的飞行时间三维成像^［134］实现。考虑扫描成像帧速受限的问题，目前已有一些无透镜光纤宽场成像工作，包括物理上构建一种模式转换器对多模光纤传输的信号光进行模式解耦和图像重建^［43］，以及计算上从多芯光纤单次或几次反射测量中恢复物体^{［33，124］}。此外，设备商研发出具有更大刷新率的SLM器件（如高速DMD），也能进一步提升光纤扫描成像帧速。

6.2.2　提升多模光纤成像稳健性

针对多模光纤易受干扰导致TM校准失效和成像退化的问题，近几年的研究试图在无法到达光纤远端的内窥场景下，从反射回的信号中实现光纤的原位校准（也称在线校准），从而在光纤成像退化时进行重新校准，提升成像稳健性。现有方法通常包括基于光纤末端反射器^{［155-159］}或引导星^［44］提供的反射信号重建TM，以及提前对光纤各种状态进行预校准并在光纤扰动后直接基于信标反馈从所构建的传输矩阵库中搜索最优TM^［131］。对于从反射信号重建TM的情况，注意由于多模光纤所具有的光学相互性^［160］，难以从单次往返反射矩阵测量中唯一恢复TM，必须要有对应不同远端反射器的多次测量结果消除求解歧义性，或者要有预校准TM^［155］、光纤记忆效应^［44］等先验知识。2015年，Gu等^［155］首次提出一种基于光纤末端部分反射器，并使用远端预校准结果消除近端校准重建TM时符号歧义的概念性方法。2019年，Gordon等^［156］在光纤末端制造一种对波长敏感的超表面反射器，并构建重建模型，实验结果表明可以基于三个波长下的反射数据利用迭代优化算法唯一重建出单波长TM。后续Zheng等^［158］还报道了使用深度学习加速TM单端重建的改进工作。然而，这种模型展示的重建TM维度较小。2020年，Chen等^［157］提出一种使用多模光纤远端空间复用器进行时延编码的单端信道估计方法，并实验验证了透过含6个空间模式多模光纤的远程时空聚焦。2021年，Li等^［44］报道了一种基于多模光纤末端引导星以及“近似径向”记忆效应，利用圆偏振PIM模式的相位延迟估算TM的方法，并基于该估算TM实验展示了在引导星所在等晕区的有限成像结果。最近，Yang课题组^［131］报道了STABLE技术，从多模光纤近端所测空间频率信标的强度反馈结果中以高达1 kHz速率对光纤弯曲状态进行追踪并迅速补偿，实验展示了基于动态扰动光纤的高分辨在体荧光成像结果。该方法无需光纤末端的工程化反射器，通过对光纤多种扰动状态进行简并建模和预校准，在光纤发生扰动后基于查找表实时替换TM，为光纤扰动敏感性这一棘手问题带来了一种可行的解决方案。然而，这种方法可能无法囊括光纤实际使用中的各种形状或温度扰动状态。进一步，其他基于反射信号在原位对多模光纤实现快速、准确重校准的方法也亟待发展起来。

6.2.3　提升多芯光纤成像性能

针对无透镜多芯光纤成像存在的一些问题，在此简要说明一些可行的解决方案。例如，可以通过制造纤芯呈费马黄金螺旋分布的多芯光纤以获得单峰PSF，减少聚焦旁瓣效应^［161］；针对多芯光纤能量利用效率较低的问题，可通过光纤末端微结构加工增加纤芯表面覆盖率以提升Strehl比率^［162］；此外，对于多芯光纤成像易受形变扰动的情况，可以通过制备纤芯扭曲排布的多芯光纤以获得构象不变性，增强抗扰动能力^{［138，163］}，或研发先进计算成像方法，实现无须校准的柔性光纤内窥成像^{［33，124］}。

6.3　结语

近年来得益于光学波前整形技术、各种计算光学成像方法以及快速空间光调制器件的发展，无透镜相干光纤内窥成像和相关应用获得了蓬勃的发展。基于多模光纤和多芯光纤相干光传输特性的研究，无论是以主动波前调控方式施加预补偿，还是构建物理或机器学习模型进行被动目标重建，均能实现透过无透镜超细光纤的衍射极限成像。无透镜相干光纤，特别是多模光纤，已经在活体深层脑组织实现微侵入式、高分辨率的内窥显微成像，相关的新兴应用还包括精准光遗传学、光学操纵及数据通信等。然而，现有的无透镜光纤成像还面临着成像性能不足、光纤易受扰动影响等挑战，有待通过发展先进成像技术、新型光纤制造工艺和高速光调控和成像器件进一步提升光纤成像性能、成像质量和抗干扰成像能力。展望未来，期望基于相干光调控的无透镜光纤内窥成像技术能进一步走向临床实践，例如用于微创在体病理诊断和深层脑区成像等，并在其他相关领域深化其应用潜力。

参考文献

[1] Ntziachristos V. Going deeper than microscopy: the optical imaging frontier in biology[J]. Nature Methods, 2010, 7(8): 603-614.

[2] Ouzounov D G, Wang T Y, Wang M R, et al. In vivo three-photon imaging of activity of GCaMP6-labeled neurons deep in intact mouse brain[J]. Nature Methods, 2017, 14(4): 388-390.

[3] Zhao C Z, Chen S Y, Zhang L F, et al. Miniature three-photon microscopy maximized for scattered fluorescence collection[J]. Nature Methods, 2023, 20(4): 617-622.

[4] Pilonis N D, Januszewicz W, di Pietro M. Confocal laser endomicroscopy in gastro-intestinal endoscopy: technical aspects and clinical applications[J]. Translational Gastroenterology and Hepatology, 2022, 7: 7.

[5] Gora M J, Suter M J, Tearney G J, et al. Endoscopic optical coherence tomography: technologies and clinical applications[J]. Biomedical Optics Express, 2017, 8(5): 2405-2444.

[6] Li Y, Lu G X, Zhou Q F, et al. Advances in endoscopic photoacoustic imaging[J]. Photonics, 2021, 8(7): 281.

[7] Horstmeyer R, Ruan H W, Yang C. Guidestar-assisted wavefront-shaping methods for focusing light into biological tissue[J]. Nature Photonics, 2015, 9: 563-571.

[8] Rotter S, Gigan S. Light fields in complex media: mesoscopic scattering meets wave control[J]. Reviews of Modern Physics, 2017, 89(1): 015005.

[9] Gigan S, Katz O, Rotter S, et al. Roadmap on wavefront shaping and deep imaging in complex media[J]. Journal of Physics: Photonics, 2022, 4(4): 042501.

[10] Yu Z P, Li H H, Zhong T T, et al. Wavefront shaping: a versatile tool to conquer multiple scattering in multidisciplinary fields[J]. Innovation, 2022, 3(5): 100292.

[11] 金欣, 王枭宇, 杜东宇, 等. 散射成像研究现状及展望[J]. 激光与光电子学进展, 2021, 58(18): 1811002.

Jin X, Wang X Y, Du D Y, et al. Progress and prospect of scattering imaging[J]. Laser & Optoelectronics Progress, 2021, 58(18): 1811002.

[12] 赖溥祥, 赵麒, 周颖颖, 等. 深层生物组织光学技术发展及其应用(特邀)[J]. 中国激光, 2024, 51(1): 0107003.

Lai P X, Zhao Q, Zhou Y Y, et al. Deep-tissue optics: technological development and applications (invited)[J]. Chinese Journal of Lasers, 2024, 51(1): 0107003.

[13] Vellekoop I M, Mosk A P. Focusing coherent light through opaque strongly scattering media[J]. Optics Letters, 2007, 32(16): 2309-2311.

[14] Vellekoop I M, Mosk A P. Phase control algorithms for focusing light through turbid media[J]. Optics Communications, 2008, 281(11): 3071-3080.

[15] Yaqoob Z, Psaltis D, Feld M S, et al. Optical phase conjugation for turbidity suppression in biological samples[J]. Nature Photonics, 2008, 2: 110-115.

[16] Papadopoulos I N, Farahi S, Moser C, et al. Focusing and scanning light through a multimode optical fiber using digital phase conjugation[J]. Optics Express, 2012, 20(10): 10583-10590.

[17] Popoff S M, Lerosey G, Carminati R, et al. Measuring the transmission matrix in optics: an approach to the study and control of light propagation in disordered media[J]. Physical Review Letters, 2010, 104(10): 100601.

[18] Conkey D B, Caravaca-Aguirre A M, Piestun R. High-speed scattering medium characterization with application to focusing light through turbid media[J]. Optics Express, 2012, 20(2): 1733-1740.

[19] Andresen E R, Sivankutty S, Tsvirkun V, et al. Ultrathin endoscopes based on multicore fibers and adaptive optics: a status review and perspectives[J]. Journal of Biomedical Optics, 2016, 21(12): 121506.

[20] Gomes A D, Turtaev S, Du Y, et al. Near perfect focusing through multimode fibres[J]. Optics Express, 2022, 30(7): 10645-10663.

[21] Xiong W, Hsu C W, Bromberg Y, et al. Complete polarization control in multimode fibers with polarization and mode coupling[J]. Light, Science & Applications, 2018, 7: 54.

[22] Morales-Delgado E E, Farahi S, Papadopoulos I N, et al. Delivery of focused short pulses through a multimode fiber[J]. Optics Express, 2015, 23(7): 9109-9120.

[23] Popoff S, Lerosey G, Fink M, et al. Image transmission through an opaque material[J]. Nature Communications, 2010, 1: 81.

[24] Lee K, Park Y. Exploiting the speckle-correlation scattering matrix for a compact reference-free holographic image sensor[J]. Nature Communications, 2016, 7: 13359.

[25] Porat A, Andresen E R, Rigneault H, et al. Widefield lensless imaging through a fiber bundle via speckle correlations[J]. Optics Express, 2016, 24(15): 16835-16855.

[26] Bouchet D, Caravaca-Aguirre A M, Godefroy G, et al. Speckle-correlation imaging through a kaleidoscopic multimode fiber[J]. Proceedings of the National Academy of Sciences of the United States of America, 2023, 120(26): e2221407120.

[27] Amitonova L V, de Boer J F. Compressive imaging through a multimode fiber[J]. Optics Letters, 2018, 43(21): 5427-5430.

[28] Amitonova L V, de Boer J F. Endo-microscopy beyond the Abbe and Nyquist limits[J]. Light, Science & Applications, 2020, 9: 81.

[29] Caramazza P, Moran O, Murray-Smith R, et al. Transmission of natural scene images through a multimode fibre[J]. Nature Communications, 2019, 10: 2029.

[30] Wu G H, Sun Y, Yin L F, et al. High-definition image transmission through dynamically perturbed multimode fiber by a self-attention based neural network[J]. Optics Letters, 2023, 48(10): 2764-2767.

[31] Liu Z T, Wang L L, Meng Y, et al. All-fiber high-speed image detection enabled by deep learning[J]. Nature Communications, 2022, 13: 1433.

[32] Sun J W, Wu J C, Wu S, et al. Quantitative phase imaging through an ultra-thin lensless fiber endoscope[J]. Light, Science & Applications, 2022, 11(1): 204.

[33] Choi W, Kang M, Hong J H, et al. Flexible-type ultrathin holographic endoscope for microscopic imaging of unstained biological tissues[J]. Nature Communications, 2022, 13: 4469.

[34] OkamotoK. Fundamentals of optical waveguides[M]. 2nd ed. Burlington: Elsevier Academic Press, 2006.

[35] YarivA, YehP. Photonics: optical electronics in modern communications[M]. 6th ed. New York: Oxford University Press, 2007.

[36] Kutz J N, Cox J A, Smith D. Mode mixing and power diffusion in multimode optical fibers[J]. Journal of Lightwave Technology, 1998, 16(7): 1195-1202.

[37] Fan S H, Kahn J M. Principal modes in multimode waveguides[J]. Optics Letters, 2005, 30(2): 135-137.

[38] Shemirani M B, Mao W, Panicker R A, et al. Principal modes in graded-index multimode fiber in presence of spatial- and polarization-mode coupling[J]. Journal of Lightwave Technology, 2009, 27(10): 1248-1261.

[39] KahnJ M, HoK P, ShemiraniM B. Mode coupling effects in multi-mode fibers[C]∥OFC/NFOEC, March 4-8, 2012, Los Angeles, CA, USA. New York: IEEE Press, 2012.

[40] Juarez A A, Krune E, Warm S, et al. Modeling of mode coupling in multimode fibers with respect to bandwidth and loss[J]. Journal of Lightwave Technology, 2014, 32(8): 1549-1558.

[41] Plöschner M, Tyc T, Čižmár T. Seeing through chaos in multimode fibres[J]. Nature Photonics, 2015, 9: 529-535.

[42] Li S H, Saunders C, Lum D J, et al. Compressively sampling the optical transmission matrix of a multimode fibre[J]. Light, Science & Applications, 2021, 10: 88.

[43] Būtaitė U G, Kupianskyi H, Čižmár T, et al. How to build the “optical inverse” of a multimode fibre?[J]. Intelligent Computing, 2022, 2022: 9816026.

[44] Li S H, Horsley S A R, Tyc T, et al. Memory effect assisted imaging through multimode optical fibres[J]. Nature Communications, 2021, 12: 3751.

[45] GoodmanJ W. Speckle phenomena in optics: theory and applications[M]. 8th ed. Englewood: Roberts & Co, 2007.

[46] Senarathna J, Rege A, Li N, et al. Laser Speckle Contrast Imaging: theory, instrumentation and applications[J]. IEEE Reviews in Biomedical Engineering, 2013, 6: 99-110.

[47] Zhao Q, Li H H, Yu Z P, et al. Speckle-based optical cryptosystem and its application for human face recognition via deep learning[J]. Advanced Science, 2022, 9(25): 2202407.

[48] Li H H, Cao F, Zhou Y Y, et al. Interferometry-free noncontact photoacoustic detection method based on speckle correlation change[J]. Optics Letters, 2019, 44(22): 5481-5484.

[49] Zhong T T, Yu Z P, Li H H, et al. Active wavefront shaping for controlling and improving multimode fiber sensor[J]. Journal of Innovative Optical Health Sciences, 2019, 12(4): 1942007.

[50] Daniel A, Liberman L, Silberberg Y. Wavefront shaping for glare reduction[J]. Optica, 2016, 3(10): 1104-1106.

[51] Cheng S F, Zhong T T, Woo C M, et al. Alternating projection-based phase optimization for arbitrary glare suppression through multimode fiber[J]. Optics and Lasers in Engineering, 2023, 161: 107368.

[52] Li R J, Cao L C. Progress in phase calibration for liquid crystal spatial light modulators[J]. Applied Sciences, 2019, 9(10): 2012.

[53] HOLOEYE. Spatial light modulators[EB/OL]. (2022-07-01)[2023-08-25]. https://holoeye.com/products/spatial-light-modulators/.

[54] Rosales-GuzmánC, ForbesA. How to shape light with spatial light modulators[M]. Bellingham: SPIE, 2017.

[55] Allen J. Application of patterned illumination using a DMD for optogenetic control of signaling[J]. Nature Methods, 2017, 14(11): 1114.

[56] Ren Y X, Lu R D, Gong L. Tailoring light with a digital micromirror device[J]. Annalen Der Physik, 2015, 527(7/8): 447-470.

[57] PopoffS M. Setting up a DMD: diffraction effects[EB/OL]. (2016-10-29)[2023-08-26]. https://www.wavefrontshaping.net/post/id/21.

[58] Goorden S A, Bertolotti J, Mosk A P. Superpixel-based spatial amplitude and phase modulation using a digital micromirror device[J]. Optics Express, 2014, 22(15): 17999-18009.

[59] Zhuang Z Y, Ho H P. Application of digital micromirror devices (DMD) in biomedical instruments[J]. Journal of Innovative Optical Health Sciences, 2020, 13(6): 2030011.

[60] Turtaev S, Leite I T, Mitchell K J, et al. Comparison of nematic liquid-crystal and DMD based spatial light modulation in complex photonics[J]. Optics Express, 2017, 25(24): 29874-29884.

[61] Caravaca-Aguirre A M, Piestun R. Single multimode fiber endoscope[J]. Optics Express, 2017, 25(3): 1656-1665.

[62] Boniface A, Dong J, Gigan S. Non-invasive focusing and imaging in scattering media with a fluorescence-based transmission matrix[J]. Nature Communications, 2020, 11: 6154.

[63] Ohayon S, Caravaca-Aguirre A, Piestun R, et al. Minimally invasive multimode optical fiber microendoscope for deep brain fluorescence imaging[J]. Biomedical Optics Express, 2018, 9(4): 1492-1509.

[64] Turtaev S, Leite I T, Altwegg-Boussac T, et al. High-fidelity multimode fibre-based endoscopy for deep brain in vivo imaging[J]. Light, Science & Applications, 2018, 7: 92.

[65] Stibůrek M, Ondráčková P, Tučková T, et al. 110 μm thin endo-microscope for deep-brain in vivo observations of neuronal connectivity, activity and blood flow dynamics[J]. Nature Communications, 2023, 14: 1897.

[66] Scharf E, Dremel J, Kuschmierz R, et al. Video-rate lensless endoscope with self-calibration using wavefront shaping[J]. Optics Letters, 2020, 45(13): 3629-3632.

[67] Zhao T R, Ma M T, Ourselin S, et al. Video-rate dual-modal photoacoustic and fluorescence imaging through a multimode fibre towards forward-viewing endomicroscopy[J]. Photoacoustics, 2021, 25: 100323.

[68] Caravaca-Aguirre A M, Niv E, Conkey D B, et al. Real-time resilient focusing through a bending multimode fiber[J]. Optics Express, 2013, 21(10): 12881-12887.

[69] Lee W H. Binary computer-generated holograms[J]. Applied Optics, 1979, 18(21): 3661-3669.

[70] Guan Y F, Katz O, Small E, et al. Polarization control of multiply scattered light through random media by wavefront shaping[J]. Optics Letters, 2012, 37(22): 4663-4665.

[71] Čižmár T, Dholakia K. Shaping the light transmission through a multimode optical fibre: complex transformation analysis and applications in biophotonics[J]. Optics Express, 2011, 19(20): 18871-18884.

[72] Liu B H, Weiner A M. Space-time focusing in a highly multimode fiber via optical pulse shaping[J]. Optics Letters, 2018, 43(19): 4675-4678.

[73] Velsink M C, Amitonova L V, Pinkse P W H. Spatiotemporal focusing through a multimode fiber via time-domain wavefront shaping[J]. Optics Express, 2021, 29(1): 272-290.

[74] RosenS, GilboaD, KatzO, et al. Focusing and scanning through flexible multimode fibers without access to the distal end[EB/OL]. (2015-06-29)[2023-11-12]. http://arxiv.org/abs/1506.08586.

[75] Weiss U, Katz O. Two-photon lensless micro-endoscopy with in situ wavefront correction[J]. Optics Express, 2018, 26(22): 28808-28817.

[76] Cui M. Parallel wavefront optimization method for focusing light through random scattering media[J]. Optics Letters, 2011, 36(6): 870-872.

[77] Conkey D B, Brown A N, Caravaca-Aguirre A M, et al. Genetic algorithm optimization for focusing through turbid media in noisy environments[J]. Optics Express, 2012, 20(5): 4840-4849.

[78] Woo C M, Li H H, Zhao Q, et al. Dynamic mutation enhanced particle swarm optimization for optical wavefront shaping[J]. Optics Express, 2021, 29(12): 18420-18426.

[79] Zhao Q, Woo C M, Li H H, et al. Parameter-free optimization algorithm for iterative wavefront shaping[J]. Optics Letters, 2021, 46(12): 2880-2883.

[80] Yu H, Yao Z Y, Sui X B, et al. Focusing through disturbed multimode optical fiber based on self-adaptive genetic algorithm[J]. Optik, 2022, 261: 169129.

[81] Woo C M, Zhao Q, Zhong T T, et al. Optimal efficiency of focusing diffused light through scattering media with iterative wavefront shaping[J]. APL Photonics, 2022, 7(4): 046109.

[82] Cheng S F, Zhong T T, Woo C M, et al. Long-distance pattern projection through an unfixed multimode fiber with natural evolution strategy-based wavefront shaping[J]. Optics Express, 2022, 30(18): 32565-32576.

[83] Papadopoulos I N, Farahi S, Moser C, et al. High-resolution, lensless endoscope based on digital scanning through a multimode optical fiber[J]. Biomedical Optics Express, 2013, 4(2): 260-270.

[84] Stasio N, Conkey D B, Moser C, et al. Light control in a multicore fiber using the memory effect[J]. Optics Express, 2015, 23(23): 30532-30544.

[85] Kuschmierz R, Scharf E, Koukourakis N, et al. Self-calibration of lensless holographic endoscope using programmable guide stars[J]. Optics Letters, 2018, 43(12): 2997-3000.

[86] MezilS, WangI, BossyE. Imaging through a square multimode fiber by scanning focused spots with the memory effect[EB/OL]. (2023-03-19)[2023-05-08]. http://arxiv.org/abs/2303.10779.

[87] Papadopoulos I N, Simandoux O, Farahi S, et al. Optical-resolution photoacoustic microscopy by use of a multimode fiber[J]. Applied Physics Letters, 2013, 102(21): 211106.

[88] Morales-Delgado E E, Psaltis D, Moser C. Two-photon imaging through a multimode fiber[J]. Optics Express, 2015, 23(25): 32158-32170.

[89] Popoff S M, Lerosey G, Fink M, et al. Controlling light through optical disordered media: transmission matrix approach[J]. New Journal of Physics, 2011, 13(12): 123021.

[90] Zhong J S, Wen Z, Li Q Z, et al. Efficient reference-less transmission matrix retrieval for a multimode fiber using fast Fourier transform[J]. Advanced Photonics Nexus, 2023, 2(5): 056007.

[91] Plöschner M, Straka B, Dholakia K, et al. GPU accelerated toolbox for real-time beam-shaping in multimode fibres[J]. Optics Express, 2014, 22(3): 2933-2947.

[92] Yu H, Lee K, Park Y. Ultrahigh enhancement of light focusing through disordered media controlled by mega-pixel modes[J]. Optics Express, 2017, 25(7): 8036-8047.

[93] Zhao T R, Ourselin S, Vercauteren T, et al. Seeing through multimode fibers with real-valued intensity transmission matrices[J]. Optics Express, 2020, 28(14): 20978-20991.

[94] Zhao T R, Deng L, Wang W, et al. Bayes’ theorem-based binary algorithm for fast reference-less calibration of a multimode fiber[J]. Optics Express, 2018, 26(16): 20368-20378.

[95] Choi Y, Yoon C, Kim M, et al. Scanner-free and wide-field endoscopic imaging by using a single multimode optical fiber[J]. Physical Review Letters, 2012, 109(20): 203901.

[96] Čižmár T, Dholakia K. Exploiting multimode waveguides for pure fibre-based imaging[J]. Nature Communications, 2012, 3: 1027.

[97] Deng L, Yan J D, Elson D S, et al. Characterization of an imaging multimode optical fiber using a digital micro-mirror device based single-beam system[J]. Optics Express, 2018, 26(14): 18436-18447.

[98] N’Gom M, Norris T B, Michielssen E, et al. Mode control in a multimode fiber through acquiring its transmission matrix from a reference-less optical system[J]. Optics Letters, 2018, 43(3): 419-422.

[99] Huang G Q, Wu D X, Luo J W, et al. Retrieving the optical transmission matrix of a multimode fiber using the extended Kalman filter[J]. Optics Express, 2020, 28(7): 9487-9500.

[100] Huang G Q, Wu D X, Luo J W, et al. Generalizing the Gerchberg-Saxton algorithm for retrieving complex optical transmission matrices[J]. Photonics Research, 2020, 9(1): 34-42.

[101] Cheng S F, Zhang X Y, Zhong T T, et al. Nonconvex optimization for optimum retrieval of the transmission matrix of a multimode fiber[J]. Advanced Photonics Nexus, 2023, 2(6): 066005.

[102] Vasquez-Lopez S A, Turcotte R, Koren V, et al. Subcellular spatial resolution achieved for deep-brain imaging in vivo using a minimally invasive multimode fiber[J]. Light, Science & Applications, 2018, 7: 110.

[103] Kim D, Moon J, Kim M, et al. Toward a miniature endomicroscope: pixelation-free and diffraction-limited imaging through a fiber bundle[J]. Optics Letters, 2014, 39(7): 1921-1924.

[104] Bianchi S, di Leonardo R. A multi-mode fiber probe for holographic micromanipulation and microscopy[J]. Lab on a Chip, 2012, 12(3): 635-639.

[105] Fan W R, Chen Z Y, Yakovlev V V, et al. High-fidelity image reconstruction through multimode fiber via polarization-enhanced parametric speckle imaging[J]. Laser & Photonics Reviews, 2021, 15(5): 2000376.

[106] Gong L, Zhao Q, Zhang H, et al. Optical orbital-angular-momentum-multiplexed data transmission under high scattering[J]. Light, Science & Applications, 2019, 8: 27.

[107] Zhao Q, Yu P P, Liu Y F, et al. Light field imaging through a single multimode fiber for OAM-multiplexed data transmission[J]. Applied Physics Letters, 2020, 116(18): 181101.

[108] Loterie D, Farahi S, Papadopoulos I, et al. Digital confocal microscopy through a multimode fiber[J]. Optics Express, 2015, 23(18): 23845-23858.

[109] Oh J, Lee C, Song G, et al. Review of endomicroscopic imaging with coherent manipulation of light through an ultrathin probe[J]. Journal of Optical Microsystems, 2023, 3(1): 011004.

[110] Caravaca-Aguirre A M, Singh S, Labouesse S, et al. Hybrid photoacoustic-fluorescence microendoscopy through a multimode fiber using speckle illumination[J]. APL Photonics, 2019, 4(9): 096103.

[111] Osnabrugge G, Horstmeyer R, Papadopoulos I N, et al. Generalized optical memory effect[J]. Optica, 2017, 4(8): 886-892.

[112] Liu H L, Lai P X, Han S S. Influence of anisotropy factor on the memory effect: a systematic study[J]. Optik, 2021, 231: 166366.

[113] Bertolotti J, van Putten E G, Blum C, et al. Non-invasive imaging through opaque scattering layers[J]. Nature, 2012, 491(7423): 232-234.

[114] Stasio N, Moser C, Psaltis D. Calibration-free imaging through a multicore fiber using speckle scanning microscopy[J]. Optics Letters, 2016, 41(13): 3078-3081.

[115] Amitonova L V, Mosk A P, Pinkse P W H. Rotational memory effect of a multimode fiber[J]. Optics Express, 2015, 23(16): 20569-20575.

[116] Gutiérrez-CuevasR, GoetschyA, PelcG, et al. Tailoring the rotational memory effect in multimode fibers[EB/OL]. (2023-10-30)[2024-01-05]. http://arxiv.org/abs/2310.19337.

[117] Caravaca-Aguirre A M, Carron A, Mezil S, et al. Optical memory effect in square multimode fibers[J]. Optics Letters, 2021, 46(19): 4924-4927.

[118] Dong Z Y, Wen Z, Pang C L, et al. A modulated sparse random matrix for high-resolution and high-speed 3D compressive imaging through a multimode fiber[J]. Science Bulletin, 2022, 67(12): 1224-1228.

[119] Caravaca-Aguirre A M, Poisson F, Bouchet D, et al. Single-pixel photoacoustic microscopy with speckle illumination[J]. Intelligent Computing, 2023, 2: 11.

[120] Fan P F, Ruddlesden M, Wang Y F, et al. Learning enabled continuous transmission of spatially distributed information through multimode fibers[J]. Laser & Photonics Reviews, 2021, 15(4): 2000348.

[121] Resisi S, Popoff S M, Bromberg Y. Image transmission through a dynamically perturbed multimode fiber by deep learning[J]. Laser & Photonics Reviews, 2021, 15(10): 2000553.

[122] Zhu C Y, Chan E A, Wang Y, et al. Image reconstruction through a multimode fiber with a simple neural network architecture[J]. Scientific Reports, 2021, 11(1): 896.

[123] Liu Y F, Yu P P, Wu Y J, et al. Single-shot wide-field imaging in reflection by using a single multimode fiber[J]. Applied Physics Letters, 2023, 122(6): 063701.

[124] Badt N, Katz O. Real-time holographic lensless micro-endoscopy through flexible fibers via fiber bundle distal holography[J]. Nature Communications, 2022, 13: 6055.

[125] Lee S Y, Parot V J, Bouma B E, et al. Confocal 3D reflectance imaging through multimode fiber without wavefront shaping[J]. Optica, 2022, 9(1): 112-120.

[126] Trägårdh J, Pikálek T, Šerý M, et al. Label-free CARS microscopy through a multimode fiber endoscope[J]. Optics Express, 2019, 27(21): 30055-30066.

[127] Cifuentes A, Pikálek T, Ondráčková P, et al. Polarization-resolved second-harmonic generation imaging through a multimode fiber[J]. Optica, 2021, 8(8): 1065-1074.

[128] Plöschner M, Kollárová V, Dostál Z, et al. Multimode fibre: light-sheet microscopy at the tip of a needle[J]. Scientific Reports, 2015, 5: 18050.

[129] Zhao T R, Pham T T, Baker C, et al. Ultrathin, high-speed, all-optical photoacoustic endomicroscopy probe for guiding minimally invasive surgery[J]. Biomedical Optics Express, 2022, 13(8): 4414-4428.

[130] Lin F R, Zhang C S, Zhao Y H, et al. In vivo two-photon fluorescence lifetime imaging microendoscopy based on fiber-bundle[J]. Optics Letters, 2022, 47(9): 2137-2140.

[131] Wen Z, Dong Z Y, Deng Q L, et al. Single multimode fibre for in vivo light-field-encoded endoscopic imaging[J]. Nature Photonics, 2023, 17: 679-687.

[132] Li C K, Le V, Wang X N, et al. Resolution enhancement and background suppression in optical super-resolution imaging for biological applications[J]. Laser & Photonics Reviews, 2021, 15(1): 1900084.

[133] Leite I T, Turtaev S, Boonzajer Flaes D E, et al. Observing distant objects with a multimode fiber-based holographic endoscope[J]. APL Photonics, 2021, 6(3): 036112.

[134] Stellinga D, Phillips D B, Mekhail S P, et al. Time-of-flight 3D imaging through multimode optical fibers[J]. Science, 2021, 374(6573): 1395-1399.

[135] Orth A, Ploschner M, Maksymov I S, et al. Extended depth of field imaging through multicore optical fibers[J]. Optics Express, 2018, 26(5): 6407-6419.

[136] Lan M Y, Guan D, Gao L, et al. Robust compressive multimode fiber imaging against bending with enhanced depth of field[J]. Optics Express, 2019, 27(9): 12957-12962.

[137] Silveira B M, Pikálek T, Stibůrek M, et al. Side-view holographic endomicroscopy via a custom-terminated multimode fibre[J]. Optics Express, 2021, 29(15): 23083-23095.

[138] Tsvirkun V, Sivankutty S, Baudelle K, et al. Flexible lensless endoscope with a conformationally invariant multi-core fiber[J]. Optica, 2019, 6(9): 1185-1189.

[139] Orth A, Ploschner M, Wilson E R, et al. Optical fiber bundles: ultra-slim light field imaging probes[J]. Science Advances, 2019, 5(4): eaav1555.

[140] Dumas J P, Lodhi M A, Taki B A, et al. Computational endoscopy: a framework for improving spatial resolution in fiber bundle imaging[J]. Optics Letters, 2019, 44(16): 3968-3971.

[141] Shin J, Tran D N, Stroud J R, et al. A minimally invasive lens-free computational microendoscope[J]. Science Advances, 2019, 5(12): eaaw5595.

[142] Kang M, Choi W, Choi W, et al. Fourier holographic endoscopy for imaging continuously moving objects[J]. Optics Express, 2023, 31(7): 11705-11716.

[143] Perperidis A, Dhaliwal K, McLaughlin S, et al. Image computing for fibre-bundle endomicroscopy: a review[J]. Medical Image Analysis, 2020, 62: 101620.

[144] Aravanis A M, Wang L P, Zhang F, et al. An optical neural interface: in vivo control of rodent motor cortex with integrated fiberoptic and optogenetic technology[J]. Journal of Neural Engineering, 2007, 4(3): S143-S156.

[145] Tsakas A, Tselios C, Ampeliotis D, et al. (INVITED)review of optical fiber technologies for optogenetics[J]. Results in Optics, 2021, 5: 100168.

[146] Zhong T T, Qiu Z H, Wu Y, et al. Optically selective neuron stimulation with a wavefront shaping-empowered multimode fiber[J]. Advanced Photonics Research, 2022, 3(3): 2100231.

[147] Mohit F, Ricciardi A, Cusano A, et al. Tapered multicore optical fiber probe for optogenetics[J]. Results in Optics, 2021, 4: 100109.

[148] Leite I T, Turtaev S, Jiang X, et al. Three-dimensional holographic optical manipulation through a high-numerical-aperture soft-glass multimode fibre[J]. Nature Photonics, 2018, 12: 33-39.

[149] Anastasiadi G, Leonard M, Paterson L, et al. Fabrication and characterization of machined multi-core fiber tweezers for single cell manipulation[J]. Optics Express, 2018, 26(3): 3557-3567.

[150] Yu Z P, Zhong T T, Li H H, et al. Long distance all-optical logic operations through a single multimode fiber empowered by wavefront shaping[J]. Photonics Research, 2024, 12(3): 587-597.

[151] Li Y C, Xin H B, Zhang Y, et al. Optical fiber technologies for nanomanipulation and biodetection: a review[J]. Journal of Lightwave Technology, 2021, 39(1): 251-262.

[152] Liu Z Q, Zhang B, Zhang H K, et al. Multi-channel data transmission through a multimode fiber based on OAM phase encoding[J]. Optics Letters, 2023, 48(21): 5615-5618.

[153] Bianchi S, Rajamanickam V P, Ferrara L, et al. Focusing and imaging with increased numerical apertures through multimode fibers with micro-fabricated optics[J]. Optics Letters, 2013, 38(23): 4935-4938.

[154] Papadopoulos I N, Farahi S, Moser C, et al. Increasing the imaging capabilities of multimode fibers by exploiting the properties of highly scattering media[J]. Optics Letters, 2013, 38(15): 2776-2778.

[155] Gu R Y, Mahalati R N, Kahn J M. Design of flexible multi-mode fiber endoscope[J]. Optics Express, 2015, 23(21): 26905-26918.

[156] Gordon G S D, Gataric M, Ramos A G C P, et al. Characterizing optical fiber transmission matrices using metasurface reflector stacks for lensless imaging without distal access[J]. Physical Review X, 2019, 9(4): 041050.

[157] Chen H S, Fontaine N K, Ryf R, et al. Remote spatio-temporal focusing over multimode fiber enabled by single-ended channel estimation[J]. IEEE Journal of Selected Topics in Quantum Electronics, 2020, 26(4): 7701809.

[158] Zheng Y J, Wright T, Wen Z, et al. Single-ended recovery of optical fiber transmission matrices using neural networks[J]. Communications Physics, 2023, 6: 306.

[159] LeeS Y. Imaging through optical multimode fiber: towards ultra-thin endoscopy[D]. Cambridge: Massachusetts Institute of Technology, 2022.

[160] Lee S Y, Parot V J, Bouma B E, et al. Reciprocity-induced symmetry in the round-trip transmission through complex systems[J]. APL Photonics, 2020, 5(10): 106104.

[161] Sivankutty S, Tsvirkun V, Vanvincq O, et al. Nonlinear imaging through a Fermat’s golden spiral multicore fiber[J]. Optics Letters, 2018, 43(15): 3638-3641.

[162] Sivankutty S, Bertoncini A, Tsvirkun V, et al. Miniature 120-beam coherent combiner with 3D-printed optics for multicore fiber-based endoscopy[J]. Optics Letters, 2021, 46(19): 4968-4971.

[163] Lü Z P, Abrashitova K, de Boer J F, et al. Sub-diffraction computational imaging via a flexible multicore-multimode fiber[J]. Optics Express, 2023, 31(7): 11249-11260.

程圣福, 仲天庭, 胡子敏, 李浩然, 赖溥祥. 基于相干光调控的无透镜光纤成像及其应用（特邀）[J]. 激光与光电子学进展, 2024, 61(6): 0618002. Shengfu Cheng, Tianting Zhong, Woo Chi Man, Haoran Li, Puxiang Lai. Lensless Fiber-Optic Imaging via Coherent Light Modulation and Its Applications (Invited)[J]. Laser & Optoelectronics Progress, 2024, 61(6): 0618002.