1　引言

光纤作为一种传光介质，已广泛地应用于通信、测量、传感和成像等领域。在内窥成像领域，得益于光纤尺寸小、灵活性高、抗电磁干扰等优点，光纤内窥镜已成为一种主要的成像器件。目前最为成熟的光纤内窥成像方法是光纤束（多芯光纤）成像。光纤束通常由成千上万根单芯光纤组成，每个芯能够以较低串扰独立传光。光纤束成像的分辨率取决于纤芯尺寸和各芯之间的距离。过小的纤芯尺寸和过近的纤芯距离均会增加加工的难度和成本，同时会引起更大的串扰进而影响成像质量。目前商用光纤束最小的纤芯直径约为1~2 μm，最小的纤芯距离约为3 μm。纤芯的数量决定了传播图像的像素数量，当纤芯参数确定时，光纤束的信息容量与光纤束整体尺寸之间也存在权衡，常见的光纤束整体尺寸一般在200 μm以上^［1-5］。此外，基于单光纤的扫描成像也被应用在一些成像相关的领域。例如光纤共焦显微成像、光纤多（双）光子成像和光纤光学相干层析成像^［6-11］。在这些光纤成像系统中通常要利用机械或压电扫描器件对被测目标进行二维（或三维）扫描，再通过图像合成等相关算法生成图像。然而，大量机械装置的引入使得成像系统复杂，成像速度受限，无法完全适用于严格的内窥场景。

为了解决上述方法中信息容量受限、分辨率受限、尺寸受限、机械扫描复杂等问题，研究者们将注意力投入到多模光纤（MMF）成像上。不同于单模光纤，单根多模光纤内部通常支持上千个独立传播的模式，不同模式包含了大量的信息容量和自由度。常见的多模光纤尺寸通常在50~200 μm，在实际内窥应用时能够进入更狭窄的场景并对生物组织造成更小的损伤。此外，多模光纤的成像分辨率可接近衍射极限，不再受加工难度和成本限制，并且可以摆脱机械扫描装置，用单根光纤即可实现宽场成像。然而，在进行图像传输时，相干光经过多模光纤，导波模式的相速度不同会引起模式色散。由于各模式之间的干涉和耦合，在多模光纤输出端产生散斑，从外观上看完全丢失了入射物体的图像信息。因此，如何充分利用多模光纤携带的时空域信息来消除其引起的畸变，实现正常的成像功能，成为了研究多模光纤成像要解决的首要问题。

早在20世纪60年代，研究者们便开始研究使用多模光纤来传输图像信息。1976年，Yariv等^［12］提出了一种校正方法以消除多模光纤引起的畸变，该方法使用两段完全相同的多模光纤，光在两段光纤内发生互为相位共轭的波前畸变，从而使图像能够在经过两段光纤后不再失真。但由于在实际加工中难以加工出来完全相同的光纤，该方法显然无法应用于实际。20世纪80年代开始，Fischer等^［13-14］采用偏振控制和相位共轭等方法消除多模光纤引起的畸变，但这些工作通常在多模光纤出射端安装反射装置，无法应用于实际的内窥成像场景。

21世纪以来，随着光学调制器件和计算光学的日益成熟，研究者们在散射介质成像领域取得了重要进展。许多研究者将多模光纤也看作是一种散射介质，并将散射介质成像的一些方法和概念引入到多模光纤成像中，如：传输矩阵（TM）、波前整形^［15］等。从2010年起多模光纤成像得到了迅速发展，形成了一系列有实用价值和应用潜力的成像方法，其中基于传输矩阵测量的多模光纤成像是最为成熟且应用最广泛的方法。另一方面，考虑到多模光纤出射散斑的特性，从2013年起一种基于散斑照明的多模光纤成像方法^［16］也逐渐兴起，基于结构光照明的光纤成像也成为了多模光纤成像方法的另一重要补充。近年来，随着计算机技术和机器学习的迅速发展，深度学习等技术也开始与多模光纤成像相结合。机器学习作为重要工具，也极大地促进了多模光纤成像的进一步发展。在实际的多模光纤内窥成像应用中，工作环境的变化和光纤自身扰动会影响多模光纤的传输特性，进而直接影响成像质量，因此如何实现动态干扰下的多模光纤成像也是亟须解决的问题。此外，面向复杂的应用场景，多模光纤成像技术的成像性能和成像质量也需要进一步提升和优化。

本文旨在阐述基于时空域信息提取的多模光纤成像的基本方法和原理，并总结各方法的代表性工作和近年的主要进展。探讨和总结机器学习与多模光纤成像相结合的新趋势及相关工作进展，并分析多模光纤成像在实际应用中待解决的问题。文章余下部分安排如下：第二节和第三节分别介绍多模光纤成像研究的基本框架和多模光纤时空域信息提取的基本原理。第四节分别介绍基于时域信息和空域信息提取的多模光纤成像的方法和原理，总结各方法的代表性工作和近年来的主要进展，并对各方法的特点和发展方向加以讨论。第五节主要介绍多模光纤成像与机器学习结合的相关工作进展，并对其特点和发展方向加以总结和展望。第六节主要讨论多模光纤成像在实际应用中待解决的问题，总结归纳抗干扰多模光纤成像的相关工作与进展，并对各抗干扰方法加以分析，对多模光纤成像技术的成像性能和成像质量方面的不足加以讨论。第七节对基于时空域信息提取的多模光纤成像的原理、方法、发展趋势和主要问题进行整体的总结和展望。

2　多模光纤成像基本研究框架

目前多模光纤成像研究的总体框架如图1所示。由于多模光纤自身的多模式特性，其内部会发生模式色散、模式干涉与模式耦合，在时域和空域产生了丰富的信息。基于空域信息（如：散斑）的提取实现成像是最为常见的方法，现主要形成了三种多模光纤成像方法，分别是基于传输矩阵测量的光纤成像、基于相位共轭和相位优化的光纤成像和基于结构光照明的压缩成像。部分研究者还提出将二维空间信息转化为一维时域信息，基于时域信息的提取实现成像。近年来，随着机器学习技术的不断发展，该技术作为辅助工具应用到多模光纤成像研究中。此外，研究者们积极探索多模光纤成像性能的提升和应用的扩展，并致力于解决面向实际应用过程中的问题与挑战。

图 1. 多模光纤成像基本研究框架

Fig. 1. Research framework of multimode fiber imaging

下载图片 查看所有图片

3　多模光纤时空域信息提取基本原理

多模光纤内部通常可支持上千个模式，以阶跃型多模光纤为例，其支持的模式数量可表示为N=(1/2)(πdNA/λ)2，式中d、NA和λ分别为多模光纤的纤芯直径、数值孔径和入射光波长^［17］。当使用超快脉冲激光器作为光源时，进入多模光纤的每个脉冲的能量可以分散成不同的模式。由于不同的模式具有不同的群速度，这些模态中的脉冲会以不同的时滞到达多模光纤的另一端，即模式色散。如果脉冲的功率足够低且其波长带宽足够窄，则多模光纤中的色度色散和非线性效应都可以忽略，模式色散即为脉冲演化的主导。当多模光纤的模式色散足够大时，在通过多模光纤传输后，一个持续时间小于不同模态之间的延迟差的脉冲将在时域内被分割成多个孤立的子脉冲，且每个子脉冲对应一个具体的模式，即子脉冲序列的时间分布取决于原始脉冲的模式组成。在实际成像时，脉冲光照明物体并被物体的空间信息调制和反射，携带物体空间信息的脉冲光进入多模光纤，此时物体的空间信息将会直接决定多模光纤中模式的激发和组成。因此，物体的空间信息便可以转化成模式信息并被编码到多模光纤输出的一维时域脉冲序列中。多模光纤输出的一维的时域脉冲序列可以使用高速探测器进行记录和提取，不同的物体将会对应不同的模式激发和组成，从而产生不同的一维时域脉冲序列。通过采集不同物体图像对应的一维时域信号数据，结合机器学习等方法即可实现图像重建。

对于相干的入射光，由于模式之间的干涉和耦合，多模光纤出射端会形成散斑。空间域上的散斑光场^［17］通常可表示成多个导波模式的模场叠加

式中：r和θ是光场的空间坐标；A_n、φ_n、Ψ_n和β_n分别是第n个模式的振幅、相位、空间强度分布和传播常数；λ和L则为入射光的波长和多模光纤的长度。当光纤受到一些动态扰动（如：温度变化、弯曲等）时，模式之间易发生模式耦合。根据耦合模理论，两个模式v和u之间的耦合系数K_vu^［18-20］可表示为

式中：z为轴向坐标；e 是对应线性偏振模式的光场复振幅； n_d，z和n₀分别为多模光纤微扰下的有效折射率和初始折射率。多模光纤散斑主要与多模光纤的入射光场信息、多模光纤自身特性和外界环境等有关，散斑信息可使用相机进行记录和提取。在实际场景中，相机直接记录通常只能记录到散斑的强度信息，想要记录到散斑的复振幅信息通常需要引入额外的参考光路。基于提取到的空间域散斑信息主要可通过三种方法进行图像重建，简述如下。

首先，散斑的测量结果与多模光纤的自身特性相关，因此可通过散斑信息对多模光纤的传输特性进行表征，即测量传输矩阵。基于传输矩阵能够实现对多模光纤的光场调控，可通过聚焦光斑扫描或矩阵求逆等方法进行物体重建。另一方面，基于散斑的强度测量或复振幅测量能够通过相位共轭和相位优化等方法实现多模光纤出射端光斑的聚焦，通过聚焦光斑扫描重建出物体图像。此外，多模光纤的出射散斑信息能够与结构光照明和单像素成像等方案相结合，例如可使用一系列出射散斑照明物体，并测量对应的反射光强，通过压缩感知算法实现物体重建。各成像方法的基本原理、具体细节和相关研究进展我们将在第4节做更详细的阐述。

4　多模光纤成像基本方法及进展

多模光纤出射端的时域信息和空间域信息包含入射光场和多模光纤的自身信息。研究者们一直致力于基于时空域的信息消除多模光纤引起的畸变，充分发挥多模光纤尺寸小、信息容量大、成像分辨率高等优势，实现基于多模光纤的新一代内窥成像。本节将根据图1所示的研究框架对各成像方法进行介绍和分析。首先关注基于空域信息提取的多模光纤成像方法，主要包括基于传输矩阵测量（TM measurement）的光纤成像、基于相位共轭（phase conjugation）和相位优化（phase optimization）的光纤成像和基于结构光照明（structure illumination）的压缩成像。为便于对三种方法进行较为直观的呈现和比较，我们将三种方法的基本成像系统、校准过程和成像流程列在表1中。

4.1　基于传输矩阵测量的光纤成像

4.1.1　基于传输矩阵测量的光纤成像研究框架

多模光纤通常被认为是一种特殊的散射介质，研究者们也从传统的散射介质成像方法中汲取了大量灵感，并将相关概念和方法引入到多模光纤成像中，如：传输矩阵、相位共轭、波前整形等。基于传输矩阵测量的多模光纤成像的研究框架如图2所示，其主要研究方向包括传输矩阵校准的方法和系统、成像性能参数的提升、多模光纤成像的应用拓展及动态干扰下的成像等。

图 2. 基于传输矩阵测量的多模光纤成像基本研究框架

Fig. 2. Research framework of MMF imaging based on TM measurement

下载图片 查看所有图片

4.1.2　基于传输矩阵测量的光纤成像基本原理及进展

当多模光纤保持固定的配置时，其传输特性是确定的，传输矩阵作为一种线性运算符可用来描述多模光纤的输入光场与输出光场之间的对应关系，通常可分为两大类：空域传输矩阵和频域传输矩阵。

如图3（a）所示，对于空间域传输矩阵而言，通常要将入射光场和出射光场离散化成一系列相互正交的模式。某一模式m的输出光场可表示成不同模式n的输入光场的线性组合，即Emout=∑ntmnEnin，式中，E^out为输出光场，Eⁱⁿ 为输入光场，t_mn为联系第n个输入模式和第m 个输出模式的复系数。基于传输矩阵测量的多模光纤成像流程可主要分为两部分：传输矩阵的标定和对目标物体成像。空域传输矩阵测量的基本实验装置图如图3（b）所示。首先需要对入射平面（如：空间光调制器平面或光纤入射端面）和出射平面（如：相机平面或光纤出射端面）进行离散化处理，并引入参考光搭建干涉系统，图中所示为内部参考光路。通过控制空间光调制器和相移法等方法，能够结合出射散斑图像计算出传输矩阵。成像时的基本实验装置如图3（c）所示，基于标定好的传输矩阵对多模光纤出射光场进行调控，在出射端形成一系列聚焦光斑扫描物体，物体的反射光用同一根多模光纤接收并使用光电探测器测量光强信息。也可以通过传输矩阵求逆的方式，直接根据多模光纤的近端出射散斑恢复入射光场。

图 3. 基于空间域传输矩阵测量的多模光纤成像。（a）空域传输矩阵原理；（b）空域传输矩阵测量基本装置图；（c）基于空间域传输矩阵测量的成像基本装置图

Fig. 3. MMF imaging based on spatial-domain TM measurement. (a) Principle of spatial-domain TM; (b) experimental diagram of spatial-domain TM measurement; (c) experimental diagram of MMF imaging based on spatial-domain TM measurement

下载图片 查看所有图片

频域的传输矩阵则是多模光纤对不同空间频率入射光场的响应。频域传输矩阵测量的基本原理如图4（a）所示。改变多模光纤入射平面波的角度（θ_ξ，θ_η），对应的出射端光场可表示为E（x，y，θ_ξ，θ_η），即为频域的传输矩阵。频域传输矩阵校准光路装置如图4（b）所示。实验中可使用振镜改变多模光纤入射光角度，并引入外部参考光与出射散斑发生干涉。通过干涉图的记录和计算求解出射光场的相位信息从而得到完整的频域传输矩阵。成像过程基本装置图如图4（c）所示，将目标图像放置在多模光纤尾端，记录反射光在光纤近端的输出光场并计算出复振幅信息。最后用已知的传输矩阵逆运算并进行求和平均（振镜扫描）即可重建目标物体。

图 4. 基于频域传输矩阵测量的多模光纤成像。（a）频域传输矩阵原理；（b）频域传输矩阵测量基本装置图；（c）基于频域传输矩阵测量的成像基本装置图

Fig. 4. MMF imaging based on frequency-domain TM measurement. (a) Principle of frequency -domain TM; (b) experimental diagram of spatial-domain TM measurement; (c) experimental diagram of MMF imaging based on frequency -domain TM measurement

下载图片 查看所有图片

2010 年，法国朗之万研究所Popoff等^［21］通过测定空间域传输矩阵的方法实现了对散射体中光传播的控制，该工作的思想和方法也成为了日后多模光纤成像相关工作的重要参考。2012年意大利萨皮恩扎大学Bianchi等^［22］基于空间域传输矩阵测量实现了多模光纤的光斑聚焦并应用于荧光成像。2012年，韩国高丽大学的Choi等^［23］对频域传输矩阵进行了测量，并利用频域传输矩阵实现了多模光纤无扫描成像。

早期的波前调制大多基于液晶空间光调制器（SLM），其调制速度受限，限制了校准速度和成像速度。为了进一步加快校准速度和成像速度，研究者们开始使用调制速率可达kHz的数字微镜器件（DMD）作为波前调制器件。2013年美国科罗拉多大学博尔德分校Caravaca-Aguirre等^［24］利用数字微镜装置投影二进制振幅全息图来测量光纤的传输矩阵，能够在37 ms的时间内完成校准和多模光纤光斑的重新聚焦。2017年，该课题组^［25］利用该方案实现了扫描荧光内窥成像。传统的传输矩阵测量通常不考虑偏振态或简单划分成两个正交方向的偏振态。2021年华侨大学Fan等^［26］展示了一种基于偏振增强参数的多模光纤散斑成像（PEPSI）的新方法，其核心思想是通过斯托克斯参量的测量和计算，得到多模光纤完整的偏振传输矩阵（PTM）并用于图像重建。与传统的忽略偏振特性的TM和正交偏振TM相比，PTM能够跟踪光在介质中传播时的偏振演化，而这些附加信息可以进一步提高成像质量。

校准过程中参考光路的引入也会增加系统的复杂性并影响稳定性。美国密歇根大学N’Gom等^［27］和英国利物浦大学Deng等^［28］基于无参考臂的光路系统，分别利用凸优化SDP算法和贝叶斯推理算法测量空域传输矩阵并实现了多模光纤出射端的光斑聚焦。2020年英国伦敦玛丽女王大学Zhao等^［29］提出了一种用实值强度传输矩阵（RVITM）来描述多模光纤的方法。该方法基于特定条件下多模光纤的输入和输出强度分布之间存在伪线性的假设，仅考虑输入和输出光场的强度信息。计算RVITMs不需要引入参考光路，图像重建质量与光纤自身参数、重建图像像素数和稀疏性有关。

随着传输矩阵测量和聚焦光斑扫描成像技术的逐渐成熟，研究者们也将其应用到一些活体检测和成像中。2018年英国牛津大学Vasquez-Lopez等^［30］在活体小鼠脑深处实现了微创亚细胞光学成像和神经信息测量。与传统方法如GRIN透镜相比，多模光纤成像使脑组织损伤的体积减小了100倍以上。同年Turtaev等^［31］设计了一个紧凑而高速的光纤尖端荧光成像系统，在50 μm × 50 μm的视场（FOV）中获得了（1.18 ± 0.04）μm的分辨率，以3.5 frame/s的速度产生7000 pixel的图像，并展示了对麻醉小鼠视觉皮层和海马体深层抑制性神经元的细胞体的体内观察，其成像装置和部分成像结果如图5所示。

图 5. 基于多模光纤的活体小鼠脑深处成像系统^［31］

Fig. 5. Imaging system of deep brain of living mouse based on multimode fiber^[31]

下载图片 查看所有图片

近年来，研究者们开始积极探究多模光纤成像的应用拓展，如共聚焦成像、光片显微成像、光声成像、远场成像、三维成像、共聚焦3D反射式成像等。2015年Loterie等^［32］基于传输矩阵测量的原理，在采集到的多模光纤近端波前信息上应用虚拟数字针孔来进行共聚焦滤波。该方法实现了横向分辨率1.5 µm、轴向分辨率为12.7 µm的共聚焦成像，显著提升了对细胞切片等散射体成像的对比度。同年，英国邓迪大学Plöschner等^［33］基于多模光纤的圆柱对称性和多模光纤波前调制，实现了贝塞尔和结构贝塞尔光束平面照明，并将其应用到光片显微成像中。2020年Mezil等^［34］提出了一种结合光声和荧光传感的多模光纤的微创内窥镜。研究者将多模光纤与光纤超声传感器结合（整体尺寸小于250 µm），展示了红细胞和荧光珠的快速二维混合体外成像。2021年德国莱布尼茨光子技术研究所Leite等^［35］提出了一种基于多模光纤的远场内窥镜，能够实现对跨越大景深的宏观物体的成像。研究者制备了由两根平行光纤尺寸为0.2 mm×0.4 mm组成的内窥镜，通过远场光斑的聚焦和扫描，实现成像距离为20~400 mm的远场成像。2021年浙江大学Wen等^［36］提出了一种优化多模光纤成像质量的方案（SCMFI）并实现了三维体积成像。该方案结合了波前整形和遗传算法，以快速纠正成像光纤和光路之间的失调，并能够在3.7 s内实现深度超过100 µm和接近衍射极限分辨率的快速体积成像。2021年英国格拉斯哥大学的Stellinga等^［37］基于时间飞行技术搭建了多模光纤内窥激光雷达（LIDAR）并实现了场景三维信息的获取，其成像装置和部分成像结果如图6所示。该成像系统的工作距离可从几十毫米扩展到几米，并实现每秒23000个点的场景扫描，最佳深度分辨率为2.5 mm。2022年哈佛医学院的Lee等^［38］通过多模光纤往返传输特性的测量，提出了一种非主动波前控制的无标记多模光纤成像方法。研究者们通过该方法实现了多模光纤共聚焦3D反射式成像，并展示了这种方法与定量相位、暗场和偏振成像的兼容性。

图 6. 内窥激光雷达^［37］。（a）实验装置示意图；（b）真实场景快照；（c）典型的深度可分辨图像

Fig. 6. Endoscopic LIDAR^[37]. (a) Schematic of experimental setup; (b) snapshot of true scene; (c) typical depth resolved images

下载图片 查看所有图片

传输矩阵能够直接表征多模光纤的传输性能，因此基于传输矩阵测量的方法是目前应用最为广泛的多模光纤成像方法。其核心思想是在校准过程中对多模光纤传输矩阵进行标定。在成像阶段，基于测量好的传输矩阵和波前调制在多模光纤出射端面形成一系列高质量的聚焦光斑，使用聚焦光斑依次扫描物体实现成像，或者记录近端散斑并通过矩阵逆运算来重建物体，该方法能够实现接近衍射极限的成像分辨率。调制速率达到kHz以上的DMD已成为波前调制的主要器件，其刷新速率也成为了限制校准速度和光斑扫描成像速度的最直接阻碍。相比之下，基于矩阵逆运算的成像方法的成像速度则主要受限于相机帧率，使用高速相机能够进一步提升成像速度但也会带来较高的成本。目前基于传输矩阵测量的成像机理和方法已经较为成熟，研究者也是将更多的注意力放在实际应用和应用的拓展上，如体内成像、光声成像、远场成像、共聚焦成像、三维成像等。此外，动态干扰对传输矩阵和成像的影响也是必须考虑的问题，这一方面的内容我们将在第6节着重介绍。

4.2　基于相位共轭和相位优化的光纤成像

4.2.1　基于相位共轭和相位优化的光纤成像的研究框架

传输矩阵的测量通常需要引入额外的参考光路，并且需要记录大量的散斑图像，其校准过程相对复杂且对稳定性要求较高。因此，研究者们也开始探索不依赖于传输矩阵测量的成像方法，其中较为有代表性的便是基于相位共轭和相位优化的多模光纤成像。其基本研究框架如图7所示。对于相位共轭方法，其原理相对固定，研究方向主要集中在应用的扩展和抗干扰成像。对于相位优化方法，其研究方向主要集中在优化算法和并行算法上。

图 7. 基于相位共轭和相位优化的多模光纤压缩成像基本研究框架

Fig. 7. Research framework of MMF imaging based on phase conjugation and phase optimization

下载图片 查看所有图片

4.2.2　基于相位共轭和相位优化的光纤成像基本原理及进展

基于相位共轭成像的基本原理和装置图如图8（a）所示。该方法使用数字全息干涉记录多模光纤出射散斑的相位信息并通过相位解调算法进行解调。随后在LC-SLM上加载与出射光斑互为共轭的相位，光路逆向进入多模光纤，从而在多模光纤另一端形成聚焦光斑，聚焦光斑扫描成像的基本装置则与图3（c）所示类似。该方法的优势在于校准过程无需测量传输矩阵，单次干涉图采集和计算即可获得整个LC-SLM的优化相位，缩短了校准和优化时间。但实验中聚焦光斑数量受限，并要求LC-SLM和CCD的位置像素级对准，增大了实验难度。2012年，瑞士Papadopoulos等^［39］提出了一种基于数字相位共轭的多模光纤光斑聚焦和扫描光的方法。2013年，该课题组基于数字相位共轭聚焦方法实现了亚微米分辨率神经元细胞荧光成像^［40］。同年，该课题组基于该原理实现了分辨率优于1.5 μm，视场为201 μm × 201 μm的光声成像^［41］。2015年，Morales-Delgado等^［42］演示了通过多模光纤进行双光子激发实现三维成像。研究者通过数字相位共轭的方法实现了飞秒脉冲的聚焦和扫描，激发的双光子通过同一根光纤接收，实现了横向的分辨率为1 µm，轴向分辨率为15 µm，视场为80 µm × 80 µm的双光子荧光三维成像。

图 8. 基于相位共轭和相位优化的光纤成像。（a）基于相位共轭的多模光纤成像实验装置；（b）基于相位优化的多模光纤成像实验装置

Fig. 8. MMF imaging based on phase conjugation and phase optimization. (a) Experimental scheme of MMF imaging based on phase conjugation; (b) experimental scheme of MMF imaging based on phase optimization

下载图片 查看所有图片

除了基于相位共轭方法，研究者们还提出了基于相位优化的多模光纤成像。其基本实验装置如图8（b）所示。该方法的基本思路是首先将SLM离散化并确定在多模光纤出射端想要形成聚焦光斑的目标位置。通过调整优化SLM每个像素的相位值使目标位置的聚焦效率最高，在这一过程中可引入一些算法并构建相应的评价函数进行迭代计算。最终，对于多模光纤出射端的每个位置都会有一组SLM的优化相位与之对应来产生高质量的聚焦光斑，聚焦光斑扫描成像的基本装置则与图3（c）所示类似。2011年，意大利罗马大学 Di Leonardo等^［43］利用蒙特卡罗搜索方法，通过多次迭代优化实现对多模光纤出射光斑的聚焦和扫描。2011年，英国圣安德鲁斯大学Čižmár等^［44］通过SLM的内部参考光路和遍历优化，结合GS迭代算法实现了超过80%的可用光功率的高质量聚焦。2022年南京理工大学Yu等^［45］通过自适应遗传算法实现了多模光纤出射光斑的聚焦，并比较了几种常用的迭代算法的聚焦性能。同年，香港理工大学Cheng等^［46］基于自然梯度上升的参数优化策略在15 m长的多模光纤上实现了高质量的模式投影，并采用了一种新的基于余弦相似度的适应度函数，实现了更高的聚焦和投影对比度。与现有的相位优化算法相比，该方法具有较快的收敛速度并对噪声和扰动有更好的鲁棒性。早期工作通常一次优化只能在一个目标位置形成聚焦光斑，因此研究者们开始使用并行算法提升效率，即一次优化同时产生多张优化全息图，每张全息图对应不同目标位置的聚焦光斑。2015年，Yin等^［47］提出了基于自适应并行坐标算法（APC）实现批量光斑聚焦。该方法无需测量传输矩阵和复杂的迭代优化，一次产生批量聚焦光斑。近年来，Chen等^［48］和Geng等^［49］也基于不同的方法实现了批量聚焦光斑的并行生成。

基于相位共轭和相位优化的多模光纤成像不再需要测量传输矩阵。其中基于相位共轭的方法能够通过一次全息图的记录便确定形成特定位置聚焦光斑的波前，但在校准过程中需要不断地改变远端聚焦光斑的位置，因此从操作性上而言并无明显优势。基于相位优化的方法则是通过空间光调制器的优化和迭代算法确定产生对应聚焦光斑的全息图，其效率通常依赖于算法和迭代次数。此外，这种方法需在多模光纤远端放置相机，当存在外界动态干扰时，该方法难以正常工作，相关内容我们将在第6节详细讨论。总体而言，基于相位共轭和相位优化的方法缺少对多模光纤自身传光特性的表征，其性能相对于传输矩阵的方法也无明显优势，因此该方法目前并没有成为多模光纤成像的常用主流方法。

4.3　基于结构光照明的压缩成像

4.3.1　基于结构光照明的压缩成像的研究框架

基于结构光照明的压缩成像是近年来兴起的另一种多模光纤成像方法，该方法的基本研究框架如图9所示。其主要研究方向可包括散斑和结构光照明的生成方法、成像性能提升、应用的拓展、重建算法及抗干扰成像。

图 9. 基于结构光照明的多模光纤压缩成像基本研究框架

Fig. 9. Research framework of MMF compressive imaging based on structure illumination

下载图片 查看所有图片

4.3.2　基于结构光照明的压缩成像的基本原理及进展

基于结构光照明的压缩成像是近年来兴起的另一种多模光纤成像方法。在基于结构光照明的多模光纤压缩成像研究中，多模光纤出射的伪随机散斑是最为常见的结构光。因此，在原理介绍中我们以出射散斑作为结构光进行举例说明，其基本原理和成像基本装置如图10所示。首先在校准过程中可通过控制多模光纤入射光波前等方法在多模光纤出射端产生并记录一系列的低相关的散斑图案。随后在成像过程中用同一系列的散斑图案照明物体，用单像素的探测器接收反射光信息。散斑照明对物体的采样过程可表示为

图 10. 基于散斑照明的多模光纤压缩成像。（a）基本原理；（b）实验装置

Fig. 10. MMF compressive imaging based on speckle illumination. (a) Principle; (b) experimental scheme

下载图片 查看所有图片

式中：y是M×1维度的测量得到的反射光强向量；M为测量的数量，即散斑照明图案的数量；P₁，P₂，…，P_M是1×N维度的矢量化的多模光纤散斑图案，N是散斑图像的重建图像的总像素数（N=N_x×N_y）；x则为N×1维度的要重建的物体图像。结合单像素成像的方法和压缩感知等算法能够求解x，即实现图像的重建。与上两节介绍的成像方法相比，该方法在校准过程中无需计算传输矩阵或进行大量迭代，只需记录散斑图案即可，校准过程和校准光路更加简单。此外，在成像过程中得益于压缩感知算法，照明物体的散斑图案数量不需要严格等于重建图像的像素数，有利于进一步提高成像速度。

2013年，美国斯坦福大学Mahalati等^［16］首次将散斑照明的思想应用到多模光纤成像中，并证明该方法在散斑照明数量为模式数四倍时，可分辨图像特征的数量也接近于光纤中每个偏振传播的空间模式数的四倍。2018年荷兰阿姆斯特丹自由大学Amitonova等^［50］提出了多模光纤压缩成像。实验通过一系列已知的散斑图案照明荧光物体，使用同一光纤进行反射荧光的接收，最后使用压缩感知算法重建图像。该方法的成像分辨率接近衍射极限，其总测量次数比多模光纤的标准光斑扫描方法所需的测量次数要少20倍。2019年法国格勒诺布尔-阿尔卑斯大学Caravaca-Aguirre等将该方法应用于光声成像，提出了一种基于多模光纤和光纤水听器超薄混合成像系统，并对荧光颗粒、红细胞、逆转录珠簇等进行混合成像。

基于结构光照明的压缩成像方法除了能够打破采样定律外，还被证明有实现超分辨成像的潜力。2020年荷兰阿姆斯特丹自由大学Amitonova等^［51］报告了一种打破阿贝极限和奈奎斯特极限的超细多模光纤荧光成像。研究者利用多模光纤中模态耦合的随机特性、稀疏性约束和压缩感知重构，实验证明了该方法的空间分辨率比衍射极限高2倍以上，采样率比奈奎斯特极限提升了20倍，其表征空间分辨率和成像速度的实验结果如图11所示。2022年荷兰纳米光刻现金研究中心Abrashitova等^［52］展示了无标记多模光纤的压缩成像（MMFCI）的新方法。研究者使用振镜高速调制多模光纤入射光以得到不同的散斑图案。在没有任何荧光标记的情况下（400 pixel×400 pixel）的空间分辨率比衍射极限高2.5倍，并实现了5 frame/s的成像速度。

图 11. 基于多模光纤的超分辨和超快内窥镜^［51］。（a）0.22NA多模光纤成像分辨率及速度表征；（b）0.1NA多模光纤成像分辨率及速度表征

Fig. 11. MMF-based super-resolution and super-speed endo-microscopy^[51]. (a) Characterization of imaging resolution and speed using 0.22NA MMF; (b) characterization of imaging resolution and speed using 0.1NA MMF

下载图片 查看所有图片

基于结构光照明的压缩成像的另一个研究重点是如何产生一系列低相关的结构光图案去照明物体。大多数工作一般使用空间光调制器加载不同图案来生成低相关性散斑，但空间光的引入往往会增加成像系统体积，降低稳定性，限制成像速度。因此研究者们也在积极探索其他生成低相关散斑图案的方法。2020年日本东京大学Fukui等^［53］演示了使用芯片级集成光学相控阵（OPA）进行多模光纤成像。研究者制造了一种具有128个独立移相器的硅OPA，并与三维波导接口相结合，用于在多模光纤输出端产生低相关的散斑图案。2022年南京大学Zhu等^［54］搭建了全光纤的反射式单像素成像系统。研究者利用多模光纤散斑对波长的依赖性，通过调节波长得到不同的散斑图案用于压缩成像，散斑图案之间的相关性仅为0.1左右。同时，借助额外的大芯径收光光纤实现了工作距离约6 mm、视场约9 mm²的无标记反射式成像。2022年浙江大学Dong等^［55］提出了基于调制稀疏随机矩阵的多模光纤三维压缩感知成像。为实现复杂物体的成像，该团队通过波前调制生成了高度正交的结构光照明图案，即一幅图案上含有多个聚焦光斑。通过采样区域分块，并行计算和TVAL3D等算法，实现了对复杂生物组织的三维体积成像（轴向0~200 μm）。

基于结构光照明的压缩成像是在单像素成像原理和压缩感知算法的基础上发展起来的，经过几年的发展，该方法在成像原理上也是逐渐趋于成熟。与传统的多模光纤成像方法相比，该方法的校准过程和校准光路更加简单，并且能够具有更低的采样率和超过衍射极限的分辨率。目前，产生不同照明散斑的方式也不再局限于使用空间光调制器，成像系统进一步紧凑和稳定，并有望实现超快成像。现有的基于散斑照明的压缩成像工作的成像对象大多较为简单，如离散的荧光点、数字、字母等，对一些对于真实生物组织成像结果仍较少，但已有工作通过波前调制产生不同于散斑的结构光图案来弥补随机照明散斑正交性的不足，并对复杂生物组织进行成像。在未来，通过波前调制进一步优化多模光纤输出端的结构光照明图案将是一个提升成像质量的方案。此外，参考传统单像素成像中的方案，如3D单像素成像^［56］、偏振单像素成像^［57］、光谱成像^［58］等，结合多模光纤的自身特性，有望进一步拓展多模光纤成像的应用，实现更多的成像功能。

4.4　基于时域信息提取的多模光纤成像

近期，研究者们提出了基于时域信息提取的多模光纤成像方案。由第3节的分析可知，如果多模光纤的模式色散足够大，超短脉冲在通过多模光纤传输后，一个持续时间小于不同模态之间的延迟差的脉冲将在时域内被分割成多个孤立的子脉冲，如图12所示。

图 12. 多模光纤中超快脉冲的演化

Fig. 12. Evolution of ultrashort pulses in MMF

下载图片 查看所有图片

如果脉冲的功率足够低且其波长带宽足够窄，则多模光纤中的色度色散和非线性效应都可以忽略，模式色散即为脉冲演化的主导。因此，子脉冲序列的时间分布取决于原始脉冲的模式组成，而物体的空间分布决定了模式的激发和组成。因此，物体的空间信息可以被编码成输出脉冲的时间波形。2022年清华大学Liu等^［59］提出了一种高速全光纤成像模型，成像系统和重建原理如图13所示。研究者利用1 km长多模光纤中的模式色散将二维空间信息转换为一维时间脉冲流，并采集输入图像和对应的一维时间信号来构建数据集。基于数据集对神经网络进行训练，训练好的神经网络能够从时间波形重建图像。该方法不仅可以重建高质量的图像，还具备一定迁移学习的能力。光纤成像探头可以实现15.4×10⁶ frame/s的图像获取帧率。

图 13. 基于时域信息提取的高速全光纤成像^［59］。（a）实验装置；（b）图像重建流程；（c）~（e）成像器件

Fig. 13. High-speed all-fiber imaging based on temporal information extraction^[59]. (a) Schematic of the experimental setup; (b) flow of the reconstruction process; (c)–(e) detailed imaging devices

下载图片 查看所有图片

本节最后我们对多模光纤成像各方法的代表性工作的参数进行统计，各工作参数对比如表2所示，主要参数包括光纤/探针尺寸，成像分辨率，视场，成像速度，工作距离，所使用方法，其中使用方法简写为传输矩阵法、相位共轭、相位优化、结构光照明、时域分析。

5　机器学习辅助的多模光纤成像

5.1　机器学习辅助的多模光纤成像的研究框架

近年来随着计算能力的提高，机器学习技术已成功地应用于数据分析、计算机视觉、自然语言处理、医学图像分析和材料检查等领域^［61］。最近，机器学习的方法也被应用到通过多模光纤进行图像传输和波前整形中。机器学习辅助的多模光纤成像的研究框架如图14所示。对于深度学习方法，其研究方向主要包括神经网络结构、成像性能提升、应用扩展及动态干扰成像。此外也有一些基于单层网络结构实现成像的工作。

图 14. 机器学习辅助的多模光纤成像基本研究框架

Fig. 14. Research framework of machine learning-assisted MMF imaging

下载图片 查看所有图片

5.2　机器学习辅助的多模光纤成像的基本原理与进展

以深度学习的方法为例，其成像的基本原理和流程如图15所示。首先可通过空间光调制器等生成一系列成像物体输入多模光纤中，并在出射端记录对应的散斑图案，建立物体-散斑对数据集，随后将物体-散斑对输入到设计好的神经网络中进行训练，训练好的神经网络即可根据输出散斑预测输入的物体图像^［62］。由于在成像过程中不需要空间光调制器，深度学习也有助于提高成像速度，以实现实时成像，甚至是超快成像。此外，深度学习还可以通过在外部扰动中的动态扰动多模光纤来提高成像质量。

图 15. 机器学习辅助的多模光纤成像流程图

Fig. 15. Process of machine learning-assisted multimode fiber imaging

下载图片 查看所有图片

早在20世纪90年代开始，便有研究者开始使用人工神经网络（ANNs）^［63-64］对多模光纤传输的图像信息进行识别。在这些早期的演示中，通常只有少量层数的神经网络被训练，并能够实现对少量的简单图像进行识别和解码。2018年瑞士洛桑联邦理工学院Rahmani等^［65］使用CNN神经网络实现了多模光纤成像。研究者证明了深度卷积神经网能够学习光纤输出端的振幅与光纤输入端的相位或振幅之间的非线性关系，并能够实现约为98%的图像重建保真度。此外该网络还可以用于迁移学习，即可对与训练集和测试集不同类别的物体图像进行重建。同年，瑞士洛桑联邦理工学院Borhani等^［66］利用深度神经网络（DNNs）通过多模光纤传输后的散斑模式的强度对输入图像进行分类和重构，并且在最大长度为1 km的光纤上进行了测试。实验还表明该方法对环境的不稳定性有显著的鲁棒性。

随着深度学习的迅速发展，许多研究者将不同的神经网络结构用于多模光纤图像的重建，以提高训练效率和成像性能。2021年Yu等^［67］利用由生成器和鉴别器组成的条件生成对抗网络（GAN）对接收到的散斑进行图像重构。与传统的U-net方法相比，该网络可以用较少的训练数据集重建图像，以获得相同的性能和更高的特征提取能力。2022年天津理工大学Song等^［68］采用一种改进的结合注意机制和DSSIM损失函数的深度神经网络（AM_U_Net），用于恢复通过多模光纤传输的图像。该网络在一个相对较小的数据集上进行训练，并显示出最优的重建能力和泛化能力。

深度学习的方法通常需要大量的数据集和多层神经网络，需要耗费较多的训练时间和计算资源。因此，一些研究者也尝试使用简单的神经网络来重建图像。2019年英国格拉斯哥大学Caramazza等^［69］开发了一种多模光纤成像方法，能够以高分辨率和高帧率实现经多模光纤传输后的自然场景的图像重建。研究者们使用单层网络结构求解复值传输矩阵逆的近似模型，并且通过近似模型直接进行图像重建。与以往的利用深度学习实现图像重建的工作相比，其重建图像不再局限于某一类图像，具有更好的通用性，并能够实现以20 frame/s的速度记录全彩图像和视频。2021年南洋理工大学Zhu等^［70］构建了一个相当简单的神经网络结构，即单隐层密集神经网络，在图像重建度方面至少与以前使用的CNN网络性能相当，并且在训练时间和所需的计算资源方面更优越。

机器学习辅助的多模光纤成像早期的工作主要关注的是重建强度信息和相位信息，为便于实验方便采用的光路多是透射式光路，不适用于实际成像应用。随着该方法的不断发展，研究者们开始优化成像系统使其面向实际应用，并且积极探索机器学习辅助下多模光纤成像性能的提升和功能的扩展。2022年清华大学Wang等^［71］提出了基于单根多模光纤的全光纤高速显微成像系统，其成像装置和基本原理如图16所示。其中照明和检测是由同一根多模光纤完成的，光在经过两次多模光纤的传输畸变后产生散斑并使用高速相机记录。研究者参考并优化Caramazza等^［69］的方法获取了传输矩阵，并使用传输矩阵逆运算重建图像，成像速度达到了5000 frame/s。此外，通过对不同距离下的光纤散斑的联合学习，系统能够实现1 mm景深的计算成像。2023年南京大学Zhu等^［72］将光谱信息和偏振信息引入多模光纤成像中，以扩展多模光纤成像的功能。研究者利用散斑对波长和偏振变化依赖性，记录不同光谱通道和偏振通道下物体-散斑对用于神经网络训练。实验结果表明，训练好的神经网络既能够实现高质量的图像重建，也能将图像分配到正确的光谱通道和偏振通道，通道分类准确性高于99.9%。

图 16. 大景深、高速全光纤微成像^［71］

Fig. 16. High-speed all-fiber micro-imaging with large depth of field^[71]

下载图片 查看所有图片

机器学习辅助的多模光纤成像通常需要大量的物体-散斑对的记录并输入神经网络进行训练，训练好的神经网络往往能够实现高速成像，其成像帧率通常取决于相机记录散斑的帧率。此外，研究者还提出了基于单层网络结构重建复振幅矩阵的方法，该方法不再受限于神经网络迁移学习能力有限的问题，能够实现复杂自然场景图像的重建。基于多模光纤的成像器件，该方法的成像系统也逐渐面向实用化，并能够实现集成化和全光纤化。此外，深度学习的方法也常用于提升多模光纤成像系统对外界干扰和自身形态变化的鲁棒性，这一部分内容将在下节着重介绍。

6　问题与挑战

多模光纤成像经过十几年的发展，各种方法的基本原理和方法已经趋于成熟，并且部分工作的参数性能相较于传统内窥镜优势明显，已经具备商用的潜力与价值。目前主要限制多模光纤成像实际应用的问题是在动态干扰下的稳定性。一般来讲多模光纤受到的动态干扰一方面来自周围环境的干扰，如温度变化、振动等。另一方面则来自多模光纤在实际使用过程中由于移动所引起的多模光纤的弯曲、扭转、位移等自身干扰。在上述动态干扰的影响下，多模光纤的成像质量会受到影响。研究者们也早已将动态干扰下的多模光纤成像作为研究重点，多模光纤抗干扰成像的研究框架如图17所示，该框架是根据上文中介绍的多模光纤成像方法进行分类和构建的。对于基于传输矩阵和相位共轭的成像，主要的研究方向包括近端波前测量和特定光纤配置。对于机器学习辅助的多模光纤成像，主要研究方向包括联合训练和光纤配置分类。对于基于结构光照明的压缩成像，主要抗干扰方法包括平均散斑和重建算法的改进。

图 17. 动态干扰下的多模光纤成像基本研究框架

Fig. 17. Research framework of MMF imaging under dynamic perturbance

下载图片 查看所有图片

对于多模光纤的弯曲，扭转和位移等自身形变干扰，使用长度有限的刚性光纤探针能够缓解这一问题，在使用过程中光纤只需要进行一次校准并维持光纤形态不变^［30-31］。然而，在大多数生物医学应用中，将成像探针插入深层组织会不可避免地导致形状和温度的变化，因此刚性内窥镜并不能满足所有的需求，入侵性更低的柔性或半柔性光纤内窥镜往往能更好地满足测试需求。

基于传输矩阵测量成像和基于相位共轭成像都是多模光纤成像的常见方法。当多模光纤受到动态干扰时其校准过的传输矩阵和共轭相位会发生变化，造成聚焦光斑质量的下降，从而直接影响成像质量。当多模光纤远端深入被成像组织时，我们无法再得到远端的出射散斑进行校准，只有在多模光纤的近端能够获取多模光纤自身信息。因此研究者便提出在近端获取多模光纤的信息来估算传输矩阵，这种方法可以在不接近远端的情况下消除动态干扰并保持成像功能。2013年瑞士洛桑联邦理工学院Farahi等^［73］基于相位共轭的方法提出了一种补偿多模光纤动态弯曲的方法。研究者们首先通过全息方法在多模光纤远端形成一个点源信标［图18（a）］，使用相机记录该虚拟点源信标在多模光纤近端产生的波前。通过在多模光纤近端加载共轭相位，便可在与虚拟点源相同的位置产生真实的点源（聚焦光斑）。2015年美国斯坦福大学的Gu等^［74］描述了一种多模光纤内窥镜设计，允许多模光纤在成像前被移动到目标部位时发生弯曲形变，实验光路如图18（b）所示。研究者们在多模光纤的远端添加一个部分反射器，反射光经多模光纤传播后在多模光纤近端的波前被记录，通过一定的假设和计算能够修正弯曲扰动后的传输矩阵。2019年剑桥大学Gordon等^［75］在光纤的远端面引入一个波长相关的超表面反射器叠层结构［图18（c）］。通过推导一阶光纤模型来表征波长对传输矩阵的影响，并表明基于三个波长的反射数据可以通过迭代优化算法重建整个传输矩阵。2021年英国埃克塞特大学Li等^［76］提出了一种无需访问多模光纤远端而原位校准传输矩阵的方法。研究者在位于远端面多模光纤部署引导星［图18（d）］，结合传输矩阵在某些基下接近对角化的假设和多模光纤记忆效应，得到了近似估算的传输矩阵。实验结果表明，该方法在导星周围区域内能够实现正常的光斑聚焦和成像。

图 18. 基于近端波前测量的抗干扰成像。（a）基于虚拟信标^［73］；（b）基于部分反射器^［74］；（c）基于超表面反射器叠层^［75］；（d）基于引导星^［76］

Fig. 18. Anti-interference imaging based on proximal wavefront measurement. (a) Based on the virtual beacon source^［73］; (b) based on the partial reflector^[74]; (c) based on the metasurface reflector stacks^[75]; (b) based on the guide star^[76]

下载图片 查看所有图片

基于多模光纤自身的特性，研究者们还探究了多模光纤在特定形态或变化下的传输特性和成像性能。2015年英国邓迪大学Plöschner等^［77］在理论和实验上证明传输矩阵能够在基于准确的多模光纤参数通过严格理论推导获得，并对直光纤和特定曲率弯曲的光纤的进行了传输矩阵预测和成像实验验证。2017年瑞士洛桑联邦理工学院Loterie等^［78］对多种商用多模光纤进行了测试，通过理论和实验证明在特定的S型形态下，多模光纤的平移对自身的传播特性影响较小。

对于基于结构光照明的压缩成像而言，当多模光纤受到动态干扰时，其出射散斑会发生变化。在重建图像时，实际照明散斑和校准照明散斑之间的差异会直接影响成像质量。2019年北京邮电大学Lan等^［79］提出了一种改进的多模光纤压缩成像方案，即在重建过程中不再只使用初始散斑模式，而是使用不同纤维弯曲下的散斑图案的平均值来进行图像重建，以减小光纤配置变化的影响。2020年北京邮电大学Yang等^［80］提出了利用低秩约束来重建物体图像。与通常采用的稀疏性约束相比，该方案利用了自然图像的自相似性，对于某些重建物体该方法对动态干扰的鲁棒性要优于基于稀疏约束的压缩感知方法。

深度学习目前也已经被应用到多模光纤成像中，这种成像方式通常需要采集大量的数据用于神经网络训练。在数据采集过程中，往往需要较长的采集时间，难免会引入一些动态干扰。一些工作已经表明，神经网络在学习图像与散斑对应关系的同时，还具备学习动态干扰对成像影响的能力。此外，在不同环境和光纤配置下采集大量数据进行联合学习和分类，也能使多模光纤具备抗干扰成像的能力。2019年英国伦敦玛丽女王大学Fan等^［81］利用深度学习的方法来实现多模光纤在高变化性和随机性下的成像。研究者对多模光纤施加不同的几何形变并在各个光纤配置下记录散斑数据，使用CNN进行联合训练。实验结果表明，深度学习的方法能够改善多模光纤长期存在的高变异性和随机性所带来的成像质量的下降。2021年耶路撒冷希伯来大学Resisi等^［82］在上百个不同的光纤配置下获取散斑图案用于CNN模型的训练，其基本原理如图18所示。尽管不同光纤配置下的散斑图案相关性较低，但其微弱的相关性仍然有助于模型的训练。实验结果表明，该模型具有泛化能力，能够在未知（未用于训练）的光纤配置下重建通过多模光纤传输的图像。2022年美国南方卫理公会大学Bagley等^［83］利用单层全连接网络，实现了在多模光纤离散位置和温度扰动下的图像重建，并对不同重建图像和热扰动下的光纤位置的分类。2022年英国伦敦玛丽女王大学Fan等^［84］提出一种基于深度学习的针对多模光纤动态形变的可扩展的校准框架。研究者们提出了DI-GAN（深度成像生成对抗网络），并通过不同光纤配置下输入的调制图案，远端透射散斑和近端反射散斑进行综合训练。训练好的神经网络能够表征多模光纤传输状态，实时检测光纤变形并分类，在校准后实现自适应的聚焦光斑扫描成像，成像过程中无需访问多模光纤远端。

图 19. 基于深度学习的动态扰动多模光纤图像传输^［82］

Fig. 19. Image transmission through a dynamically perturbed multimode fiber by deep learning^[82]

下载图片 查看所有图片

通过多模光纤近端的反射光信息进行传输矩阵修正和光斑重聚焦是在动态干扰下一种可行的成像方法，然而现有的工作也存在着点源或导星数量有限，传输矩阵重构精度和速度受限，抗干扰成像速度受限等问题。深度学习方法目前也主要局限在有限的光纤形态下，即使能够实现未训练光纤配置下的成像，但需要校准的光纤配置需要几百种并且考虑到的情况与实际应用时光纤的形态变化存在差异。若增加光纤形态的数量，则需要大量的数据记录且需要花费大量时间进行数据采集和网络训练，并且仍无法严格保证训练的光纤形态与实际应用的严格对应。因此，目前的抗干扰系统仍需在校准时间、校准方法、成像器件、校准算法等方面进一步优化。

在实际的临床和医疗应用场景中，除了上文讨论的多模光纤易受自身扰动和环境变化影响外，现有的多模光纤成像技术的成像性能和成像质量难以满足部分应用场景的需求，例如视场过小，不同深度平面荧光/反射光混叠造成对比度低，三维体积成像轴向分辨率不足等。接下来，我们对多模光纤成像在实际应用中成像性能和成像质量受限的问题进行简要讨论。

受限于多模光纤的数值孔径和工作距离，多模光纤成像的视场直径通常只有百微米量级。当多模光纤参数一定时，增加多模光纤的成像距离可以增大视场，如前文提到的多模光纤远场成像^［35］、三维宏观成像^［37］等工作。但工作距离的增加会导致成像的横向和轴向分辨率降低^{［38，85］}，即分辨率与视场间存在权衡。工作距离的增加也会造成反射信号的减弱，从而影响成像的信噪比。另一方面，通过多模光纤端面增加光学元件的方法也可以增大视场，例如将多模光纤与光纤准直器^［54］或球透镜^［71］结合。然而，这种方案会增大光纤探针的尺寸进而增加探针的侵入性。此外，还有部分研究者使用了图像拼接的策略，在一定范围内移动多模光纤探针位置进行多次成像再将多幅图像进行拼接，即可实现视场的扩展^{［23，85］}。但这种方法的局限性主要在于光纤探针的移动需要额外的装置，这会使成像系统更加复杂。另一方面这种小范围移动对视场的提升有限，因为较大范围的移动通常需要重新校准多模光纤的传输矩阵，限制成像速度且不利于实际应用。

在实际应用场景中图像重建的对比度主要与两个因素相关，一方面取决于多模光纤成像方法本身，如聚焦光斑的聚焦质量、系统的稳定性等。另一方面则取决于被成像物体本身，例如，如果被成像物体是复杂三维生物组织，不同深度激发荧光或反射光的混叠会造成图像模糊和成像对比度降低。对于基于传输矩阵测量的光纤成像而言，入射光偏振的控制和传输矩阵的完备表征被证明能够提升成像质量和系统鲁棒性^{［26，77］}。此外，研究者们还通过光路自动化校准^［36］和波长调制^［86］等方法进一步提升聚焦光斑质量和成像对比度。对于相位共轭及优化的聚焦光斑扫描成像而言，研究更多集中在迭代算法优化、目标函数设置等方面，这一部分相关工作也已在前文进行了介绍。当成像物体是复杂三维物体时，针对其不同平面内反射光混叠的问题，研究者们提出用共聚焦成像的思想来提升成像的对比度。2015年Loterie等^［87］将多模光纤成像与共聚焦成像方案相结合，通过使用针孔滤波和光学数字相关等方法，实现了成像对比度的提升。此外，研究者们还通过双光子成像^［42］、多平面聚焦光斑扫描^［36］、传输矩阵逆运算结合数字共聚焦^［38］、三维压缩感知成像^［55］等方案实现了多模光纤的三维体积成像，进一步提升了对复杂三维物体的成像质量。三维成像的轴向分辨率同样与多模光纤参数和波长等因素相关^{［36，42］}，具有理论极限且随工作距离的增加而降低，而压缩感知三维成像^［55］的方法被证明具备打破轴向分辨率的理论极限的潜力。

总体而言，由于多模光纤自身参数特性，其视场与工作距离相关且与分辨率存在权衡。光学元件与光纤端面结合能够提升视场，未来可与微透镜加工和超表面等技术相结合，在保持小尺寸前提下提升成像视场。图像拼接的方法则适用于多模光纤探针能够小范围移动的情况下，但也应考虑系统复杂度和实用性。在实际复杂的应用场景中，多模光纤成像对比度是要重点考虑的指标，并且需要多模光纤探针具备三维体积成像的功能。针对这一需求，研究者们相继提出了多种改进成像对比度并实现三维成像的技术方案。在未来的研究中还需要进一步考虑和优化多模光纤三维成像的校准效率、系统复杂度、成像速度、轴向分辨率等，结合先进成像方法和重建算法，实现多模光纤成像技术面向实际应用需求的性能提升和功能完善。

7　结束语

基于时空域信息提取的多模光纤成像经过近十几年的发展，其基本方法和原理已经趋于成熟。与传统的光纤束成像相比，多模光纤成像具有器件尺寸小，信息容量大、分辨率高、损害性低等优势。因此，基于多模光纤的超细内窥镜具备实现亚微米分辨率、低损伤成像的潜力，具有极高的科研价值和应用价值。本文总结了基于时空域信息提取的多模光纤成像的主要方法，并阐述了各方法的基本原理和主要进展，介绍了机器学习辅助下的多模光纤成像的相关工作及进展。此外，面向实际应用，我们还讨论了动态干扰下多模光纤成像的主要方法和进展情况以及提升多模光纤成像性能和质量的相关进展。随着多模光纤成像原理和方法的日益成熟，各方法之间也出现了融合的趋势，成像性能的提升、成像功能的拓展和实际场景的应用将成为主要的研究方向。现有的成像工作更多关注的是2D成像或3D成像，其光学参量主要是强度信息和相位信息。在实际应用中，其他维度的光学信息也同样重要，例如光谱信息和偏振信息已广泛应用于医疗领域的疾病诊断和病理研究^{［72，88-90］}。因此多模光纤成像应关注到其他维度的光学信息，以进一步拓展成像功能，目前也已有相关的工作开展。另一方面动态干扰下多模光纤成像也是急需进一步研究和攻克的难题。在充分发挥多模光纤作为新一代内窥镜的优势的前提下，可先在某些特定场景下进行应用尝试，同时借助深度学习等工具增加其抗干扰能力并逐步扩展其可应用场景。引入多模光纤形态的主动测量，结合多模光纤近端的波前信息和已知入射波前信息，通过深度学习的方法可能能够进一步提升多模光纤抗干扰成像的能力。此外，面向复杂的应用场景，多模光纤成像技术的成像性能和成像质量如成像视场、成像对比度、轴向分辨率等仍需进一步提升和优化，进而为实现多模光纤成像技术的实际应用铺平道路。