封面 | 三维折射率显微成像：以新维度，探索微妙
上海交通大学机械与动力工程学院孟国香教授课题组在《激光与光电子学进展》发表的综述 “非干涉无标记三维折射率显微成像的研究进展”被选为2024年第4期封面文章。文章从非干涉相位恢复、三维光学传递函数、多层递归正向传播模型和神经网络四条技术路线介绍非干涉强度衍射层析成像技术的最新研究进展，并对未来的发展方向及挑战进行了展望。
封面解读
本封面展示了三维折射率光学显微成像原理：通过照明角度扫描等手段将样本三维折射率的不同频率成分信息“编码”至二维测量强度序列中，利用重建算法“解码”反演三维折射率分布，从而揭示样本的三维结构信息。
文章链接：
仝展, 任雪松, 张子晗, 苗玉彬, 孟国香. 非干涉无标记三维折射率显微成像的研究进展[J]. 激光与光电子学进展, 2024, 61(4): 0400001.
1 研究背景
在病理学、肿瘤学、血液学和神经学等生物医学和生命科学研究中，可视化活细胞和组织样本的微观结构、整体形貌及动态生理过程具有重要意义。然而，由于细胞接近于无色透明，在明场下图像衬度低，难以直接获取样本的结构信息。一种解决方案是利用样本调制后光波场的性质，如相位、散射和偏振等，实现以无标记的方式反演样本的结构信息。本文聚焦基于相位的显微成像技术，首先，以泽尼克相衬显微镜[1]为代表的定性相位成像技术实现了在明场下直接观察到通常“不可见”结构的重大突破。随着生命科学和生物医学研究的深入，定量相位成像技术应运而生[2-7]。然而，相位成像技术缺乏揭示样本真实三维结构的能力。因此，三维折射率显微成像技术成为下一步的发展目标。首先开发的光学投影层析成像技术可以看作是计算机断层扫描在可见光波段的扩展[8]，此时光沿直线传播的假设不再合理，对细胞样本的成像表现不佳。考虑光在样本中传播的衍射效应，研究人员开发了光学衍射层析成像技术[9]，但是其依赖于弱散射近似和干涉测量，前者极大地限制此项技术在集群细胞和组织等厚样本上的观测表现，后者则会显著地增加成像系统的复杂度。针对上述问题，研究人员开发了一类基于非干涉强度测量原理的衍射层析成像技术（简称为强度衍射层析成像技术）。
2 发展现状
强度衍射层析成像技术的最新进展总体上有四条技术路线：非干涉相位恢复、三维光学传递函数、多层递归正向传播模型和神经网络。
2.1 基于非干涉相位恢复的强度衍射层析成像
此部分工作是光学衍射层析成像技术在非干涉测量上的直接改进，其正向物理成像模型亦是傅里叶衍射定理或其变体，即样本的三维散射势（与折射率直接相关）频谱到测量平面上一阶散射光波场频谱之间的映射关系。
如图1（a）所示，从几何角度来看，上式的物理意义为二维测量平面上获取的空间频率信息为样本部分球面上三维空间频率信息的投影，且此部分球面的位置取决于平面入射光的波矢。为保证三维折射率的重建质量，须通过样本旋转或照明角度扫描改变入射光相对于样本的照明角度，以收集不同的空间频率信息，如图1（b）所示。
图1 光学衍射层析成像技术的关键描述。（a）傅里叶衍射定理的演示说明；（b）照明角度扫描以收集样本不同的空间频率信息
在重建端，关键之一是获取测量平面上光波场的复振幅分布，传统光学衍射层析成像技术依赖于全息干涉测量。此外，基于非干涉相位恢复方法，如光强传输方程、Kramers-Kronig关系和傅里叶叠层成像等，同样可以恢复得到测量平面上光波场的复振幅分布，继而基于傅里叶衍射定理拼接重建样本的三维折射率[10-13]。图2展示了基于光强传输方程的强度衍射层析成像技术的实验装置、重建流程和光学实验结果。
图2 基于光强传输方程的强度衍射层析成像。（a）实验装置原理示意图；（b）三维折射率重建流程；（c）-（f）聚苯乙烯微球、肺癌细胞、HeLa细胞和实球藻的三维折射率重建
2.2 基于三维光学传递函数的强度衍射层析成像
在上述基于相位恢复的强度衍射层析成像技术中，鉴于相位是从强度中恢复得到的，一些研究追求以三维光学传递函数为媒介，直接从测量强度反演重建样本的三维折射率。根据照明条件的不同，分为相干光照明[14-17]和部分相干光照明[18]2大类，分别通过角向和轴向强度测量来收集样本不同空间频率成分信息。图3展示了相干光照明下基于三维光学传递函数的强度衍射层析成像技术的重建流程和光学实验结果。基于三维光学传递函数的强度衍射层析成像技术的最大优势在于快速的三维折射率重建，是最有希望实现活体样本三维实时观测的技术之一。
图3 相干光照明下基于三维光学传递函数的强度衍射层析成像。（a）三维折射率重建流程；（b）满足极限匹配照明条件的LED照明方案；（c）加入聚光镜以提高照明数值孔径；（d）稀疏照明复用的优化策略；（e）秀丽隐杆线虫的三维折射率重建；（f）秀丽隐杆线虫的三维延时摄影
2.3 基于多层递归正向传播模型的强度衍射层析成像
在上述强度衍射层析成像技术中，其正向物理成像模型均是基于弱散射近似的假设（一阶Born或Rytov近似），这对单细胞等弱散射样本快速且有效，但是对集群细胞和组织等光学厚样本或多重散射样本却不再适用。为打破此限制，研究人员聚焦于开发更为准确的正向物理成像模型，以多层递归正向传播模型[19-21]为代表。如图4（a）所示，多层递归正向传播模型将样本数学离散为K层薄切片，这样，光在样本中的传播可以近似为一层一层的递归传播。而在单层薄切片的传播中，弱散射近似的假设又重新变得合理。因此，多层递归正向传播模型极大地改善了对于多重散射样本的正向预测精度，并将强度衍射层析成像技术的应用范围拓展至光学厚样本。
图4 基于多层递归正向传播模型的强度衍射层析成像。（a）多层递归正向传播模型的演示说明；（b）-（e）聚苯乙烯微球、秀丽隐杆线虫幼虫、成纤维细胞和秀丽隐杆线虫成虫的三维折射率重建
2.4 基于神经网络的强度衍射层析成像
近年来，神经网络在图像处理领域，特别是在基于编码和解码的端到端任务中被证明具有极大的潜力和优势。因此，研究人员将神经网络引入强度衍射层析成像技术中，以帮助解决2个核心问题：正向物理成像模型和反向三维折射率重建。至于前者，神经网络有希望打破正向物理成像模型在计算精度和计算速度之间的矛盾[22]；而后者，如图5（c）、（d）和（e）所示，最新研究通过深度学习中的自动微分计算[23]、对三维折射率的重新参数化[24,25]和自监督学习[26,27]等方式改善三维折射率的重建质量。
图5 神经网络在强度衍射层析成像技术中的应用。（a）以数据驱动的方式建立正向物理成像模型；（b）引入物理信息神经网络以非监督学习的方式建立正向物理成像模型；（c）应用自动微分计算库函数执行梯度下降算法；（d）神经网络对三维折射率的重新参数化；（e）神经网络提升传统基于物理模型方法的三维折射率重建表现
3 总结与展望
总体来看，三维折射率显微成像技术有三大发展趋势：从干涉测量到非干涉测量，以简化计算显微成像系统；从弱散射样本到多重散射样本，以拓展生物样本的应用范围；从相干光照明到部分相干光照明，以提升时间分辨率。这些想法在数值仿真和光学实验中得到了验证，展示了此项无标记三维显微成像技术在生命科学和生物医学领域具有巨大的潜在应用价值。最新研究表明，此项技术在细胞识别和计数以及小鼠胚胎发育的三维动态监测中得到了初步的应用。
然而，三维折射率显微成像技术存在着一些问题与挑战，如分子特异性低，锥角缺失问题导致的轴向分辨率降低和重建伪影，时间分辨率和重建速度有待优化，缺少对组织等光学厚样本的应用研究。综合考虑当下技术瓶颈以及研究热点，本文总结分析了未来非干涉强度衍射层析成像技术的潜在发展方向：
(1)深度学习方法的引入与有机结合，用于非干涉强度衍射层析成像技术中三维折射率重建的改善和后处理等；
(2)结合组织透明化处理等方法，对集群细胞和组织等光学厚样本进行成像深度这一指标的探索；
(3)集成其他显微成像技术实现多模态成像，为生命科学和生物医学研究提供多尺度多维度全面互补的信息；
(4)非干涉强度衍射层析成像技术基本原理和重建算法与X射线和电子等波段三维显微成像方法的相互借鉴。
参考文献：
[1]Zernike F. Phase contrast, a new method for the microscopic observation of transparent objects[J]. Physica, 1942, 9(7): 686-698.
[2]Gabor D. A new microscopic principle[J]. Nature, 1948, 161(4098): 777-778.
[3]Teague M R. Irradiance moments: their propagation and use for unique retrieval of phase[J]. Journal of the Optical Society of America, 1982, 72(9): 1199-1209.
[4]Baek Y, Park Y. Intensity-based holographic imaging via space-domain Kramers-Kronig relations[J]. Nature Photonics, 2021, 15(5): 354-360.
[5]Gerchberg R W. Phase determination from image and diffraction plane pictures in the electron microscope [J]. Optik, 1971, 34: 275-284.
[6]Faulkner H M L, Rodenburg J M. Movable aperture lensless transmission microscopy: a novel phase retrieval algorithm[J]. Physical Review Letters, 2004, 93(2): 023903.
[7]Zheng G, Horstmeyer R, Yang C. Wide-field, high-resolution Fourier ptychographic microscopy[J]. Nature Photonics, 2013, 7(9): 739-745.
[8]Sharpe J, Ahlgren U, Perry P, et al. Optical projection tomography as a tool for 3D microscopy and gene expression studies[J]. Science, 2002, 296(5567): 541-545.
[9]Wolf E. Three-dimensional structure determination of semi-transparent objects from holographic data[J]. Optics Communications, 1969, 1(4): 153-156.
[10]Li J J, Chen Q, Zhang J L, et al. Optical diffraction tomography microscopy with transport of intensity equation using a light-emitting diode array[J]. Optics and Lasers in Engineering, 2017, 95: 26-34.
[11]Li J J, Zhou N, Sun J S, et al. Transport of intensity diffraction tomography with non-interferometric synthetic aperture for three-dimensional label-free microscopy[J]. Light: Science & Applications, 2022, 11: 154.
[12]Zuo C, Sun J S, Li J J, et al. Wide-field high-resolution 3D microscopy with Fourier ptychographic diffraction tomography[J]. Optics and Lasers in Engineering, 2020, 128: 106003.
[13]Zhou S, Li J J, Sun J, et al. Transport-of-intensity Fourier ptychographic diffraction tomography: defying the matched illumination condition[J]. Optica, 2022, 9(12): 1362-1373.
[14]Ling R L, Tahir W, Lin H Y, et al. High-throughput intensity diffraction tomography with a computational microscope[J]. Biomedical Optics Express, 2018, 9(5): 2130-2141.
[15]Li J J, Matlock A C, Li Y Z, et al. High-speed in vitro intensity diffraction tomography[J]. Advanced Photonics, 2019, 1(6): 066004.
[16]Li J J, Matlock A, Li Y Z, et al. Resolution-enhanced intensity diffraction tomography in high numerical aperture label-free microscopy[J]. Photonics Research, 2020, 8(12): 1818-1826.
[17]Matlock A, Tian L. High-throughput, volumetric quantitative phase imaging with multiplexed intensity diffraction tomography[J]. Biomedical Optics Express, 2019, 10(12): 6432-6448.
[18]Soto J M, Rodrigo J A, Alieva T. Optical diffraction tomography with fully and partially coherent illumination in high numerical aperture label-free microscopy[J]. Applied Optics, 2018, 57(1): A205-A214.
[19]Chowdhury S, Chen M, Eckert R, et al. High-resolution 3D refractive index microscopy of multiple-scattering samples from intensity images[J]. Optica, 2019, 6(9): 1211-1219.
[20]Chen M, Ren D, Liu H Y, et al. Multi-layer Born multiple-scattering model for 3D phase microscopy[J]. Optica, 2020, 7(5): 394-403.
[21]Zhu J B, Wang H, Tian L, et al. High-fidelity intensity diffraction tomography with a non-paraxial multiple-scattering model[J]. Optics Express, 2022, 30(18): 32808-32821.
[22]Saba A, Gigli C, Ayoub A B, et al. Physics-informed neural networks for diffraction tomography[J]. Advanced Photonics, 2022, 4(6): 066001.
[23]Pierré W, Hervé L, Paviolo C, et al. 3D time-lapse imaging of a mouse embryo using intensity diffraction tomography embedded inside a deep learning framework[J]. Applied Optics, 2022, 61(12): 3337-3348.
[24]Zhou K C, Horstmeyer R. Diffraction tomography with a deep image prior[J]. Optics Express, 2020, 28(9): 12872-12896.
[25]Liu R H, Sun Y, Zhu J B, et al. Recovery of continuous 3D refractive index maps from discrete intensity-only measurements using neural fields[J]. Nature Machine Intelligence, 2022, 4(9): 781-791.
[26]Lim J, Ayoub A B, Psaltis D. Three-dimensional tomography of red blood cells using deep learning[J]. Advanced Photonics, 2020, 2(2): 026001.
[27]Matlock A, Zhu J B, Tian L. Multiple-scattering simulator-trained neural network for intensity diffraction tomography[J]. Optics Express, 2023, 31(3): 4094-4107.
作者简介
仝展，2018年7月于吉林大学机械科学与工程学院机械工程专业获工学学士学位，2018年9月至今为上海交通大学机械与动力工程学院机械工程专业博士研究生，研究方向包括定量相位成像、相位恢复算法和非干涉强度衍射层析成像。
苗玉彬，上海交通大学机械与动力工程学院，副教授、研究生导师，主要从事智能机器人相关的场景理解和语义重建等方向的理论与技术研究。承担国家自然科学基金以及国家重点专项等多项课题，以第一/通讯作者发表SCI论文等十余篇。
推荐阅读：