基于智能手机平台的计算光学显微成像技术研究综述 
下载： 1181次
0 引 言
光学显微镜是人类历史上最重要的发明之一，它的出现带领人们探索和认识微观世界，并不断突破微米甚至纳米尺度的细节成像。随着现代生命科学、病理学等领域研究的不断深入，光学显微镜朝着愈加精密的器械结构和愈加丰富的显微成像技术发展，新型的光学显微成像技术不断被提出。这为解读生物学的前沿研究与创新成果提供了强大的助力，逐渐使光学显微镜成为生物医学、材料学和物理学等学科不可或缺的可视化工具之一。
对于光学显微镜来说，提升成像对比度一直是其自发明以来的一大主要方向。这是因为生物细胞往往具有弱的吸收性，在传统明场显微镜下显示出很低的对比度。染色或荧光标记方法的发明有效地解决了这一问题[1-3]。该方法利用外源性标记物和细胞内部组织成分的相容性，改变其弱吸收特性，使其可以在光学显微镜下可见。这种通过改变样本吸收特性的成像方式目前仍然在诸多生物学成像领域占据着重要的地位。超分辨率荧光显微技术更是跨过了光学显微镜探索微观世界的一大障碍——阿贝衍射极限，使科研人员能在分子水平上对活体细胞进行研究，这对于理解生命过程和疾病发生的机理具有重要意义，展现了光学显微技术在人类科学发展历程中的重要性[4-7]。然而，尽管荧光显微技术取得了历史性的突破，但这项技术仍有较大的局限性。外源性造影剂采用侵入式成像，可能影响细胞活力、增殖、分化能力等细胞功能，难以对活细胞进行长时间观察。
在随后的发展历程中，无标记显微成像技术成为光学显微镜的一大主要方向。相差显微镜(Phase Contrast Microscopy, PCM)和微分干涉(Differential Interference Contrast, DIC)成像技术是其中的代表性技术。它们无需对样品进行任何的染色或荧光标记，通过额外的光学调控手段，将不可见的样本相位变化转变为可被采集记录的强度变化，实现了对具有弱吸收和散射性的透明生物样本的高对比度观察[8]。这些无标记的成像技术也使得研究人员意识到，光学调制手段的引入对于显微成像技术发展的重要性，同时也意味着光学显微成像技术迈入了新的发展阶段，
近年来，基于光学调制手段的光学显微成像技术被命名为一个全新的成像领域，即“计算光学显微成像”。不同于传统显微成像“所见即所得”的成像模式，计算光学显微成像基于光学调制和计算恢复的巧妙集成，通过基于物理理论的成像反演，发展出一系列克服显微成像系统诸多物理极限的新理论、新技术、新方法[9-12]。例如，基于可编程照明或可编程孔径的灵活调控，多模态显微成像允许在同一硬件配置下得以实现，提供同一样本的多波长、多角度的细节信息[13-16]。基于倾斜照明调制或离焦调制，结合系统的传递函数理论，最后通过相位反演算法恢复样本的定量相位分布[17-22]。
不难发现，计算光学显微成像技术的发展得益于光学调控器件的进步和现代高性能处理芯片的发展。同时，现代光学器件工艺水平和多种智能化设备的创新也为计算光学显微成像技术注入了新的活力。智能手机平台同时兼顾了良好的光学成像性能、先进的图像传感设备以及高性能的处理芯片，为计算光学显微成像的实现提供了一种新的方式。它可以代替计算机作为控制软件和人机交互软件的载体，同时作为人们日常生活中应用最为广泛的电子设备，其体积小且高度集成化，具有独立的操作系统和运行空间，以及良好的交互界面。先进的中央处理器(Central processing unit, CPU)和图形处理器(Graphics processing unit, GPU)使其具有卓越的计算能力和图像处理能力。智能手机平台还拥有高性能图像传感器，可采集高质量图像。5G时代使得信息的传递更加迅速，可通过智能手机平台无线接入远程处理器或云空间进行数据交互与处理[23-24]。通过必要的机械装置将智能手机平台与光学显微系统耦合，便可设计出基于智能手机平台的计算光学显微成像系统[25-35]。便携经济且功能丰富的特性可为资源有限地区提供快捷、实时的疾病诊断和病菌检测手段，无需专业人员和复杂的操作便可实现即时检测(Point-of-Care test，POCT)和治疗[36-38]，此外，基于智能手机平台的显微成像系统也可广泛应用于科学教育领域[39]。在2009年，Breslauer[40]等首次提出了手机显微系统，在保证图像分辨率和成像视场的前提下应用于恶性疟原虫感染的镰状红细胞和结核分枝杆菌感染的唾液样本的检测。自此以后，基于智能手机平台的计算光学显微镜成为小型化、便携化显微成像系统的主要实现手段，并被广泛应用于资源有限地区的疾病诊断和病菌检测等领域[41-51]。
文中将从智能手机平台赋予显微镜的四个优势特性的角度，综述基于智能手机平台的计算光学显微成像技术的发展趋势和成像应用。第1节，以智能手机平台作为传统显微成像光路的部分光学器件的角度，介绍了不同光学结构下的智能手机平台光学显微系统及其应用。第2节，介绍了借助智能手机平台的先进的传感器所发展的无透镜成像技术。第3节中，系统地介绍了智能手机平台的计算处理芯片所发展的计算光学显微成像技术。第4节中，进一步介绍从依靠智能手机平台所发展的移动通信技术所赋予的计算光学显微成像的新性能。接下来，从显微成像功能的角度，介绍了基于智能手机平台的无标记相衬成像、定量相位成像、荧光显微成像和偏振显微成像技术的系统结构和成像性能。最后，对基于智能手机平台的计算光学显微成像技术进行了总结并对未来的发展方向进行了展望。
1 基于智能手机平台的新型显微成像光路设计
传统光学显微镜系统发展经过了两个重要阶段，即有限远光学系统和无限远光学系统。20世纪90年代，传统显微镜系统从有限远光学系统转变为无限远光学系统。其光学成像过程可以通过图1来解释，光源发出的光线照射放置在物镜的前焦面上的待测样本，经样本散射或透射的光线不通过物镜成像，而是作为无限远的平行光线进入管镜，由管镜形成中间像，而后通过目镜观察或直接成像于图像传感器。无限远成像系统带给了光学显微系统稳定的、优质的光学成像能力(包括成像分辨率和对比度)，然而这种严格的光学系统配置同时也使得光学显微镜的成像配置较为复杂，难以适应便捷检测的需求[52]。
智能手机平台的光学成像能力为显微成像系统提供了简化的光学系统替换方案，其后端摄像镜头和传感器可以被引入显微成像光路中作为光学成像和采集的装置(即筒镜和成像传感器)，形成可视化的观察图像。相比于传统显微镜严格的显微物镜的硬件配置，智能手机平台的强大的光学变焦能力和数字变焦能力允许不同的光学放大透镜配置以实现多样化的显微成像表现。根据光学放大透镜的不同配置，可将基于智能手机平台的新型显微成像光路设计分为三大类，即基于标准显微成像光路、定制化单透镜以及倒置手机摄像头镜头的自校正显微成像系统设计。
图2显示了三类基于智能手机平台的新型显微成像光路结构[53]。第一类结构使用标准显微镜物镜和目镜构成无限远显微光学系统，智能手机平台仅作为图像记录和显示装置，如图2 (a) 所示。相比于传统相机传感器采集设备，智能手机平台集成化的图像采集与显示特性提供了强大的兼容性，使显微镜具备即时成像和观察的优势。第二类结构将智能手机平台的成像镜头和传感器作为光学成像和图像采集设备，其光学结构如图2 (b) 所示。在这种结构下，单个具有光学放大能力的定制化单透镜作为显微成像的物镜，如球透镜、非球面透镜、液体透镜等。这些定制化单透镜对本身到智能手机摄像头镜头的距离不敏感，因此可缩短镜头和智能手机摄像头镜头的距离，从而大大缩短成像光路，减小系统体积。区别于定制化单透镜设计，倒置手机摄像头镜头作为最匹配智能手机平台图像传感器的镜头组，提供了第三类成像光路设计，可以很好地校正图像像差且较好地利用智能手机平台图像传感器的面积，其光路结构如图2 (c) 所示。表1分别概述了三类基于智能手机平台的新型显微成像光路设计的优缺点。
图 2. 基于智能手机平台的显微系统中的物镜类型。(a) 标准显微成像光路；(b) 定制化单透镜；(c) 倒置手机摄像头镜头的自校正显微光路
Fig. 2. Type of objective lens in microscope system based on smartphone platform. (a) Standard microscopic imaging light path; (b) Customized single lens; (c) Self-correcting microscopic optical path of inverted camera lens of smartphone
表 1. 三类基于智能手机平台的新型显微成像光路设计的优缺点
Table 1. Advantages and disadvantages of three types of new microscopic imaging optical path designs based on smartphone platforms
|
1.1 基于标准显微成像光路的智能手机平台显微成像设计
传统光学显微镜主要包括目镜和物镜两个镜头。显微物镜具有放大目标物体的作用。数值孔径和放大倍率是显微镜物镜的主要性能参数。在保证成像质量的情况下，为了分辨物体的精细结构，应选尽可能大数值孔径的物镜，且其放大率需与分辨率相匹配。显微镜目镜相当于放大镜，对于具有正常视力的观察者，物镜的像应与目镜的物方焦平面重合，这对系统的稳定性提升非常关键[54-56]。用于特殊疾病诊断的光学显微镜因其昂贵的价格和需要专业人员操作的要求，使得这些光学显微镜在农村和发展中地区无法获得。
为了解决这一问题，在2009年，最早的基于标准显微成像光路的手机平台显微成像系统由Breslauer[40]团队提出，该系统将传统的光学显微系统连接到移动手机上，在有限的视场范围内生成高分辨率图像，仅填充部分相机传感器面积，花费了几百美元。手机在这个系统中仅仅作为成像器件，即使把手机去除，也能通过目镜观察到样品。其光路结构如图3 (a) 所示，此基于标准显微成像光路的手机平台显微成像系统被用于检测疟原虫、血液中镰状红细胞和痰液中结核杆菌。文中提出的显微系统由传统光学显微镜的物镜和目镜系统来实现了明场成像和荧光显微成像两种成像模式，明场成像模式只需要将激发滤光片(Excitation filter)和发射滤光片(Emission filter)移除，其中目镜距离物镜160 mm，光路用黑色套筒包裹，目镜和手机摄像头镜头的距离等于摄像头镜头的焦距(图3 (a) )。此系统中使用的广角目镜和消色差物镜的放大倍率分别是20×和60×，产生了直径约为180 μm、有效放大率约为28×、空间分辨率为1.2 μm的FOV。通过朗奇刻线(Ronchi rulings)测试得到该系统的真实分辨率为2.7 μm，在所有测试情况下，分辨率都超过了检测血细胞和微生物形态所需的分辨率；对于结核病样品，Breslauer[40]等人进一步利用智能手机平台采集到的数字化图像，通过图像分析软件ImageJ演示了自动芽孢杆菌技术，图3 (a) 分别展示了荧光珠在荧光显微成像模式和明场成像模式下的图像。上述手持式手机显微成像系统虽然得到了高分辨率图像，但是视场面积较小，仅填充部分相机传感器。整套系统并不是经济高效的，其所用的光学元件价格昂贵，且物镜包含在光学套管中，由此产生的结构看起来很笨重。
图 3. 各种基于标准显微成像光路的智能手机平台显微成像系统示意图。(a) Breslauer等提出的基于手机平台的显微镜示意图[40]；(b) Shan等提出的基于智能手机平台的显微镜示意图[57]；(c) Shrivastava等提出的基于智能手机平台的显微镜示意图[58]
Fig. 3. Schematic diagram of various microscopic imaging systems of smartphone platform based on standard microscopic imaging optical path. (a) Schematic diagram of microscope based on mobile phone platform proposed by Breslauer et al[40]; (b) Schematic diagram of microscope based on smartphone platform proposed by Shan et al[57]; (c) Schematic diagram of microscope based on smartphone platform proposed by Shrivastava et al[58]
随着研究人员不断地探索，如图3 (b) 所示，Shan[57]等设计了小型化基于智能手机平台的荧光显微系统，此系统的光学模块中集成了激光二极管、显微物镜、目镜、发射滤光片和反射镜等光学元件，并与智能手机连接，可采集荧光信号。Shrivastava[58]团队也利用了相似的光学结构搭建了基于智能手机平台的荧光显微成像系统，如图3 (c) 所示。与Shan团队不同的是，此系统用白光发光二极管(Light-emitting diode, LED)作为激发光，并在系统中集成了一个定制的细菌检测盒，展现了在病原体现场检测的巨大潜力。用标准的显微物镜作为成像透镜的好处在于可以很好地校正常见的像差，通常可以获得质量较高的图像，但目镜镜头针对瞳孔直径为4 mm的人眼进行了优化，而智能手机摄像头镜头的瞳孔直径通常在2 mm左右，因此当智能手机摄像头直接安装在目镜上时，物镜的有效数值孔径会降低，达不到理想的系统分辨率。Breslauer也提到可以通过使用具有更高数值孔径(Numerical aperture, NA)的物镜和通过将照明源以倾斜角度照明样品来增强对比度，可以改善图像质量，但这无疑增加了整个手机显微成像系统成本和复杂性。
1.2 基于定制化透镜的智能手机平台显微成像设计
许多基于智能手机平台的新型显微成像系统都使用定制化单透镜作为物镜，这类定制化单透镜的成本低，且重量轻，使得定制化单透镜对基于智能手机平台的显微系统很有吸引力。基于手机的显微成像系统中通常使用的定制化单透镜包括球透镜、非球面透镜和液体透镜。球透镜焦距很短，从而使整个系统具有较高的图像分辨率和较大的光学放大率。非球面透镜通常用于准直和耦合来自激光二极管的光，一般具有较高的数值孔径(>0.25)。液体透镜可以通过改变固化液体的体积和温度，从而改变液体透镜的焦距，这为科研人员提供了一个以较低价格制造固定焦距物镜的方案。由于上述定制化单透镜的成本都很低，因此可准备不同焦距的单透镜在一个极低的成本下实现不同的光学放大率。引入这些定制化单透镜作为基于智能手机平台的新型显微成像系统的物镜替代传统光学显微镜中物镜-目镜光学系统，从而降低了系统的成本和复杂性。
1.2.1 球透镜
在基于智能手机平台的新型显微成像系统中，使用传统显微镜光学元件和制造笨重附件增加了系统的成本、复杂性和所需的维护技能。使用标准显微镜物镜和目镜作为基于手机平台的显微镜的物镜，手机相机取代了传统显微镜出瞳中的人眼。这种方案导致了一个相当庞大的系统结构，因为它需要一个完整的标准实验室显微镜结构适当地耦合到智能手机平台上，且因手机摄像头镜头的直径小于人眼瞳孔的平均直径，其往往会减小系统的数值孔径和分辨率。而使用球透镜作为系统的物镜，这时手机镜头作为管镜。它实现了一个非常紧凑的结构，将球透镜直接安装在手机上，仅需双面胶带便可固定[59-60]。
为了改善笨重光学附件的缺点，Smith[61]等使用球透镜连接至手机设计了基于智能手机平台的新型显微成像系统可成功诊断镰状细胞贫血，球透镜紧贴着手机摄像头镜头，且因球透镜极短的焦距，样品距离球透镜非常近，由此整个手机显微成像系统非常紧凑。Bogoch[62]等证明了使用单个3 mm球形透镜检测粪便样本中土壤蠕虫的成像能力，3 mm的球透镜利用双面胶带固定在手机摄像头镜头上，无需制造笨重的光学附件。使用球透镜成像，它允许一个非常紧凑的系统结构，外部镜头直接安装在手机上，如图4 (a) 所示。使用球透镜作为手机显微成像系统的成像镜头，系统的光学放大率为手机摄像头镜头焦距和球透镜焦距的比例，一般的手机摄像头镜头焦距为3~5 mm，为了获得光学放大率M>1，球透镜应具有非常短的焦距。
图 4. 各种基于球透镜的智能手机平台显微成像系统示意图。(a) Bogoch提出的基于智能手机平台的显微镜示意图[62]；(b) Jahan-Tigh等提出的基于智能手机平台的显微镜示意图[42]； (c) Kutay等提出的基于智能手机平台的显微镜示意图[65]；(d) Zeng等提出的基于智能手机平台的显微镜示意图[63]； (e) Agbana等提出的基于智能手机平台的显微镜示意图[64]
Fig. 4. Schematic diagram of microscopic imaging systems of various smartphone platforms based on spherical lens. (a) Schematic diagram of microscope based on smartphone platform proposed by bogoch et al[62]; (b) Schematic diagram of microscope based on smartphone platform proposed by Jahan Tigh et al[42]; (c) Schematic diagram of microscope based on smartphone platform proposed by kutay et al[65]; (d) Schematic diagram of microscope based on smartphone platform proposed by Zeng et al[63]; (e) Schematic diagram of microscope based on smartphone platform proposed by Agbana et al[64]
Jahan-Tigh[15] 等将Smith和Bogoch的系统改良提出了基于智能手机平台的显微镜。同样的，球透镜通过双面胶带固定，但在此之前，球透镜被固定在一张对折的透明塑料中，其结构如图4 (b) 所示。整个系统可通过手持的方式观察样品。而Zeng[63]等则使用商用手柄冲床在硅膜上制造一个2 mm的小孔并将3 mm的球透镜固定住，选用硅膜作为球透镜固定装置是因为其具有良好的柔性结构，可装配不同直径的球透镜，系统如图4 (d) 所示。2018年，Agbana[64]等对使用球透镜的手机显微成像系统的光学设计进行优化，使其达到最佳性能。其系统外观如图4 (e) 所示。Agbana从球透镜的材料和直径以及球透镜到手机摄像头镜头的距离等参数进行分析，并将衍射极限设置为可达到的分辨率，最佳效果应是在白光照明下可以在最宽的视场内得到较高分辨率的图像。Agbana对球透镜成像光学方案进行了多参数优化，得出了以下实用结论：（1）手机摄像头镜头的数值孔径应小于0.2，限制可达到的最大分辨率；（2）手机显微成像系统的孔径光阑应放置于球透镜的正后方；（3）手机摄像头镜头距离球透镜的距离可以很短（0.3~0.5 mm）且可通过固有的像差将手机摄像头镜头和球透镜的光轴对齐，便于调整系统；（4）系统的成像视场受到球透镜离轴像差的限制，主要来自场曲；（5）用油浸没样品和球透镜之前的空间可消除球透镜前表面的影响来减少像差，并将得到更大的视场。
球透镜因其焦距短、体积小、便于固定等优点被应用于各类基于智能手机平台的显微成像系统，Agbana使用了50 μm的铝箔，球透镜被双面胶带安装在两片金属铝箔之间。使用球透镜作为物镜的手机显微成像系统虽能得到较高的图像分辨率，但图像边缘的像差十分严重，导致拥有高分辨率的真实视场很小。这是因为研究人员使用了一个简单的球透镜作为放大元件，导致了显著的平场畸变，球透镜的焦平面由一个球体描述，聚焦的部分是与该球体相交的部分。畸变在球透镜成像中显得尤为明显。畸变是指当物体通过透镜成像时，会在物体的不同部位产生不同放大倍率差，从而破坏了物体与成像之间的相似性。球透镜会产生正畸变，即成像周围的放大倍率比成像中心区域的放大倍率要大。这两种像差都可以通过数字图像处理在图像采集后进行表征和校正。
因此，在2016年，Kutay[65]等报告了一种基于超低成本球透镜和图像处理算法的智能手机显微镜，用于分析印刷光栅上免疫磁珠的数量，其系统结构如图4 (c) 所示。通过的图像后处理算法，基于球透镜的智能手机显微镜采集到图像的噪声比可大大降低，提高图像质量。
1.2.2 非球面透镜
非球面单透镜可以更好地减少球面像差。非球面单透镜通常用于准直或耦合来自激光二极管的光，并提供足够大的数值孔径，通常大于0.25。大多数非球面透镜都是通过模压工艺制造的，因此透镜价格相对较低。
在2012年，Arpa[66]等将一个非球面单透镜放置在显微镜样品上，样品放置在另一个手机屏幕上(非照相手机)，按镜头的焦距分开，用该手机屏幕作为整个系统的照明光源，发出结构性的背景光，最终在照相手机上成像，这样就可以观察样品的不同视角并记录下来。其系统结构如图5 (a) 所示。该系统的放大倍率取决于手机摄像头焦距和透镜焦距，而与它们之间的焦距无关。与使用标准显微物镜和目镜的系统相比，此系统更加灵活，轻便，整个系统的光学元件仅需一个单透镜镜头，且该单透镜可与多个不同类型的智能手机平台相匹配，单透镜与智能手机平台之间的间距可以调整，但此系统所采集到的显微图像的边缘还是会受到像差的困扰。2016年，Felton[67]等提出了一种基于智能手机平台的设备，该设备将磁铁、毛细管和NA为0.72的非球面透镜集成到一个紧凑且便携的装置中，该装置可通过智能手机平台的相机获取图像，并利用该系统对细胞的密度进行分析，可用于区分不同类型或相同类型的细胞，其结构如图5 (b) 所示。
图 5. 各种基于非球面透镜的智能手机平台显微成像系统示意图。(a) Arpa等提出的基于智能手机平台的显微镜示意图[66]；(b) Felton等提出的基于智能手机平台的显微镜示意图[67]
Fig. 5. Schematic diagram of various micro imaging systems of smart phone platform based on aspheric lens. (a) Schematic diagram of microscope based on smart phone platform proposed by ARPA et al[66]; (b) Schematic diagram of microscope based on smartphone platform proposed by Felton et al[67]
与球形和半球形镜头类似，在计算有效数值孔径时，应考虑智能手机摄像头镜头的小孔径直径。虽然非球面单透镜可以提高同轴性能，但由于非球面透镜主要用于同轴光准直或耦合，因此离轴像差仍然很大。当对多种颜色成像时，在任何单透镜方法中都会出现严重的色差，不同波长的光聚焦在不同的位置。
1.2.3 液体透镜
传统的镜片是由玻璃或塑料等刚性材料的机械抛光或注射成型而成。高光学质量的透镜表面需要良好控制的制造参数，这增加了复杂性和操作成本。相比之下，由于表面能最小化而形成的透镜(如液体透镜)提供了一种替代方法，用于制造高质量的小透镜，无需模具或复杂的参数控制[68]。然而，自由流动的液体透镜需要一个系统来提供机械稳定性并防止液体蒸发，可以通过固化液体聚合物来制造透镜，从而永久地固定透镜轮廓[69]。例如，焦距为1 mm的微透镜已通过光刻胶回流焊制成。毫米范围焦距的小镜头非常适用于各种商业电子产品，如智能手机和数码相机。
聚二甲基硅氧烷(Polydimethylsiloxane, PDMS)在可见光谱中是光学透明的(透射率T>95%)且具有高折射率，并具有随时间变化最小的黄变。自20世纪90年代以来，PDMS已被用于构建微流控器件，至今仍保持其广泛的适用性。因此，固化液体聚合物的透镜逐渐被科研人员用于基于智能手机平台的显微成像系统的开发中[70-72]。
在2015年，Sung[73]等人提出了一种通过在加热表面上喷墨打印聚二甲基硅氧烷(PDMS)液滴来制造透镜的方法。PDMS液滴从喷墨打印头以规定的高度释放。撞击表面时，动能和表面能、惯性、重力和流体粘度的复杂相互作用使液滴呈现平凸形状，可以用作透镜。该透镜打印程序稳定耐用，无需洁净室设施便可操作。由于PDMS是一种热固化弹性体，其液滴变形可通过热加速原位固化进行干预。如图6 (a) 所示，Sung通过控制PDMS液滴的体积和液滴下的预热表面温度固化速度，从而控制液滴的表面曲率和焦距。PDMS在玻璃和塑料表面上的粘合性能允许PDMS镜头非永久性地连接到相机窗口上，无需额外支撑，并且能够在实验中一次使用至少30 min而不会脱落。10 μL容量的PDMS液滴在200 ℃的快速加热表面形成的焦距为5.6 mm的透镜连接到低成本智能手机上，可达到1 μm的成像分辨率和120×的光学放大率。因此基于PDMS喷墨打印透镜的手机显微成像系统可达到不错的显微成像效果，且其成本极低，质量轻，没有笨重的光学附件。
图 6. 各种基于PDMS透镜的智能手机平台显微成像系统示意图。(a) Sung等提出的PDMS喷墨打印透镜制作过程及其基于智能手机平台的显微镜示意图[73]；(b) Sung等提出的基于智能手机平台的显微镜示意图[74]；(c) Fuh等提出的液体驱动透镜的制作过程和基于智能手机平台的显微镜示意图[75]
Fig. 6. Schematic diagram of microscopic imaging systems of various smartphone platforms based on PDMS lens. (a) Schematic diagram of the manufacturing process of PDMS inkjet printing lens and its microscope based on smartphone platform proposed by Sung et al[73]; (b) Schematic diagram of microscope based on smartphone platform proposed by Sung et al[74]; (c) Schematic diagram of fabrication process of liquid-driven lens and microscope based on smartphone platform proposed by Fuh et al[75]
在2017年，Sung[74]等利用自己之前提出的PDMS喷墨打印镜头设计了一款基于智能手机平台的多色荧光显微系统，其结构如图6 (b) 所示。该显微镜利用光线在载玻片全内反射照明，用于研究荧光显微镜中的三个常见应用：自体荧光、荧光染色和免疫荧光。
2016年，Fuh[75]等介绍了一种带有内置非球面聚二甲基硅氧烷透镜的液体驱动非球面透镜(Liquid-actuated Aspheric Lens, LAL)的新概念，以实现具有变焦显微成像的紧凑型光学系统的设计。通过调整注入液体体积的变化来控制压差可以改变液体驱动非球面透镜的焦距，该透镜的制造过程和物理结构如图6 (c) 所示，先通过PDMS喷墨打印技术制造APL透镜，并组装成液体驱动非球面透镜，焦距范围为4.3~2.3 mm。
PDMS喷墨打印透镜可通过改变液滴体积和表面温度来制作具有不同焦距的液体透镜。这个透镜打印过程是半自动化的，并且可以修改，方便以更大的生产量并行制造。未来可通过此项技术来制作更小的透镜，这些透镜将产生更大的光学放大率，但是可能由于尺寸较小，难以制作。
1.3 基于倒置手机镜头的自校正智能化手机平台显微成像设计
专门设计智能手机摄像头镜头用于收集大角度的光线，并在成像传感器上以最小的像差生成图像。此类透镜的F数为3.0~1.5，对应于0.17~0.33的数值孔径。数值孔径决定显微镜的横向分辨率和聚焦深度。智能手机摄像头的焦距通常较短，约为3~5 mm，可集成在比较薄的智能手机中。例如，iPhone XS智能手机使用了F数为1.8、焦距为4.25 mm的摄像头镜头。为了在最小像差的情况下获得大视场，智能手机摄像头镜头中使用了多种镜头元件。每个透镜元件通常采用塑料成型工艺制造，以降低成本。镜头光圈位于摄像机前端附近。光圈直径通常在几毫米左右。智能手机摄像头镜头位于音圈电机(Voice Coil Motor, VCM)的运动部件中，VCM用于调整透镜的焦距。调焦功能在显微镜中非常有用，它可以免除显微镜物镜对附加调焦装置的需求，并且可以方便地进行交互式调焦。
由于内置摄像头镜头的专门设计，通过在手机摄像头模块外添加放大光学元件而创建的基于智能手机平台的显微镜无法使用全图像传感器，这加剧了光学系统固有的分辨率和视场之间的权衡。这种折衷在诊断应用中尤为明显，基于图像的诊断速度和成本与能够以足够分辨率查看的样本面积有关。
图7 (a) 展示的基于球透镜的智能手机显微成像系统由于严重的场曲效应以及球面和其他像差导致可用的高分辨率的视场非常有限。相比之下，显微镜目镜的设计目的是将光线耦合到具有最小像差的广角视场中，并且它可以与标准物镜结合使用来构建基于智能手机平台的显微成像系统，如图7 (b) 所示。但是，这种配置也无法使用完整的手机传感器进行高分辨率成像，而且标准显微镜物镜和目镜昂贵的价格和其构建系统所带来的额外的光学附件使此方法显得笨重。而手机摄像头镜头本身专门设计用于收集高角度光线的镜头，非常适合与智能手机平台进行光学耦合。倒置手机摄像头镜头还提供了与摄像头镜头本身完全匹配的角度视场，因此可以完全填充智能手机图像传感器，如图7 (c) 所示。与球透镜、标准显微镜物镜和目镜配置的系统相比，基于倒置手机镜头的自校正智能化手机平台显微成像系统所观察到的样本的细胞形态和细胞核在整个视场中都很容易辨别，而球透镜和标准显微镜物镜和目镜配置的系统的视场和和分辨率受到明显限制。
图 7. 基于智能手机平台的显微镜结构的比较[76]。(a) 基于球形镜头手机显微镜示意图；(b) 基于标准有限远显微系统的手机显微镜的示意图；(c) 基于倒置手机镜头显微镜示意图
Fig. 7. Comparison of microscope structures based on smartphone platforms[76]. (a) Schematic diagram of a spherical lens-based cell phone microscope; (b) Schematic of a cell phone microscope based on a standard infinity microscope system; (c) Schematic diagram of a microscope based on an inverted mobile phone lens
2014年，Switz[76]等基于倒置手机镜头的自校正智能化手机平台显微成像系统设计，在比标准显微镜大得多的视场上实现高质量成像，其系统结构如图8 (a) 所示。由于从均匀照明的样品收集高视场角的光，具有反向相机镜头的手机显微镜会受到图像显著的
图 8. 各种基于倒置手机镜头的自校正智能化手机平台显微成像系统示意图。(a) Switz等提出的基于智能手机平台的显微镜示意图[76]；(b) D’Ambrosio等提出的基于智能手机平台的显微镜示意图[77]；(c) Kim等提出的基于智能手机平台的显微镜示意图[78]；(d) Kheireddine等基于智能手机平台的显微镜示意图[79]
Fig. 8. Schematic diagram of various self-correcting intelligent mobile phone platform microscopic imaging systems based on inverted mobile phone lenses. (a) Schematic diagram of the smartphone platform-based microscope proposed by Switz et al[76]; (b) Schematic diagram of the smartphone platform-based microscope proposed by D’Ambrosio et al[77]; (c) Schematic diagram of the smartphone platform-based microscope proposed by Kim et al[78]; (d) Schematic diagram of the microscope based on smartphone platform by Kheireddine et al[79]
2015年，D’Ambrosio[77]团队利用倒置手机摄像头镜头和LED阵列设计了基于智能手机平台的显微成像系统，可在图像分辨率<6.5 μm的情况下获得大于4 mm×3.16 mm的视场，系统如图8 (b) 所示。
Kim[78]等在智能手机相机的外部添加手机相机镜头模块，构建了基于智能手机平台的荧光显微镜，外置镜头模组与内置手机摄像头形成中继系统，通过LED或LD激发样品。该系统可获得2.5 μm的图像分辨率及1.2 mm×1.2 mm的视场，其系统结构见图8 (c) 。
2018年，Kheireddine[79]等使用倒置手机摄像头镜头作为基于智能手机平台的显微镜物镜，利用另外一部手机屏幕作为照明光源，手机屏幕照明允许轻松生成可用于不同显微镜模式的照明模式，成像手机提供高空间分辨率和大视场。系统结构如图8 (d) 所示。因为智能手机本身的极高制造量，使得相应的手机摄像头镜头的成本较低，这种配置的手机显微系统可进一步推进资源有限、偏远的农村地区的医疗诊断、细菌检测等方面的发展。但使用倒置手机摄像头镜头的手机显微成像系统的光学放大率M=1，在需要较大的光学放大率和较高分辨率的应用中，这种系统配置还是无法满足目标需求。
2 基于智能手机平台先进传感器的计算光学高通量显微成像技术
图像传感器作为重要的光学成像器件，其硬件水平对光学成像系统的性能至关重要。现代图像传感器件的技术和工艺进步都对推动显微成像技术起到了重要的推动作用。作为当前快速发展的智能手机行业，其图像采集设备往往代表了图像传感器件的最高发展水平。自1933年第一个光电倍增管(Photo-multiplier tube, PMT)诞生以来，图像传感器件历经了光电以及双基极二极管阵列-光电耦合器件(Charge-Coupled Device, CCD)-互补性氧化金属半导体(Complementary Metal Oxide Semiconductor, CMOS)的发展，一系列进步促使了手机相机模组的高速发展，图9展示了近20年来手机图像传感器的进化史。
光学显微系统中成像分辨率的限制因素恰恰顺应了手机相机模组的高速发展，因此日益获得提升。实现大视场、高分辨率以及无标记成像是光学显微技术发展至今不断追求的目标[80-81]。传统光学显微镜受到其光学设计原理的限制，空间带宽积(Space bandwidth product, SBP)总被限制在百万像素量级，从而无法兼顾高分辨率与大视场。另一方面，光学系统复杂度的不断增加也使得显微镜日趋昂贵、笨重、复杂且难以维护，极大地限制了其推广和应用。本章介绍的基于智能手机平台先进传感器的计算光学高通量显微成像技术能够同时实现大视场高分辨率成像和定量相位显微成像；并且成像系统体积小、结构简单；在制备样品时无需通过染色等化学手段进行处理，在避免化学物质影响的同时简化了样品制备流程；得益于智能手机平台搭载的高性能图像传感器，其成像分辨率也得到了极大优化，所以该技术具有突出的性能优势和非常广阔的发展前景[82-83]。
相比于传统的透镜显微成像技术，基于先进传感器的计算光学高通量显微成像技术无需通过透镜进行聚焦成像，而是直接将需要观测的样本紧贴于成像器件光敏面前方，并采用不同波长的照明光照明，或者在不同的样品-传感器间距下进行图像采集[84]。无透镜显微成像技术具有大视场、稳定性高、无需染色标记、高分辨率、无需标记、成本低、便携性好和可实现三维成像等优点，在简化显微成像系统和降低系统成本等方面具有显著的优点，并且在观测细胞生长过程等众多领域具有重要的应用价值。虽然无透镜显微成像技术的NA在理论上可以接近 1，但是由于传感器像元尺寸等因素的限制，最终的成像分辨率远低于该理论值[85]。
幸运的是，近年来随着CCD和CMOS图像传感器领域的高速发展，无透镜显微成像方法逐渐克服了这些局限性，而该领域的快速发展主要得益于消费电子尤其是智能手机行业的高速推进，智能手机技术的最新进展正在对全球医疗保健和遥感技术产生变革性影响。现代智能手机平台部署了与个人电脑相当的高计算能力、高速移动网络连接和复杂的传感器技术，所有这些都集成在手掌大小的几何体中。特别是智能手机平台的相机模块采用了最先进的图像传感器，其具有小像素尺寸和高像素数——目前最高可达1亿。基于此类高性能内置摄像头模块，可以搭建一个小型便携式数字成像平台，为资源有限的环境中的远程医疗和诊断提供了可能性。
2009年，Seo[86]等人利用基于片上结构的手机显微镜实现了基于同轴全息的无透镜片上大视场高分辨率显微成像技术，对红细胞、酵母细胞、大肠杆菌和各种大小的微粒进行了显微成像，并提高了流式细胞术(Flow cytometry, FCM)的检测性能。流式细胞术是一种强大的技术，能够对流经流体动力学浓缩通道的细胞进行计数、表征和分类，通过收集细胞随时间变化的荧光和散射光，可以获取细胞的数量、类型或表面形态变化，这些信息在临床诊断中都非常重要。大多数流式细胞仪使用体积庞大且昂贵的设备，如光电倍增管PMT和雪崩光电二极管APD，这限制了它们在医学检测上的应用，尤其是在资源有限的环境中。Ozcan团队打造了一个无透镜全息成像平台，它可以为片上细胞仪和远程诊断提供一个通用的解决方案。该平台使用可变针孔控制照明源的空间相干性，利用一束相干平面波照射样品，此外，样品需要尽可能地贴近图像传感器，以便让带有约2 mm像素大小的高分辨率光电传感器阵列记下录每个样品细胞的全息衍射图案(见图10)。在记录该全息无透镜图像后，使用定制开发的算法处理获取的全息图的2D纹理，然后根据同轴全息的思想和 GS 迭代相位恢复方法，将光场信息在物面和传感器平面之间来回进行数值传播，最终迭代更新出物体的复振幅信息，以快速识别和表征位于区域内非均质溶液中的每个细胞/微对象的类型和3D位置。由于这种全息方法不依赖常规光学元件（如：透镜、反光镜、分束器等），因此它为很多片上诊断应用（如：全血分析）提供了一种灵活、结构紧凑且经济高效的替代方案。
图 10. 典型的基于先进传感器的计算光学高通量显微成像技术及其原理示意图[86]
Fig. 10. Schematic diagram of typical computational optics high-throughput microscopy imaging technology based on advanced sensors and its principle[86]
该实验装置与小型流式细胞仪相比不涉及任何流体流动，在不到0.3 s的时间内并行捕获芯片上细胞的全息衍射信息。与流式细胞术完全不同，该方案依赖于对不同细胞类型的全息衍射特征进行数字处理，以快速表征芯片上的异质细胞溶液。与现有的数字全息显微术(Digital holographic microscopy, DHM)系统相比，无透镜显微镜拥有更简单的数字处理及更轻便的光学结构。
2010年，Tseng[87]团队同样基于手机平台打造了一种计算光学高通量显微镜，这款无镜头成像平台质量为 38 g，可以机械地连接到手机的摄像头单元，样品可从侧面置入，并由简单的LED垂直照明。然后非相干LED光通过每个微物体产生散射从而与背景光发生相干干涉，进而在手机的相机模块探测器阵列上创建每个微物体的无透镜全息图，基于捕获的这些全息特征可以通过快速数字处理重建物体的显微图像。Tseng等人通过对各种大小的微粒以及红细胞、白细胞、血小板和水性寄生虫(贾第鞭毛虫)进行成像，验证了这款无镜头手机显微镜的性能。
与传统的全息方法中使用相干光源(如：激光器)不同，Tseng团队使用了便宜易得的LED垂直照亮样品，该非相干LED光首先通过直径为100 mm的大孔径进行滤波，以更好地控制传感器平面上照明的空间相干性。这种大孔径还对光传输效率改进了几个数量级，此外还在一定程度上提供了对未对准时的容忍度。这种经过空间滤波的LED光在空气中传播4 cm后与样品相互作用，样品中的每个细胞/粒子根据其大小、三维形态、亚细胞元素和折射率对入射的LED光散射和折射通过细胞的光波与未散射LED光的干涉产生每个细胞的全息图，该全息图可通过已安装在手机摄像头上的CMOS探测器阵列进行检测。每个细胞的无透镜全息图信息极其丰富(尽管记录下的几何结构很简单)，并允许通过数字图像处理快速重建其显微图像。
为了验证该基于手机平台计算光学高通量显微镜的性能，Tseng团队对几个不同尺寸的微粒以及红细胞、血小板等进行了成像，结果如图11(a)所示。实验中将一次性样品从侧面插入无透镜手机显微镜以检测其全息衍射图案，然后使用定制的重建算法对这些全息阴影进行数字处理，以创建中间栏内所示的样本显微图像。在单位条纹放大率下，重建的空间分辨率受到传感器像素大小的限制，系统中每个彩色像素的分辨率约为2.2 mm。对于相同像素大小的单色传感器，通常可以实现约1.5~2 mm的亚像素分辨率。然而，与单色传感器相比，准单色照明下的滤色器引入的失真和较低的信噪比相对降低了空间分辨率。
图 11. 基于手机平台的计算光学高通量显微镜示意图。(a) Tseng等提出的基于智能手机平台的显微镜示意图[87]；(b) Seung等提出的基于智能手机平台的显微镜示意图[88]
Fig. 11. Schematic diagram of the computational optics high-throughput microscope based on the mobile phone platform. (a) Schematic diagram of the microscope based on the smartphone platform proposed by Tseng et al.[87]; (b) Schematic diagram of the microscope based on the smartphone platform proposed by Seung et al[88]
这种基于智能手机平台先进传感器的计算光学高通量显微镜对远程医疗和全球健康相关应用的一个重要意义是，可以将显微镜系统带到偏远地区以便进行更准确的医疗诊断，甚至在检测设备匮乏的环境中(如：热带雨林)筛查水质。在理想的情况下，手机本身不仅可以应用于全息图像采集，还可以将原始图像以及其他相关信息(如：患者的人口统计数据、位置等)无线传输到中央计算机，用于诊所或医院从远程位置收集更大的数据集，这意味着全息重建过程可以远程执行，这样就可以显著减轻智能手机硬件上的计算负担。例如：使用安装在中心医院的图形处理单元GPU，基于智能手机平台的显微镜捕获到的原始全息图的数字图像的重建可以在不到1 s内实现，终端用户可以通过无线通信快速访问重建的显微图像。
2014年，Seung[88]等打造了一种基于智能手机平台的环境照明显微镜，该系统使用环境照明作为光源，不需要再使用附加的光源，系统结构如图11(b)所示。该方法基于阴影成像技术，将样本放置在图像传感器的表面，图像传感器在照明下捕获直接阴影图像，由于直接阴影成像对照明和样品都没有严格要求，可以使用宽光谱的非相干光源。该方案可以对拼接的样本进行连续成像，如融合的细胞培养和高密度涂片，因此可以在与常规显微镜载玻片相同的浓度下制备生物样本。此外，使用像素超分辨率算法的图像重建不需要高计算能力，可以在智能手机平台处理器上执行。除了将图像分辨率提高到像素大小以外，系统采用多个不同照明角度的图像执行像素超分辨率重建，这些图像是在用户手动将设备倾斜到任何环境光源(如：太阳或灯)周围时捕获的，然后使用在每帧之间亚像素偏移的多幅低分辨率图像，通过像素超分辨率图像重建来提高图像分辨率。无透镜成像方案允许在超宽视场上进行亚微米分辨率成像。系统使用定制的Android应用程序在设备上执行图像采集和重建，为实际应用打造独立的成像设备。
还有基于离轴数字全息重构的无透镜显微成像技术，以及基于简单成像的无透镜投影成像技术和无透镜荧光成像技术[89]。在离轴无透镜数字全息系统结构中，光源经过半透半反镜分成两束光，一束光照射在待测样品上然后反射(可以看作是物光)，另一束经过全反射镜直接反射(可以看作是参考光)，两束光最后发生干涉，最终在图像传感器上成像。这里物光和参考光的离轴角度取决于反射镜与垂直方向的夹角。可以看出离轴无透镜数字全息的待测样品通常是反射物体，而对于相位物体/弱吸收物体往往是不适用的，因此才引入另一类无透镜数字全息即同轴无透镜数字全息。然而，无论是在离轴还是同轴无透镜全息装置中均需要进行相位恢复。此外，针对于实际情况，待测物体和传感器表面的距离一般是无法直接精确测量的，因此往往需要重聚焦算法来获取确切的离焦值，一般采用角谱传播来获得粗略值[90-91]。
上述的几种方法在通常情况下都假设待测物体是一个薄二维物体，但是在生物医学检测、工业检测等领域中，有时待测物体的真实三维分布信息（如：生物细胞以及微粒的结构信息）也尤为重要，因此诞生了基于三维层析成像的无透镜显微成像技术，例如：Isikman[92]等人于2010年提出的基于用于片上深度分辨成像的多角度无透镜数字全息术。这种方法本质上是一种层析成像方法，即基于滤波反投影和全息重构相结合可用重构出微小物体的三维图像，经Isikman等人的实验测试验证，该项无透镜层析显微技术已被用于线虫、聚合物中珠的三维分布成像。
从技术层面(成像分辨率等)来看，手机相机的成像器件CCD、CMOS不断发展恰恰顺应了计算光学高通量显微镜成像分辨率的需求，因此从长远的角度来看，基于智能手机平台的无透镜显微镜这一领域有一定探索价值并且具备一定的前景。
但从结构上看，基于智能手机平台先进传感器的计算光学高通量显微镜需要用到一个极小的小孔，不需要任何光学元件（如：透镜和平面镜），因此这种结构的手机显微镜通常都非常紧凑和轻量。但是由于需要取出手机内部的摄像镜头模组，对手机的侵入式损坏使得手机丧失了拍照摄像功能，这一点对于用户的使用体验显然是破坏性的。此外，全息图像需要从获取的条纹图案中进行重建才能得到，需要耗费大量计算时间，目前的普通手机还无法拥有足够的算力来满足图像重建的需求。
3 基于智能手机平台集成化数据处理能力的计算光学显微成像技术
智能手机之所以谓之“智能”，是因为其像个人电脑一样，拥有卓越的处理芯片，独立的运行空间，开放的操作系统，多样的传感器，可以由用户自行安装附加的应用程序实现多类功能并支持多种无线网络接入。
从第一款智能手机面世，作为手机大脑的CPU快速发展，主频也从当初的16 MHz上升到如今的3 GHz乃至更高，CPU的种类也更加多元化，像高通、英特尔等都是其中的佼佼者。提高主频对于提高CPU运算速度是至关重要的，未来CPU的主频将会越来越高，兼容能力和运行能力也会越来越强，搭配的功能也会越来越多，可直接在手机上进行边缘计算，无需等待数据传输的时间，效率更高。智能手机平台除了硬件层面上的不断进步，软件上各类操作系统的开发完善使得智能手机如虎添翼。作为智能手机平台生态系统中的重要组成部分，智能手机平台的操作系统从某种程度上已经和硬件性能平起平坐。目前使用最多的操作系统有：Android、IOS和Windows Phone等。智能手机平台独立的操作系统以及良好的用户界面可以像电脑一样安装第三方软件，使得智能手机平台具有很强的应用扩展性、能方便随意地安装、更新和删除应用程序。因此，智能手机平台与显微镜的结合具有更多更广的应用可能，而不仅仅得益于智能手机平台优异的图像传感器和高像素的手机摄像头镜头。
基于智能手机平台的光学显微镜可利用其独立的操作系统、独立的运行空间和良好的交互界面开发拥有特定功能的应用程序，如：细胞计数、细胞密度测量和相机参数控制等功能。Smith[61]等成功构造了配备球形透镜的手机显微镜并开发具有细胞计数的应用程序。该软件有一个图形用户界面，便于使用和顺序分析多个图像，无需用户干预。2013年，Zhu[93]等展示了一个安装在智能手机平台上的紧凑且经济高效的成像细胞仪，用于测量人体血液样本中红细胞和白细胞的密度以及血红蛋白浓度。在智能手机平台上开发了定制应用程序，并写入了细胞计数算法和血红蛋白测量算法，可用于计算血细胞和白细胞数量以及测定血红蛋白密度。应用程序显示测试的原始图像，用户可以动态更改感兴趣区域的默认值，如：图像像素大小、样品稀释系数和样品室深度。其应用程序的总体工作流程如图12 (a) 所示。自此，基于智能手机平台操作系统开发的具有特定功能的软件逐渐应用到各类基于智能手机平台的显微系统中。Navruz[94]等构造了一款名为Contact Scope智能手机计算显微镜并开发了一个定制开发的Android应用程序，使用户可以用手机拍摄图像，并提供了一套分步操作说明。其智能手机应用程序的屏幕截图如图12 (b) 所示。当用户完成图像捕获时将显示其中一幅序列图像，ROI的位置和大小可通过触摸屏调整。一旦选择了ROI，用户单击按钮开始数字处理并显示结果图像。Navruz[94]等指出，运行在Galaxy S II上的Android应用程序处理0.2 mm2的FOV不到1 min，而使用MATLAB的2.8 GHz处理器处理相同的FOV不到20 s。2014年，Wei[95]等创建了一个定制开发的 Windows 智能手机应用程序，可以分析手机上成像的单个DNA分子的长度。基于智能手机平台的荧光显微镜及应用程序交互界面如图12 (c) 所示。该应用程序可用于捕获样本图像或打开保存的图像以进行DNA长度测量。
图 12. 各种基于智能手机平台的显微镜应用程序示意图。(a) Zhu等提出的“血液分析”应用程序的总体工作流程图[93]；(b) Navruz 等定制开发的Android应用程序的工作流程图[94]；(c) Wei等提出的手机荧光显微镜和应用程序的示意图[95]；(d) Phillips等提出的Android应用程序工作流程图[96]
Fig. 12. Schematic diagram of various microscope applications based on smartphone platforms. (a) Overall work flow chart of "blood analysis" application proposed by Zhu et al[93]; (b) Work flow chart of Android application customized and developed by Navruz et al[94]; (c) Schematic diagram of mobile phone fluorescence microscope and application proposed by Wei et al[95]; (d) Workflow diagram of Android application proposed by Phillips et al[96]
2015年，Phillips[96]等基于可编程半球形LED阵列开发了智能手机计算显微镜。所有的采集和处理都在智能手机平台上进行，通过基于Android平台开发的应用程序进行控制，使计算显微镜小巧便携。该应用程序使用蓝牙连接可编程半球形LED阵列，并通过标准Android API实现同步采集和阵列控制。基于智能手机平台的计算显微镜于每个时间点获取两个(或四个)半明场图像和一个暗场图像，可近实时地合成亮场、暗场和相衬模式。通过定制的应用程序将这四种对比度模式按大小进行流式传输，同时随着照明模式在不同模式中循环，按顺序更新每个帧。其应用程序的总体工作流程如图12 (d) 所示。如果在未来的研究中有新的成像模式，可以通过蜂窝数据网络上的软件更新将这些功能部署到现有设备。
尽管当前智能手机已被广泛应用于显微镜的研究中，但智能手机平台拍摄显微图片的质量，以及不同型号的智能手机导致显微图像质量的变化阻碍了基于智能手机平台的显微镜进一步发展。利用专业科学相机，可以仔细选择和改变成像参数，以便临床医生能够获得诊断决策所需的准确且无损失的信息。然而，智能手机平台只能对相机参数进行有限的控制，这可能会导致样本内部亮度和颜色响应发生变化，得不到理想的显微图像；并且智能手机平台通常得不到未经后处理的原始图像数据或无法控制图像处理过程，如：在智能手机平台拍摄的图像上自动执行去马赛克、降噪、边缘锐化和图像压缩等功能。这些算法在不同手机上的实现差异很大，通常不是无损的，增加了进一步量化和比较图像的难度。因此，在智能手机平台上开发相应的相机应用程序在一定程度上更改相机的参数以及控制相关的图像处理过程是得到理想显微图像数据的关键。
2014年，Skandarajah[97]等针对智能手机平台相机的自动化设置、专用图像处理算法以及手机的快速发展和制造商的多样性给智能显微镜图像数据精确量化带来的障碍，设计了基于智能手机平台的显微镜并评估使用不同型号手机拍摄的图像质量，系统地解决了该系统图像数据无法定量化的问题。
图13概述了标准化图像采集过程以及手机摄影应用提供的控制，用于解决基于智能手机平台的显微镜定量成像中的潜在障碍。图中的流程可通过在智能手机的操作系统上开发相机控制程序来实现。Amin[98]等也开发了基于Android操作系统的应用程序用于调整焦平面和其他成像参数，并与微控制器通信以控制泵和LED强度，实现了一种便携式、低成本、数字化的通用方法，根据颗粒的体积质量密度识别、分类和量化颗粒。
图 13. 使用基于智能手机平台的显微镜实现定量、可再现成像的步骤[97]。(a) 标准化光源和亮度；(b) 在具有已知尺寸或特征的区域上设置焦点状态；(c) 使用清晰的视场设置曝光和增益； (d) 获取样本图像，同时保持采图设置不变；(e) 可以通过选择无损或高质量压缩设置来保留信息内容
Fig. 13. Steps for quantitative, reproducible imaging using a smartphone platform-based microscope[97]. (a) Standardize illumination source and brightness; (b) Set focal state on a field with known dimensions or features; (c) Set exposure and gain using a clear field of view; (d) Acquire images of samples while keeping capture settings constant; (e) Information content can be preserved by selecting lossless or high quality compression settings
随着现代智能手机平台的硬件性能和软件技术不断提高，在智能手机平台中开发定制的应用程序对采集到的显微图像进行一系列处理逐渐成为主流方法。相比于将基于智能手机平台的显微成像系统采集的图像数据通过无线网络或者蜂窝网络传输到后端服务器进行处理，直接在智能手机平台中定制的应用程序中处理显微图像有四个优点：（1）能够实时地获取图像数据并进行分析处理；（2）无需等待数据传输的时间，效率更高；（3）无需压缩显微图像，减小数据损失；（4）降低数据传输中的泄露的可能性，安全性高。而对于智能手机平台相机采图参数和自动图像后处理过程可以开发相机应用程序来调整，该应用程序将减少或控制自动图像后处理，从而改变图像功能，如：曝光时间、自动对焦和颜色校正，从而降低智能手机平台相机在显微成像中的局限性，得到理想的可复用、定量化的显微图像数据。
4 基于智能手机平台数据互联能力的计算光学显微成像技术
智能手机的普遍化应用不仅提供了一种智能化、便携化的通信设备，更是促进了现代移动通信的发展。从2G通信技术发展到5G通信技术，现代移动通信网络的发展使得数据的传输和异地共享越来越容易。这同时为显微成像技术的创新功能和应用提供了新的发展契机。
基于智能手机平台的显微成像系统可以应用于各种复杂环境下的医疗服务等过程的一大原因是其无线传输数据的能力。多种无线网络接入方式可以轻松实现多点数据交互，使得显微成像数据的传输不再局限于距离。现场采集的图像可以传输到中央处理站进行专家分析或者传输到网络服务器进行云计算，如图像后处理等，最后将专家分析结果或图像后处理的数据传输到手机中显示出来。在手机上传输图像的选项包括蓝牙和互联网等。蓝牙传输只能在支持蓝牙功能的设备(计算机或手机)之间进行，并且受到距离的限制，因为两个设备必须非常接近。通过互联网进行图像传输既快捷又方便[99-100]。
2009年，Zimic[101]等就利用手机平台传输数据的便利性，将科学数码相机在商用倒置显微镜上拍摄了结核分枝杆菌的显微图像，并将图像压缩成JPG格式后存储在SD存储卡上。SD存储卡从数码相机传输到手机中，图像通过手机的互联网WAP协议传输到一个特设服务器进行专家分析，也可以直接从互联网浏览器分析图像。整个流程如图14 (a) 所示。随着智能手机的广泛使用以及移动宽带网络即全球移动系统(Global System for Mobile Communications, GSM)和长期演进网络(Long Term Evolution, LTE)覆盖范围的不断扩大，近年来出现了基于云服务和智能手机平台的显微镜的新应用。Rabha[102]等使用Matlab mobile应用程序对捕获的图像进行后处理，使用此应用程序，可将图像传输到云服务中的MathWorks的Matlab服务器，从该服务器几乎可以立即获得后处理图像。图14 (b) 显示了基于智能手机平台的显微成像系统的工作流程。2021年，Wan[103]等提出了在细胞培养应用中实现实时显微无线观察的可能性。基于智能手机平台的显微成像系统的较小体积使得可以将其放置在温度可控的细胞培养槽内，并且可以通过手机实时传输捕获的图像。该系统工作流程如图14 (c) 所示。
图 14. (a) Zimic等提出的利用智能手机平台无线传输的工作流程图[101]；(b) Rabha等提出的基于智能手机平台的显微系统的工作流程图[110]；(c) Wan等提出的基于智能手机平台的显微系统实时无线观察的工作流程图[103]
Fig. 14. (a) Work flow chart of wireless transmission using smart phone platform proposed by Zimic[101]; (b) Workflow diagram of micro system based on smart phone platform proposed by Rabha et al[110]; (c) Work flow chart of real-time wireless observation of microscope system based on smart phone platform proposed by Wan et al[103]
深度学习是一种强大的机器学习技术，可以使用多层人工神经网络执行复杂的操作，并在数据丰富的各种任务中取得了巨大成功[104-109]。基于智能手机平台的显微镜因使用低成本成像镜头和较为简易的结构导致采集到的图像的像差较大，需要使用相关的图像增强的算法来校正像差[111-116]。因此，将基于智能手机平台的显微镜采集到的图像利用无线传输的方法将图像数据传输到远程服务器上，进行深度学习相关的图像分析和处理，将处理后图像数据无线传输到智能手机上，并通过智能手机的应用程序显示在手机屏幕上。虽然深度学习网络的初始开发是计算密集型的，但一旦开发网络，它就不需要高计算能力，并且可以潜在地作为智能手机平台应用程序的一部分实现，当然智能手机的计算速度会低于电脑的计算速度，因此需要更多的时间。
大多数被视为诊断和筛查目的的金标准的成像数据是使用高端台式显微镜获取的。这类显微镜通常配备昂贵的物镜和高性能传感器，且体积庞大，必须由训练有素的人员操作。这些因素可能会限制高级成像技术的通用性，特别是在资源有限的环境中。而经济高效且便携的基于智能手机平台的显微镜很好地解决了这一问题，可快速并灵敏地用于病理切片等地成像。尽管智能手机摄像头镜头在过去几年中有了显著的进步，但这些塑料镜头的成型和组装采用了大批量制造技术，与理想的光学设计和对准相比，这会给每个手机摄像头单元造成随机偏差。
因此，在2018年，Rivenson[103]等描述了使用深度学习对基于智能手机平台的明场显微镜成像性能的实质性增强，其系统结构和工作流程如图15 (a) 所示。系统图像增强和色差校正采用深度卷积神经网络进行计算。此外，网络输出的图像将比在台式显微镜上使用高NA物镜获得的相应图像具有更大的景深。这种方法也广泛适用于其他低成本和畸变的显微镜系统，并有助于经济高效的便携式显微镜替代高端台式显微镜。经过一种深度学习网络提高基于智能手机平台的显微镜图像质量后，还可通过另一种深度学习网络来进行疾病检测，可用来鉴别造血系统疾病。Haan[104]等提出了一个深度学习框架，可以使用基于智能手机平台的显微系统自动筛选血液涂片中的镰状细胞，系统结构和工作流程如图15 (b) 所示。该框架使用两个不同的、互补的神经网络。第一个神经网络增强并标准化系统捕获的血液涂片图像，使之与实验室级台式显微镜的图像质量相匹配。第二个网络作用于第一个图像增强神经网络的输出，用于区分并标记血液涂片中的健康细胞和镰状细胞。2017年，Holmstrom 等提出了低成本智能手机显微镜，该显微镜的成像性能足以目视检测土壤传播的蠕虫和血吸虫并使用基于深度学习的图像分析算法可以用于图像中蠕虫的自动检测和分类。
图 15. 各种结合深度学习的基于智能手机平台的显微镜。(a) Rivenson等提出的智能手机显微镜系统结构和深度学习结果示意图[117]；(b) Han[118]等提出的智能手机显微镜系统结构示意图和两个深度学习网络的工作流程图；(c) Bian[119]等提出的智能手机显微镜系统结构示意图和基于深度学习风格迁移方法的工作流程图
Fig. 15. Various smartphone platform-based microscopes combined with deep learning. (a) Schematic diagram of smartphone microscope system structure and deep learning results proposed by Rivenson et al[117]; (b) The structure diagram of smartphone microscope system and the workflow diagram of two deep learning networks proposed by Han et al [118]; (c) The structure diagram of smartphone microscope system and the workflow diagram based on deep learning style transfer method proposed by Bian et al[119]
深度学习网络除了可以提高基于智能手机平台的显微镜采集图像的质量，使之达到台式显微镜采集图像的水平，还可以将采集的图像风格转移，这就意味着使用深度学习可以使极低成本、结构简单的基于智能手机平台的显微镜实现在台式显微镜需要复杂光学配置才能实现的成像效果[120-121]。2021年，Bian[119]等就设计了一款利用非球面单透镜作为成像镜头的基于智能手机平台的明场显微镜，图像数据通过5G/WIFI通信传输至计算机，结合图像风格转移深度学习方法，得到虚拟相衬图像，系统的结构和工作流程如图15 (c) 所示。传统的相差显微镜如Zernike相差显微镜需要在显微镜物镜的傅里叶平面处插入圆形泽尼克相位板，微分干涉显微镜需要精细组装的双折射晶体，如沃拉斯顿棱镜。而Bian等仅使用了自主设计的非球面单透镜和基于深度学习的生成对抗网络就得到了同样效果的虚拟相衬图像。
科研人员在利用深度学习在图像风格转换和提高显微镜系统的空间分辨率方面所做的努力，将缩小手机显微镜与最先进的台式成像系统之间的性能差距。智能手机平台方便且快捷的无线传输数据的能力和深度学习的图像分析和识别算法，使这些经济高效且便携的基于智能手机平台的显微成像系统更广泛地应用于偏远地区地医疗诊断、疾病检测和食品安全检测等领域。
5 基于智能手机平台的计算光学显微成像应用
5.1 无标记相衬成像
临床显微镜中的对比度通常通过化学染色或标记来获得，以增强样本的特定特征，需要大量样本制备。由于相关光学硬件的成本较高和系统的复杂性。不需要染色的无标记相衬成像技术(如暗场、DIC、PC)尚未被广泛用作现场诊断工具，而小型化，低成本以及便携的基于智能手机平台的显微镜使得无标记相衬技术用于现场检测及偏远地区的医疗诊断成为可能[122-125]。
5.1.1 明场成像
明场显微成像技术是标准实验室光学显微镜中最常见的成像技术之一。明场显微术可以观察经过样品的光的衰减、散射和颜色的变化。明场是透射光束成像，也就是照明数值孔径小于物镜的数值孔径，照明光源在物镜的对面。对于许多生物样品，染色是用特定的颜色来标记感兴趣的结构。照明光被染料选择性地吸收，使剩余波长通过并在显微镜图像中产生颜色。对于未染色的样品，对比度主要来自膜结构或其他微观结构边缘的光散射。随着基于智能手机平台的显微成像系统的发展，目前已经有许多手机显微成像系统具有明场成像技术[126-127]。早在2009年，Breslauer[40]团队就利用标准显微镜物镜和目镜连接到手机上实现了明场成像。随后在2012年，Arpa[66]等人对Breslauer等人提出的结构进行改造，用一个设计好的透镜套件直接放在样品上面，手机屏幕作为系统的照明光源实现明场成像。在2015年，Hutchison[128]等已经开发了一种基于智能手机平台的明场显微镜，结合微流控培养设备检测炭疽杆菌，系统外观如图16 (a) 所示。当样品中存在炭疽杆菌孢子时，它们形成一种独特的细丝结构，长度为数十至数百毫米。这种从散落的孢子到丝状体的转变很容易用明场显微镜观察到。使用直径为3 mm的玻璃珠或1 mm的玻璃珠作为显微镜物镜，以提供100×或350×的放大率。环境光作为透射式照明光源。该系统成功地观察到高密度炭疽杆菌孢子的丝状结构。
图 16. 各种基于智能手机平台的明场显微镜示意图。(a) Hutchison等提出的基于智能手机平台的明场显微镜示意图[128]；(b) Orth等提出的基于智能手机平台的明场显微镜示意图[129]；(c) Cai等提出的基于智能手机平台的明场显微镜示意图[130]
Fig. 16. Schematic diagrams of various brightfield microscopes based on smartphone platforms. (a) Schematic diagram of the brightfield microscope based on the smartphone platform proposed by Hutchison et al[128]; (b) Schematic diagram of the smartphone platform-based brightfield microscope proposed by Orth et al[129]; (c) Schematic diagram of brightfield microscope based on smartphone platform proposed by Cai et al[130]
在2017年，Orth[129]等提出了一种基于智能手机平台的显微成像系统，它使用智能手机自带闪光灯或阳光作为照明源，分别实现了明场成像和暗场成像，从而在保持功能和性能的同时降低了复杂性，实现从植物到哺乳动物细胞样本的显微可视化。该系统的物镜为一个倒置的手机摄像头镜头，而智能手机的内置镜头作为管径，这种结构类似于作为现代光学显微镜的经典无限共轭显微镜设计。该系统的光学放大率为1×，结合智能手机平台的数字放大功能，可实现更大放大率。系统外观如图16 (b) 所示。通过这种系统设计，Orth等展示了明场成像，包括未标记细胞中细胞核的可视化以及活牛精子和浮游动物的动态成像。2018年，Cai[130]等利用具有长焦镜头(焦距大约为20 mm)的智能手机平台结合无限远校正物镜设计一款明场显微成像系统，并利用智能手机平台的无线传输的功能，将所采集到的图像传输到电脑，并执行图像拼接算法，最终得到了大视场高分辨图像，表明了具有远摄成像模式的智能手机平台更适合显微成像，其系统结构如图16 (c) 所示。Wachsmann-Hogiu[131]等人提出了一种的基于智能手机平台的明场显微镜实现高质量成像以及自动细胞识别和计数。此外，Yang[88]等人提出了使用基于智能手机平台的无透镜显微镜，该系统使用环境光照明实现了高分辨率明场成像。
5.1.2 暗场成像
暗场成像是另一种常用的显微成像方法。暗场成像是衍射光束成像，让照明孔径在物镜的数值孔径之外，但样本中的结构可以对光束进行衍射，最终这些衍射光束的一部分通过物镜成像。它大大增强了物体边缘部分的对比度。因此能对很多普通明场显微镜看不到的纤维状样品进行成像，比如细菌的鞭毛，不需要染色就能看清，非常实用。其核心在于将照明光以较大入射角通过样品，从而使之能够隔绝明亮的背景照明光，使原本暗弱的细节凸显，大大提高对比度[132]。
在台式暗场显微镜中，照明是通过使用环形物来实现的，环形物的内障碍物锥角大于显微镜物镜的数值孔径。与台式暗场显微镜类似，基于智能手机平台的暗场显微镜也可以使用环形照明。2014年，Li[133]等设计一款基于智能手机平台的暗场显微镜，使用液态金属软光刻方法制作了一个的微型环形孔。智能手机平台自带的LED被用作光源。使用焦距为1.81 mm的半球透镜作为物镜。2018年，Sun[134]等设计了基于智能手机平台的暗场显微镜，其使用了10×或20×的显微镜物镜以及标准暗场聚光镜捕获图像，照明光源为恒定白光LED，系统结构如图17 (a) 所示。Sun将此智能手机暗场显微镜与标准实验室暗场显微镜对比，发现智能手机暗场显微镜性能的下降主要是因为LED光源较弱且照明不均匀以及光路未对齐。从更换高功率LED等方面入手可以很轻易解决这些问题。
图 17. 各种基于智能手机平台的暗场显微镜示意图。(a) Sun等提出的基于智能手机平台的显微镜示意图[134]；(b) Ogasawara等提出的基于智能手机平台的显微镜示意图[135]；(c) Kheireddine等提出的基于智能手机平台的显微镜示意图[131]；(d) Rabha等提出的基于智能手机平台的显微镜示意图[110]
Fig. 17. Schematic diagram of various darkfield microscopes based on smartphone platforms. (a) Schematic diagram of the microscope based on the smartphone platform proposed by Sun et al[134]; (b) Schematic diagram of the smartphone platform-based microscope proposed by Ogasawara et al[135]; (c) Schematic diagram of the smartphone platform-based microscope proposed by Kheireddine et al[131]; (d) Schematic diagram of the microscope based on the smartphone platform proposed by Rabha et al[110]
除了需要暗场聚光镜来实现环形照明外，还可以通过使用可编程LED阵列作为系统的照明光源，激活LED阵列的外环以提供环形照明，即将照明孔径调制成大于物镜的数值孔径，照射样品从而实现暗场成像。Jung[136]团队、Ogasawara[135]团队和Koda[137]团队在Breslauer提出的基于智能手机平台的显微成像系统的基础上，将白光LED更换为可编程LED阵列，实现了暗场成像，其系统的光学结构如图17 (b) 所示。而在2019年，Kheireddine[131]等则提出了用手机屏幕来实现暗场照明的方法，其系统结构如图17 (c) 所示。通过使用手机屏幕来调控照明图案，可实现黑色背景上同心白色圆环创建单(DF-single)、双(DF-double)和三(DF-triple)环的照明图案，整个系统可达到2 μm的图像分辨率和9.72 mm2的视场。
基于全内反射(Total internal reflection, TIR)的智能手机暗场显微镜也得到了证实。在这种方法中，来自平面透镜LED的光被耦合到载玻片中。由于TIR，大部分照明光被限制在载玻片内，只有当载玻片表面有颗粒时，照明光才能从载玻片中逸出。基于TIR的暗场显微镜方法比传统的基于倾斜照明的暗场显微镜提供更好的信噪比，同时不需要环形照明孔。2021年，Rabha[110]等提出了使用智能手机在单一平台上实现高分辨率、宽视场多模态显微成像系统。此系统使用智能手机平台内置摄像头记录图像，使用智能手机的LED闪光灯作为照明光源且使用iPhone 5s的摄像头镜头作为物镜实现了明场成像，倾斜照明暗场成像(Oblique illumination dark field, OIDF)和全内反射暗场成像(Total internal reflection dark field, TIRDF)三种成像模式，其中倾斜暗场成像和全内反射暗场成像的示意图如图15 (d) 所示。使用智能手机的LED闪光灯作为照明光源的难度在于光源与传感器在系统的同一侧且两者距离很近，只有几毫米，所以此系统中在智能手机LED闪光灯前以45°放置了反射镜并使用了两根塑料光纤将智能手机LED闪光灯照射到样品上。由于光纤的灵活性，设计的系统提供了另一个优势，即通过改变装置中导光光纤的位置，即可快速从BF转换为OIDF和TIRDF成像模式。对于TIRDF成像，暗场照明是通过采用全内反射技术，通过沿显微镜载玻片的横向引导光来实现的。两条导光光纤都耦合到显微镜载玻片的一侧。
5.1.3 差分相衬成像
部分生物样品的光学吸收系数很小，传统明场显微镜很难观察到样品的细节，需要对观察样品进行染色或者荧光标记，这会对观察样品带来不利的影响，而相位成像显微镜为透明样品增强了对比度[138-141]。相位成像显微镜使用两种不同的方法进行相位成像：微分干涉和相差。这两种方法都将折射率差引起的相位差转换为振幅差，不需对观察样品进行任何标记处理便可实现对未染色头透明样品的观察。为了实现这种相位到强度的转换，台式显微镜需要各种光学元件来调控光程长度。这些光学元件通常价格昂贵，需要仔细校准光学元件。因此，传统的相位成像方法很难在基于智能手机平台的显微系统上实现。Hamilton和Sheppard提出了差分相衬显微成像(Differential phase contrast, DPC)方法。该方法通过将相位产生的强度差异，成功观察到了样品的三维信息。DPC方法可提供更高的成像分辨率和鲁棒性[142]。
早期的DPC方法往往通过扫描光学显微镜和分裂式探测器来探测由样品相位引起的差异信号，最终获得伪浮雕的差分相衬观察结果[143]。而现代化计算显微成像显微镜逐渐使用可编程LED阵列或可编程薄膜晶体管液晶显示器(Thin film transistor liquid crystal display, TFT-LCD)代替了传统显微镜中的孔径光阑，从而对照明图案、角度、强度和颜色进行调控[144-147]。许多通常依赖于各自显微镜设置中的复杂变化建立的成像模式都可以实现，如明场成像、暗场成像、差分相衬显微成像、倾斜照明成像和莱茵伯格照明成像。2017年，Jung[135]等就提出了基于可编程LED阵列的智能手机显微成像系统，可通过拍摄一帧图像实现明场成像、暗场成像和差分相衬显微成像三种成像模式。通过对可编程LED阵列进行调控，使照明孔径大于物镜数值孔径的LED显示为绿色，而照明孔径小于物镜数值孔径的LED一半显示为红色，一半显示为蓝色。通过不对称照明，成功实现了差分相衬显微成像，其系统结构如图18 (a) 所示。同样地，在2018年，Ogasawara[136]团队使用可编程LED阵列的智能手机显微成像系统同样实现了差分相衬显微成像，如图18 (b) 所示。而Kheireddine[131]等则使用一部智能手机进行成像，另一部用于照明，在照明手机的屏幕上生成可用于计算DPC图像的半圆形照明图案，其结构如图18 (c) 所示。对比使用可编程LED阵列的智能手机显微镜，双智能手机显微成像系统结构更加紧凑便携，且手机屏幕具有更密集的RGB LED，可实现更复杂的空间模式，强度等级和更多的成像模式。
图 18. 各种基于智能手机平台的差分相衬显微镜示意图。(a) Jung等提出的基于智能手机平台的显微镜示意图[136]；(b) Ogasawara等提出的基于智能手机平台的显微镜示意图[135]；(c) Kheireddine等提出的基于智能手机平台的显微镜示意图[131]
Fig. 18. Schematic diagram of various differential phase contrast microscopes based on smartphone platforms. (a) Schematic diagram of the smartphone platform-based microscope proposed by Jung et al[136]; (b) Schematic diagram of the smartphone platform-based microscope proposed by Ogasawara et al[135]; (c) Schematic diagram of the smartphone-based microscope proposed by Kheireddine et al[131]
5.2 定量相位成像
随着光学显微技术的进步，定量相位成像逐渐成为显微成像领域的研究热点。定量相位成像方法主要可以分为两类：相干定量相位成像方法和非相干定量相位成像方法。在相干定量相位成像方法中，数字全息技术被广泛应用于基于智能手机平台的显微镜中[148-151]；而在非相干定量相位成像方法中，光强传输方程(Transport-of-intensity, TIE)和差分相衬定量相位成像被广泛应用于基于智能手机平台的显微镜中[152]。
基于定量相位成像的微型数字全息显微镜因其定量相位成像能力和经济高效的设计而备受关注。Ozcan[87]等利用经济高效的光源和紧凑的系统结构，设计了各种便携式基于智能手机平台的数字全息显微镜，用于样品观察和测量。Lee[88]等还提出了在智能手机平台上通过数字全息技术进行分子诊断的低成本设计，其结构如图19 (a) 所示。虽然在便携式智能手机数字全息显微镜中可以使用LED作为光源，但仍然需要一个针孔来满足照明相干性的要求，这明显限制了照明强度并降低了成像中的信噪比。此外，捕获的图像是条纹，无法直接用于样本观测。虽然样品的定量强度和相位都可以从全息图中恢复，但过程仍然比较耗时，包括反向传播和相位恢复。
图 19. 各种基于智能手机平台的定量相位成像显微镜示意图。(a) Lee等提出的基于智能手机平台的显微镜示意图[88]；(b) Meng等提出的基于智能手机平台的显微镜示意图[153]；(c) Phillips等提出的基于智能手机平台的显微镜示意图[96]
Fig. 19. Schematic diagram of various quantitative phase imaging microscopes based on smartphone platforms. (a) Schematic diagram of the smartphone platform-based microscope proposed by Lee et al[88];(b) Schematic diagram of the microscope based on the smartphone platform proposed by Meng et al[153]; (c) Schematic diagram of the smartphone platform-based microscope proposed by Phillips et al[96]
基于光强传输方程(TIE)的定量相位成像技术不依赖相干照明。此外，通过从多焦点强度中恢复相位，可以直接捕获聚焦强度，从而提供更多样本细节[154]。通过求解泊松方程的相位恢复算法避免了耗时的相位展开，因此具有较高的速度和效率[155]。由此，Meng[153]等开发了一款具有准确、高对比、经济高效和便携的基于智能手机平台的相位成像显微镜，并开发了一个智能手机应用程序来计算相位图像。该系统可被用来对巴氏涂片等生物样本进行成像，系统图如图19 (b) 所示。Meng[153]等提出了基于TIE的智能手机相位成像显微镜，该装置的系统分辨率约为1 μm，可用于红细胞的三维形态学研究。
基于差分相衬成像的定量相位成像技术通常使用LED阵列作为照明光源。Phillips[96]等用508个可单独寻址的白色LED组成的半球形照明器作为照明光源并连接到倒置的基于智能手机平台的显微镜系统上，如图19 (c) 所示。与平面LED阵列相比，半球形LED阵列提供了显著更好的光效率，实现了更短的采集时间和更高效的电源使用。该系统实现差分相衬成像需要两幅具有互补照明图案的图像，因为它在所有空间频率下提供良好的相位对比度。
5.3 荧光成像
荧光显微镜对现代生物医学诊断至关重要，其可以利用内源性或外源性荧光团来观察特定的细胞化合物或分子。在低资源诊断的环境中，荧光显微镜有助于检测活体标本或血液样本中的特定病毒、细胞和细菌[156-157]。实现荧光显微镜有几个要求：（1）激发光需要与观察荧光团的吸收光谱很好地匹配；（2） 激发光需要在检测路径中大部分被阻挡；（3）显微镜物镜NA需要较高，以收集足够数量的光子。随着智能手机平台的发展，智能手机已经证明，当配备适当的附件时，便可实现荧光显微成像，可提供更多与诊断相关的结果[158-161,78]。典型的基于智能手机平台的荧光显微镜由激发光源(LED或激光二极管)和发射滤波器组成，此外还有文中第2节提到的用于手机显微成像系统的各种物镜。
2015年，Kim[78]等就使用倒置手机摄像头镜头作为物镜设计了智能手机荧光显微镜，并得到了2.5 μm的图像分辨率以及1.2 mm×1.2 mm的大视场。该系统成功地用于在载玻片上显示荧光染料和低浓度量子点。在设计基于智能手机平台的荧光显微镜时，样品的照明方式是关键因素。检测路径的正交照明提供了一种简单的高信噪比(Signal-noise ratio, SNR)荧光检测方法。
2013年，Coskun[159]等提出了智能手机荧光显微镜，用激光二极管作为光源激发试管样品，该激发光经过样品后与控制管相互作用，产生的荧光发射垂直于激发方向收集，其光路结构如图20 (a) 所示。2020年，Cai[130]等提出了具有标准荧光光路结构的智能手机荧光显微镜，落射式光路的关键附件为激发滤光片、二向色镜和发射滤光片组合的荧光激发模块。其可实现激发光路和荧光发射光路的正交，并提高成像的信噪比，其光路结构如图20 (b) 所示。
图 20. 各种基于智能手机平台的荧光显微镜示意图。(a) Coskun等提出的基于智能手机平台的显微镜示意图；(b) Cai等提出的基于智能手机平台的显微镜示意图[130]；(c) Zhu等提出的基于智能手机平台的显微镜示意图[162]；(d) Wei等提出的基于智能手机平台的显微镜示意图[95]；(e) Dai等提出的基于智能手机平台的显微镜示意图[165]
Fig. 20. Schematic diagrams of various smartphone-based fluorescence microscopes. (a) Schematic diagram of the microscope based on the smartphone platform proposed by Coskun et al; (b) Schematic diagram of the microscope based on the smartphone platform proposed by Cai et al[130]; (c) Schematic diagram of the microscope based on the smartphone platform proposed by Zhu et al[162]; (d) Schematic diagram of the microscope based on the smartphone platform proposed by Wei et al[95]; (e) Schematic diagram of the microscope based on the smartphone platform proposed by Dai et al[165]
2011年，Zhu[162]等使用电池供电的LED从侧面照射感兴趣的样品，其中激发光在样品玻璃切片内反射，以均匀激发样品，压缩采样得到的荧光图像分辨率为10 μm及大于81 mm2的视场。其结构如图20 (c) 所示。另一种方法是倾斜照明样品切片，使得激发光不进入物镜，以实现高信噪比，从而提高检测灵敏度。2013年，Wei[95]等提出了使用激光二极管倾斜入射照明的智能手机荧光显微镜，在这种结构中，样品由波长为450 nm的小型激光二极管的激发光束以远大于物镜的数值孔径的入射角进行背光照明，从而实现了高信噪比，可对包括DNA分子、纳米颗粒和病毒在内的纳米级分析物进行成像。光路结构如图20 (d) 所示。同样地，Muller[163]等和Shan[57]等同样利用激光二极管斜入射的原理实现了智能手机荧光显微镜。2017年，Kuhnemund[164]提出了具有双波段的荧光成像模式同时兼顾明场成像的智能手机显微镜，两个波段的激发而激光以75°的入射角照射样品配合双模态的发射滤光片实现双波段荧光成像模式，而垂直入射的LED光源实现了明场成像模式，用于肿瘤切片中目标DNA的测序和原位突变分析。而2019年，Dai[165]等利用PDMS喷墨打印透镜技术设计了一种具有聚焦和滤光两种功能的透镜，并将该双功能的打印透镜集成到智能手机荧光显微系统中去。系统结构如图20 (e) 所示。LED用于明场成像，LD用于荧光成像。将LED芯片或LD芯片插入照明源后，芯片由两个微型磁铁定位并连接到电极，从而自动打开LED或LD。准直激光束以45°的入射角照射样品，该入射角大于双功能打印透镜的接受角。因此，激发光不会直接耦合到图像传感器中，从而有效地降低荧光成像的背景噪声。此外，为了提高荧光检测灵敏度，同一研究小组还提出使用基于金属薄膜的表面增强荧光。而Koydemir[166]等使用八颗单独的LED作为激发光照射样品从而均匀地激发出荧光。此外，为了提高荧光检测灵敏度，同组还提出使用基于薄金属膜的表面增强荧光(Surface-enhanced fuorescence, SEF)。激光二极管通过玻璃半球激发，激光束用线性偏振器过滤。经过薄膜厚度和激发角等一系列参数的优化，与裸玻璃基板相比，他们实现了约10倍的荧光强度提高，这使得直径为50 nm的荧光颗粒和单个量子点能够成像。Diederich[167]等实现了基于智能手机平台的随机光学重建显微镜实现超分辨率成像。
5.4 偏振成像
偏光显微镜是通过将普通的光源改变成偏振光的方式来进行镜检。被广泛地作用于矿物质和化学研究等这些方面，某些情况下也用于生物学和植物学方面的研究。因为它是用来鉴定物质的结构中经常被用到的设备，只要是双折射性的物质都能分辨得很清楚。经研究发现，交叉偏振显微镜技术利用血红素的成像对比度增强来提高对血涂片样本中是否存在疟疾的诊断能力[168-169]。这是因为疟疾感染的血涂片样本中会出现不同数量的血红素晶体。这些晶体是疟原虫在受感染宿主中作为血红蛋白代谢的副产品而产生的，并且具有光学双折射性，这意味着它们会导致基于各向异性穿过晶体的偏振光平面发生旋转。由于血红素是一种双折射化合物，与传统的白光显微镜相比，在偏光显微镜下观察要容易得多。但由于传统的偏光显微镜技术需要昂贵且复杂的显微镜配置、复杂的维护，并且显微镜系统往往体积庞大导致偏光显微镜很少用于现场诊断。
因此，在2015年，Pirnstill[170] 等描述了一款基于智能手机平台的偏振光成像显微镜克服了这些缺点，并帮助诊所和资源匮乏地区的医疗专业人员通过基于现场的模块化偏光显微镜增强检测来提高对疟疾的正确诊断。整个系统以透射模式配置，由两块偏振片(去除偏振片就是明场成像)，低功率高光效的LED和塑料透镜组成(图21)。系统采用低成本塑料透镜，可根据所需的系统和样品规格进行调整，以实现不同的放大倍率、分辨率和 FOV 参数。
图 21. (a) Pirnstill等提出的基于智能手机平台的偏振显微镜系统结构示意图；(b) 没有偏光片采集的淀粉分子的图像；(c) 偏光器和检偏器以 90°交叉采集的淀粉分子的图像[170]
Fig. 21. Schematic diagram of the polarization microscope system based on the smartphone platform proposed by Pirnstill et al; (b) No polarizer images of starch molecules were collected; (c) The polarizer and polarizer cross collect the images of starch molecules at 90°[170]
6 结 论
在文中，笔者系统地回顾了基于智能手机平台的显微系统中各类光学放大透镜装置的成像性能和基于智能手机平台先进传感器的计算光学高通量显微成像技术。分析了智能手机平台卓越的数据处理能力和互联能力在图像后处理、数据传输和深度学习等方面的应用。基于智能手机平台的计算光学显微成像系统不仅能实现与商用台式显微镜相同的显微功能和成像能力，而且为各类复杂环境中的医疗检测等领域提供了基础条件。
作为小型化便携式高度集成的显微镜系统，基于智能手机平台的显微成像系统已广泛应用于偏远地区的疾病诊断和病菌检测等领域，提供了一种简单高效的检测工具，取得了许多成果。与定制的显微成像设备相比，基于智能手机平台的显微成像系统可以利用商业制造的规模，以较低的成本获得卓越的计算处理能力、方便的无线数据传输能力和高质量相机传感器。然而，基于智能手机平台的显微成像系统还有一些问题正待解决。
智能手机摄像头与医疗光学成像应用中的专业科学相机不同，其无法独立地控制曝光时间和白平衡等参数，且鉴于手机制造商和操作系统开发人员目前提供的智能手机系统的控制程度，其自带相机软件的某些图像处理功能无法禁用，会自动进行提前设计好的图像后处理功能。因此，基于智能手机平台的显微成像系统采集到的图像具有特定的伪影。虽然这些伪影最终不会影响大多数诊断应用中对样品基本形态或颜色信息的判断，但仍然存在着与科学显微成像的差异。如果手机摄像头要发挥其在资源有限环境下医疗服务的潜力，就必须充分理解手机成像的局限性，并通过将其对图像量化的影响降至最低的方法加以解决。研究人员可通过与手机制造商和操作系统开发人员的合作实现对手机摄像头的独立控制，并可根据不同应用设计相应的图像处理程序和分析诊断程序，开发具有特异性的智能手机应用程序。这将对未来医疗行业的发展造成巨大冲击，使患者能及时线上获取诊断信息，减轻医护工作者的负担。
现代社会是一个数据化社会，在大数据时代，人人都是数据的制造者、传递者和获取者。互联网给我们的生活带来了无限的便捷，但任何事物都有其两面性，当下最让人堪忧和困扰的是数字化衍生了一系列关于数据安全方面的问题和挑战。数据空间的高度自由化和使得个人隐私很容易暴露。虽然智能手机平台的可开发应用软件的操作系统以及无线传输数据的能力给显微镜的应用带来了便利，但如何确保其过程中的安全性和隐私性将至关重要。这对信息的监管提出了更高的要求。需要找到一套成熟的机制或方法，提高系统和数据的安全性，将用户数据进行有效的管理与保护。
大多数基于智能手机平台的显微成像系统只适用于特定型号的智能手机。不同型号的智能手机，其摄像头的位置、尺寸大多不同。因此显微镜附件和智能手机平台的硬件接口的设计需更加灵活，显微镜附件通过此机械结构可适配于多款智能手机平台；或者根据一款智能手机的规格设计多款不同应用的机械结构，提高其应用的维度和广度。此外，基于智能手机平台的显微系统的应用程序目前需要针对特定平台开发，并且与其他平台不兼容。因此需针对不同操作系统的智能手机平台开发相同功能的应用软件。
近年来，深度学习技术快速发展，在图像处理、语音识别、自然语言处理等领域的应用取得了巨大成功，使得人们将深度学习技术应用于智能终端。因此人工智能成为了智能手机的新卖点，各大手机制造商陆续推出了具有人工智能处理引擎的智能手机。但目前使用了深度学习技术的移动应用通常都是直接依赖云服务器来完成所有的计算操作，这样做的缺点在于智能手机与云服务器之间的数据传输带来的代价较大，如系统延迟时间和移动设备的电量消耗。若是能够对智能手机本身的计算能力加以利用，同时确保应用程序的延迟时间以及智能手机的电量消耗处于合理范围内，这样将会扩大深度学习技术在智能手机显微成像平台中的应用范围。且各类基于深度学习的应用程序将在智能手机平台中开发出来，丰富智能手机显微成像系统的功能。
解决上述问题，将基于智能手机平台的显微成像系统的功能不断完善，使得其在资源有限地区的使用如同科研人员在实验室使用商用台式显微镜一样全面可靠，这将是光学显微镜领域的一大突破，为偏远地区的医疗服务提供极大的便利。
[1] Lichtman J W, Conchello J A. Fluorescence microscopy[J]. Nature Methods, 2005, 2(12): 910-919.
[2] Renz M. Fluorescence microscopy-a historical and technical perspective: Fluorescence microscopy[J]. Cytometry Part A, 2013, 83(9): 767-779.
[3] Agard D A, Hiraoka Y, Shaw P, et al. Chapter 13 Fluescence Microscopy in Three Dimensions[M]Methods in Cell Biology, 1989, 30: 353–377.
[4] Gustafsson M G L, Webb W W. Nonlinear Structured-illumination microscopy: wide-field fluorescence imaging with theoretically unlimited resolution[J]. Proceedings of the National Academy of Sciences of the United States of America, 2005, 102(37): 13081-13086.
[5] Willig K I, Rizzoli S O, Westphal V, , et al. STED microscopy reveals that synaptotagmin remains clustered after synaptic vesicle exocytosis[J]. Nature, 2006, 440(7086): 935-939.
[6] Hell S W, Wichmann J. Breaking the diffraction resolution limit by stimulated emission: stimulated-emission-depletion fluorescence microscopy[J]. Optics Letters, 1994, 19(11): 780.
[7] Hess S T, Girirajan T P K, Mason M D. Ultra-high resolution imaging by fluorescence photoactivation localization microscopy[J]. Biophysical Journal, 2006, 91(11): 4258-4272.
[8] Bagnell C R. Chapter 10 Phase Contrast[M]. US: UNC School of Medicine, 2012.
[9] Li J, Chen Q, Sun J, , et al. Multimodal computational microscopy based on transport of intensity equation[J]. Journal of Biomedical Optics, 2016, 21(12): 126003.
[10] Eils R, Athale C. Computational imaging in cell biology[J]. Journal of Cell Biology, 2003, 161(3): 477-481.
[11] Mait J N, Euliss G W, Athale R A. Computational imaging[J]. Advances in Optics and Photonics, 2018, 10(2): 409.
[13] Lu L, Fan Y, Sun J, , et al. Accurate quantitative phase imaging by the transport of intensity equation: a mixed-transfer-function approach[J]. Optics Letters, 2021, 46(7): 1740.
[15] Loterie D, Farahi S, Papadopoulos I, , et al. Digital confocal microscopy through a multimode fiber[J]. Optics Express, 2015, 23(18): 23845.
[16] Bianchi S, Di Leonardo R. A multi-mode fiber probe for holographic micromanipulation and microscopy[J]. Lab Chip, 2012, 12(3): 635-639.
[17] Zuo C, Chen Q, Asundi A. Boundary-artifact-free phase retrieval with the transport of intensity equation: fast solution with use of discrete cosine transform[J]. Optics Express, 2014, 22(8): 9220.
[18] Fan Y, Sun J, Chen Q, , et al. Adaptive denoising method for Fourier ptychographic microscopy[J]. Optics Communi-cations, 2017, 404: 23-31.
[19] Chowdhury S, Dhalla A H, Izatt J. Structured oblique illumination microscopy for enhanced resolution imaging of non-fluorescent, coherently scattering samples[J]. Biomedical Optics Express, 2012, 3(8): 1841.
[20] Ford T N, Chu K K, Mertz J. Phase-gradient microscopy in thick tissue with oblique back-illumination[J]. Nature Methods, 2012, 9(12): 1195-1197.
[21] Sugimoto R, Maruyama R, Tamada Y, , et al. Contrast enhancement by oblique illumination microscopy with an LED array[J]. Optik, 2019, 183: 92-98.
[22] Rodenburg J M, Faulkner H M L. A phase retrieval algorithm for shifting illumination[J]. Applied Physics Letters, 2004, 85(20): 4795-4797.
[23] Jin H, Liu J. Research on WiFi-based wireless microscopy on a mobile phone and its application[J]. Chinese Journal of Medical Instrumentation, 2012, 36(6): 391-395.
[24] Yuan Y, Liu J. Mobile phone based wireless microscopy imaging technology[J]. Chinese Journal of Medical Instrumentation, 2011, 35(2): 79-82.
[25] Quesada-González D, Merkoçi A. Mobile phone-based biosensing: An emerging “diagnostic and communication” technology[J]. Biosensors and Bioelectronics, 2017, 92: 549-562.
[26] Roda A, Michelini E, Zangheri M, , et al. Smartphone-based biosensors: A critical review and perspectives[J]. TrAC Trends in Analytical Chemistry, 2016, 79: 317-325.
[27] Pfeil J, Dangelat L N, Frohme M, , et al. Smartphone based mobile microscopy for diagnostics[J]. Journal of Cellular Biotechnology, 2018, 4: 57-65.
[28] Kanchi S, Sabela M I, Mdluli P S, , et al. Smartphone based bioanalytical and diagnosis applications: A review[J]. Biosensors and Bioelectronics, 2018, 102: 136-149.
[29] Vashist S K, Mudanyali O, Schneider E M, , et al. Cellphone-based devices for bioanalytical sciences[J]. Analytical and Bioanalytical Chemistry, 2014, 406(14): 3263-3277.
[30] Geng Z, Zhang X, Fan Z, , et al. Recent progress in optical biosensors based on smartphone platforms[J]. Sensors, 2017, 17(11): 2449.
[31] McCracken K E, Yoon J-Y. Recent approaches for optical smartphone sensing in resource-limited settings: a brief review[J]. Analytical Methods, 2016, 8(36): 6591-6601.
[32] Contreras-Naranjo J C, Wei Q, Ozcan A. Mobile phone-based microscopy, sensing, and diagnostics[J]. IEEE Journal of Selected Topics in Quantum Electronics, 2016, 22(3): 1-14.
[33] Hernández‐Neuta I, Neumann F, Brightmeyer J, , et al. Smart-phone‐based clinical diagnostics: Towards democratization of evidence‐based health care[J]. Journal of Internal Medicine, 2019, 285(1): 19-39.
[34] Coulibaly J T, Ouattara M, D’Ambrosio M V, , et al. Accuracy of mobile phone and handheld light microscopy for the diagnosis of schistosomiasis and intestinal protozoa infections in côte d’ivoire[J]. PLOS Neglected Tropical Diseases, 2016, 10(6): e0004768.
[35] Huang X, Xu D, Chen J, , et al. Smartphone-based analytical biosensors[J]. The Analyst, 2018, 143(22): 5339-5351.
[36] Huang C. Identification of authenticity of Chinese Herbal Pieces by smartphone microscope[J]. China Pharmaceuticals, 2018, 27(22): 21-25.
[37] Shen L, Hagen J A, Papautsky I. Point-of-care colorimetric detection with a smartphone[J]. Lab on a Chip, 2012, 12(21): 4240.
[38] Sowerby S J, Crump J A, Johnstone M C, , et al. Smartphone microscopy of parasite eggs accumulated into a single field of view[J]. The American Journal of Tropical Medicine and Hygiene, 2016, 94(1): 227-230.
[39] Yang P, Zhou L, Xian Q, , et al. Application of microscope imaging with smartphones in the teaching of pathology[J]. Basic Medical Education, 2017, 19(10): 787-789.
[40] Breslauer D N, Maamari R N, Switz N A, , et al. Mobile phone based clinical microscopy for global health applications[J]. PLOS ONE, 2009, 4(7): e6320.
[41] Banik S, Melanthota S K, Arbaaz, , et al. Recent trends in smartphone-based detection for biomedical applications: a review[J]. Analytical and Bioanalytical Chemistry, 2021, 413(9): 2389-2406.
[42] Jahan-Tigh R R, Chinn G M, Rapini R P. A comparative study between smartphone-based microscopy and conventional light microscopy in 1021 dermatopathology specimens[J]. Archives of Pathology & Laboratory Medicine, 2016, 140(1): 86-90.
[43] Chen W, Yao Y, Chen T, , et al. Application of smartphone-based spectroscopy to biosample analysis: A review[J]. Biosensors and Bioelectronics, 2021, 172: 112788.
[44] Alawsi T, Al‐Bawi Z. A review of smartphone point‐of‐care adapter design[J]. Engineering Reports, 2019, 1(2): e12039.
[45] Dendere R, Myburg N, Douglas T S. A review of cellphone microscopy for disease detection:[J]. Journal of Microscopy, 2015, 260(3): 248-259.
[46] Naqvi A, Manglik N, Dudrey E, , et al. Evaluating the performance of a low-cost mobile phone attachable microscope in cervical cytology[J]. BMC Women’s Health, 2020, 20(1): 60.
[47] Ame S M, Utzinger J, Bogoch I I, , et al. Mobile phone microscopy for the diagnosis of soil-transmitted helminth infections: A proof-of-concept study[J]. The American Journal of Tropical Medicine and Hygiene, 2013, 88(4): 626-629.
[48] Ozcan A. Mobile phones democratize and cultivate next-generation imaging, diagnostics and measurement tools[J]. Lab Chip, 2014, 14(17): 3187-3194.
[49] Zhao W, Tian S, Huang L, , et al. A smartphone-based biomedical sensory system[J]. The Analyst, 2020, 145(8): 2873-2891.
[50] Çelik S, Aridogan I A, Izol V, , et al. An evaluation of the effects of long-term cell phone use on the testes via light and electron microscope analysis[J]. Urology, 2012, 79(2): 346-350.
[51] Waliullah A S M. Study on blood cell counting using mobile phone-based portable microscope[J]. International Journal of Clinical and Biomedical Research, 2018, 4(3): 76-79.
[52] Greb C. Infinity optical systems[J]. Optik & Photonik, 2016, 11(1): 34-37.
[53] Zhu W, Gong C, Kulkarni N, et al. Smartphonebased Microscopes[M]JeongYeol Yoon. Smartphone Based Medical Diagnostics. Academic Press, 2020: 159–175.
[54] Zuo C, Sun J, Li J, , et al. High-resolution transport-of-intensity quantitative phase microscopy with annular illumination[J]. Scientific Reports, 2017, 7(1): 7654.
[56] Sun J, Chen Q, Zhang Y, , et al. Efficient positional misalignment correction method for Fourier ptychographic microscopy[J]. Biomedical Optics Express, 2016, 7(4): 1336.
[57] Shan Y, Wang B, Huang H, , et al. On-site quantitative Hg2+ measurements based on selective and sensitive fluorescence biosensor and miniaturized smartphone fluorescence microscope[J]. Biosensors and Bioelectronics, 2019, 132: 238-247.
[58] Shrivastava S, Lee W I, Lee N E. Culture-free, highly sensitive, quantitative detection of bacteria from minimally processed samples using fluorescence imaging by smartphone[J]. Biosensors and Bioelectronics, 2018, 109: 90-97.
[59] Shrestha R, Duwal R, Wagle S, et al. A smartphone microscope method f simultaneous detection of (oo)cyst of Cryptospodium Giardia[ZOL]. biXi. [20200411]. https:www.bixiv.gcontent10.11012020.04.09.035147v2.articleinfo.
[60] Bidney G W, Brettin A, Jin B, et al. Improving cellphone microscopy imaging with contact ball lenses[C]2019 IEEE National Aerospace Electronics Conference (NAECON), 2019: 672–674.
[61] Smith Z J, Chu K, Espenson A R, , et al. Cell-phone-based platform for biomedical device development and education applications[J]. PLOS ONE, 2011, 6(3): e17150.
[62] Bogoch I I, Koydemir H C, Tseng D, , et al. Evaluation of a mobile phone-based microscope for screening of schistosoma haematobium infection in rural ghana[J]. The American Journal of Tropical Medicine and Hygiene, 2017, 96(6): 1468-1471.
[63] Zeng Y, Jin K, Li J, , et al. A low cost and portable smartphone microscopic device for cell counting[J]. Sensors and Actuators A: Physical, 2018, 274: 57-63.
[64] Agbana T E, Diehl J C, van Pul F, , et al. Imaging & identification of malaria parasites using cellphone microscope with a ball lens[J]. PLOS ONE, 2018, 13(10): e0205020.
[65] İçöz K. Image processing and cell phone microscopy to analyze the immunomagnetic beads on micro-contact printed gratings[J]. Applied Sciences, 2016, 6(10): 279.
[66] Arpa A, Wetzstein G, Lanman D, et al. Single lens offchip cellphone microscopy[C] 2012 IEEE Computer Society Conference on Computer Vision Pattern Recognition Wkshop, 2012: 23–28.
[67] Felton E J, Velasquez A, Lu S, , et al. Detection and quantification of subtle changes in red blood cell density using a cell phone[J]. Lab on a Chip, 2016, 16(17): 3286-3295.
[68] Huang H, Zhao Y. Smartphone based focusfree macroscopy using an adaptive let lens[C]2018 SolidState, Actuats, Microsystems Wkshop Technical Digest, 2018: 334–337.
[70] Fuh Y-K, Chen P-W, Lai Z-H. Mechanically tunable aspheric lenses via additive manufacture of hanging elastomeric droplets for microscopic applications[J]. Journal of Modern Optics, 2016, 63(12): 1129-1135.
[71] Pechprasarn S, Kaewsonthaya L, Thipla K, et al. Perfmance acterization of aspheric polymer lens fmed by gravity surface tension: A high magnification ptable microscope f smartphone tablet[C]2016 9th Biomedical Engineering International Conference (BMEiCON), 2016: 1–4.
[72] Fuh Y K, Chen P W. Novel dual-function lens with microscopic and vari-focus capability incorporated with an aberration-suppression aspheric lens[J]. Optics Express, 2015, 23(17): 21771.
[73] Sung Y L, Jeang J, Lee C H, , et al. Fabricating optical lenses by inkjet printing and heat-assisted in situ curing of polydimethylsiloxane for smartphone microscopy[J]. Journal of Biomedical Optics, 2015, 20(4): 047005.
[74] Sung Y, Campa F, Shih W C. Open-source do-it-yourself multi-color fluorescence smartphone microscopy[J]. Biomedical Optics Express, 2017, 8(11): 5075-5086.
[75] Fuh Y K, Lai Z H, Kau L H, , et al. A lab-on-phone instrument with varifocal microscope via a Liquid-actuated Aspheric Lens (LAL)[J]. PLOS ONE, 2017, 12(6): e0179389.
[76] Switz N A, D’Ambrosio M V, Fletcher D A. Low-cost mobile phone microscopy with a reversed mobile phone camera lens[J]. PLOS ONE, 2014, 9(5): e95330.
[77] D’Ambrosio M V, Bakalar M, Bennuru S, , et al. Point-of-care quantification of blood-borne filarial parasites with a mobile phone microscope[J]. Science Translational Medicine, 2015, 7(286): 286re4.
[78] Kim J H, Joo H G, Kim T H, , et al. A smartphone-based fluorescence microscope utilizing an external phone camera lens module[J]. Bio Chip Journal, 2015, 9(4): 285-292.
[79] Kheireddine S, Perumal S A, Smith Z J, , et al. Dual-phone illumination-imaging system for high resolution and large field of view multi-modal microscopy[J]. Lab on a Chip, 2019, 19(5): 825-836.
[80] Zuo C, Chen Q, Qu W, , et al. High-speed transport-of-intensity phase microscopy with an electrically tunable lens[J]. Optics Express, 2013, 21(20): 24060.
[82] Cybulski J S, Clements J, Prakash M. Foldscope: Origami-based paper microscope[J]. PLOS ONE, 2014, 9(6): e98781.
[84] Ozcan A, McLeod E. Lensless imaging and sensing[J]. Annual Review of Biomedical Engineering, 2016, 18(1): 77-102.
[85] Zhang J, Chen Q, Li J, , et al. Lensfree dynamic super-resolved phase imaging based on active micro-scanning[J]. Optics Letters, 2018, 43(15): 3714-3717.
[86] Seo S, Su T W, Tseng D K, , et al. Lensfree holographic imaging for on-chip cytometry and diagnostics[J]. Lab on a Chip, 2009, 9(6): 777-787.
[87] Tseng D, Mudanyali O, Oztoprak C, , et al. Lensfree microscopy on a cellphone[J]. Lab on a Chip, 2010, 10(14): 1787-1792.
[88] Lee S A, Yang C. A smartphone-based chip-scale microscope using ambient illumination[J]. Lab on a Chip, 2014, 14(16): 3056-3063.
[89] Isikman S O, Bishara W, Mavandadi S, , et al. Lens-free optical tomographic microscope with a large imaging volume on a chip[J]. Proceedings of the National Academy of Sciences, 2011, 108(18): 7296-7301.
[90] PechPacheco J L, Cristobal G, ChamroMartinez J, et al. Diatom autofocusing in brightfield microscopy: a comparative study[C]Proceedings 15th International Conference on Pattern Recognition, 2000, 3: 314317.
[91] Mudanyali O, Oztoprak C, Tseng D, , et al. Detection of waterborne parasites using field-portable and cost-effective lensfree microscopy[J]. Lab on a Chip, 2010, 10(18): 2419-2423.
[92] Su T W, Isikman S O, Bishara W, , et al. Multi-angle lensless digital holography for depth resolved imaging on a chip[J]. Optics Express, 2010, 18(9): 9690-9711.
[93] Zhu H, Sencan I, Wong J, , et al. Cost-effective and rapid blood analysis on a cell-phone[J]. Lab on a Chip, 2013, 13(7): 1282-1288.
[94] Navruz I, Coskun A F, Wong J, , et al. Smart-phone based computational microscopy using multi-frame contact imaging on a fiber-optic array[J]. Lab on a Chip, 2013, 13(20): 4015-4023.
[95] Wei Q, Luo W, Chiang S, , et al. Imaging and sizing of single DNA molecules on a mobile phone[J]. ACS Nano, 2014, 8(12): 12725-12733.
[96] Phillips Z F, D’Ambrosio M V, Tian L, , et al. Multi-contrast imaging and digital refocusing on a mobile microscope with a domed LED array[J]. PLOS ONE, 2015, 10(5): e0124938.
[97] Skandarajah A, Reber C D, Switz N A, , et al. Quantitative imaging with a mobile phone microscope[J]. PLOS ONE, 2014, 9(5): e96906.
[98] Amin R, Knowlton S, Yenilmez B, , et al. Smart-phone attachable, flow-assisted magnetic focusing device[J]. RSC Advances, 2016, 6(96): 93922-93931.
[99] Im H, Castro C M, Shao H, , et al. Digital diffraction analysis enables low-cost molecular diagnostics on a smartphone[J]. Proceedings of the National Academy of Sciences, 2015, 112(18): 5613-5618.
[100] Bastawrous A, Armstrong M J. Mobile health use in low- and high-income countries: An overview of the peer-reviewed literature[J]. Journal of the Royal Society of Medicine, 2013, 106(4): 130-142.
[101] Zimic M, Coronel J, Gilman R H, , et al. Can the power of mobile phones be used to improve tuberculosis diagnosis in developing countries?[J]. Transactions of the Royal Society of Tropical Medicine and Hygiene, 2009, 103(6): 638-640.
[102] Rabha D, Sarmah A, Nath P. Design of a 3D printed smartphone microscopic system with enhanced imaging ability for biomedical applications[J]. Journal of Microscopy, 2019, 276(1): 13-20.
[103] Wan X, Tao X. Design of a cell phone lens-based miniature microscope with configurable magnification ratio[J]. Applied Sciences, 2021, 11(8): 3392.
[104] Zuo C, Huang L, Zhang M, , et al. Temporal phase unwrapping algorithms for fringe projection profilometry: A comparative review[J]. Optics and Lasers in Engineering, 2016, 85: 84-103.
[105] Smith T W, Colby S A. Teaching for deep learning[J]. The Clearing House: A Journal of Educational Strategies, Issues and Ideas, 2007, 80(5): 205-210.
[106] Deng L. Deep learning: methods and applications[J]. Foundations and Trends in Signal Processing, 2014, 7(3-4): 197-387.
[107] Angermueller C, Pärnamaa T, Parts L, , et al. Deep learning for computational biology[J]. Molecular Systems Biology, 2016, 12(7): 878.
[108] Schmidhuber J. Deep learning in neural networks: An overview[J]. Neural Networks, 2015, 61: 85-117.
[109] LeCun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436-444.
[110] Rabha D, Biswas S, Chamuah N, , et al. Wide-field multi-modal microscopic imaging using smartphone[J]. Optics and Lasers in Engineering, 2021, 137: 106343.
[111] Hoffman D P, Slavitt I, Fitzpatrick C A. The promise and peril of deep learning in microscopy[J]. Nature Methods, 2021, 18(2): 131-132.
[112] Rivenson Y, Göröcs Z, Günaydin H, , et al. Deep learning microscopy[J]. Optica, 2017, 4(11): 1437.
[113] Ouyang W, Aristov A, Lelek M, , et al. Deep learning massively accelerates super-resolution localization microscopy[J]. Nature Biotechnology, 2018, 36(5): 460-468.
[114] Oktay A B, Gurses A. Automatic detection, localization and segmentation of nano-particles with deep learning in microscopy images[J]. Micron, 2019, 120: 113-119.
[115] Kraus O Z, Grys B T, Ba J, , et al. Automated analysis of high‐content microscopy data with deep learning[J]. Molecular Systems Biology, 2017, 13(4): 924.
[116] Liu Z, Jin L, Chen J, , et al. A survey on applications of deep learning in microscopy image analysis[J]. Computers in Biology and Medicine, 2021, 134: 104523.
[117] Rivenson Y, Ceylan Koydemir H, Wang H, , et al. Deep learning enhanced mobile-phone microscopy[J]. ACS Photonics, 2018, 5(6): 2354-2364.
[118] de Haan K, Ceylan Koydemir H, Rivenson Y, , et al. Automated screening of sickle cells using a smartphone-based microscope and deep learning[J]. Digital Medicine, 2020, 3(1): 76.
[119] Bian Y, Jiang Y, Huang Y, , et al. Smart-phone phase contrast microscope with a singlet lens and deep learning[J]. Optics & Laser Technology, 2021, 139: 106900.
[120] Wang P, Di J. Deep learning-based object classification through multimode fiber via a CNN-architecture SpeckleNet[J]. Applied Optics, 2018, 57(28): 8258.
[121] Wang K, Li Y, Kemao Q, , et al. One-step robust deep learning phase unwrapping[J]. Optics Express, 2019, 27(10): 15100.
[123] Li J, Chen Q, Sun J, , et al. Optimal illumination pattern for transport-of-intensity quantitative phase microscopy[J]. Optics Express, 2018, 26(21): 27599.
[124] Li J, Chen Q, Zhang J, , et al. Optical diffraction tomography microscopy with transport of intensity equation using a light-emitting diode array[J]. Optics and Lasers in Engineering, 2017, 95: 26-34.
[126] Heng X, Erickson D, Baugh L R, , et al. Optofluidic microscopy—a method for implementing a high resolution optical microscope on a chip[J]. Lab on a Chip, 2006, 6(10): 1274-1276.
[127] Knowlton S M, Sencan I, Aytar Y, , et al. Sickle cell detection using a smartphone[J]. Scientific Reports, 2015, 5(1): 15022.
[128] Hutchison J R, Erikson R L, Sheen A M, , et al. Reagent-free and portable detection of Bacillus anthracis spores using a microfluidic incubator and smartphone microscope[J]. The Analyst, 2015, 140(18): 6269-6276.
[129] Orth A, Wilson E R, Thompson J G, , et al. A dual-mode mobile phone microscope using the onboard camera flash and ambient light[J]. Scientific Reports, 2018, 8(1): 3298.
[130] Cai F, Wang T, Lu W, , et al. High-resolution mobile bio-microscope with smartphone telephoto camera lens[J]. Optik, 2020, 207: 164449.
[131] Kheireddine S, Smith Z J, Nicolau D V, , et al. Simple adaptive mobile phone screen illumination for dual phone differential phase contrast (DPDPC) microscopy[J]. Biomedical Optics Express, 2019, 10(9): 4369.
[132] Dönmez S İ, Needs S H, Osborn H M I, , et al. Label-free smartphone quantitation of bacteria by darkfield imaging of light scattering in fluoropolymer micro capillary film allows portable detection of bacteriophage lysis[J]. Sensors and Actuators B: Chemical, 2020, 323: 128645.
[133] Li Zhenyu. Miniature optofluidic darkfield microscope f biosensing [C]SPIE Optical Engineering + Applications, International Society f Optics Photonics, 2014, 9198: 91980G.
[134] Sun D, Hu T Y. A low cost mobile phone dark-field microscope for nanoparticle-based quantitative studies[J]. Biosensors and Bioelectronics, 2018, 99: 513-518.
[135] Ogasawara Y, Sugimoto R, Maruyama R, , et al. Mobile-phone-based Rheinberg microscope with a light-emitting diode array[J]. Journal of Biomedical Optics, 2018, 24(3): 1-6.
[136] Jung D, Choi J-H, Kim S, , et al. Smartphone-based multi-contrast microscope using color-multiplexed illumination[J]. Scientific Reports, 2017, 7(1): 7564.
[137] Watanabe W, Koda K, Uenoyama S, et al. Image acquisition with smartphonebased LED array microscope [C]Biomedical Imaging Sensing Conference, 2018: 107111Z.
[138] Zuo C, Chen Q, Yu Y, , et al. Transport-of-intensity phase imaging using Savitzky-Golay differentiation filter - theory and applications[J]. Optics Express, 2013, 21(5): 5346.
[139] Fan Y, Sun J, Chen Q, , et al. Single-shot isotropic quantitative phase microscopy based on color-multiplexed differential phase contrast[J]. APL Photonics, 2019, 4(12): 121301.
[140] Sun J, Zuo C, Zhang L, , et al. Resolution-enhanced Fourier ptychographic microscopy based on high-numerical-aperture illuminations[J]. Scientific Reports, 2017, 7(1): 1187.
[141] Lu L, Sun J, Zhang J, , et al. Quantitative phase imaging camera with a weak diffuser[J]. Frontiers in Physics, 2019, 7: 77.
[143] Hamilton D K, Sheppard C J R, Wilson T. Improved imaging of phase gradients in scanning optical microscopy[J]. Journal of Microscopy, 1984, 135(3): 275-286.
[144] Zheng G, Horstmeyer R, Yang C. Wide-field, high-resolution Fourier ptychographic microscopy[J]. Nature Photonics, 2013, 7(9): 739-745.
[145] Tian L, Waller L. Quantitative differential phase contrast imaging in an LED array microscope[J]. Optics Express, 2015, 23(9): 11394.
[146] Zuo C, Sun J, Feng S, , et al. Programmable aperture microscopy: A computational method for multi-modal phase contrast and light field imaging[J]. Optics and Lasers in Engineering, 2016, 80: 24-31.
[147] Zuo C, Sun J, Feng S, , et al. Programmable colored illumination microscopy (PCIM): A practical and flexible optical staining approach for microscopic contrast enhancement[J]. Optics and Lasers in Engineering, 2016, 78: 35-47.
[148] Cao L, Wang Z, Zong S, , et al. Volume holographic polymer of photochromic diarylethene for updatable three-dimensional display[J]. Journal of Polymer Science Part B: Polymer Physics, 2016, 54(20): 2050-2058.
[149] Di J, Li Y, Xie M, , et al. Dual-wavelength common-path digital holographic microscopy for quantitative phase imaging based on lateral shearing interferometry[J]. Applied Optics, 2016, 55(26): 7287.
[150] Dan D, Lei M, Yao B, , et al. DMD-based LED-illumination super-resolution and optical sectioning microscopy[J]. Scientific Reports, 2013, 3(1): 1116.
[151] Zhao Y, Cao L, Zhang H, , et al. Accurate calculation of computer-generated holograms using angular-spectrum layer-oriented method[J]. Optics Express, 2015, 23(20): 25440.
[152] Zuo C, Chen Q, Qu W, , et al. Noninterferometric single-shot quantitative phase microscopy[J]. Optics Letters, 2013, 38(18): 3538.
[153] Meng X, Huang H, Yan K, , et al. Smartphone based hand-held quantitative phase microscope using the transport of intensity equation method[J]. Lab on a Chip, 2017, 17(1): 104-109.
[154] Zuo C, Li J, Sun J, , et al. Transport of intensity equation: a tutorial[J]. Optics and Lasers in Engineering, 2020, 135: 106187.
[155] Yang Z, Zhan Q. Single-shot smartphone-based quantitative phase imaging using a distorted grating[J]. PLOS ONE, 2016, 11(7): e0159596.
[156] Gao P, Prunsche B, Zhou L, , et al. Background suppression in fluorescence nanoscopy with stimulated emission double depletion[J]. Nature Photonics, 2017, 11(3): 163-169.
[157] Zheng J, Yang Y, Lei M, , et al. Fluorescence volume imaging with an axicon: simulation study based on scalar diffraction method[J]. Applied Optics, 2012, 51(30): 7236.
[158] Wei Q, Acuna G, Kim S, , et al. Plasmonics enhanced smartphone fluorescence microscopy[J]. Scientific Reports, 2017, 7(1): 2124.
[159] Coskun A F, Nagi R, Sadeghi K, , et al. Albumin testing in urine using a smart-phone[J]. Lab on a Chip, 2013, 13(21): 4231.
[160] Cho S, Islas-Robles A, Nicolini A M, , et al. In situ, dual-mode monitoring of organ-on-a-chip with smartphone-based fluorescence microscope[J]. Biosensors and Bioelectronics, 2016, 86: 697-705.
[161] Goenka C, Lewis W, Chevres-Fernández L R, , et al. Mobile phone-based UV fluorescence microscopy for the identification of fungal pathogens: mobile phone-based uv fluorescence microscopy[J]. Lasers in Surgery and Medicine, 2019, 51(2): 201-207.
[162] Zhu H, Yaglidere O, Su T-W, , et al. Cost-effective and compact wide-field fluorescent imaging on a cell-phone[J]. Lab Chip, 2011, 11(2): 315-322.
[163] Müller V, Sousa J M, Ceylan Koydemir H, , et al. Identification of pathogenic bacteria in complex samples using a smartphone based fluorescence microscope[J]. RSC Advances, 2018, 8(64): 36493-36502.
[164] Kühnemund M, Wei Q, Darai E, , et al. Targeted DNA sequencing and in situ mutation analysis using mobile phone microscopy[J]. Nature Communications, 2017, 8(1): 13913.
[165] Dai B, Jiao Z, Zheng L, , et al. Colour compound lenses for a portable fluorescence microscope[J]. Light: Science & Applications, 2019, 8(1): 75.
[166] Koydemir H C, Gorocs Z, Tseng D, , et al. Rapid imaging, detection and quantification of Giardia lamblia cysts using mobile-phone based fluorescent microscopy and machine learning[J]. Lab on a Chip, 2015, 15(5): 1284-1293.
[167] Diederich B, Then P, Jügler A, , et al. cellSTORM—Cost-effective super-resolution on a cellphone using dSTORM[J]. PLOS ONE, 2019, 14(1): e0209827.
[168] Bellare J R, Davis H T, Miller W G, , et al. Polarized optical microscopy of anisotropic media: Imaging theory and simulation[J]. Journal of Colloid and Interface Science, 1990, 136(2): 305-326.
[169] Gordon P, Venancio V P, Mertens-Talcott S U, , et al. Portable bright-field, fluorescence, and cross-polarized microscope toward point-of-care imaging diagnostics[J]. Journal of Biomedical Optics, 2019, 24(9): 1.
[170] Pirnstill C W, Coté G L. Malaria Diagnosis using a mobile phone polarized microscope[J]. Scientific Reports, 2015, 5(1): 13368.
Article Outline
张泽宇, 范瑶, 徐钦, 陈雨舟, 孙佳嵩, 陈钱, 左超. 基于智能手机平台的计算光学显微成像技术研究综述[J]. 红外与激光工程, 2022, 51(2): 20220095. Zeyu Zhang, Yao Fan, Qin Xu, Yuzhou Chen, Jiasong Sun, Qian Chen, Chao Zuo. Review of computational optical microscopy imaging technology based on smartphone platform[J]. Infrared and Laser Engineering, 2022, 51(2): 20220095.
PDF全文
