激光与光电子学进展, 2024, 61 (4): 0411014, 网络出版: 2024-02-26  

基于非对称光束的焦面漂移测量和主动校正

Drift Measurement and Correction of Optical Focus Planes Based on Nonsymmetric Beam
作者单位
1 长春理工大学光电工程学院,吉林 长春 130022
2 中国科学院苏州生物医学工程技术研究所,江苏 苏州 215163
摘要
电动化、智能化的光学显微成像系统需要能够实时测量系统的焦面漂移并进行校正,从而实现对活细胞的长时间观测和全片的病理切片扫描。设计一种探测非对称光束界面反射后的光斑位置从而进行焦面漂移测量的方法。利用ZEMAX软件光学仿真了反射光斑在不同离焦情况下的光斑形状,搭建了集成化的漂移测量模块并在商用正置显微镜上对其进行了验证。结果表明,针对60×浸油物镜,所提系统的漂移测量精度达250 nm,漂移校正的响应时间小于500 ms,满足了高分辨率长时间成像的要求。
Abstract
Automated and intelligent optical microscopy necessitates the measurement and correction of the focal plane drift for many biomedical applications, such as long-term observation of living cells and pathological whole slide imaging. In this study, we designed a method to perform focal plane drift measurements based on the detection of the reflected spot position of a nonsymmetric beam. Through simulations using ZEMAX software, the shapes of the reflected spots were simulated on the sample surface at different defocus positions. Furthermore, an integrated focus plane drift measurement module was constructed and tested on a commercial upright microscope. The results reveal that the proposed module exhibits a drift measurement precision of 250 nm and a response time of less than 500 ms for a 60× oil immersion objective, satisfying the demand for long-term and high-resolution imaging.

1 引言

光学显微镜是生物医学研究和临床病理诊断最常用的成像工具。近10年来,随着光学显微成像系统往电动化、智能化方向发展,涌现出了许多不同于常规光学显微镜的成像系统,例如应用于活细胞长时间成像的活细胞工作站、应用于病理切片全片扫描的数字病理切片扫描仪等1。在这些系统中,需要成像系统自动化移动物镜或样品的轴向位置实现自动聚焦,并实时校正焦面位置的漂移。聚焦焦面位置的准确性直接决定了显微成像结果的质量,而漂移校正的响应时间对扫描成像系统的速度和通量有很大影响。

对于显微成像系统聚焦焦面的锁定,首先需要能够精确测量焦面的漂移量,然后再通过反馈补偿方式进行调整。成像系统焦面的漂移是样品台横向位移、物镜轴向机械漂移、温度变化、浸润介质、外界振动等因素造成的。焦面漂移量的测量方法主要分为图像法和界面反射法两种1。图像法通过在样本中添加纳米金颗粒等基准标的物,并检测基准标的物的三维信息来测量焦面漂移2-3。也可以直接采集样品图像,通过计算图像的互相关参数来测量焦面漂移4。随着人工智能技术的发展,深度学习可应用于漂移矫正和自动聚焦系统中,通过训练模型从离焦图像中预测离焦距离5-6,或直接对离焦图像进行重建获得在焦图像7-8。采用图像的方式不需要增加任何额外的硬件就可得到快速应用,但需要在每个对焦位置采集一组轴向的堆栈数据,实时性较差,无法对透明样本进行处理。界面反射法在显微成像系统中通过增加额外的光源、探测经样品界面反射后的光斑位置或者形状来测量焦面的漂移9-10。Liu等11通过使用直角棱镜与双折射晶体将入射光束分为四路照射样本后进行反射光的探测,克服聚焦在透明边界层时产生复杂信号的干扰。Cao等12将经离轴狭缝的参考光照射到样本面,后利用光电位置传感器(PSD)检测狭缝的图像位置,确定焦面。但是这些漂移测量方法中光源都以离轴的方式照明样品界面,不能充分利用现代显微系统中无穷远矫正的特性。

为了能够在不进行轴向扫描的前提下实现对样本面的轴向定位,Reinheimer将照明限制到系统孔径的一半,形成非对称光束,使得从表面反射回来的光束会随着反射面的轴向位移而产生径向移动1。本文受此启发,设计了一种采用非对称光束进行焦面防漂移的方法,并探究不同形状的非对称光束对焦面漂移测量的影响。非对称平行光聚焦在样本面上,反射后的光斑经过柱透镜后成像在线阵CCD上,引入补偿透镜组作为变焦系统来保证防漂移系统始终聚焦在样本反射面上。对系统的光学结构进行了仿真分析,并在实际搭建的防漂移系统中对结构进行了验证。根据漂移测量的结果对样品位移台进行闭环反馈的校正,测量了聚焦精度和漂移校正的响应时间。

2 系统设计与实验方法

2.1 轴向防漂移系统设计

图1为设计的基于非对称光斑的焦面防漂移系统的光路。其中虚线为显微镜本身的成像光路,来自样本的光束经过物镜和二向色镜(DM)后经筒镜聚焦在成像相机靶面上。实线光束为防漂移系统光路。防漂移系统采用850 nm光源,可以保证该系统不会影响显微镜本身的可见光明场成像和荧光成像。850 nm激光经过扩束至充满物镜的入瞳。对于扩束后的光束,采用1/2或3/4的遮挡产生非对称光束,不同程度的遮挡改变光束的质心位置。入射光束经偏振分光镜(PBS)、1/4波片、补偿透镜组及DM进入物镜照射样本。PBS与1/4波片用于将入射光束与样品反射回来的光束分开,旋转激光的偏振方向使其全部透射PBS。样品反射光束在原路返回过程中再次通过1/4波片使光的振动方向转过90°,经过PBS后全部反射至探测器。PBS后,进行1/2的遮挡过滤杂散光。柱透镜将光斑拉伸成与探测器正交的条形,从而减小对线阵CCD位置的精度要求。

图 1. 基于非对称光斑的焦面漂移测量系统

Fig. 1. Schematic of the focus-plane drift measurement system with non-symetric optical beam

下载图片 查看所有图片

根据三角测距原理13,探测器光斑中心的偏移量Δx与样品焦面漂移量Δz的关系可表示为

Δx=2sftubefobj2Δz

式中:fobj表示物镜的焦距;ftube表示线阵探测器前管镜TL1的焦距;s表示入射光束中心相对光轴的偏移量,采用1/2或者3/4光束遮挡时对应的s不同。在图1漂移测量系统中,对于物镜和样品的初始位置,应保证测量光斑聚焦在玻片表面并且反射后的光斑处于CCD探测器的中央。但是由于成像系统与漂移测量系统共焦,观测样品时,漂移测量系统与成像系统共同聚焦在样本上而非玻片表面,因此在系统中增加了一对补偿透镜L1和L2,凸透镜L1和凹透镜L2作为变焦系统来改变漂移测量系统的聚焦面。当物镜与样本表面之间的位置变化Δd1时,改变L1和L2之间的距离Δd2使光斑重新聚集,Δd1与Δd2之间的关系为

Δd1=f2Δd2

式中:f为L1的焦距。对反射光斑进行检测的方法目前主要有通过面阵CCD探测半圆形弥散斑的方法14和通过四象限位置探测器(QPD)探测光斑位置的方法9等。所提方法利用线阵CCD进行探测,具有相对面阵CCD更快的探测速度和相对QPD更准确的位置测量的优势。表1为本设计方案所使用的光学器件及其参数设置。

表 1. 防漂移系统的器件及参数

Table 1. Components and parameters of drift correction system

DeviceParameter
Laser(THROLABS)CPS850;wavelength is 850 nm;power is 3.5 mW
Extension lens(THROLABS)

AC127-019-B-ML;f=19 mm

AC127-050-B-ML;f=50 mm

PBS(Union Optic)3011080082;λ=850 nm
Offset lens(THROLABS)L1 and L2

LD1357-B-ML;f=-50 mm

LB1901-B-ML;f=75 mm

Tube lens(LBTEK)MAD410-B;f=150 mm
Cylinder lens(THROLABS)LJ1567RM-B;f=100 mm
Linear CCD(TOSHIBA TCD1304)Pixels are3648;pixel size is 8 μm×200 μm
Objective lens(NIKON)10× NA 0.3
Objective lens(NIKON)60× oil NA 1.4
Stepper motor driver(PRIOR)PS3H122R

查看所有表

2.2 实验验证

根据上述光学设计,设计并搭建了集成化的漂移测量模块,如图2所示。基板采用了梯形结构,以便整个模块更为紧凑并且方便与显微镜进行整合,长宽分别为32.5 cm×22 cm。光学器件通过设计的机械构件和定位销固定在基板上,具有较好的稳定性。整个模块搭建在Nikon FN1正置显微镜上,其中DM置于FN1显微物镜的正上方并与光轴对准。

图 2. 防漂移系统的机械结构

Fig. 2. Mechanical layout of the focus-plane drift measurement system

下载图片 查看所有图片

2.3 漂移校正的反馈控制

FN1显微镜的调焦旋钮上配置步进电机驱动器(prior PS3H122R),以实现对样品台的轴向位置的精确调节。偏移测量系统将探测到的线阵CCD光斑位置信号转换为位移台需要补偿的位移量,从而实现闭环反馈的漂移校正。采用Labview编程的控制流程如图3所示,具体步骤为:确定待观测平面后,控制调节补偿透镜得到探测器最大强度时,计算质心位置,将此质心位置作为反射光斑中心位置;先将该位置作为proportion integration differentiation(PID)控制器的设定值(set point),PID控制器输出(manipulated variable)作为调焦马达(focus motor)的移动量;当成像焦面有漂移时,线阵CCD上光斑质心位置发生偏移,将该值作为过程变量(process variable),与设定值求差,结果作为PID控制的输入,重新计算调焦马达需要补偿的移动量,不断循环实现闭环控制。PID控制器的参数整定过程使用ziegler-nichols经验方法。

图 3. 防漂移系统的流程

Fig. 3. Flowchart of drift correction system

下载图片 查看所有图片

3 结果与讨论

3.1 光学系统仿真

首先,采用ZEMAX软件仿真焦面在不同位置时在像面探测到的光斑形状。为简化模拟情况,物镜使用焦距为4 mm的理想透镜(相当于放大率50×),其他元件均由Throlabs导入。图4为对入射光束进行一半遮挡后在像面探测到的光斑。当样品反射界面正好处于初始焦面位置时,探测到的光斑为一个聚焦的点;样品反射界面离焦时,探测到的光斑为一个半圆形的弥散斑。根据样品处于初始焦面的上方或下方的情况,弥散斑的形状朝左或者右。图4(d)表示弥散斑半径与样本轴向漂移量之间的关系,弥散斑半径与轴向漂移量呈线性变化。图4(e)表示不同遮挡情况下探测到的光斑质心位置与样本轴向漂移量之间的关系,更多的遮挡可以增加相同条件下质心沿X方向的偏移量。

图 4. ZEMAX软件仿真的探测面光斑形状和位置。(a)焦面负离焦1 μm;(b)焦面在焦;(c)焦面正离焦1 μm;(d)样本漂移量与探测光斑最大半径之间的关系;(e)样本漂移量与探测光斑质心X坐标的关系

Fig. 4. Optical spot shape and location at the detection plane simulated by ZEMAX software. (a) -1 μm defocus; (b) in focus; (c) +1 μm defocus; (d) relationship between sample drift and max spot radius; (e) relationship between sample drift and centroid X coordinate of the detected optical spot

下载图片 查看所有图片

3.2 样品反射面确定

将集成化的漂移测量模块搭载在FN1正置显微镜的物镜上方进行测试。首先测量了10×物镜下的反射信号。由于在系统中存在多个反射面,发现即使在不放置样品的情况下,也探测到很强的杂散光反射信号,如图5(a)所示。在样品台放置0.17 mm厚的盖玻片样品后,可以观测到两个新的反射光斑,如图5(b)所示,这是10×物镜的景深较长,盖玻片两个表面分别反射形成的。在改变样品台的轴向位置时,杂散光反射光斑的位置和形状不变。盖玻片两个表面反射的光斑位置发生变化,但是其间距保持不变。为了消除杂散光斑的影响,在TL1后增加1/2遮挡,结果如图5(c)所示,两个反射光斑右侧较强的信号为样品上表面反射的光斑。

图 5. 10×物镜下线阵CCD探测到的反射光斑光强分布。(a)不放置样品时探测的杂散光;(b)样品放在盖载玻片后探测到的杂散光和两个样本面的反射光;(c)成像管镜遮挡杂散光后探测到的两个样品面的反射光

Fig. 5. Intensity profiles of reflected spots obtained by the linear camera with a 10× objective. (a) Detected stray beam when there is no sample slide; (b) stray light and reflected light from two sample surfaces detected after placing the sample on a cover glass slide; (c) reflected spots from the two surfaces of glass coverslip when the stray beam is blocked

下载图片 查看所有图片

在进行漂移测量和校正时,需要选择正确的光斑信号。使用10×物镜时,可以调节补偿透镜,使能量更多地集中在其中一个样本玻片表面(通常为上表面)的反射光斑上,选取该峰值的最大值位置作为闭环控制的设定值。而在使用高倍物镜时,由于系统对样本轴向位置的放大作用,两个表面的反射光斑并不会同时出现在探测器上。因此,对于高倍物镜,将光束聚焦到观测平面后,调焦补偿透镜,待探测器探测到反射光强度最大时,取此时光斑质心作为闭环控制的设定值。

3.3 60×油镜下焦面偏移量测量

进一步地,进行60×浸油物镜(NA 1.4)下焦面漂移的探测。由于浸油物镜的景深远小于盖玻片的厚度,在通过调节补偿透镜找到正确初始位置的情况下,探测器上只能探测到一个反射光斑的信号。对入射光束分别进行3/4和1/2的遮挡,产生非对称光斑,如图6(a)和图6(b)所示。在焦时光斑能量集中,出现离焦后,光斑向一侧变大,且总体光强降低。由于正向离焦后样本面的反射光有一部分无法被物镜收集,正向离焦与负向离焦的光强分布有所不同。随着离焦量的增大,光斑逐渐变大并且中心强度向两侧减弱。通过加权平均计算得到光斑质心位置,可以定量表征漂移量。

图 6. 60×浸油物镜下线阵CCD探测到的反射光斑光强分布。(a)对入射光进行3/4遮挡;(b)对入射光进行1/2遮挡;(c)探测器上光斑偏移量与样本漂移量的关系

Fig. 6. Intensity profiles of reflected spots obtained by the linear CCD with a 60× oil-immersion objective. (a) Profile with 3/4 incident beam blocked; (b) profile with 1/2 incident beam blocked; (c) relationship between the displacement of the light spot on the detector and the drift of the sample

下载图片 查看所有图片

实验发现对于3/4遮挡产生的非对称光斑,在相同的离焦量下反射光斑的中心位置偏移更多。图6(c)为离焦量与中心位置偏移的关系,进行拟合得到斜率分别为16 mm/mm和5.7 mm/mm。线阵相机的像元大小为8 mm,可知所提方法对采用3/4遮挡的非对称光斑离焦偏移量的探测精度为250 nm。

3.4 校正响应时间测量

将漂移测量系统得到的样品轴向漂移值输入到闭环反馈控制系统,调整样品位移可以实现对样品的漂移校正。漂移校正的响应速度与漂移测量的时间、位移台移动速度和闭环反馈设置参数相关。为了验证本系统的校正响应能力,手动旋转调焦手轮引入扰动,检测系统恢复稳定的时间,结果如图7所示。在490 ms时施加约30 mm的轴向漂移,焦面自动调整后在980 ms达到稳定,说明本系统的校正响应时间小于500 ms,可以满足大多数活细胞成像和病理扫描应用的需求。在本系统中,响应速度主要受位移台移动速度和精度限制,采用更高速的步进电机可以进一步缩短响应时间。

图 7. 闭环反馈的漂移校正

Fig. 7. Close-loop drift correction

下载图片 查看所有图片

3.5 长时间成像锁焦实验验证

最后应用本漂移测量和校正系统进行长时间锁焦成像实验。使用NIKON 60×浸油物镜在常规实验室对口腔上皮细胞进行20 h的拍摄。图8(a)和图8(b)为漂移校正未开启的成像结果,可以发现经过20 h成像已经产生明显的离焦,细节结构模糊。图8(c)和图8(d)为开启漂移校正的成像结果,可以发现20 h成像后图像仍然清晰,细节结构明显。

图 8. 口腔上皮细胞样本的长时间成像。(a)未开启漂移校正的初始成像;(b)未开启漂移校正20 h后的成像结果;(c)开启漂移校正的初始成像;(d)开启漂移校正20 h后的成像结果

Fig. 8. Long-term imaging of oral epithelial cells. (a) Image at beginning without drift correction; (b) image after 20 h without drift correction; (c) image at beginning with drift correction; (d) image after 20 h with drift correction

下载图片 查看所有图片

对20 h长时间锁焦成像实验进行定量分析。进行图像配准,消去横向漂移的影响,再截取图像中的细胞区域进行评价。图9(a)为结构相似度(SSIM)评价结果15,通过与第一帧图像进行对比计算得到;图9(b)为Brenner清晰度评价结果16,通过计算每一帧的清晰度得到。结果表明,应用本系统后,图像结构和清晰度并未发生明显变化,证明了本漂移测量和校正系统的有效性。

图 9. 长时间成像定量分析。(a)SSIM评价;(b)Brenner评价

Fig. 9. Quantitative analysis of long-term imaging. (a) SSIM evaluation; (b) Brenner evaluation

下载图片 查看所有图片

4 结论

基于非对称光束,将样本面的轴向位移转换为探测面的径向位移,以仿真分析结合实验验证的方式,通过闭环反馈设计和搭建了自动聚焦系统,并探究了非对称光束的不同遮挡程度对焦面漂移量探测精度的影响。利用ZEMAX仿真软件研究了焦面的轴向漂移转换为探测面径向位移的原理,并设计相应的机械安装件将所设计系统集成在商用显微镜系统上,再利用Labview软件完成系统的闭环控制。经过实验验证,本系统对60×浸油物镜系统的漂移测量精度小于250 nm,并且漂移矫正响应时间小于0.5 s,对生物样本进行20 h长时间成像后未发生离焦现象,能对入射光束进行更多的遮挡,有效提高了系统精度。本文的研究意义在于,使用非对称光束实现对焦面漂移量的精确测量,为显微成像系统的自动漂移校正提供可行的方案。本设计有助于光学研究人员对防漂移和自动聚焦等方面进行更深入的研究。

参考文献

[1] Bian Z C, Guo C F, Jiang S W, et al. Autofocusing technologies for whole slide imaging and automated microscopy[J]. Journal of Biophotonics, 2020, 13(12): e202000227.

[2] Balinovic A, Albrecht D, Endesfelder U. Spectrally red-shifted fluorescent fiducial markers for optimal drift correction in localization microscopy[J]. Journal of Physics D: Applied Physics, 2019, 52(20): 204002.

[3] Liu X W, Xia X L, Yao Z F, et al. Theoretical and practical guide for an axial superresolved focus via Gouy phase steering[J]. Photonics Research, 2022, 10(11): 2502-2512.

[4] Wang Y N, Schnitzbauer J, Hu Z, et al. Localization events-based sample drift correction for localization microscopy with redundant cross-correlation algorithm[J]. Optics Express, 2014, 22(13): 15982-15991.

[5] Rai Dastidar T, Ethirajan R. Whole slide imaging system using deep learning-based automated focusing[J]. Biomedical Optics Express, 2019, 11(1): 480-491.

[6] Senaras C, Niazi M K, Lozanski G, et al. DeepFocus: detection of out-of-focus regions in whole slide digital images using deep learning[J]. PLoS One, 2018, 13(10): e0205387.

[7] Pinkard H, Phillips Z, Babakhani A, et al. Deep learning for single-shot autofocus microscopy[J]. Optica, 2019, 6(6): 794-797.

[8] Luo Y Q, Yan S X, Li H H, et al. Towards smart optical focusing: deep learning-empowered dynamic wavefront shaping through nonstationary scattering media[J]. Photonics Research, 2021, 9(8): B262-B278.

[9] Bates M, Jones S A, Zhuang X W. Stochastic optical reconstruction microscopy (STORM): a method for superresolution fluorescence imaging[J]. Cold Spring Harbor Protocols, 2013, 2013(6): 498-520.

[10] 张小波, 范富明, 程良伦. 激光三角法改进的显微镜快速自动对焦方法[J]. 红外与激光工程, 2012, 41(7): 1784-1791.

    Zhang X B, Fan F M, Cheng L L. Improvement for fast auto-focus system using laser triangulation[J]. Infrared and Laser Engineering, 2012, 41(7): 1784-1791.

[11] Liu C S, Jiang S H. Design and experimental validation of novel enhanced-performance autofocusing microscope[J]. Applied Physics B, 2014, 117(4): 1161-1171.

[12] Cao B X, Hoang P L, Ahn S, et al. High-speed focus inspection system using a position-sensitive detector[J]. Sensors, 2017, 17(12): 2842.

[13] Fang W, Yang K, Li H Y. Propagation-based incremental triangulation for multiple views 3D reconstruction[J]. Chinese Optics Letters, 2021, 19(2): 021101.

[14] Liu C S, Wang Z Y, Chang Y C. Design and characterization of high-performance autofocusing microscope with zoom in/out functions[J]. Applied Physics B, 2015, 121(1): 69-80.

[15] Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

[16] 熊锐, 顾乃庭, 徐洪艳. 一种适应多方向灰度梯度变化的自动对焦评价函数[J]. 激光与光电子学进展, 2022, 59(4): 0418001.

    Xiong R, Gu N T, Xu H Y. An auto-focusing evaluation function adapted to multi-directional gray gradient change[J]. Laser & Optoelectronics Progress, 2022, 59(4): 0418001.

王浩, 金鑫, 李辉, 刘智颖. 基于非对称光束的焦面漂移测量和主动校正[J]. 激光与光电子学进展, 2024, 61(4): 0411014. Hao Wang, Xin Jin, Hui Li, Zhiying Liu. Drift Measurement and Correction of Optical Focus Planes Based on Nonsymmetric Beam[J]. Laser & Optoelectronics Progress, 2024, 61(4): 0411014.

引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!