基于非对称光束的焦面漂移测量和主动校正
1 引言
光学显微镜是生物医学研究和临床病理诊断最常用的成像工具。近10年来,随着光学显微成像系统往电动化、智能化方向发展,涌现出了许多不同于常规光学显微镜的成像系统,例如应用于活细胞长时间成像的活细胞工作站、应用于病理切片全片扫描的数字病理切片扫描仪等[1]。在这些系统中,需要成像系统自动化移动物镜或样品的轴向位置实现自动聚焦,并实时校正焦面位置的漂移。聚焦焦面位置的准确性直接决定了显微成像结果的质量,而漂移校正的响应时间对扫描成像系统的速度和通量有很大影响。
对于显微成像系统聚焦焦面的锁定,首先需要能够精确测量焦面的漂移量,然后再通过反馈补偿方式进行调整。成像系统焦面的漂移是样品台横向位移、物镜轴向机械漂移、温度变化、浸润介质、外界振动等因素造成的。焦面漂移量的测量方法主要分为图像法和界面反射法两种[1]。图像法通过在样本中添加纳米金颗粒等基准标的物,并检测基准标的物的三维信息来测量焦面漂移[2-3]。也可以直接采集样品图像,通过计算图像的互相关参数来测量焦面漂移[4]。随着人工智能技术的发展,深度学习可应用于漂移矫正和自动聚焦系统中,通过训练模型从离焦图像中预测离焦距离[5-6],或直接对离焦图像进行重建获得在焦图像[7-8]。采用图像的方式不需要增加任何额外的硬件就可得到快速应用,但需要在每个对焦位置采集一组轴向的堆栈数据,实时性较差,无法对透明样本进行处理。界面反射法在显微成像系统中通过增加额外的光源、探测经样品界面反射后的光斑位置或者形状来测量焦面的漂移[9-10]。Liu等[11]通过使用直角棱镜与双折射晶体将入射光束分为四路照射样本后进行反射光的探测,克服聚焦在透明边界层时产生复杂信号的干扰。Cao等[12]将经离轴狭缝的参考光照射到样本面,后利用光电位置传感器(PSD)检测狭缝的图像位置,确定焦面。但是这些漂移测量方法中光源都以离轴的方式照明样品界面,不能充分利用现代显微系统中无穷远矫正的特性。
为了能够在不进行轴向扫描的前提下实现对样本面的轴向定位,Reinheimer将照明限制到系统孔径的一半,形成非对称光束,使得从表面反射回来的光束会随着反射面的轴向位移而产生径向移动[1]。本文受此启发,设计了一种采用非对称光束进行焦面防漂移的方法,并探究不同形状的非对称光束对焦面漂移测量的影响。非对称平行光聚焦在样本面上,反射后的光斑经过柱透镜后成像在线阵CCD上,引入补偿透镜组作为变焦系统来保证防漂移系统始终聚焦在样本反射面上。对系统的光学结构进行了仿真分析,并在实际搭建的防漂移系统中对结构进行了验证。根据漂移测量的结果对样品位移台进行闭环反馈的校正,测量了聚焦精度和漂移校正的响应时间。
2 系统设计与实验方法
2.1 轴向防漂移系统设计
图 1. 基于非对称光斑的焦面漂移测量系统
Fig. 1. Schematic of the focus-plane drift measurement system with non-symetric optical beam
根据三角测距原理[13],探测器光斑中心的偏移量Δx与样品焦面漂移量Δz的关系可表示为
式中:fobj表示物镜的焦距;ftube表示线阵探测器前管镜TL1的焦距;s表示入射光束中心相对光轴的偏移量,采用1/2或者3/4光束遮挡时对应的s不同。在
式中:f为L1的焦距。对反射光斑进行检测的方法目前主要有通过面阵CCD探测半圆形弥散斑的方法[14]和通过四象限位置探测器(QPD)探测光斑位置的方法[9]等。所提方法利用线阵CCD进行探测,具有相对面阵CCD更快的探测速度和相对QPD更准确的位置测量的优势。
表 1. 防漂移系统的器件及参数
Table 1. Components and parameters of drift correction system
|
2.2 实验验证
根据上述光学设计,设计并搭建了集成化的漂移测量模块,如
2.3 漂移校正的反馈控制
FN1显微镜的调焦旋钮上配置步进电机驱动器(prior PS3H122R),以实现对样品台的轴向位置的精确调节。偏移测量系统将探测到的线阵CCD光斑位置信号转换为位移台需要补偿的位移量,从而实现闭环反馈的漂移校正。采用Labview编程的控制流程如
3 结果与讨论
3.1 光学系统仿真
首先,采用ZEMAX软件仿真焦面在不同位置时在像面探测到的光斑形状。为简化模拟情况,物镜使用焦距为4 mm的理想透镜(相当于放大率50×),其他元件均由Throlabs导入。
图 4. ZEMAX软件仿真的探测面光斑形状和位置。(a)焦面负离焦1 μm;(b)焦面在焦;(c)焦面正离焦1 μm;(d)样本漂移量与探测光斑最大半径之间的关系;(e)样本漂移量与探测光斑质心X坐标的关系
Fig. 4. Optical spot shape and location at the detection plane simulated by ZEMAX software. (a) -1 μm defocus; (b) in focus; (c) +1 μm defocus; (d) relationship between sample drift and max spot radius; (e) relationship between sample drift and centroid X coordinate of the detected optical spot
3.2 样品反射面确定
将集成化的漂移测量模块搭载在FN1正置显微镜的物镜上方进行测试。首先测量了10×物镜下的反射信号。由于在系统中存在多个反射面,发现即使在不放置样品的情况下,也探测到很强的杂散光反射信号,如
图 5. 10×物镜下线阵CCD探测到的反射光斑光强分布。(a)不放置样品时探测的杂散光;(b)样品放在盖载玻片后探测到的杂散光和两个样本面的反射光;(c)成像管镜遮挡杂散光后探测到的两个样品面的反射光
Fig. 5. Intensity profiles of reflected spots obtained by the linear camera with a 10× objective. (a) Detected stray beam when there is no sample slide; (b) stray light and reflected light from two sample surfaces detected after placing the sample on a cover glass slide; (c) reflected spots from the two surfaces of glass coverslip when the stray beam is blocked
在进行漂移测量和校正时,需要选择正确的光斑信号。使用10×物镜时,可以调节补偿透镜,使能量更多地集中在其中一个样本玻片表面(通常为上表面)的反射光斑上,选取该峰值的最大值位置作为闭环控制的设定值。而在使用高倍物镜时,由于系统对样本轴向位置的放大作用,两个表面的反射光斑并不会同时出现在探测器上。因此,对于高倍物镜,将光束聚焦到观测平面后,调焦补偿透镜,待探测器探测到反射光强度最大时,取此时光斑质心作为闭环控制的设定值。
3.3 60×油镜下焦面偏移量测量
进一步地,进行60×浸油物镜(NA 1.4)下焦面漂移的探测。由于浸油物镜的景深远小于盖玻片的厚度,在通过调节补偿透镜找到正确初始位置的情况下,探测器上只能探测到一个反射光斑的信号。对入射光束分别进行3/4和1/2的遮挡,产生非对称光斑,如
图 6. 60×浸油物镜下线阵CCD探测到的反射光斑光强分布。(a)对入射光进行3/4遮挡;(b)对入射光进行1/2遮挡;(c)探测器上光斑偏移量与样本漂移量的关系
Fig. 6. Intensity profiles of reflected spots obtained by the linear CCD with a 60× oil-immersion objective. (a) Profile with 3/4 incident beam blocked; (b) profile with 1/2 incident beam blocked; (c) relationship between the displacement of the light spot on the detector and the drift of the sample
实验发现对于3/4遮挡产生的非对称光斑,在相同的离焦量下反射光斑的中心位置偏移更多。
3.4 校正响应时间测量
将漂移测量系统得到的样品轴向漂移值输入到闭环反馈控制系统,调整样品位移可以实现对样品的漂移校正。漂移校正的响应速度与漂移测量的时间、位移台移动速度和闭环反馈设置参数相关。为了验证本系统的校正响应能力,手动旋转调焦手轮引入扰动,检测系统恢复稳定的时间,结果如
3.5 长时间成像锁焦实验验证
最后应用本漂移测量和校正系统进行长时间锁焦成像实验。使用NIKON 60×浸油物镜在常规实验室对口腔上皮细胞进行20 h的拍摄。
图 8. 口腔上皮细胞样本的长时间成像。(a)未开启漂移校正的初始成像;(b)未开启漂移校正20 h后的成像结果;(c)开启漂移校正的初始成像;(d)开启漂移校正20 h后的成像结果
Fig. 8. Long-term imaging of oral epithelial cells. (a) Image at beginning without drift correction; (b) image after 20 h without drift correction; (c) image at beginning with drift correction; (d) image after 20 h with drift correction
对20 h长时间锁焦成像实验进行定量分析。进行图像配准,消去横向漂移的影响,再截取图像中的细胞区域进行评价。
图 9. 长时间成像定量分析。(a)SSIM评价;(b)Brenner评价
Fig. 9. Quantitative analysis of long-term imaging. (a) SSIM evaluation; (b) Brenner evaluation
4 结论
基于非对称光束,将样本面的轴向位移转换为探测面的径向位移,以仿真分析结合实验验证的方式,通过闭环反馈设计和搭建了自动聚焦系统,并探究了非对称光束的不同遮挡程度对焦面漂移量探测精度的影响。利用ZEMAX仿真软件研究了焦面的轴向漂移转换为探测面径向位移的原理,并设计相应的机械安装件将所设计系统集成在商用显微镜系统上,再利用Labview软件完成系统的闭环控制。经过实验验证,本系统对60×浸油物镜系统的漂移测量精度小于250 nm,并且漂移矫正响应时间小于0.5 s,对生物样本进行20 h长时间成像后未发生离焦现象,能对入射光束进行更多的遮挡,有效提高了系统精度。本文的研究意义在于,使用非对称光束实现对焦面漂移量的精确测量,为显微成像系统的自动漂移校正提供可行的方案。本设计有助于光学研究人员对防漂移和自动聚焦等方面进行更深入的研究。
[1] Bian Z C, Guo C F, Jiang S W, et al. Autofocusing technologies for whole slide imaging and automated microscopy[J]. Journal of Biophotonics, 2020, 13(12): e202000227.
[2] Balinovic A, Albrecht D, Endesfelder U. Spectrally red-shifted fluorescent fiducial markers for optimal drift correction in localization microscopy[J]. Journal of Physics D: Applied Physics, 2019, 52(20): 204002.
[4] Wang Y N, Schnitzbauer J, Hu Z, et al. Localization events-based sample drift correction for localization microscopy with redundant cross-correlation algorithm[J]. Optics Express, 2014, 22(13): 15982-15991.
[5] Rai Dastidar T, Ethirajan R. Whole slide imaging system using deep learning-based automated focusing[J]. Biomedical Optics Express, 2019, 11(1): 480-491.
[6] Senaras C, Niazi M K, Lozanski G, et al. DeepFocus: detection of out-of-focus regions in whole slide digital images using deep learning[J]. PLoS One, 2018, 13(10): e0205387.
[7] Pinkard H, Phillips Z, Babakhani A, et al. Deep learning for single-shot autofocus microscopy[J]. Optica, 2019, 6(6): 794-797.
[9] Bates M, Jones S A, Zhuang X W. Stochastic optical reconstruction microscopy (STORM): a method for superresolution fluorescence imaging[J]. Cold Spring Harbor Protocols, 2013, 2013(6): 498-520.
[10] 张小波, 范富明, 程良伦. 激光三角法改进的显微镜快速自动对焦方法[J]. 红外与激光工程, 2012, 41(7): 1784-1791.
Zhang X B, Fan F M, Cheng L L. Improvement for fast auto-focus system using laser triangulation[J]. Infrared and Laser Engineering, 2012, 41(7): 1784-1791.
[11] Liu C S, Jiang S H. Design and experimental validation of novel enhanced-performance autofocusing microscope[J]. Applied Physics B, 2014, 117(4): 1161-1171.
[12] Cao B X, Hoang P L, Ahn S, et al. High-speed focus inspection system using a position-sensitive detector[J]. Sensors, 2017, 17(12): 2842.
[14] Liu C S, Wang Z Y, Chang Y C. Design and characterization of high-performance autofocusing microscope with zoom in/out functions[J]. Applied Physics B, 2015, 121(1): 69-80.
[15] Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.
[16] 熊锐, 顾乃庭, 徐洪艳. 一种适应多方向灰度梯度变化的自动对焦评价函数[J]. 激光与光电子学进展, 2022, 59(4): 0418001.
Article Outline
王浩, 金鑫, 李辉, 刘智颖. 基于非对称光束的焦面漂移测量和主动校正[J]. 激光与光电子学进展, 2024, 61(4): 0411014. Hao Wang, Xin Jin, Hui Li, Zhiying Liu. Drift Measurement and Correction of Optical Focus Planes Based on Nonsymmetric Beam[J]. Laser & Optoelectronics Progress, 2024, 61(4): 0411014.