1 引言

近十几年来,随着技术的发展,共焦成像被广泛应用于生物医药和材料科学等领域^[1-2]。传统的共焦成像普遍采用单点扫描的方式,扫描速度慢,操控扫描头和样品运动的机械控制复杂^[3-4]。并行共焦成像技术可以对被测物面上的多个点同时进行成像,大大提高了测量速度,引起了国内外研究人员的重视。并行共焦成像技术的核心思想是用光分束器件将光源光束分割成光点阵列,通过光学系统建立起光点阵列、物面和相机像面的共轭关系,将每个光点作为一个共焦点进行成像。目前普遍采用Nipkow转盘^[5]和微透镜阵列^[6-7]等实现并行共焦成像,这些方法提高了共焦成像的速度;但是此类微光学器件制作困难,无法保证其光学性能的一致性和均匀性,在测量中引入了较大的误差,且一旦制成,诸如孔径、孔间距(微透镜阵列上对应的参数分别是微透镜直径和微透镜间距)等光学参数将无法更改,故难以适应不同的测量要求^[8]。

为了改善上述缺陷,将数字微镜器件(DMD)当作光分束器件引入到并行共焦成像中。DMD是美国德州仪器公司于1987年发明的一种数字光学器件,其集成了近百万片正方形的微反射镜,镜面为高反射率的铝合金材料。通过DMD芯片控制静电吸引,每个微镜都可以在15 μs内旋转+12°和-12°(也可以旋转+10°和-10°),分别对应“on”和“off”态,可以用作虚拟针孔来代替传统共聚焦的小孔进行多点并行扫描。相较Nipkow转盘、微针孔阵列和微透镜阵列等并行共焦成像,DMD具有无机械振动影响和光点阵列参数可变等优势,且DMD具有程序可控制性,在保证高速成像和高分辨率成像的前提下可适应不同的测量要求。近年来,基于DMD的并行共焦成像技术成为研究热点。

1999年,Hanley等^[9]提出了基于DMD的可编程阵列显微镜,通过光谱转换进行三维光谱成像;2001年,Walker^[10]提出了基于DMD的多点照明非扫描共聚焦荧光显微镜,得到了层切和高分辨率的图像;同年,Bitte等^[11]提出了基于DMD的三维轮廓成像,并对微小结构进行了成像;Fainman等^[12]也成功研制出基于DMD的并行共焦显微镜,实现了对微脉管系统的快速并行点扫描和三维重构。自2008年起,国内学者先后进行了基于DMD的并行共焦系统的研究。余卿等^[8,13-16]提出了基于DMD的并行共焦显微测量和图像处理方法,分析了轴向分辨率与点光源大小的关系,得出轴向分辨率只与光点大小有关、与光点间距(T)无关且光点越大则轴向分辨率越小的结论;Zhang等^[16-19]通过分析深度响应曲线,对硬币和硅材料的台阶结构进行了成像;Wang等^[20]分析了不同大小和周期的针孔阵列对轴向分辨率的影响,发现光点越小则轴向分辨率越大。上述研究中,DMD仅对照明光进行调制,将光源光束分割为并行光源,相当于传统共聚焦中的照明针孔,光路上未实现传统共聚焦中探测针孔的功能,需要用相机或图像处理算法来代替传统共聚焦中的探测针孔,并未对成像光进行调制。

针对上述问题,国内外研究人员考虑对照明光和成像光都进行DMD调制,使DMD既相当于照明针孔,又相当于探测针孔,且DMD、样品和相机三者满足共轭关系。2010年,Feng等^[21]研制出基于DMD的并行激光共焦系统,对分辨率板和肌腱样品进行了成像;同年,Wu等^[22]提出了一种单像素光学层切的可编程阵列显微镜,设计并仿真了照明光路;2012年,Martial等^[23]提出了基于DMD的多波长共聚焦显微镜,对花粉和蜗牛神经元进行了荧光成像。目前,关于光点阵列参数对成像质量的影响分析及对光点阵列参数的优化还未见报道。

本文采用DMD同时充当照明针孔和探测针孔的方案,重新设计了DMD共聚焦系统光路;分析了照明、成像和采样光路中重要元件的参数,并搭建了基于DMD的并行共焦成像系统;理论分析了DMD光点阵列参数对成像质量的影响,实验验证了DMD光点阵列参数与横向分辨率、轴向分辨率、图像对比度、成像速率之间的关系;确定了最优成像效果所对应的光点阵列参数,以此光点阵列对三维体光栅进行成像,并将成像效果分别与宽场成像、共聚焦成像进行了对比分析。

2 实验光路介绍

基于DMD的并行共焦成像系统光路如图1所示,该系统主要由激光光源、准直扩束镜组、二分之一波片(λ/2)、偏振分束器(PBS)、DMD、筒镜、四分之一波片(λ/4)、物镜、相机和电动位移台等组成。激光波长为532 nm;物镜由日本Olympus公司生产,放大倍率为10,数值孔径为0.25;采用的DMD共包含1024×768个微镜,每个微镜的尺寸为13.68 μm×13.68 μm,微镜间隔约为1 μm,切换速率可达15 μs。相机(ORCA-Flash4.0 V2 C11440-22CU,Hamamatsu,日本)的像素尺寸为6.5 μm×6.5 μm,Z轴电动位移台(KMTS 50E/M,Thorlab)的轴向精度为50 nm,轴向移动量为50 mm。

图 1. 基于DMD的并行共焦成像系统光路

Fig. 1. Optical path of parallel confocal imaging system based on DMD

下载图片 查看所有图片

激光光源发出波长为532 nm的准直光,经准直扩束光路、二分之一波片和PBS后,以66°(与DMD平面所成夹角)入射DMD,DMD光点等效于照明针孔阵列,处于on态的微镜将光反射至筒镜,反射光依次经过四分之一波片和物镜后照亮样品。样品反射的成像光经物镜收集后原路返回DMD表面,此时DMD光点等效于探测针孔阵列, DMD与样品面满足共轭关系;经DMD光点阵列反射的成像光被sCMOS接收,DMD与sCMOS满足共轭关系,即DMD、样品面与sCMOS三者之间两两共轭。

需要指出的是,激光经过二分之一波片被调制为p偏振光,四分之一波片与p偏振方向成45°,照明光经过四分之一波片后被调制为圆偏光,成像光经过四分之一波片后被调制为s偏振光。根据PBS透过p偏振光、反射s偏振光的原理实现照明光和成像光的分束。

在照明光路中,激光的端面直径约为1.5 mm,而DMD的尺寸约为14.008 mm×10.506 mm,为了将DMD表面完全照亮,激光的直径至少需扩大至原来的10倍。采用焦距分别为30 mm和300 mm的透镜,将激光扩束成直径为15 mm的准直光,以66°均匀地照亮DMD表面。

在成像光路中,DMD上处于off态微镜反射的光被吸收板吸收,处于on态微镜反射的光通过筒镜和物镜后照亮样品表面。为了达到系统的衍射极限,DMD上一个微镜经过筒镜和物镜缩放到样品表面的尺寸应小于一个艾里斑的大小,即

spixelDMD=fobjfTubelens≤δδ=λ2NA,(1)

式中s_pixelDMD=13.68表示DMD一个微镜的尺寸;f_obj、f_Tubelens分别表示物镜、筒镜的焦距;δ为阿贝衍射极限,表示艾里斑的大小,δ=1.06 μm;NA表示物镜的数值孔径;λ表示激光的波长,λ=532 nm。对于该系统采用的放大倍率为10的物镜,f_obj=18 mm,NA=0.25。筒镜的焦距应满足

fTubelens≥231.43mm。(2)

综上,选取f_Tubelens=300 mm,从而使DMD的一个微镜共轭到样品面上的像小于艾里斑。

在采样光路中,DMD与sCMOS像素间的匹配直接影响成像质量,故其匹配需要满足一定的比例关系。若DMD单个像素的像过小,可能导致其成像在sCMOS像素之间的空隙中,使测量失效;若DMD单个像素的像过大,则sCMOS无法实现对DMD的完整成像。

根据奈奎斯特采样定理,采样光路应满足:在sCMOS成像面上,DMD单个像素s_pixelDMD至少大于等于sCMOS的两个像素s_pixelsCMOS,即

spixelDMD≥2spixelsCMOSf2f1,(3)

式中DMD的单个像素为13.68 μm,sCMOS的像素为6.5 μm,故f₁和f₂应满足f₂/f₁≤1.05。采用4f系统,取f₁=f₂=180 mm,使得DMD的像素成像到sCMOS上的缩放比为1∶1。

相干光经过DMD调制后形成的光波场是一个包含了DMD自身衍射图案、DMD所照明样品实像、虚像的复杂二维周期性光波场^[8]。当DMD用于并行共焦成像时,只需用到DMD的零级衍射图案中包含的DMD所照明样品的实像。在4f系统中透镜 1和透镜 2的焦面处增加一个小孔,只让零级衍射图案中的样品实像被sCMOS接收,从而滤除DMD自身衍射图案、样品虚像和除零级衍射以外的样品实像,以获得样品清晰的实像。

3 光点阵列设计

DMD光点阵列参数如图2所示,其中白色和黑色的方块分别表示on态和off态的微镜。图2(a)为光点大小调制示意图,从上到下分别为1×1、2×2、3×3光点大小;图2(b)为以2×2光点大小为例的光点间距调制示意图,从上到下依次为2,4,6倍光点间距。

图 2. DMD光点阵列参数。(a)光点大小调制;(b)光点间距调制(以2×2光点大小为例)

Fig. 2. Parameters of DMD spot array. (a) Modulation of spot size; (b) modulation of spot interval (taking 2×2 micromirrors for example)

下载图片 查看所有图片

1×1光点大小、2倍光点间距光点阵列的DMD扫描方式如图3所示。其中,光点间距越大,微镜间成像的相互干扰越小。传统的DMD并行共焦成像采用图3(a)所示的排列方式,on态微镜的间距不同,所引起的微镜间干扰差别较大,对成像的影响也有较大差别。此处采用图3(b)的排列方式,相较图3(a)的传统排列方式,处于on态的微镜与其周围on态微镜间距的差别变小,引起的微镜间干扰趋于相同,对成像的影响也趋于均匀分布,故其优于传统的排列方式。采用的DMD微镜阵列扫描方式如图3(c)所示,以1×1光点大小、2倍光点间距的光点阵列为例,将DMD上处于on态的微镜依次向右

图 3. 1×1光点大小、2倍光点间距光点阵列的DMD扫描方式。(a)传统的排列方式;(b)采用的排列方式;(c)采用的扫描方式

Fig. 3. DMD scanning mode of spot array with 1×1 spot size and two times of spot interval. (a) Traditional arrangement mode; (b) used arrangement mode; (c) used scanning mode

下载图片 查看所有图片

移动1个像素单元,移动2次,对样品某一行进行扫描,按此方式对样品逐行扫描2次,便能完成对样品一个平面的扫描,并用图像相加算法将一个扫描周期中的所有图像相加,重构出完整的图像。

4 光点阵列对成像效果的影响

图像质量由不同的参数进行评价,其中轴向分辨率、横向分辨率和图像对比度是主要的评价参数。并行共焦成像中光点阵列参数的变化会影响系统的成像质量。分别利用分辨率板和深度响应曲线来定量分析轴向分辨率、横向分辨率和图像对比度,讨论光点阵列参数变化对成像效果的影响。当相机积分时间相同时,成像速度只与光点间距有关,光点间距越大,则成像速度越慢。

4.1 轴向分辨率

影响系统轴向分辨率的主要因素是轴向光强分布,称为深度响应函数,评价深度响应优劣的指标为半峰全宽^[20](FWHM),FWHM越小,则轴向分辨率越高。FWHM定义为沿轴向采样时,接收端光强在最大值一半时所对应的轴向坐标间距,其计算公式为

WFWHM=0.45λn-n2-NA2,(4)

式中W_FWHM为半峰全宽,n为物镜的折射率。可见,NA越大、λ越小,则W_FWHM越小,其轴向分辨率越高。理论上,W_FWHM≈7.54 μm。

以反射镜为样品,分别采用1×1、2×2和3×3共3组光点大小对样品进行成像,并使用电动位移台在垂直样品面方向上移动样品,得到的深度响应曲线如图4所示。其中横坐标为样品在垂直样品面方向上的位移,即轴向位移量;纵坐标为强度,最高点表示样品位于正焦状态,此时所对应的光强为最大值。深度响应曲线在最大值一半时所对应的横坐标间距为FWHM。由图4可知,1×1光点大小的FWHM为7.82 μm,与理论值7.54 μm基本一致;2×2、3×3光点大小的FWHM分别为8.75 μm和14.93 μm,即光点越小,FWHM越小,轴向分辨率越高。

图 4. 不同光点大小的轴向分辨率比较。 (a)不同光点大小的深度响应曲线;(b) 1×1、(c) 2×2和(d) 3×3光点大小的轴向成像深度

Fig. 4. Comparison of axial resolution with different spot sizes. (a) Depth response curves of different spot sizes; axial imaging depth of (b) 1×1, (c) 2×2 and (d) 3×3 spot sizes

下载图片 查看所有图片

不同光点大小、不同光点间距的深度响应曲线如图5所示。图5(a)为1×1光点大小、不同光点间距的深度响应曲线,4条深度响应曲线基本重叠,FWHM无较大差距;图5(b)、(c)所示的2×2、3×3光点大小的深度响应曲线基本重叠,FWHM无较大差距。综上所述,当光点间距大于光点大小时,增大光点间距对轴向分辨率无明显改善。

4.2 横向分辨率

以高分辨率板(USAF1951#58-198,Edmund Optics,美国)作为样品,对系统的横向分辨率进行标定。用不同光点大小和光点间距的光点阵列分别对分辨率板进行成像,并用图像相加算法将一个扫描周期中的所有图像相加,以重构出完整图像。12组不同光点阵列对分辨率板的成像如图6所示。

分别对图6的12组不同光点阵列对分辨率板的成像图进行横向分辨率标定。以T=4的3组不同光点阵列为例,分析过程如图7所示,图7(a)为1×1光点大小、T=4的光点阵列对分辨率板的成像图;图7(b)为1×1光点大小、T=4的光点阵列对分辨率板“9-1”线对的竖直剖切线;图7(c)为图7(b)中竖直剖切线的灰度变化。根据瑞利判据,由图7(c)中的灰度变化能够区分“9-1”线对,故认为

图 5. 不同光点间距的轴向分辨率比较。(a) 1×1光点大小;(b) 2×2光点大小;(c) 3×3光点大小

Fig. 5. Comparison of axial resolution with different spot intervals. (a) 1×1 spot size; (b) 2×2 spot size; (c) 3×3 spot size

下载图片 查看所有图片

图 6. 不同光点阵列对分辨率板的成像。(a)1×1光点大小,2倍光点间距;(b)~(e) 1×1光点大小,2,4,6,8倍光点间距;(f)~(i) 2×2光点大小,2,4,6,8倍光点间距;(j)~(m) 3×3光点大小,2,4,6,8倍光点间距

Fig. 6. Imaging of resolution plate with different spot arrays. (a) 1×1 spot size and two times of spot interval; (b)-(e) 1×1 spot size and two, four, six, eight times of spot interval; (f)-(i) 2×2 spot size and two, four, six, eight times of spot interval; (j)-(m) 3×3 spot size and two, four, six, eight times of spot interval

下载图片 查看所有图片

1×1光点大小、T=4的光点阵列能看清“9-1”线对,即横向分辨率高于512 lp/mm;同理,由图7(e)、(g)所示的灰度变化差异可得,2×2光点大小、T=4的光点阵列的横向分辨率高于406 lp/mm,3×3光点大小、T=4的光点阵列的横向分辨率高于323 lp/mm。

图 7. (a) 1×1光点大小、T=4的光点阵列对分辨率板“9-2”线对的竖直剖切线;(b)图7(a)中竖直剖切线的灰度变化;(c) 2×2光点大小、T=4的光点阵列对分辨率板“8-5”线对的竖直剖切线;(d)图7(c)中竖直剖切线的灰度变化; (e) 3×3光点大小、T=4的光点阵列对分辨率板“8-2”线对的竖直剖切线;(f)图7(e)中竖直剖切线的灰度变化

Fig. 7. (a) Vertical section line of “9-2” line pairs on resolution plate with spot size of 1×1 and T=4; (b) change of gray level of vertical section line in Fig. 7(a); (c) vertical section line of “8-5” line pairs on resolution plate with spot size of 2×2 and T=4; (d) change of gray level of vertical section line in Fig. 7(c); (e) vertical section line of “8-2”line pairs on resolution plate with spot size of 3×3 and T=4; (f) change of gray level of vertical section line in Fig. 7(e)

下载图片 查看所有图片

由图7可见:1×1光点大小所对应的横向分辨率优于977 nm,由阿贝衍射极限得出系统的理论横向分辨率为1.06 μm,故1×1光点大小可达到衍射极限;2×2、3×3光点大小所对应的横向分辨率低于1×1光点大小所对应的横向分辨率,且光点越小,图像的横向分辨率越高;当光点间距大于光点大小时,增大光点间距对成像的横向分辨率无明显改善。

4.3 图像对比度

图像对比度指的是一幅图像灰度反差的大小,可以通过最大强度I_max和最小强度I_min对其进行计算,可表示为

Icontrast=Imax-IminImax+Imin×100%。(5)

光点间距代表光点阵列的疏密程度,直接决定着相邻光点间的相互干扰程度。光点间距越小,则扫描速度越快,光点接收相邻光点的光信号比例越大。所接收的相邻光点光信号大部分为离焦信息,这使得该光点处的背景噪声变大,导致图像对比度下降;反之,光点间距越大,则扫描速度越慢,光点接收相邻光点的光信号比例越小,该光点处的背景噪声越小,图像对比度越高。

对图6中1×1光点大小的4组不同光点阵列的分辨率板成像图进行图像对比度分析,结果如图8所示,由图可见,当光点间距为4倍光点大小时,所对应的图像对比度最高。

图 8. 1×1光点大小、不同光点间距的图像对比度

Fig. 8. Contrast of image with 1×1 spot size and different spot intervals

下载图片 查看所有图片

4.4 成像速度

在相机积分时间相同的条件下,基于DMD并行共焦成像系统的成像速度只与光点间距有关,即

t=δ'T2,(6)v=1t=1δ'T2,(7)

式中t为成像时间,δ'为单帧图像的曝光时间,v为成像速度,T为光点间距。对于光点间距为T的光点阵列,t为δ'的T²倍,故成像速度v与T²成反比。如图9所示,当δ'=1/400 s时,t=T²/400 s,v=400/T²,光点间距越大,则成像速度越慢。

图 9. 不同光点间距的成像速度比较

Fig. 9. Comparison of imaging speeds with different spot intervals

下载图片 查看所有图片

4.5 最优光点阵列

由上述分析可知,横向和轴向分辨率随光点的减小而增大。当光点间距大于光点大小时,增大光点间距对横向和轴向分辨率均无明显改善;成像速度与光点大小无关,仅随光点间距的增大而减小;对于1×1光点大小,当光点间距为4倍光点大小时图像对比度最高,故1×1光点大小、4倍光点间距为最优光点阵列,能够实现高分辨率、高成像速度和高图像对比度的并行共聚焦成像。

上述光点阵列优化方案并不依赖于特定型号的DMD或物镜。不同型号DMD的主要差别在于微镜尺寸及数量,而微镜的形状及排列方式均相同。采用提出的正六边形排列方式均能使处于on态的微镜间的距离趋于相同,从而改善成像质量。物镜的数值孔径大小决定了样品表面照明光点的大小及系统分辨率。当改变物镜数值孔径时,需保证照明光点大小、DMD微镜尺寸及sCMOS像元大小满足一定的匹配关系,必要时可调整光学系统缩放比,从而不影响整体方案的有效性。

4.6 最优光点阵列与宽场和共聚焦成像比较

三维体光栅的成像如图10所示。图10(a)为宽场对三维体光栅的成像,图10(c)为基于DMD的并行共焦成像系统在最优光点阵列(即1×1光点大小、4倍光点间距)下对三维体光栅的扫描成像(放大倍率为10,NA=0.25),图10(e)为Leica共聚焦显微镜对三维体光栅的单点扫描成像(共聚焦小孔为200 μm),图10(b)、(d)、(f)分别为图10(a)、(c)、(e)中黄色画线部分的强度分布。

图 10. 三维体光栅的成像。(a)宽场成像及其(b)强度分布;(c)最优光点阵列的并行扫描成像及其(d)强度分布;(e) Leica共聚焦显微镜成像及其(f)强度分布

Fig. 10. Imaging of three-dimensional body grating. (a) Wide field imaging and (b) its intensity distribution; (c) parallel scanning imaging of optimal spot array and (d) its intensity distribution; (e) Leica confocal microscopy imaging and (f) its intensity distribution

下载图片 查看所有图片

三维体光栅中,位置A、C、E和G为凸状结构,位置B、D和F为凹状结构,图10(a)、(c)、(e)分别对位置A、C、E和G所在平面进行正焦成像,即位置B、D和F所在平面为离焦成像。由图10(b)可知,图10(a)中位置B的强度远远高于位置A、C、E和G,位置D和F的强度约为位置A、C、E和G的一半,说明在宽场成像中三维体光栅不同层的样品信息相互重叠,导致层切效果差,背景噪声强,成像质量差。由图10(d)可知,图10(c)中位置B、D和F的强度趋近于0,位置A的强度最高,位置C、E和G在最优光点阵列的并行扫描成像中层切效果明显,适用于三维成像。同样,由图10(f)可知,在图10(e)中位置B、D和F的强度约为10~20,比图10(c)中位置B、D和F的强度略高,说明Leica共聚焦显微镜成像有明显的层切效果,但略差于图10(c)的层切效果。

综上所述,基于DMD并行共焦成像系统,采用最优光点阵列扫描三维体光栅时,在保证高速成像的前提下,实现了高横向和轴向分辨率、高对比度的成像,层切效果较好,适用于三维样品的成像。相比商用Leica共聚焦系统,基于DMD的并行共焦成像系统的成像效果无较大差距,但在成像速度上却有明显的优势。受相机曝光时间的限制(以flash4.0相机为例),对512 pixel×512 pixel的图像帧频可达100 frame·s^-1,即1 s最快可得到25张512 pixel×512 pixel的图像,如图10(c)所示;Leica共聚焦系统采用单点扫描成像,1 s最快只能得到1张512 pixel×512 pixel的图像,如图10(e)所示。

5 结论

设计并搭建了基于DMD的并行共焦成像系统,介绍了DMD的并行扫描方式,分析了DMD光点阵列参数对轴向分辨率、横向分辨率、图像对比度和成像速度的影响,并得到了最优光点阵列。以最优光点阵列对三维体光栅进行了并行扫描成像,并与宽场和共聚焦系统的成像效果进行了对比分析。实验结果表明,光点越小,则横向和轴向分辨率越高;成像速度只随光点间距的增大而减小;当光点间距大于光点大小时,增大光点间距对成像的横向和轴向分辨率均无明显改善;1×1光点大小时,当光点间距为4倍光点大小时图像对比度最高,且具有较大的成像速度,即1×1光点大小、4倍光点间距为最优光点阵列。基于DMD的并行共焦成像系统在保证高分辨率和层切成像效果的前提下,实现了高速的扫描成像,在实时成像和三维成像的实际应用中具有一定的优势和指导意义。