基于DMD调制的结构光照明超分辨和光切片显微技术研究进展(特邀)封面文章特邀综述
1 引言
显微镜是人类探索微观世界的重要工具。电子显微镜虽具有远优于光学显微镜的原子级空间分辨能力[1-3],但不适用于活体生物研究。光学显微镜凭借无创性、实时性且能解析亚细胞结构的优势,广泛应用于观察活体组织或细胞之间的相互作用,以了解其结构与功能,因而被应用于生物医学领域,成为人类认知、探索微小生物与细胞结构的重要工具[4-7]。
传统光学显微镜受限于阿贝衍射极限,空间分辨率被限制在200 nm左右[8-9],导致许多亚细胞结构无法分辨。随着业界需求的增长与科技的进步,荧光显微成像技术在解决传统光学显微镜面临的分辨率受限问题上展现出了巨大的潜力,Betzig、Hell与Moerner等[10-12]凭借在超分辨荧光显微领域的突出贡献斩获2014年诺贝尔化学奖。超分辨荧光显微技术发展至今,大致被分为3大类:1)基于单分子定位的荧光显微技术,例如光激活定位显微技术(PALM)[10]与随机光学重建显微技术(STORM)[13-15];2)基于点扩散函数(PSF)调制的激光扫描显微技术,例如受激发射耗散显微技术(STED)[11,16-17]与可逆饱和光学线性荧光转换显微技术(RESOLFT)[18];3)基于结构光照明的超分辨显微技术(SR-SIM)[19-25]。SR-SIM在2000年被Gustafsson等[19]提出,能够使分辨率超越衍射极限一倍。
传统的光学显微镜由于离焦背景与在焦图像同时被人眼或探测器所采集,无法直接得到三维成像所需要的光切片。为解决这一问题,近几十年涌现出很多抑制离焦背景的三维光学显微技术,其中主流的有激光扫描共聚焦显微(LSCM)[26]、光片荧光显微(LSFM)[4,27-28]、多光子荧光显微(MLSM)[29],以及结构光照明光切片显微(OS-SIM)[30-32]。事实上,早在1997年,结构光照明显微(SIM)技术就作为一种宽场光切片显微技术被Neil等[30]率先提出,它能够消除离焦背景,保留在焦信息,实现快速的三维显微成像,这种SIM技术被称作OS-SIM。
上述两种SIM技术虽然都叫结构光照明显微技术,但它们的原理却截然不同。OS-SIM使用了强度正弦分布的条纹照明光,3幅照明图案的间隔相移为2π/3。由于高空间频率条纹仅存在于焦平面,因而OS-SIM可以利用重建算法去除离焦信号并提取在焦信息,实现3D样本的光切片成像。SR-SIM则借助莫尔条纹效应,让高频结构光在物镜焦面上与样品结构重叠产生低频的莫尔条纹,使得光学传递函数(OTF)截止频率外的高频信息被移动到低频的信号光场中,进而被传感器采集,其重建算法利用频谱的分离融合来获取超出系统衍射极限的高频信息。OS-SIM与SR-SIM的显微目的、基础原理与处理算法皆不同,但二者结构光照明的分布与相移方式却保持一致。SIM技术在显微成像中的应用不仅包含超分辨成像,还包含光切片成像。与上述其他荧光显微技术相比,SIM作为一种宽场荧光显微技术,不仅与传统显微镜兼容,还具有光毒性低、对荧光分子无特殊要求,以及成像速度快等诸多优势,由此被广泛用于活体细胞观察、动态生物成像等领域[33-34]。
如何快速而准确地产生结构光场,是SIM技术的关键与难点之一,目前产生结构光的主要器件有物理光栅、空间光调制器(SLM)与数字微镜器件(DMD)。早期SIM技术使用物理光栅的旋转与位移,来产生不同方向的相移正弦结构光场[30,35-38]。但是物理光栅需要高精度多次旋转与位移,机械运动精度和速度有限,导致所得图像质量低、成像速度缓慢,不利于活体细胞成像[36,39]。因此,传统物理光栅逐渐被电光调制器件SLM与DMD所替代[39-43]。SLM可以快速产生所需的正弦结构光场,并精确地进行相移与旋转,其中,硅上液晶空间光调制器(LCoS-SLM)可无机械移动和编程控制,被广泛应用于SIM技术中[44-48]。但SLM利用液晶分子进行相位调制来产生相位光栅,导致光束偏振变化需要额外的偏振补偿。此外,SLM还存在着光能利用效率不高、刷新率相对较低等缺点。
2013年,Dan等[40]提出了一种利用DMD调制和非相干LED光源照明的投影式SIM系统,在有效避免激光带来的散斑问题、确保具有准确的结构条纹光场的同时,提升条纹图案的刷新速率。DMD由许多单独的微小反射镜片组成,每个微镜都可以作为单独的像素,在电路控制下独立翻转,实现光开关的作用。DMD与SLM相比,具有更高的刷新率、光能利用率,以及更好的经济性等优势[49-51]。
得益于DMD的诸多优点以及SIM技术的快速发展,近年来DMD-SIM技术取得了明显的进展。但目前还没有系统总结DMD-SIM技术的相关文献。本文对DMD-SIM进行全面概述,详细说明DMD-SIM的技术原理及实现方式,主要内容包括SR-SIM与OS-SIM的理论基础、结构光场产生与调控、DMD-SIM衍射效应分析、DMD-SIM最新发展状况与应用,以及未来DMD-SIM发展方向与趋势,希望对从事该领域的研究人员具有一定的参考作用。
2 超分辨SIM和光切片SIM的原理
SIM技术使用光强呈周期结构分布的光场照明微小样品,能获得突破光学衍射极限的高分辨率[52-55],或者得到类似激光共聚焦显微技术(LSCM)的光切片三维成像功能[56-58]。所有周期性结构分布都可以利用傅里叶级数展开成正弦和余弦分布函数的组合,因此最基本的结构照明光场就是强度呈正弦或余弦分布的条纹光场。当前SIM主要分为两种:一种是美国加利福尼亚大学Gustafsson教授研究组在2000年提出的面向突破光学衍射极限的超分辨SIM,简称SR-SIM;另一种是英国牛津大学Neil和Wilson教授在1997年提出的从普通宽场显微镜中快速获得光切片的SIM,简称OS-SIM。SR-SIM和OS-SIM都以正弦或余弦分布的条纹光场作为结构光照明。
尽管结构光照明形式相同,SR-SIM与OS-SIM的显微目的和基本原理却明显不同。SR-SIM利用莫尔条纹效应:当两个条纹重叠时会产生低频的莫尔条纹。借助莫尔条纹效应,条纹结构光在物镜焦面上与样品结构重叠产生低频的信号光场。这样相机拍摄不到的样品细节结构,特别是系统光学传递函数截止频率外的结构频率,通过条纹结构光照明耦合成能被拍摄的低频信号光场。拍摄得到原始结构光照明图像之后,利用解耦合算法将样品细节结构重构出来,突破系统衍射极限对分辨率的限制。OS-SIM利用结构光条纹将物镜景深范围内的焦面目标和非焦面背景进行区分。由于条纹结构具有高空间频率,只有焦面区域才可以承载这个高频率条纹,而非焦面区域却不受条纹结构的影响。因此,通过结构光场相移并拍摄图像,通过特定算法,可消除图像中非焦面背景,只留下焦面目标图像,即光切片图像。将轴向扫描样品获得的一系列光切片图像输入计算机,利用软件重构即可形成目标的三维图像。
2.1 超分辨SIM的原理
2.1.1 超分辨SIM原理的频率域描述
光学显微镜的成像过程通常用卷积运算来描述,即显微样品在照明光照射下先产生携带其结构分布的信号光场,再与显微系统PSF卷积运算,最后使用CCD或CMOS相机拍摄生成图像。此成像过程可表示为
式中:r表示平面坐标;D(r)是成像图像;S(r)代表显微样品的结构分布;I(r)是照明光场强度分布;PSF(r)表示系统点扩展函数;
通常的照明条件是均匀照明,I(r)为常数。在结构光照明条件下,照明光强呈正弦或余弦条纹分布,此时I(r)可表示为
式中:
对
式中:~表示对应的频谱函数;OTF(k)是PSF(r)的傅里叶变换,即光学传递函数。在
图 1. 结构光照明下的样品空间频谱拓展示意图。(a)样品与结构光条纹重叠拍频产生低频的莫尔条纹;(b)单个方向结构光照明下样品频谱的扩展和融合;(c)3个方向的结构光照明下样品频谱的各向同性扩展和融合
Fig. 1. The principle of spectrum expansion in SIM. (a) The overlapping of the sample and the illumination patterns produces low-frequency Moiré fringes through frequency beating; (b) the expansion and fusion of the sample spectrum under structured illumination along one single orientation; (c) the isotropic expansion and fusion of the sample spectrum under structured illumination along three orientations
然而仅通过
解此方程组即可求出
另外,
综上所述,超分辨SIM需要采集9幅结构光照明原始图像重构实现超分辨图像。这9幅原始图像对应于3个空间方向上(0°,120°,240°)的各3步相移(φ,φ+2π/3,φ+4π/3)结构光照明。超分辨SIM原理对实验上结构光场的空间方向旋转和相移调控提出了明确要求。
为了得到良好的超分辨SIM图像重建结果,除了对结构光场的严格要求,还离不开对应的重建算法。鉴于频域重建算法涉及一系列频谱分离、融合等操作,重建图像易产生伪影、对比度低等问题,设计和开发良好的算法尤为重要。因此,近年来出现了众多频域重建算法,例如Open-SIM[59]、Fair-SIM[60]、HiFi-SIM[61-62]、OLS-SIM[63]、Hessian-SIM[64]等重建算法。其中:Open-SIM详细地介绍了SIM重建原理及流程;Fair-SIM具有高集成度,可作为插件在Image J上使用;HiFi-SIM具有很好的重建效果;OLS-SIM则为一种基于普通最小二乘法(OLS)的频域重建算法,使用4帧原始SIM图像即可重建超分辨图像;Hessian-SIM是一种基于Hessian矩阵反卷积的SIM重构算法,在低信号强度下的性能明显优于SIM传统算法,能对活体细胞进行长时程的超分辨成像,但其计算量大,重构一幅超分辨图像通常需要十几秒的时间,速度较慢。
2.1.2 超分辨SIM原理的空间域描述
传统基于频谱域扩展重构(FDR)的超分辨SIM原理较易理解,但是重构超分辨图像的耗时较长。传统超分辨SIM需要将采集的所有原始结构光照明图像全部转换到傅里叶频率域,然后进行频谱分离、融合、扩展等操作,最后再转换回到空间域。此过程步骤繁多,容易引入人为伪影噪声。再者,大尺寸图像的傅里叶变换运算非常耗时,多次反复的傅里叶变换及其逆变换常常迫使成像过程采取“先拍摄,后处理”的工作方式,难以实时得到或者反馈成像结果。针对这个问题,2021年,Dan等[23]提出了空间域直接重构超分辨图像方法(SDR)。空域直接重构方法步骤简洁,避免了傅里叶变换的耗时运算过程,从而可实现“所见即所得”的实时超分辨成像[23,65-68]。
结构光照明下的显微成像系统,面阵探测器上响应的图像D(r)可由
式中:S(r)、I(r)和PSF(r)分别是物体结构分布、结构照明条纹分布和系统点扩展函数。为了简洁且不失一般性,这里以一维情况为例,结构光场沿x方向经过j步相移后,
式中:
如果上式中的项满足
那么可以认为构造了一个新的系统点扩展函数P(x),它与物体分布函数的卷积即可形成SIM超分辨图像
在结构光照明及其相移下
考虑到结构光相移组合(φ0,φ0+2π/3,φ0+4π/3),此时n=3,j=1,2,3。可以找到
此时
图 2. SDR超分辨SIM图像方法原理及流程[23]。(a)SDR在空域中压缩PSF示意图;(b)PSF的FWHM随照明条纹空间频率的变化;(c)SDR与FDR超分辨重建流程对比
Fig. 2. The principle and flowchart of spatial domain reconstruction of SR-SIM image[23]. (a) Schematic diagram of the PSF compression in SDR; (b) the PSF's FWHM value variation with the spatial frequency of the illumination fringes; (c) the comparison of SDR and FDR workflow
鉴于SDR相较于FDR具有重构计算简单,无需大量频域计算和傅里叶变换等优势,近年来SDR算法受到了重点关注。2020年,Tu等[66]基于照明图案的不均匀特性,提出一种空域重构,无需参数估计的SR-SIM重构算法,称为“移相SIM”(SP-SIM)。SP-SIM无需参数估计,且适用于散斑SIM,但其重构结果存在高频信息丢失问题。2022年,Wang等[69-70]将空域与频域相结合,开发出了JSFR-SIM算法,在重建速率比Wiener-SIM快80倍的同时,抑制了厚样品中的离焦背景。2023年,Wen等[68]提出一种空域重建和频谱优化的联合重建SR-SIM算法(Direct-SIM),该算法不仅无需参数估计,还有效规避了维纳反卷积带来的伪影。但该方法虽然无需估计光场参数,但引入了新的参数估计。同年,Li等[71]提出了一种无需参数估计的空域重建算法(EFSD-SIM),从仿真与实验方面对该算法进行了验证,与现有的SP-SIM算法相比,其重建质量较高,不存在高频信息丢失。
表 1. 不同SR-SIM重构算法比较
Table 1. Comparison of different reconstruction algorithms for SR-SIM
|
2.2 光切片SIM的原理
在一定空间频率的条纹结构光照明下,物镜景深范围内只有焦面上的样品结构受到条纹调制,非焦面背景却不受条纹影响。此现象反映在成像上就是有条纹的图像区域是焦面成分,而没有条纹的区域是离焦背景成分。因此成像图像可表示为
式中:
解此方程组可得
式中:
2.3 超分辨与光切片融合SIM的原理
超分辨SIM与光切片SIM原理完全不同,但在实验上都使用相同的条纹结构光场及相移组合。这种实验相同性激励研究者们探索两种SIM在原理上的关联性。如果在超分辨SIM数理模型基础上,考虑光切片SIM数理模型的离焦背景干扰量,可知
式中:B(r)表示离焦背景干扰,除此之外该等式与
接着对
为了分离出
解此方程组可得
通过
图 3. 超分辨与光切片融合SIM原理示意图[41]
Fig. 3. Principle of the super-resolution and optical section integrated SIM[41]
超分辨SIM和光切片SIM对条纹频率的要求不一样:超分辨SIM要求条纹的频率越高越好,直至临近衍射极限;光切片SIM的切片图像质量在条纹频率达到衍射极限值的一半时达到最佳[72]。因此在超分辨和光切片融合成像时,对条纹的频率会有取舍。一般来说,条纹频率选取衍射极限值的一半来平衡超分辨和光切片成像效果。
显微物镜存在一定的景深范围,生物样品一般会受到浓密的离焦背景干扰。二维超分辨SIM成像时,常常需要借助于光切片来剔除背景噪声。传统超分辨SIM使用OTF-attenuation来防止扩展的高频成分被低频背景噪声淹没,比如在频谱中使用高通的notch filter来滤除大部分低频背景噪声。另一种方法是将超分辨SIM与光片(light-sheet)技术结合。最后一种技术路线是上面提到的超分辨和光切片SIM融合方法。与其他方法相比,超分辨和光切片融合SIM的优点在于基本不用改变光路结构和控制方式,通过重构算法就能实现超分辨和光切片的融合。
3 基于DMD调制的结构照明光场产生与调控
DMD是美国德州仪器公司(TI)的专利光电产品,现已广泛应用于投影显示、3D打印、光处理、数字印刷等领域。DMD基于光学微机电系统(MEMS),由几百万个纵横排列的微型反射镜组成,微反射镜的光反射率在可见光范围内超过90%。每个微反射镜形成一个像素,典型尺寸为7.56 μm。每个像素以其对角线为轴,可旋转±12°,即微镜可处于3种偏转角状态:+12°、0°和-12°,分别对应on、flat和off等3种状态,其中,闲置时处于flat状态。
图 4. DMD工作原理图。(a)DMD芯片外观;(b)DMD微镜阵列结构;(c)DMD的入射光和出射光方向;(d)DMD微镜不同状态对入射光的反射调制示意图
Fig. 4. Principle of DMD. (a) DMD chip; (b) structure of the DMD micromirror array; (c) illustration of the incident and output light on the DMD; (d) schematic of the incident light modulation in three different states of micromirrors
借助DMD调制光场强度的工作原理,DMD能产生SIM所需的正/余弦条纹结构光场,还能快速调控SIM所需的条纹结构光场旋转及相移。得益于DMD微镜的高反射率和高调制速率特性,基于DMD调制的SIM方法(DMD-SIM)具有成像快速、装置紧凑、成本低等优点。当前DMD-SIM主要通过两种方式调控条纹结构光场:一种是条纹投影法,另一种是光束干涉法。
3.1 条纹投影法
条纹投影法是在DMD上加载预先设计好的周期性条纹图案,然后用平行光入射DMD,利用光学系统将DMD上的条纹图案投影到样品上实现结构光照明,如
图 5. DMD投影微缩法产生结构光照明的原理图。(a)光栅投影产生结构光照明的光路图;(b)基于DMD投影产生结构光照明的光路图;(c)二值周期方波条纹转化为正弦条纹的原理
Fig. 5. Schematic diagrams of generating structured illumination using DMD projection. (a) Grating projection method; (b) DMD projection method; (c) the conversion from binary periodic square patterns to sinusoidal patterns
基于条纹投影法的DMD-SIM在设计DMD加载图案时有两个关键点:1)如何使用二值化图案最快速地产生正弦条纹光场;2)如何使用最小离散化像素的周期实现高频率条纹光场及其三步等间隔相移。对于第一个关键点:当DMD处在二值图案调制时能达到最高刷新速率,而处在灰度图案调制时都将以牺牲刷新速率为代价来换取灰度等级的提高,灰度等级越精细,刷新速率越慢。为了利用DMD调制的最高速率,作者团队设计了一种基于DMD二值化图案产生正弦结构光场的方案。利用投影照明光路的光学传递函数所产生的低通滤波效应,通过空间滤波将DMD调制产生的二值条纹光场自动地转化为只含基频空间频率的正弦条纹光场,如
3.2 光束干涉法
两束相干光干涉会产生强度呈正弦分布的条纹结构光场。在SIM装置中让两束具有一定夹角的平行光会聚于显微物镜入瞳,就能在物镜焦面上产生双光束干涉形成的条纹光场,如
图 6. 基于SLM激光干涉法与基于DMD激光干涉法产生结构光照明的典型光路。(a)SLM[44];(b)DMD[76]
Fig. 6. Typical optical paths for generating structured illumination based on SLM laser interferometry and DMD laser interferometry. (a) SLM[44]; (b) DMD[76]
利用光栅衍射分光的原理可以产生两束相干光。例如让一束扩束准直的光经过一个相位光栅,光束被衍射成3级:0和±1级,且对称的±1级光束为衍射光强“主极大”。使用掩模版阻挡中心0级光束,仅让±1级光束通过,使±1级光束进入物镜发生干涉。基于光栅的干涉型SIM装置需要光栅做机械移动和旋转,然而机械移动速度慢而且精度低,不仅影响SIM成像图像质量,还导致装置稳定性差。后来出现的SLM通过电光相位调制模拟光栅衍射分光,避免了机械移动和旋转,使SIM成像速度和装置稳定性得到很大提高[39,73-75]。尽管如此,SLM的液晶分子对入射光束偏振态有要求,致使在两相干光束旋转的情况下光束偏振态控制变得异常复杂。刷新速率慢是传统LCoS-SLM的另一个弱点,这直接限制了SIM成像速度。近年出现的铁电液晶型SLM突破了传统SLM刷新速率慢的缺陷,而且“披萨偏振片”的提出极大简化了基于SLM的SIM装置的光束偏振态控制复杂度。
鉴于DMD高刷新频率和较低成本的优点,最近出现了使用DMD加载强度光栅图案产生和调控相干光的报道[76-77]。基于DMD的激光干涉结构照明光路如
无论是投影式DMD-SIM还是干涉式DMD-SIM系统,受益于DMD本身的高反射率以及高刷新速率,相比于其他SIM系统,例如光栅SIM[19]、SLM-SIM[45-46]、散斑SIM[78-81]、光子芯片SIM[82]、TIRF SIM[83-85],以及等离基元SIM[86-88]等,大部分DMD-SIM光学系统均具有成像速度快、易于光场调控、光路紧凑的优势。
表 2. DMD-SIM与其它SIM技术对比
Table 2. Comparison of DMD-SIM with other types of SIM
|
4 基于DMD调制的SIM研究进展
4.1 DMD衍射模型及研究进展
DMD是DMD-SIM的核心器件,产生、旋转、相移结构光都依赖于DMD,而且DMD使用领域众多,被广泛应用在显示、投影光刻、成像等诸多领域[89-93]。但DMD本身离散化的微镜结构有着较为显著的衍射效应,降低所投影图案的对比度,微镜之间存在的空隙会导致杂散光的产生。若想进一步实现多色DMD-SIM以及相干光的DMD-SIM应用,需建立起合适的DMD衍射数理模型,并对其进行进一步的分析研究。
由于DMD本身具有刷新率高、经济性好等优点,近年来国内外对于DMD的衍射数理模型均有研究。2016年,Han等[94-95]将DMD作为一种特殊的二维闪耀光栅,对DMD在8~12 μm的长波红外波段的衍射效应进行了仿真分析及实验验证。2018年,Chipegin等[96]对使用半导体光源照明的DMD的衍射效应进行研究,对波长分别为635 nm和532 nm的闪耀条件进行了仿真模拟,以用于半导体光源的波前调制。Lachetta等[97]通过构建DMD闪耀光栅理论框架,详细分析了激光照明下DMD调制光束的衍射特性,计算出不同波长照明光满足DMD闪耀条件所需的入射角度,为提高DMD-SIM技术的光能利用率提供了理论模型。
2022年,Deng等[98]报道了一种DMD二维闪耀光栅衍射理论优化模型,优化了DMD衍射效率及激光能量利用率,可应用在基于DMD的显微成像、投影光刻、数字印刷等领域。DMD二维衍射理论优化模型和衍射光束分析如
式中:
图 7. DMD二维闪耀光栅衍射模型和光束衍射分析[98]
Fig. 7. The model of DMD two-dimensional blazed diffractive gratings and the analysis of diffracted beams[98]
作者理论计算了不同像素大小的DMD在200~800 nm波长范围内的衍射效率。特别针对343 nm激光和7.56 μm像素DMD,通过优化光束入射DMD的角度,一级衍射光束的最大衍射效率可从40%提高到96%。在双波长343 nm和515 nm平行光束照明的实验中,在
Dong等[99]提出了DMD的非近轴衍射模型,使用该模型模拟得到的衍射条纹与实验拍摄的一致,其理论优化模型如
除了上述专门论述DMD衍射效应的研究报道外,相当多的DMD-SIM中为了取得更好的结构照明图案,也进行了对应的数值模拟以及相关实验,DMD的衍射模型愈加成熟[100],DMD-SIM受到了众多研究人员的关注。本文将DMD-SIM划分为超分辨与光切片技术两类,总结了近年来其主要的研究进展,具体如
4.2 DMD-SIM超分辨显微技术研究进展
DMD-SIM自从2013年诞生后[40],凭借其独特优势得到广大研究人员的关注,近年来有关SR-DMD-SIM的研究更是层出不穷。干涉式SIM的超分辨率重建算法用于只有低调制深度的投影SIM时,所得结果存在严重伪影。2016年,Zhou等[101]在投影式DMD-SIM的基础上提出了一种IRT超分辨率图像重建算法,并在牛肺动脉内皮细胞的多色超分辨率成像实验中验证了该算法的有效性,该系统利用了DMD来快速生成条纹,并使用多色LED进行照明。该系统可以实现小于1 W/cm2的低激发强度荧光成像,有利于活细胞和组织的长时间超分辨成像。与传统的POP算法和ACR算法相比,IRT算法能够高精度地获得条纹的初始相位,并且无需矩阵运算即可提取高阶光谱分量。
2020年,Li等[102]报道了一种基于激光干涉的DMD-SIM显微技术LiDMD-SIM,其光路结构如
2020年,Wang等[103]报道了一种基于DMD的混合PSF多焦点结构光照明显微系统(HMSIM),其显微系统如
图 11. 混合多焦点结构光照明显微系统光路图[103]
Fig. 11. Schematic of the hybrid multifocal structured illumination microscope[103]
针对大多数DMD-SIM技术只对单一波长进行光效率优化的现状,2021年,Lachetta等[104]提出一种双波长DMD-SIM显微装置,如
Brown等[105]报道了一种三波长的DMD-SIM超分辨显微技术。文章通过分析DMD闪耀衍射条件的解析解、DMD衍射和投射模型及DMD畸变模型,基于角度匹配法原理,搭建了一台三波长的DMD-SIM超分辨显微装置,其原理如
图 13. 三波长DMD-SIM超分辨显微原理图[105]
Fig. 13. The schematic of three-wavelength DMD-SIM super-resolution microscopy[105]
2021年,Li等[106]报道了一种激光照明无散斑干扰的DMD-SIM超分辨显微方案,如
图 14. 激光照明无散斑干扰的DMD-SIM超分辨成像原理[106]
Fig. 14. The schematic of laser illumination speckle-free DMD-SIM super-resolution microscopy[106]
2023年,Li等[76]报道了一种基于DMD和电光调制器(EOM)的三维结构光照明显微成像方法(DMD-3DSIM)。其光路示意图如
干涉式DMD-SIM可快速生成结构照明图案,但DMD闪耀光栅结构导致系统存在显著色散。为实现多色SIM,往往对不同波长的光有比例要求,或针对不同波长的光设计独立光路。2024年,Gong等[107]报道了一种基于色散补偿的多波长DMD-SIM系统。该系统使用闪耀光栅对DMD进行色散补偿,闪耀光栅引入了与DMD相反的角色散,在不涉及机械运动或光路微调的情况下,消除了不同波长激发光之间的输出角差异,实现了四通道DMD-SIM成像,其系统光路结构如
图 16. 基于光栅色散补偿的多色DMD-SIM光路图[107]
Fig. 16. The schematic of multi-color DMD-SIM based on grating dispersion compensation[107]
总的来说,超分辨DMD-SIM技术大多基于DMD调制的光束干涉法来产生和调控结构照明光场。但DMD周期性结构所带来的光束衍射明显会导致光能利用率降低,在多波长荧光激发成像时也遇到了色散方面的难题。针对这些问题,当前的研究普遍使用激光器作为光源,另一方面专注于色散补偿光路设计。超分辨DMD-SIM正朝着多波长快速荧光成像的方向发展。
4.3 DMD-SIM光切片显微技术研究进展
2015年,Qian等[108]提出了全彩色DMD-SIM光切片三维显微技术(C-SIM),使光切片技术走向了全彩时代,系统及其成像效果如
图 17. 基于DMD-SIM的全彩色光切片三维显微系统[108]
Fig. 17. Full-Color optical sectioning three-dimensional microscopy based on DMD-SIM[108]
2019年,Qian等[109]进一步优化了C-SIM系统装置,其光路结构如
2020年,Bai等[110]进一步借助卷积神经网络深度学习技术,提出了一种基于深度学习的全彩宽场三维显微方法,即FC-WFM-Deep,可以直接从FC-WFM重建具有扩展光切片功能的高质量全彩3D图像。该技术使用单幅图取样增加训练效率,在保持成像质量同时原始数据量压缩为原来的1/30,可实现从宽场图直接得到彩色光切片图,在大幅度减少数据量和成像时间的同时,所得的图像质量在3D信息和空间分辨率方面与全彩DMD-SIM方法相当。
2022年,Wang等[111]在C-SIM的基础上提出了HDR-C-SIM技术,用于传统方法难以三维成像的深色化石样品,可恢复出其自然颜色。相比于原有的C-SIM技术,HDR-C-SIM使用了更高灵敏度和动态范围的sCMOS相机,可有效检测到C-SIM无法检测到的暗结构,如
原有的C-SIM虽具有高分辨率、自然色彩还原和高成像速度的优势,但如果样品有色差或半透明时,原有的HSV解码算法会出现强度偏差和褪色现象。Wang等[112]针对这一问题,提出了一种OS-SIM焦点级关联算法,在真实还原样品自然颜色的同时提升了45%的图像处理速度。
2015年,Zhou等[113]提出基于希尔伯特变换的SIM光切片重构算法。基于希尔伯特变换的三维光切片解码算法(SHT)只需要两幅结构光照明原始图像就能重构光切片图像,且这两幅原始图像的相移间隔可以为任意非零值,其算法流程及结果如
图 20. 基于希尔伯特变换的快速SIM光切片算法[113]
Fig. 20. Fast optical sectioning algorithm of SIM based on Hilbert transform[113]
结构条纹只调制成像图像中的在焦清晰区域,对非在焦的背景区域不会产生影响,因此令两幅原始图像相减可以消除不变化的非在焦背景区域,只留下在焦清晰区域。然而在焦清晰区域依然受到条纹的调制,理论推导证实该调制条纹仍然服从正弦分布。借助于希尔伯特变换可以使正弦条纹产生π/2相移,从而间接使在焦清晰区域受到余弦分布的条纹调制。最后,通过对正弦和余弦条纹调制的这两幅中间图像进行求模运算,可以消除在焦清晰区域上的条纹得到光切片图像。SHT算法与传统RMS解码算法相比,原始图像数量减少了1/3。由于三维重构需要轴向扫描以形成系列光切片,使用SHT算法可减少数十至数百幅原始图像的采集。
2022年,Supekar等[7]报道了一种微型SIM光切片显微装置(SIMscope3D)用于3D活体脑成像。SIMscope3D使用电润湿透镜和板载CMOS使光机结构非常紧凑,这两个器件分别实现SIM光切片技术所需的轴向扫描和荧光图像拍摄,其光机结构如
OS-SIM的光切片图像重构方法通常使用RMS算法。尽管RMS算法复杂度低,但重构图像极易受到背景噪声干扰,有时甚至会掩盖成像目标的部分细节。为了克服这个问题,Dang等[114]提出了一种基于傅里叶频域的光切片图像重构算法Fourier-OS-SIM,其成像结果如
图 22. 基于傅里叶频域的高质量SIM光切片重构方法的成像结果[114]
Fig. 22. Imaging results of Fourier Domain-based High-Quality SIM optical sectioning reconstruction method[114]
上述光切片DMD-SIM技术大多采用基于DMD调制的条纹投影法来产生和调控结构照明光场。研究方向聚焦在全彩色、快速、结构紧凑的三维成像上,包括:使用彩色相机和开发基于彩色空间的光切片重构算法,实现全彩色的光切片;开发减少原始图像获取数量的高效光切片算法,实现采集-重构-显示全链路的快速三维成像;利用DMD调制的条纹投影法光路结构保证系统的紧凑与便携性。
5 总结与展望
随着人们深入探索微观世界的需求及生命科学的发展,SIM凭借成像速度快、光毒性低、无需特殊荧光标记、与普通光学显微镜结构兼容性好等优势,成为了现今主流的远场超分辨和三维显微成像技术之一。DMD-SIM凭借DMD高反射率和高刷新速率的特点、无需复杂的光偏振态控制、光路紧凑、成本低等优点,近年来逐渐被研究者用于超分辨和光切片显微技术之中。本文尽可能详尽地对DMD-SIM进行了归纳和总结,详细介绍了超分辨SIM和光切片SIM的理论基础,阐述了基于DMD调制的结构照明光场产生与调控方法细节,对DMD-SIM在超分辨和光切片显微方面的最新技术进展进行了归纳分析。
超分辨DMD-SIM大多采用基于DMD调制的激光光束干涉法,这是由于相干光束干涉能产生超分辨SIM所需的高频率和高对比度结构光场。为了达到高对比度的干涉条纹,光束偏振态控制是关键技术之一,尤其是在超分辨SIM所需的三个空间方向上都要达到一致的高对比度干涉条纹。其次,DMD作为周期性单元器件,当相干光照射其表面时,出射光束必然发生衍射分级,因此如何满足闪耀衍射条件以实现最大化光效率成为了要考虑的问题。另外,随着显微成像由单色向多色荧光发展的需求和趋势,超分辨DMD-SIM遇到了DMD引起的色散问题。令人欣喜的是,超分辨DMD-SIM面临的上述问题当前都取得了一定的进展。例如在光束偏振态控制方面,披萨饼状起偏器和零级涡旋半波片的引入就是简单直接的解决方案。在DMD衍射分光方面,最近出现了越来越多关于DMD衍射模型的理论研究,对提高DMD-SIM的光效率大有裨益。在基于DMD-SIM的多波长荧光显微方面,DMD色散补偿成为了研究热点,温控激光波长、特定角度入射、光栅色散补偿等技术屡见报道。相信在不久的将来,随着超分辨显微由二维向三维成像发展的需求和趋势,超分辨DMD-SIM将在3D超分辨显微成像上有所作为。
光切片DMD-SIM主要采取基于DMD调制的条纹投影法。光切片SIM相比于超分辨SIM,不需要临近极限的高频率结构光场。采取条纹投影法给光切片DMD-SIM系统带来了成像迅速、结构紧凑、小型化、成本低的优势。当前光切片DMD-SIM技术研究的热点聚焦在光机结构、算法优化和全彩色成像方面。在光机结构设计上,引入非相干光源如LED成为常态。另外,即使使用非相干光照明,DMD依然存在衍射分光和色散的问题,因此非相干光照下的DMD衍射模型理论研究也十分必要。越来越多的研究报道表明光切片DMD-SIM在结构上呈现出集成化、微型化的趋势。在算法优化方面,研究主要集中在精简光切片SIM所需的原始图像数量上。例如基于希尔伯特的光切片重构算法可将每层切片的原始图像由三幅减少到两幅,在三维成像时将少采集几十甚至上百幅原始图像。光切片DMD-SIM还存在由单色向全彩成像方向发展的趋势。使用彩色相机并开发彩色空间的光切片重构算法,可实现全彩色的光切片三维成像。全彩色光切片DMD-SIM既适用于多色荧光标记的样品,又适合非荧光的样品(如微小昆虫、琥珀、芯片等)。借助于视场拼接技术,全彩色光切片DMD-SIM可对厘米量级的微小动物进行三维光切片成像,同时分辨率达几百纳米量级。可以预见,未来光切片DMD-SIM系统将会越来越集成,凭借DMD的高刷新速率、精简的全彩色重构算法,将实现“所见即所得”的三维成像,从而在4D成像上获得应用。
DMD器件还在不断革新,给DMD-SIM带来了新的机遇和挑战。其像素分辨率从1024×768、1920×1080、2560×1600增加至3840×2160;像元大小从13.68 μm、7.56 μm减小至5.40 μm;微镜翻转方式由最早的沿对角线翻转变为沿等效的中心线翻转。DMD的面阵越来越大,面元越来越小,加载的图案将越来精细,有助于缓解离散采样带来的图案锯齿化。另一方面,越来越小的像素带来更显著的衍射效应,光栅常数变小将导致衍射分光更明显,色散的问题也更严重,关于DMD衍射模型和色散补偿的研究仍是将来研究的重点。此外,超分辨与光切片成像融合是未来的发展趋势之一,加上技术的发展以及算法的创新,融合超分辨与光切片的DMD-SIM技术以及更为快速的多色DMD-SIM也许在不久的将来就会面世。
[1] Browning N D, Chisholm M F, Pennycook S J. Atomic-resolution chemical analysis using a scanning transmission electron microscope[J]. Nature, 1993, 366(6451): 143-146.
[2] Muller D A, Kourkoutis L F, Murfitt M, et al. Atomic-scale chemical imaging of composition and bonding by aberration-corrected microscopy[J]. Science, 2008, 319(5866): 1073-1076.
[3] Mundy J A, Mao Q Y, Brooks C M, et al. Atomic-resolution chemical imaging of oxygen local bonding environments by electron energy loss spectroscopy[J]. Applied Physics Letters, 2012, 101(4): 042907.
[4] Huisken J, Swoger J, Del Bene F, et al. Optical sectioning deep inside live embryos by selective plane illumination microscopy[J]. Science, 2004, 305(5686): 1007-1009.
[5] Helmchen F, Denk W. Deep tissue two-photon microscopy[J]. Nature Methods, 2005, 2(12): 932-940.
[6] Li Z W, Zhang Q R, Chou S W, et al. Fast widefield imaging of neuronal structure and function with optical sectioning in vivo[J]. Science Advances, 2020, 6(19): eaaz3870.
[7] Supekar O D, Sias A, Hansen S R, et al. Miniature structured illumination microscope for in vivo 3D imaging of brain structures with optical sectioning[J]. Biomedical Optics Express, 2022, 13(4): 2530-2541.
[8] Hell S W. Far-field optical nanoscopy[J]. Science, 2007, 316(5828): 1153-1158.
[9] Sigal Y M, Zhou R B, Zhuang X W. Visualizing and discovering cellular structures with super-resolution microscopy[J]. Science, 2018, 361(6405): 880-887.
[10] Betzig E, Patterson G H, Sougrat R, et al. Imaging intracellular fluorescent proteins at nanometer resolution[J]. Science, 2006, 313(5793): 1642-1645.
[11] Hell S W, Wichmann J. Breaking the diffraction resolution limit by stimulated emission: stimulated-emission-depletion fluorescence microscopy[J]. Optics Letters, 1994, 19(11): 780-782.
[12] Moerner W E. New directions in single-molecule imaging and analysis[J]. Proceedings of the National Academy of Sciences of the United States of America, 2007, 104(31): 12596-12602.
[13] Rust M J, Bates M, Zhuang X W. Sub-diffraction-limit imaging by stochastic optical reconstruction microscopy (STORM)[J]. Nature Methods, 2006, 3: 793-796.
[14] Bates M, Huang B, Dempsey G T, et al. Multicolor super-resolution imaging with photo-switchable fluorescent probes[J]. Science, 2007, 317(5845): 1749-1753.
[15] Jones S A, Shim S H, He J, et al. Fast, three-dimensional super-resolution imaging of live cells[J]. Nature Methods, 2011, 8(6): 499-508.
[16] Klar T A, Hell S W. Subdiffraction resolution in far-field fluorescence microscopy[J]. Optics Letters, 1999, 24(14): 954-956.
[17] Willig K I, Rizzoli S O, Westphal V, et al. STED microscopy reveals that synaptotagmin remains clustered after synaptic vesicle exocytosis[J]. Nature, 2006, 440(7086): 935-939.
[18] Hofmann M, Eggeling C, Jakobs S, et al. Breaking the diffraction barrier in fluorescence microscopy at low light intensities by using reversibly photoswitchable proteins[J]. Proceedings of the National Academy of Sciences of the United States of America, 2005, 102(49): 17565-17569.
[19] Gustafsson M G. Surpassing the lateral resolution limit by a factor of two using structured illumination microscopy[J]. Journal of Microscopy, 2000, 198(2): 82-87.
[20] Sheppard C J R. Structured illumination microscopy and image scanning microscopy: a review and comparison of imaging properties[J]. Philosophical Transactions of the Royal Society A: Mathematical, Physical, and Engineering Sciences, 2021, 379(2199): 20200154.
[21] Samanta K, Joseph J. An overview of structured illumination microscopy: recent advances and perspectives[J]. Journal of Optics, 2021, 23(12): 123002.
[23] Dan D, Wang Z J, Zhou X, et al. Rapid image reconstruction of structured illumination microscopy directly in the spatial domain[J]. IEEE Photonics Journal, 2021, 13(1): 3900411.
[24] Cheng X, Li J, Dai Q, et al. Fast and lightweight network for single frame structured illumination microscopy super-resolution[J]. IEEE Transactions on Instrumentation and Measurement, 2022, 71: 5007711.
[26] Carlsson K, Danielsson P E, Lenz R, et al. Three-dimensional microscopy using a confocal laser scanning microscope[J]. Optics Letters, 1985, 10(2): 53-55.
[27] Keller P J, Schmidt A D, Santella A, et al. Fast, high-contrast imaging of animal development with scanned light sheet-based structured-illumination microscopy[J]. Nature Methods, 2010, 7: 637-642.
[28] Olarte O E, Licea-Rodriguez J, Palero J A, et al. Image formation by linear and nonlinear digital scanned light-sheet fluorescence microscopy with Gaussian and Bessel beam profiles[J]. Biomedical Optics Express, 2012, 3(7): 1492-1505.
[29] Centonze V E, White J G. Multiphoton excitation provides optical sections from deeper within scattering specimens than confocal imaging[J]. Biophysical Journal, 1998, 75(4): 2015-2024.
[30] Neil M A, Juskaitis R, Wilson T. Method of obtaining optical sectioning by using structured light in a conventional microscope[J]. Optics Letters, 1997, 22(24): 1905-1907.
[31] Chai C C, Chen C, Liu X J, et al. Deep learning based one-shot optically-sectioned structured illumination microscopy for surface measurement[J]. Optics Express, 2021, 29(3): 4010-4021.
[32] Fu Z Q, Chen J L, Liu G, et al. Single-shot optical sectioning microscopy based on structured illumination[J]. Optics Letters, 2022, 47(4): 814-817.
[33] Li X S, Wu Y C, Su Y J, et al. Three-dimensional structured illumination microscopy with enhanced axial resolution[J]. Nature Biotechnology, 2023, 41(9): 1307-1319.
[34] Ward E N, Hecker L, Christensen C N, et al. Machine learning assisted interferometric structured illumination microscopy for dynamic biological imaging[J]. Nature Communications, 2022, 13: 7836.
[35] Classen A, von Zanthier J, Agarwal G S. Analysis of super-resolution via 3D structured illumination intensity correlation microscopy[J]. Optics Express, 2018, 26(21): 27492-27503.
[36] Jin X, Ding X M, Tan J B, et al. Structured illumination imaging without grating rotation based on mirror operation on 1D Fourier spectrum[J]. Optics Express, 2019, 27(3): 2016-2028.
[37] Wei H J, Hu S, Tang Y, et al. Efficient profilometry using tilted grating scanning structured illumination microscopy[J]. IEEE Photonics Technology Letters, 2020, 32(9): 522-525.
[38] Jin X, Ding X M, Tan J B, et al. Tilt illumination for structured illumination imaging[J]. Optical and Quantum Electronics, 2021, 53(9): 516.
[39] Kner P, Chhun B B, Griffis E R, et al. Super-resolution video microscopy of live cells by structured illumination[J]. Nature Methods, 2009, 6: 339-342.
[40] Dan D, Lei M, Yao B L, et al. DMD-based LED-illumination super-resolution and optical sectioning microscopy[J]. Scientific Reports, 2013, 3: 1116.
[41] Dan D, Gao P, Zhao T Y, et al. Super-resolution and optical sectioning integrated structured illumination microscopy[J]. Journal of Physics D: Applied Physics, 2021, 54(7): 074004.
[42] York A G, Parekh S H, Nogare D D, et al. Resolution doubling in live, multicellular organisms via multifocal structured illumination microscopy[J]. Nature Methods, 2012, 9: 749-754.
[43] Chen J L, Fu Z Q, Chen B X, et al. Fast 3D super-resolution imaging using a digital micromirror device and binary holography[J]. Journal of Biomedical Optics, 2021, 26(11): 116502.
[44] Guo Y T, Li D, Zhang S W, et al. Visualizing intracellular organelle and cytoskeletal interactions at nanoscale resolution on millisecond timescales[J]. Cell, 2018, 175(5): 1430-1442.
[45] Zheng J J, Fang X, Wen K, et al. Large-field lattice structured illumination microscopy[J]. Optics Express, 2022, 30(15): 27951-27966.
[46] Markwirth A, Lachetta M, Mönkemöller V, et al. Video-rate multi-color structured illumination microscopy with simultaneous real-time reconstruction[J]. Nature Communications, 2019, 10: 4315.
[47] Monneret S, Rauzi M, Lenne P F. Highly flexible whole-field sectioning microscope with liquid-crystal light modulator[J]. Journal of Optics A: Pure and Applied Optics, 2006, 8(7): S461-S466.
[48] Wen K, Fang X, Ma Y, et al. Large-field structured illumination microscopy based on 2D grating and a spatial light modulator[J]. Optics Letters, 2022, 47(11): 2666-2669.
[49] Dan D, Yao B L, Lei M. Structured illumination microscopy for super-resolution and optical sectioning[J]. Chinese Science Bulletin, 2014, 59(12): 1291-1307.
[50] Zhang C S, Zhang W, Yu B, et al. Enhanced multifocal structured illumination microscopy with desired optical sectioning capability and lateral resolution improvement[J]. Optics Express, 2020, 28(25): 37946-37957.
[51] Ayoub A B, Psaltis D. High speed, complex wavefront shaping using the digital micro-mirror device[J]. Scientific Reports, 2021, 11: 18837.
[52] Paul T C, Johnson K A, Hagen G M. Super-resolution imaging of neuronal structures with structured illumination microscopy[J]. Bioengineering, 2023, 10(9): 1081.
[53] Chen Z Q, He H Z, Ai Q, et al. Rapid reconstruction algorithm for multifocal structured illumination microscopy[J]. Optics Communications, 2023, 546: 129807.
[54] Cao R J, Li Y N, Chen X, et al. Open-3DSIM: an open-source three-dimensional structured illumination microscopy reconstruction platform[J]. Nature Methods, 2023, 20: 1183-1186.
[56] Chen C C, Wu J S, Yu L P, et al. Degree-of-spatial-coherence laser scanning confocal fluorescence microscope[J]. Optics Communications, 2022, 518: 128315.
[57] Jennings C M, King J B, Parekh S H. Low-cost, minimalistic line-scanning confocal microscopy[J]. Optics Letters, 2022, 47(16): 4191-4194.
[58] Li D Z, Zhou W S, Qiu Z M, et al. Adaptive structured illumination optical-sectioning microscopy based on the prior knowledge of sample structure[J]. Optics and Lasers in Engineering, 2024, 172: 107851.
[59] Lal A, Shan C Y, Xi P. Structured illumination microscopy image reconstruction algorithm[J]. IEEE Journal of Selected Topics in Quantum Electronics, 2016, 22(4): 6803414.
[60] Müller M, Mönkemöller V, Hennig S, et al. Open-source image reconstruction of super-resolution structured illumination microscopy data in ImageJ[J]. Nature Communications, 2016, 7: 10980.
[61] Wen G, Li S M, Wang L B, et al. High-fidelity structured illumination microscopy by point-spread-function engineering[J]. Light, Science & Applications, 2021, 10: 70.
[63] Lal A, Shan C Y, Zhao K, et al. A frequency domain SIM reconstruction algorithm using reduced number of images[J]. IEEE Transactions on Image Processing, 2018, 27(9): 4555-4570.
[64] Huang X S, Fan J C, Li L J, et al. Fast, long-term, super-resolution imaging with Hessian structured illumination microscopy[J]. Nature Biotechnology, 2018, 36(5): 451-459.
[65] Zhou X, Lei M, Dan D, et al. Fast spatial domain reconstruction for structured illumination microscopy[J]. Proceedings of SPIE, 2018, 10711: 107110N.
[66] Tu S J, Liu Q L, Liu X, et al. Fast reconstruction algorithm for structured illumination microscopy[J]. Optics Letters, 2020, 45(6): 1567-1570.
[67] Liu T, Liu J H, Li D, et al. Improving reconstruction of structured illumination microscopy images via dual-domain learning[J]. IEEE Journal of Selected Topics in Quantum Electronics, 2023, 29(6): 7700712.
[70] Zhao T Y, Wang Z J, Cai Y A, et al. Fast single-layer reconstruction for three-dimensional structured illumination microscopy[J]. Optics and Lasers in Engineering, 2023, 167: 107606.
[71] Li X Y, Tu S J, Sun Y L, et al. Estimation-free spatial-domain image reconstruction of structured illumination microscopy[J]. Journal of Innovative Optical Health Sciences, 2023: 2350021.
[72] O’Holleran K, Shaw M. Optimized approaches for optical sectioning and resolution enhancement in 2D structured illumination microscopy[J]. Biomedical Optics Express, 2014, 5(8): 2580-2590.
[73] Chang B J, Chou L J, Chang Y C, et al. Isotropic image in structured illumination microscopy patterned with a spatial light modulator[J]. Optics Express, 2009, 17(17): 14710-14721.
[74] Feng L, Wang X L, Sun X L, et al. Efficient multifocal structured illumination microscopy utilizing a spatial light modulator[J]. Applied Sciences, 2020, 10(12): 4396.
[75] Chen H K, Wei S B, Wu X J, et al. Improved Interference configuration for structured illumination microscopy[J]. Optics Communications, 2017, 384: 59-64.
[76] Li Y N, Cao R J, Ren W, et al. High-speed autopolarization synchronization modulation three-dimensional structured illumination microscopy[J]. Advanced Photonics Nexus, 2023, 3(1): 016001.
[77] Sandmeyer A, Lachetta M, Sandmeyer H, et al. Cost-effective live cell structured illumination microscopy with video-rate imaging[J]. ACS Photonics, 2021, 8(6): 1639-1648.
[78] Perinchery S M, Shinde A, Matham M V. Microscopy using randomized speckle illumination[J]. Proceedings of SPIE, 2017, 10449: 104490H.
[79] Lee Y U, Zhao J X, Ma Q, et al. Metamaterial assisted illumination nanoscopy via random super-resolution speckles[J]. Nature Communications, 2021, 12: 1559.
[80] Cao R M, Liu F L, Yeh L H, et al. Speckle flow structured illumination microscopy for dynamic super-resolution imaging[J]. Proceedings of SPIE, 2023, 12390: 1239002.
[81] Yeh L H, Chowdhury S, Repina N A, et al. Speckle-structured illumination for 3D phase and fluorescence computational microscopy[J]. Biomedical Optics Express, 2019, 10(7): 3635-3653.
[82] Helle Ø I, Dullo F T, Lahrberg M, et al. Structured illumination microscopy using a photonic chip[J]. Nature Photonics, 2020, 14: 431-438.
[83] Cragg G E, So P T. Lateral resolution enhancement with standing evanescent waves[J]. Optics Letters, 2000, 25(1): 46-48.
[84] Sentenac A, Belkebir K, Giovannini H, et al. Subdiffraction resolution in total internal reflection fluorescence microscopy with a grating substrate[J]. Optics Letters, 2008, 33(3): 255-257.
[85] Roth J, Mehl J, Rohrbach A. Fast TIRF-SIM imaging of dynamic, low-fluorescent biological samples[J]. Biomedical Optics Express, 2020, 11(7): 4008-4026.
[86] Wei F F, Liu Z W. Plasmonic structured illumination microscopy[J]. Nano Letters, 2010, 10(7): 2531-2536.
[87] Bezryadina A, Zhao J X, Xia Y, et al. High spatiotemporal resolution imaging with localized plasmonic structured illumination microscopy[J]. ACS Nano, 2018, 12(8): 8248-8254.
[88] Tan Q L, Xu Z J, Zhang D H, et al. Polarization-controlled plasmonic structured illumination[J]. Nano Letters, 2020, 20(4): 2602-2608.
[89] Farina A, Di Sieno L, Acconcia G, et al. Time-resolved multi-dimensional fluorescence imaging using a Digital-Micromirror-Device and a SPAD-array detector[J]. Proceedings of SPIE, 2020, 11243: 112430N.
[90] Agour M, Falldorf C, Bergmann R B. Fast form measurements using a digital micro-mirror device in imaging with partially coherent illumination[J]. Optics Letters, 2020, 45(22): 6154-6157.
[91] Liu J H, Liu J B, Deng Q Y, et al. Intensity modulation based optical proximity optimization for the maskless lithography[J]. Optics Express, 2020, 28(1): 548-557.
[92] Zhang Y, Luo J, Xiong Z, et al. User-defined microstructures array fabricated by DMD based multistep lithography with dose modulation[J]. Optics Express, 2019, 27(22): 31956-31966.
[93] Xiong Z, Liu H, Chen R H, et al. Illumination uniformity improvement in digital micromirror device based scanning photolithography system[J]. Optics Express, 2018, 26(14): 18597-18607.
[94] Han Q, Zhang J Z, Wang J, et al. Diffraction analysis for DMD-based scene projectors in the long-wave infrared[J]. Applied Optics, 2016, 55(28): 8016-8021.
[95] Han Q, Wang J, Zhang J Z, et al. Diffraction analysis for digital micromirror device scene projectors in the long-wave infrared[J]. Optical Engineering, 2016, 55(8): 085105.
[96] Chipegin A A, Petrov N V, Belashov A V. Wavefront complex modulation of semiconductor light sources via digital micromirror device[J]. Proceedings of SPIE, 2018, 10834: 108341F.
[97] Lachetta M, Sandmeyer H, Sandmeyer A, et al. Simulating digital micromirror devices for patterning coherent excitation light in structured illumination microscopy[J]. Philosophical Transactions of the Royal Society, A: Mathematical, Physical, and Engineering Sciences, 2021, 379(2199): 20200147.
[98] Deng M J, Zhao Y Y, Liang Z X, et al. Maximizing energy utilization in DMD-based projection lithography[J]. Optics Express, 2022, 30(4): 4692-4705.
[99] Dong X, Shi Y C, Xiao X C, et al. Non-paraxial diffraction analysis for developing DMD-based optical systems[J]. Optics Letters, 2022, 47(18): 4758-4761.
[100] Kim J, Kim D Y. Modified blaze condition of a digital micromirror device for structured illumination microscopy[J]. Proceedings of SPIE, 2022, 11967: 119670C.
[101] Zhou X, Lei M, Dan D, et al. Image recombination transform algorithm for superresolution structured illumination microscopy[J]. Journal of Biomedical Optics, 2016, 21(9): 096009.
[102] Li M Q, Li Y N, Liu W H, et al. Structured illumination microscopy using digital micro-mirror device and coherent light source[J]. Applied Physics Letters, 2020, 116(23): 233702.
[103] Wang Z J, Cai Y A, Qian J, et al. Hybrid multifocal structured illumination microscopy with enhanced lateral resolution and axial localization capability[J]. Biomedical Optics Express, 2020, 11(6): 3058-3070.
[104] Lachetta M, Wiebusch G, Hübner W, et al. Dual color DMD-SIM by temperature-controlled laser wavelength matching[J]. Optics Express, 2021, 29(24): 39696-39708.
[105] Brown P T, Kruithoff R, Seedorf G J, et al. Multicolor structured illumination microscopy and quantitative control of polychromatic light with a digital micromirror device[J]. Biomedical Optics Express, 2021, 12(6): 3700-3716.
[106] Li X Y, Xie S Y, Liu W J, et al. Speckle-free laser projection structured illumination microscopy based on a digital micromirror device[J]. Optics Express, 2021, 29(26): 43917-43928.
[107] Gong D Z, Cai C F, Strahilevitz E, et al. Easily scalable multi-color DMD-based structured illumination microscopy[J]. Optics Letters, 2024, 49(1): 77-80.
[108] Qian J, Lei M, Dan D, et al. Full-color structured illumination optical sectioning microscopy[J]. Scientific Reports, 2015, 5: 14513.
[109] Qian J, Dang S P, Wang Z J, et al. Large-scale 3D imaging of insects with natural color[J]. Optics Express, 2019, 27(4): 4845-4857.
[110] Bai C, Qian J, Dang S P, et al. Full-color optically-sectioned imaging by wide-field microscopy via deep-learning[J]. Biomedical Optics Express, 2020, 11(5): 2619-2632.
[111] Wang Z J, Feng K, Yang F, et al. Breathing colour into fossils: a tomographic system for reconstructing the soft tissue microstructure of amber inclusions[J]. Optics and Lasers in Engineering, 2022, 148: 106775.
[112] Wang M R, Zhao T Y, Wang Z J, et al. Three-dimensional natural color imaging based on focus level correlation algorithm using structured illumination microscopy[J]. Frontiers in Physics, 2022, 10: 1041577.
[113] Zhou X, Lei M, Dan D, et al. Double-exposure optical sectioning structured illumination microscopy based on Hilbert transform reconstruction[J]. PLoS One, 2015, 10(3): e0120892.
[114] Dang S P, Qian J, Peng T, et al. Background noise suppression of optical sectioning structured illumination microscopy via Fourier domain reconstruction[J]. Frontiers in Physics, 2022, 10: 900686.
Article Outline
马旺, 千佳, 王思颖, 马睿, 李星, 党诗沛, 栗星, 柏晨, 但旦, 姚保利. 基于DMD调制的结构光照明超分辨和光切片显微技术研究进展(特邀)[J]. 激光与光电子学进展, 2024, 61(6): 0618001. Wang Ma, Jia Qian, Siying Wang, Rui Ma, Xing Li, Shipei Dang, Xing Li, Chen Bai, Dan Dan, Baoli Yao. Recent Advances in Super-Resolution and Optical Sectioning of Digital-Micromirror Device-Based Structured-Illumination Microscopy (Invited)[J]. Laser & Optoelectronics Progress, 2024, 61(6): 0618001.