基于角度照明优化的傅里叶叠层显微成像方法

李通; 赵巨峰; 毛海锋; 崔光茫; 胡金星

doi:doi:10.3788/LOP57.081106

激光与光电子学进展, 2020, 57 (8): 081106, 网络出版: 2020-04-03

基于角度照明优化的傅里叶叠层显微成像方法下载： 1445次

An Efficient Fourier Ptychographic Microscopy Imaging Method Based on Angle Illumination Optimization

论文大纲

李通 ¹赵巨峰 ^1,*毛海锋 ¹崔光茫 ¹胡金星 ²

作者单位

¹ 杭州电子科技大学电子信息学院, 浙江杭州 310018

² 中国科学院大学宁波华美医院, 浙江宁波 315010

成像系统计算成像傅里叶叠层显微效率菱形 imaging systems computational imaging Fourier ptychography microscopy efficiency rhombus

AI 词云图 AI语音精读 AI语音超短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

提出一种基于LED角度照明优化模式的傅里叶叠层显微成像方法。首先,根据LED、孔径和样品之间的关系,获取傅里叶平面可扩展的理论频谱范围;其次,使用图像质量评价指标衡量不同照明方式下的重建图像质量差异,构造任意单个LED对整体重建结果影响的差异函数;然后,通过对差异表达式的分析与仿真,制定了最佳的角度照明策略,设计出一种基于菱形采样方法来加速傅里叶叠层显微成像的实现过程;最后,采用主观和客观的评价指标对仿真和实验的有效性进行评估。结果表明,本文方法在保持重建质量的前提下有效提高了成像效率,其效率可提高到传统方法的3.85倍。

Abstract

In this study, an efficient Fourier ptychographic microscopy method (FPM) based on an optimized pattern of light emitting diode (LED) angle illumination is proposed. First, a theoretical expandable spectrum range is obtained in the Fourier space based on the relationship among the LED, the aperture, and the sample. Second, image quality assessment methods are utilized to extract differential expressions to describe how an arbitrary LED affects the reconstruction effect. Third, the optimized angle illumination strategy is implemented based on the analysis of the differential expression. Then, a rhombus-based sampling approach is designed to accelerate the FPM process. Finally, the subjective and objective assessments are used to measure the validity of both simulation and actual experiments. Results indicate that our optimized method can effectively improve the efficiency by approximately 3.85 times compared with that of the traditional method.

1 引言

在传统的光学显微系统中,如果使用低数值孔径(NA)物镜成像,虽然可以得到大的视场范围,但是图像的空间分辨率较低。傅里叶叠层显微成像(FPM)利用角度变化的LED照明技术和相位恢复算法,突破了物镜的衍射极限^[1-3]。在基于LED阵列照明的常规FPM系统中,拍摄一组单个LED照明角度不同的低分辨率图像,基于低分辨图像的频域和空域的迭代更新,重建获取样品的复振幅信息,经傅里叶逆变换得到样品的高分辨率强度图和相位图^[4-6]。FPM突破了光学系统空间带宽积(SBP)的限制,实现了高分辨率和大视场的成像,应用潜力巨大。然而,FPM耗时较长,效率较低。为了提高FPM的效率,研究者们提出了多种方法。这些方法总体可分为两类:一是改变FPM系统的照明结构及方法;二是以提高重建效率为目的的改进重建算法。对于第一类方法的研究较多:李生福等^[7]为了减少所需的低分辨图像频数,提出一种选择型照明傅里叶叠层成像提取粒子尺度信息的方法,可以减轻存储和处理负担,但该方法只通过了无噪声和高噪声的数据验证,在普通低噪声的情况下还未得到数据验证;林子强等^[8]通过使用弧形阵列LED光源装置代替平面阵列LED光源,提高了大角度照明的信噪比,但是这种设计引入了机械位移,导致照明角度的精度受到影响;杨佳琪等^[9]通过研究照明光强校正,发现在重建过程中,需要对不同角度的照明光强进行校正,否则将导致重建图像质量下降,但是该过程导致成像效率降低;Kuang等^[10]建议使用激光代替LED阵列来增强照明强度,以减少捕获过程的曝光时间;Zhou等^[11]利用FPM在频域的对称性,发现用一半捕获数据重建的图像分辨率与用全部捕获数据重建的图像分辨率没有显著差异。此外,还可以通过同时点亮多个LED^[12-13]和对样品光谱进行非均匀采样^[14-16]来减少所需的图像数量。然而,上述方法通过牺牲原始FPM系统的简单性来改变照明结构和编码照明方式,增加了软硬件的复杂度。对于第二类方法的研究,主要集中在:Bian 等^[17]提出一种Wirtinger-flow优化算法,可减少约80%的曝光时间;Zuo等^[18]提出将自适应步长策略引入重建算法中,提高重建效率;Jiang等^[19]利用神经网络建模求解傅里叶变换成像问题,加快了相位恢复过程。然而,上述方法的计算成本均明显增加。

本文提出一种基于LED角度照明优化模式的高效FPM方法,该方法基于新照明模式,只需减少照明LED的数量,不改变LED阵列的结构,不改变单个点亮LED的模式,不改变重建的算法。首先,从LED的位置关系、光阑和样品的位置关系出发,得到所有LED在傅里叶空间的理论可扩展光谱范围和光谱分布。其次,使用图像质量评估方法提取任意LED照明与全LED照明之间的差异表达。然后,对微分表达式进行分析,得到最佳的角度照明策略,并设计出一种菱形采样方法来加速FPM过程。最后,采用主观和客观的评价方法对仿真和实际实验结果的有效性进行评价,结果显示,本文方法可以有效提高FPM的效率。

2 FPM的角度照明优化方法

2.1 FPM成像理论

FPM采用LED阵列照明来获取大量低分辨率图像,并通过计算重建高分辨率图像,这种大量的采集和计算过程导致成像效率较低。为了加速成像进程,对LED的阵列照明模式进行优化,即用较少的LED来实现较好的结果。首先,通过分析LED阵列、孔径与样品之间的空间位置关系,获得频谱扩展的理论范围和在傅里叶频谱空间所有LED从不同角度入射形成的空间频谱分布。FPM成像装置示意图见图1。相邻LED的间距为D mm,LED阵列与样品平面间距为h mm。所用物镜放大倍数为M,数值孔径为NA,系统工作波长为λ。

如图1所示,视场角θ满足以下关系

\begin{matrix} NA = sinθ 。 (1) \end{matrix}

中心位置的LED发射光垂直入射到样品并进入物镜,孔径在傅里叶平面的截止频率为f_c= $\begin{matrix} \frac{NA}{λ} \end{matrix}$ 。对于入射角度为φ的LED,其光线与X轴的夹角为α,与Y轴的夹角为β。φ的定义为

\begin{matrix} tanφ = \frac{\sqrt[]{{(aD)}^{2} + {(bD)}^{2}}}{h} = \sqrt[]{{(a)}^{2} + {(b)}^{2}} \frac{D}{h} = r \frac{D}{h}, (2) \end{matrix}

式中:a和b分别为当前LED与中心LED沿X、Y方向的间隔数量;r表示以LED数量为衡量手段的对应距离。对于明场成像,LED的最大入射角度φ_max取决于数值孔径NA,NA=sinφ_max,其对应距离的最大值为r_max。边缘LED与中心LED的距离L=[r_max/D],其中[A]表示不超过A的最大整数。因此,有效明场成像的LED分布是一个(2L+1)×(2L+1)的阵列;而暗场成像的LED入射角φ可以取得更大值。

图 1. 装置中的空间位置关系。(a)装置空间关系与基本光路图;(b)包含边缘光线的具体光路图

Fig. 1. Spatial position relationship in the setup. (a) Spatial position relationship and basic light path of the setup; (b) specific light path with edge rays

下载图片查看所有图片

实际上,LED阵列没有数量的限制。频谱的扩展范围即截止频率取决于边缘LED的入射角度φ₀(边缘LED入射光线与X轴夹角为α_max,与Y轴夹角为β_max)。X方向与Y方向的截止频率分别为 $\begin{matrix} {f^{s}}_{c - X} \end{matrix}$ =f_c+f_α_max= $\begin{matrix} \frac{NA}{λ} \end{matrix}$ + $\begin{matrix} \frac{\cos α_{\max}}{λ} \end{matrix}$ 和 $\begin{matrix} {f^{s}}_{c - Y} \end{matrix}$ =f_c+f_β_max= $\begin{matrix} \frac{NA}{λ} \end{matrix}$ + $\begin{matrix} \frac{\cos β_{\max}}{λ} \end{matrix}$ 。研究者通常选择的是方形阵列,故α_max=β_max。

通过重建可以获得合成孔径理论频谱的扩展范围(全频谱)与傅里叶平面频谱分布,其中包含了所有的有效LED贡献的所有角度的光线。根据图1所示的装置,可以获得一系列低分辨率图像,再通过迭代优化重建获得合成孔径高分辨率图像,该过程如图2所示。

图 2. FPM成像重建过程

Fig. 2. Recovery process of FPM

下载图片查看所有图片

频率域的合成孔径即频谱扩展后的全频谱如图3所示。根据图1~3,可以分析相邻LED的重叠频谱。重叠区域随着LED的位置变化而变化,这是因为不同LED的入射角度在空间中不断变化,为了实现最少的LED照明,需要获得使用和不使用任意1个LED的差别。因此,通过分析重叠频谱的冗余性,设计出任意1个LED对应的频谱与全频谱之间的差异。假设全频谱对应的频谱数据为F₀,坐标为(i,j)的LED对应的频谱数据为F_ij,设计φ(F_ij,F₀)函数来衡量两者的差异,可以得到该差异的表达函数。本研究采用图像质量评价函数来表示差异表达函数。

图 3. 频谱扩展后合成孔径的全频谱示意图

Fig. 3. Sketch map of synthetic aperture for full spectrum after spectrum extension

下载图片查看所有图片

2.2 基于图像质量评价的优化

本研究使用图像质量评价指标峰值信噪比 (PSNR) 与结构相似性(SSIM)来设计φ(F_ij,F₀)。F₀对应的强度图像为f₀,而残余图f_res对应于残余频谱F₀-F_ij。

PSNR与SSIM是2个全参考型图像质量评价指标。设待评价的图像为x,参考图像为y。PSNR衡量的是像素差异的平方和的平均,

\begin{matrix} \{\begin{matrix} P_{SNR} = 10 \lg {(\frac{255}{M_{SE}})}^{2} \\ M_{SE} = \frac{1}{N_{total}} \sum_{all pixels} {(x - y)}^{2} \end{matrix}, (3) \end{matrix}

式中:N_total为像素总数。SSIM^[20]是亮度、对比度与结构相似度的结合,可表示为

\begin{matrix} \begin{matrix} S_{SIM} = l (x, y) c (x, y) s (x, y), (4) \\ \{\begin{matrix} l (x, y) = \frac{2 μ_{x} μ_{y} + C_{1}}{μ_{x}^{2} + μ_{y}^{2} + C_{1}} \\ c (x, y) = \frac{2 σ_{x} σ_{y} + C_{2}}{σ_{x}^{2} + σ_{y}^{2} + C_{2}} \\ s (x, y) = \frac{σ_{xy} + C_{3}}{σ_{x} σ_{y} + C_{3}} \end{matrix}, (5) \end{matrix} \end{matrix}

式中:μ_x、σ_x及μ_y、σ_y 分别是x与y的均值与标准差;σ_xy是两者的协方差;C₁~C₃ 是用来避免病态的常数, C₁=C₂=C₃=0.01(该数据的取值结合了文献[ 20]的推荐与实验测试)。由(3)式和(4)式可知,PSNR与SSIM越大,表明x与y越接近。

使用f_res和f₀代替SSIM与PSNR表达式中的x与y,可以获得全频谱重建图像与缺F_ij的重建图像的差异,即任意位置(i,j)的差异表达函数分别为PSNR——φ₁(F_ij,F₀)与SSIM——φ₂(F_ij,F₀)。随着LED坐标(i,j)遍历到整个区域,能够获得两个差异矩阵D_φ₁与D_φ₂,差异矩阵的元素数即LED的个数。

使用差异矩阵D_φ₁与D_φ₂来分析所有LED对重建图像的贡献权重,并根据权重大小进行排序。为了详细而全面地分析所有LED对重建图像的贡献权重,引入针对不同内容图像的仿真测验。采用的图像如图4所示,将它们作为原图进行FPM仿真测试。

在仿真中,LED阵列的尺寸为15×15,LED平面与样品平面的距离h=75 mm,相邻LED的距离为3 mm,工作波长λ=630 nm,物镜放大倍数为4,等效数值孔径NA为0.1,成像器件像元尺寸2.75 μm×2.75 μm。使用FPM技术成像后,截止频率从原始的f_c=1.587×10⁵ m^-1扩展到f'_c=5.867×10⁵ m^-1,并且NA_new=0.4。仿真过程如下:将图4所示的每幅图像作为原始输入图像,按照上述的参数仿真得到225幅低分辨率子图,再利用重建方法获取结果。

图 4. 测试图像。(a) 摄影男;(b)硬币;(c)图标;(d)米粒;(e) X光片;(f)轮胎;(g)标靶;(h)俯瞰图;(i)文字;(j)花

Fig. 4. Tested images. (a) Man; (b) coin; (c) icon; (d) rice; (e) X-ray image; (f) tire; (g) target; (h) aerial view; (i) text; (j) flower

下载图片查看所有图片

图4所示各图像对应的SSIM差异矩阵Dφ1 。(a) 摄影男;(b)硬币;(c)图标;(d)米粒;(e) X光片;(f)轮胎;(g)标靶;(h)俯瞰图;(i)文字;(j)花

图 5. 图4所示各图像对应的SSIM差异矩阵D_φ₁ 。(a) 摄影男;(b)硬币;(c)图标;(d)米粒;(e) X光片;(f)轮胎;(g)标靶;(h)俯瞰图;(i)文字;(j)花

Fig. 5. D_φ₁ of SSIM corresponding to each image of Fig. 4. (a) Man; (b) coin; (c) icon; (d) rice; (e) X-ray image; (f) tire; (g) target; (h) aerial view; (i) text; (j) flower

下载图片查看所有图片

图4所示各图像对应的PSNR差异矩阵Dφ2。(a) 摄影男;(b)硬币;(c)图标;(d)米粒;(e) X光片;(f)轮胎;(g)标靶;(h)俯瞰图;(i)文字;(j)花

图 6. 图4所示各图像对应的PSNR差异矩阵D_φ₂。(a) 摄影男;(b)硬币;(c)图标;(d)米粒;(e) X光片;(f)轮胎;(g)标靶;(h)俯瞰图;(i)文字;(j)花

Fig. 6. D_φ₂ of PSNR corresponding to each image of Fig. 4. (a) Man; (b) coin; (c) icon; (d) rice; (e) X-ray image; (f) tire; (g) target; (h) aerial view; (i) text; (j) flower

下载图片查看所有图片

对图4所示的10幅图像计算SSIM差异矩阵D_φ₁与PSNR差异矩阵D_φ₂。图4所示的任意一幅图像,根据本节所述的规则,形成225幅子图,对应225个位置的LED(15×15)照明获取的图像;对于任意位置(i,j)的LED,f_res为缺少这个位置子图而利用其余224幅子图的重建图,并利用差异表达函数表征位置(i,j)的差异值大小。另外,两个差异矩阵的尺寸都等于LED的尺寸,即15×15;并且在位置(i,j)处的差异值较大,反映出此LED对重建结果的影响较小;而差异值越小,表明该位置的LED对重建结果产生的影响越大。为了使差异矩阵更易于观察,将差异矩阵转换成伪彩色,颜色变化按照差异值(0~1)变化。图5所示为对10幅测试图像计算所得的SSIM差异矩阵D_φ₁,图6所示为相应的PSNR差异矩阵D_φ₂。差异矩阵与伪彩色矩阵为线性对应关系,图5和图6与图4各个子图的位置一一对应。

从图5和图6可以看出:接近于蓝色的区域主要分布在中心区域与4个角落区域,即这些区域的LED对整个重建结果的贡献更大;中心部分的分布类似菱形。因此,当需要选择15×15的阵列中最重要的M个LED时,优先考虑中心的菱形区域以及4个角落。通过上述仿真观测,可获得LED角度照明的优化方案。

2.3 本文优化方法

在FPM成像系统中,效率的关键影响因素是成像获取模式,包括适当增大相邻孔径的重叠比和选择合适的LED阵列照明顺序等。不同位置的LED光源可等效为频谱面不同位置处交叠的光瞳函数,利用相机捕获的一系列低分辨图像在频域里进行迭代,依次更新对应子孔径内的频谱信息,这些孔径相互重叠,导致了信息冗余,使得整个系统的超分辨率成像存在可能。根据2.2节的分析,信号能量主要集中在中心区域,即低频区域。因此,采用从中心到周围点亮LED的策略,选择的M个LED的光线变化是从垂直入射光线到最大的斜入射光线。

当选择最重要的M个LED时,可优先考虑中心的菱形区域和4个角落。如图7所示,中心LED将作为初始的照明单元,首先点亮中心LED(N_circle=0)并获取低分辨率图像,然后在整个照明与获取图像过程中,将随着圆圈逐次增加逐个点亮LED(N_circle=1, 2,…)。对于N_circle=N,该菱形水平对角线上LED的数量为2N+3,而竖直对角线上的LED数量为2N+1。此时,点亮的LED还包含4个角落的4个LED。

与通常所用的逐个点亮LED的方法相比,本文方法可有效减少LED的点亮数量与采集图像数量,从而有效减少采集数据,缩短重建时间,显著提高FPM的效率。

图 7. 基于菱形区域和4个角落原则优选最重要的M个LED的方法

Fig. 7. Selection method of most important LEDs following the principle of area of rhombus and four corners

下载图片查看所有图片

3 实验与分析

本节采用仿真与实验来论证本文方法的有效性,并且使用主、客观方法进行评价。

2个全参考型评价指标已在2.2节中介绍。此外,还引入2个无参考型评价指标——灰度算子和(GMG) 与拉普拉斯算子和(LS)。对于待评价图像x,有

\begin{matrix} \begin{matrix} G_{MG} = \frac{\overset{N_{total}}{\sum_{i, j = 1}} \sqrt[]{\frac{[x (i + 1, j) - x {(i, j)]}^{2} + [x (i, j + 1) - x {(i, j)]}^{2}}{2}}}{N_{total}}, (6) \\ L_{S} = \frac{\overset{N_{total}}{\sum_{i, j = 1}} |\begin{matrix} 8 x (i, j) - x (i, j) - x (i - 1, j) - x (i - 1, j + 1) - x (i, j + 1) \\ - x (i, j + 1) - x (i + 1, j - 1) - x (i + 1, j) - x (i + 1, j + 1) \end{matrix}|}{N_{total}} 。 (7) \end{matrix} \end{matrix}

由(6)式和(7)式可知,GMG与LS越大,则图像质量越好。

3.1 仿真分析

在仿真中,LED阵列为15×15,LED平面与样品平面间距h=75 mm,每个LED间隔为D=3 mm,工作波长λ=630 nm,物镜放大倍数为4,等效数值孔径NA为0.1,图像传感器像元尺寸为2.75 μm×2.75 μm。原始截止频率f_c= 1.587×10⁵ m^-1,通过FPM后,截止频率被扩展为f'_c-sim=5.867×10⁵ m^-1,对应的等效数值孔径扩展到NA_s-sim=0.4。

基于不同照明模式的仿真结果如图8所示。图8(a)是输入的原始高分辨率物体的幅度图与相位图。基于原始输入,构造出15×15=225幅低分辨率图。这些低分辨率图被视为仿真的真实输入。图8(b)所示为照明模式1,即使用225幅图重建的复振幅(幅度和相位),相当于使用了225个LED,这是常用的完整重建法;图8(c)所示为照明模式2,即仅仅使用57幅图的重建结果,相当于使用了57个LED,这是基于本文方法的测试结果。根据人眼主观观察,图8(a1)、(b1)、(c1)的质量较为接近。其中,图8(b1)、(c1)的视觉质量非常接近,可从图8 (e1)、(e2)和图8 (f1)、(f2)两处局部放大图可以看出,细节部分十分接近。这从主观评价上论证了57个LED代替225个LED的方法是可行的。该方法将FPM的效率提高了225/57=3.95倍。

图 8. 基于不同照明模式的仿真结果。(a1)(a2)原始高分辨率景物的幅度和相位图,(d1)(d2)幅度图的局部放大图;(b1)(b2)使用225个LED时的重建幅度和相位图,(e1)(e2)幅度图的局部放大图;(c1)(c2)使用57个LED时的重建幅度和相位图,(f1)(f2)幅度图的局部放大图

Fig. 8. Comparisons of simulated results under different patterns of LED angle illumination. (a1)(a2) Original input amplitude and phase of the high-resolution object, (d1)(d2) the partial enlargement of amplitude image; (b1)(b2) recovered complex amplitude (amplitude and phase) with conventional lighting one by one using 225 LEDs, (e1)(e2) the partial enlargement of amplitude image; (c1)(c2) recovered complex amplitude (amplitude and phase) with using 57 LEDs, (f1)(f2) the partial enlargement of amplit

下载图片查看所有图片

采用4个客观指标来评价图8的幅度图重建结果,如表1和表2所示。从表1可以看出,使用完整的225个LED重建的幅度图与采用本文方法重建的幅度图的评价指标非常接近,可以认为两者的重建效果基本相同。进一步从表2局部放大图的比较结果得知,两种方法重建图像的细节部分的评价指标非常接近。由此可见,本文方法可有效提高FPM的效率。

3.2 实验分析

采用OLYMPUS CX23显微镜来设计FPM系统,图9为装置图和光路图。在实验中,LED阵列为15×15,LED平面与样品平面间距为h=90 mm,相邻LED间距为D=4.5 mm,工作波长λ=630 nm,显微物镜放大倍数为4 ,等效数值孔径NA为0.1,图像传感器像元尺寸为2.2 μm×2.2 μm。系统的原始截止频率为f_c=1.587×10⁵ m^-1,经过FPM成像后,f'_c-exp=6.831×10⁵ m^-1,等效的数值孔径从0.1扩展到NA_s-exp=0.5。

图 9. 本文方法的实验装置以及光路图。(a)装置图;(b)光路图

Fig. 9. Setup and optical path of proposed method. (a)Setup; (b) optical path

下载图片查看所有图片

基于不同模式下LED角度照明的实验结果对比如图10所示,采用的样品为透明标靶。图10(a)所示为使用垂直入射LED的结果,即只使用中心位置LED所获得的低分辨图。图10(b)所示为基于传统照明与获取方式(采用225个LED逐个照明并获取图像)的重建结果。图10(c)所示为基于本文方法(仅采用57个LED)的重建结果。图10(d)为图10(a)~(c)所示的中心区域的强度曲线对比图。以图10(a)为例,X方向为宽度方向,Y方向为高度方向,该强度曲线衡量的是以Y方向为索引,X方向的像素灰度平均值,即取出图10(a)的第1行并计算其像素灰度平均值作为对应强度值,获得Y=1时强度值,沿着Y方向遍历获取以Y为横坐标,强度为纵坐标的强度曲线,如图10(d)所示。从图10(d)所示的主观效果来看,图10(b)和图10(c)远远优于图10(a),这说明FPM技术的有效性。由于图10(b)使用了更多的信息(225≫57),原理上图10(b)应该远远优于图10(c)。然而,由图10(d)中心区域的强度曲线可知,图10(b)仅在图像灰度即能量上稍优于图10(c),图10(b)中包含了较多的噪声,并且更为模糊,这可能是实拍时引入的噪声所导致。图10(b)与图10(c)的具体细节较为相近,两者的视觉效果总体接近,但图10(b)的灰度优于图10(c),而图10(b)的噪声和模糊层面劣于图10(c)。这证明了本文方法的有效性,采用57个LED照明获取图像的方法不输于采用全部225个LED照明获取图像的方法。

表 1. 图8(b1)(c1)的重建幅度图的客观评价指标比较

Table 1. Comparison of objective evaluation indexes for amplitude comparison of Fig. 8(b1) and (c1)

Method	Image	Number of LED	PSNR	SSIM	GMG	LS
Conventional	Fig.8 (b1)	225	30.7260	0.8260	12.5241	68.2657
Proposed	Fig.8 (c1)	57	30.7044	0.8260	12.5309	68.2736

查看所有表

表 2. 图8(e1)(e2)以及图8(f1)(f2)的重建幅度图的客观评价指标比较

Table 2. Comparison of objective evaluation indexes for amplitude comparison of Fig. 8(e1), (e2), (f1), and (f2)

Image	Number of LED	PSNR	SSIM	GMG	LS
Fig.8 (e1)	225	29.3197	0.9063	16.9963	81.2069
Fig.8 (e2)		26.3856	0.6558	8.9412	46.7211
Fig.8 (f1)	57	29.3847	0.9082	17.0095	81.3778
Fig.8 (f2)		26.4515	0.6542	8.9757	46.8287

查看所有表

不同LED照明模式下的实验结果对比。(a) 垂直入射LED(中心LED)获得的原始图像数据与中心区域的局部图;(b)传统的225个LED照明模式下的重建图以及与中心区域的局部图;(c)所提(仅使用57个LED)照明模式下的重建图以及与中心区域的局部图;(d)中心区域局部图的强度曲线

图 10. 不同LED照明模式下的实验结果对比。(a) 垂直入射LED(中心LED)获得的原始图像数据与中心区域的局部图;(b)传统的225个LED照明模式下的重建图以及与中心区域的局部图;(c)所提(仅使用57个LED)照明模式下的重建图以及与中心区域的局部图;(d)中心区域局部图的强度曲线

Fig. 10. Comparisons of experimental results under different patterns of LED angle illumination. (a) Raw data with the vertical incidence LED (the central LED) and its local magnification; (b) recovered amplitude with conventional lighting one by one using 225 LEDs and its local magnification; (c) recovered amplitude with proposed method (only using 57 LEDs) and its local magnification; (d) intensity curves of the local map of the central area

下载图片查看所有图片

使用2种无参考型评价指标来表征图10的重建结果,同时,重建耗时也是衡量因素之一。对比结果如表3所示,可以看出,本文方法采用57个LED所得的结果略优于传统方法采用225个LED所得的结果,这可能是因为传统方法使用过多的原始低分辨率图而引入了更多的噪声。从重建效率来看,本文方法的重建效率相比传统方法提升了1498.66/388.79=3.85倍。

表 3. 图10的客观评价指标、重建效率的对比

Table 3. Comparison of objective evaluation indexes and efficiencies for Fig. 10

Method	Image	Number of LED	Time /s	GMG	LS
Conventional	Fig. 10 (b)	225	1498.66	12.5241	68.2657
Proposed	Fig. 10 (c)	57	388.79	12.5309	68.2736

查看所有表

利用与标靶实验相同的实验参数,对地钱叶切片样本进行一组实验,实验对比结果如图11所示。图11(a)所示为使用垂直入射LED的结果,即只使用中心位置LED所获得的低分辨图像;图11(b)为图11(a)的局部区域放大的低分辨图;图11(c1)、(c2)分别为使用传统的225个LED照明模式下的重建振幅图以及重建相位图;图11(d1)、(d2)分别为使用本文方法(仅使用57个LED)照明模式下的重建振幅图以及重建相位图。实验结果表明,采用这两种方法均能重建出样本的高分辨图像,样本的细节更加清晰,能够分辨出低分辨图像中无法区分的细胞壁,这进一步证明了本文方法的可行性,使用较少的低分辨图像可以复原出高分辨图像的同时大大提高了重建效率。

图 11. 不同LED照明模式下的实验结果对比。(a) (b)垂直入射LED(中心LED)获得的原始图像数据与中心区域的局部图;(c1)(c2)传统的225个LED照明模式下的重建振幅图以及重建相位图;(d1)(d2)所提(仅使用57个LED)照明模式下的重建振幅图以及重建相位图

Fig. 11. Comparisons of experimental results under different patterns of LED angle illumination. (a) Raw data with the vertical incidence LED (the central LED); (b) local magnification; (c1)(c2) recovered amplitude and recovered phase with conventional lighting one by one using all 225 LEDs; (d1) (d2) recovered amplitude and recovered phase with our strategy (only using 57 LEDs)

下载图片查看所有图片

4 结论

提出一种基于LED角度照明模式优化的高效FPM成像方法。通过分析系统单元的相对位置关系,获取所有LED在傅里叶平面的分布;利用图像质量评价方法来衡量任意LED照明单元与整体照明下的重建图像数据的差异;分析并推断出基于菱形采样方法提取的最佳照明模式优于传统照明模式;采用仿真结合实验的方案,论证了本文方法的有效性。

本文的不足之处在于:一方面,未在实验中利用其他角度照明的方式进行对比,这涉及较长周期的硬件加工与调试;另一方面,本文实验的重建效果还有改进空间,存在灰度能量水平的不足和噪声的局限等,利用照明的优化以及重建策略设计可进一步改善效果。上述不足是未来工作的重点。

参考文献

[1] Ou X Z, Horstmeyer R, Yang C, et al. Quantitative phase imaging via Fourier ptychographic microscopy[J]. Optics Letters, 2013, 38(22): 4845-4848.

[2] Zheng G A, Horstmeyer R, Yang C. Wide-field, high-resolution Fourier ptychographic microscopy[J]. Nature Photonics, 2013, 7(9): 739-745.

[3] 孙佳嵩, 张玉珍, 陈钱, 等. 傅里叶叠层显微成像技术: 理论、发展和应用[J]. 光学学报, 2016, 36(10): 1011005.

Sun J S, Zhang Y Z, Chen Q, et al. Fourier ptychographic microscopy: theory, advances, and applications[J]. Acta Optica Sinica, 2016, 36(10): 1011005.

[4] Fienup J R. Phase retrieval algorithms: a personal tour[J]. Applied Optics, 2013, 52(1): 45-56.

[5] Song P M, Jiang S W, Zhang H, et al. Super-resolution microscopy via ptychographic structured modulation of a diffuser[J]. Optics Letters, 2019, 44(15): 3645-3648.

[6] Jiang S W, Liao J, Bian Z C, et al. Axially shifted pattern illumination for macroscale turbidity suppression and virtual volumetric confocal imaging without axial scanning[J]. Optics Letters, 2019, 44(4): 811-814.

[7] 李生福, 赵宇, 陈光华, 等. 选择型照明傅里叶叠层成像提取粒子尺度[J]. 红外与激光工程, 2017, 46(11): 1103005.

Li S F, Zhao Y, Chen G H, et al. Extraction of particle size via Fourier ptychography with selective illuminations[J]. Infrared and Laser Engineering, 2017, 46(11): 1103005.

[8] 林子强, 马骁, 林锦新, 等. 基于弧形阵列LED光源旋转照明装置的傅里叶叠层显微术[J]. 激光与光电子学进展, 2018, 55(7): 071102.

Lin Z Q, Ma X, Lin J X, et al. Fourier ptychographic microscopy based on rotatingarc-shaped array of LEDs[J]. Laser & Optoelectronics Progress, 2018, 55(7): 071102.

[9] 杨佳琪, 马骁, 林锦新, 等. 傅里叶叠层显微术的照明光强校正研究[J]. 激光与光电子学进展, 2017, 54(3): 031101.

Yang J Q, Ma X, Lin J X, et al. Intensity correction research for Fourier ptychographic microscopy[J]. Laser & Optoelectronics Progress, 2017, 54(3): 031101.

[10] Kuang C F, Ma Y, Zhou R J, et al. Digital micromirror device-based laser-illumination Fourier ptychographic microscopy[J]. Optics Express, 2015, 23(21): 26999-27010.

[11] Zhou A, Chen N, Wang H C, et al. Analysis of Fourier ptychographic microscopy with half of the captured images[J]. Journal of Optics, 2018, 20(9): 095701.

[12] Dong S Y, Shiradkar R, Nanda P, et al. Spectral multiplexing and coherent-state decomposition in Fourier ptychographic imaging[J]. Biomedical Optics Express, 2014, 5(6): 1757-1767.

[13] Zhou Y, Wu J M, Bian Z C, et al. Fourier ptychographic microscopy using wavelength multiplexing[J]. Journal of Biomedical Optics, 2017, 22(6): 066006.

[14] Guo K K, Dong S Y, Nanda P, et al. Optimization of sampling pattern and the design of Fourier ptychographic illuminator[J]. Optics Express, 2015, 23(5): 6171-6180.

[15] Zhang Y B, Jiang W X, Tian L, et al. Self-learning based Fourier ptychographic microscopy[J]. Optics Express, 2015, 23(14): 18471-18486.

[16] Bian L H, Suo J L, Situ G H, et al. Content adaptive illumination for Fourier ptychography[J]. Optics Letters, 2014, 39(23): 6648-6651.

[17] Bian L H, Suo J L, Zheng G A, et al. Fourier ptychographic reconstruction using Wirtinger flow optimization[J]. Optics Express, 2015, 23(4): 4856-4866.

[18] Zuo C, Sun J S, Chen Q. Adaptive step-size strategy for noise-robust Fourier ptychographic microscopy[J]. Optics Express, 2016, 24(18): 20724-20744.

[19] Jiang S W, Guo K K, Liao J, et al. Solving Fourier ptychographic imaging problems via neural network modeling and TensorFlow[J]. Biomedical Optics Express, 2018, 9(7): 3306.

[20] Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

李通, 赵巨峰, 毛海锋, 崔光茫, 胡金星. 基于角度照明优化的傅里叶叠层显微成像方法[J]. 激光与光电子学进展, 2020, 57(8): 081106. Tong Li, Jufeng Zhao, Haifeng Mao, Guangmang Cui, Jinxing Hu. An Efficient Fourier Ptychographic Microscopy Imaging Method Based on Angle Illumination Optimization[J]. Laser & Optoelectronics Progress, 2020, 57(8): 081106.

基于角度照明优化的傅里叶叠层显微成像方法下载： 1445次

1 引言

2 FPM的角度照明优化方法

2.1 FPM成像理论

图 1. 装置中的空间位置关系。(a)装置空间关系与基本光路图;(b)包含边缘光线的具体光路图

Fig. 1. Spatial position relationship in the setup. (a) Spatial position relationship and basic light path of the setup; (b) specific light path with edge rays

图 2. FPM成像重建过程

Fig. 2. Recovery process of FPM

图 3. 频谱扩展后合成孔径的全频谱示意图

Fig. 3. Sketch map of synthetic aperture for full spectrum after spectrum extension

2.2 基于图像质量评价的优化

图 4. 测试图像。(a) 摄影男;(b)硬币;(c)图标;(d)米粒;(e) X光片;(f)轮胎;(g)标靶;(h)俯瞰图;(i)文字;(j)花

Fig. 4. Tested images. (a) Man; (b) coin; (c) icon; (d) rice; (e) X-ray image; (f) tire; (g) target; (h) aerial view; (i) text; (j) flower

图 5. 图4所示各图像对应的SSIM差异矩阵D_φ₁ 。(a) 摄影男;(b)硬币;(c)图标;(d)米粒;(e) X光片;(f)轮胎;(g)标靶;(h)俯瞰图;(i)文字;(j)花

Fig. 5. D_φ₁ of SSIM corresponding to each image of Fig. 4. (a) Man; (b) coin; (c) icon; (d) rice; (e) X-ray image; (f) tire; (g) target; (h) aerial view; (i) text; (j) flower

图 6. 图4所示各图像对应的PSNR差异矩阵D_φ₂。(a) 摄影男;(b)硬币;(c)图标;(d)米粒;(e) X光片;(f)轮胎;(g)标靶;(h)俯瞰图;(i)文字;(j)花

Fig. 6. D_φ₂ of PSNR corresponding to each image of Fig. 4. (a) Man; (b) coin; (c) icon; (d) rice; (e) X-ray image; (f) tire; (g) target; (h) aerial view; (i) text; (j) flower

2.3 本文优化方法

图 7. 基于菱形区域和4个角落原则优选最重要的M个LED的方法

Fig. 7. Selection method of most important LEDs following the principle of area of rhombus and four corners

3 实验与分析

3.1 仿真分析

3.2 实验分析

图 9. 本文方法的实验装置以及光路图。(a)装置图;(b)光路图

Fig. 9. Setup and optical path of proposed method. (a)Setup; (b) optical path

表 1. 图8(b1)(c1)的重建幅度图的客观评价指标比较

Table 1. Comparison of objective evaluation indexes for amplitude comparison of Fig. 8(b1) and (c1)

表 2. 图8(e1)(e2)以及图8(f1)(f2)的重建幅度图的客观评价指标比较

Table 2. Comparison of objective evaluation indexes for amplitude comparison of Fig. 8(e1), (e2), (f1), and (f2)

表 3. 图10的客观评价指标、重建效率的对比

Table 3. Comparison of objective evaluation indexes and efficiencies for Fig. 10

4 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于角度照明优化的傅里叶叠层显微成像方法 下载： 1445次

1 引言

2 FPM的角度照明优化方法

2.1 FPM成像理论

图 1. 装置中的空间位置关系。(a)装置空间关系与基本光路图;(b)包含边缘光线的具体光路图

Fig. 1. Spatial position relationship in the setup. (a) Spatial position relationship and basic light path of the setup; (b) specific light path with edge rays

图 2. FPM成像重建过程

Fig. 2. Recovery process of FPM

图 3. 频谱扩展后合成孔径的全频谱示意图

Fig. 3. Sketch map of synthetic aperture for full spectrum after spectrum extension

2.2 基于图像质量评价的优化

图 4. 测试图像。(a) 摄影男;(b)硬币;(c)图标;(d)米粒;(e) X光片;(f)轮胎;(g)标靶;(h)俯瞰图;(i)文字;(j)花

Fig. 4. Tested images. (a) Man; (b) coin; (c) icon; (d) rice; (e) X-ray image; (f) tire; (g) target; (h) aerial view; (i) text; (j) flower

图 5. 图4所示各图像对应的SSIM差异矩阵Dφ1 。(a) 摄影男;(b)硬币;(c)图标;(d)米粒;(e) X光片;(f)轮胎;(g)标靶;(h)俯瞰图;(i)文字;(j)花

Fig. 5. Dφ1 of SSIM corresponding to each image of Fig. 4. (a) Man; (b) coin; (c) icon; (d) rice; (e) X-ray image; (f) tire; (g) target; (h) aerial view; (i) text; (j) flower

图 6. 图4所示各图像对应的PSNR差异矩阵Dφ2。(a) 摄影男;(b)硬币;(c)图标;(d)米粒;(e) X光片;(f)轮胎;(g)标靶;(h)俯瞰图;(i)文字;(j)花

Fig. 6. Dφ2 of PSNR corresponding to each image of Fig. 4. (a) Man; (b) coin; (c) icon; (d) rice; (e) X-ray image; (f) tire; (g) target; (h) aerial view; (i) text; (j) flower

2.3 本文优化方法

图 7. 基于菱形区域和4个角落原则优选最重要的M个LED的方法

Fig. 7. Selection method of most important LEDs following the principle of area of rhombus and four corners

3 实验与分析

3.1 仿真分析

3.2 实验分析

图 9. 本文方法的实验装置以及光路图。(a)装置图;(b)光路图

Fig. 9. Setup and optical path of proposed method. (a)Setup; (b) optical path

表 1. 图8(b1)(c1)的重建幅度图的客观评价指标比较

Table 1. Comparison of objective evaluation indexes for amplitude comparison of Fig. 8(b1) and (c1)

表 2. 图8(e1)(e2)以及图8(f1)(f2)的重建幅度图的客观评价指标比较

Table 2. Comparison of objective evaluation indexes for amplitude comparison of Fig. 8(e1), (e2), (f1), and (f2)

表 3. 图10的客观评价指标、重建效率的对比

Table 3. Comparison of objective evaluation indexes and efficiencies for Fig. 10

4 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于角度照明优化的傅里叶叠层显微成像方法下载： 1445次

图 5. 图4所示各图像对应的SSIM差异矩阵D_φ₁ 。(a) 摄影男;(b)硬币;(c)图标;(d)米粒;(e) X光片;(f)轮胎;(g)标靶;(h)俯瞰图;(i)文字;(j)花

Fig. 5. D_φ₁ of SSIM corresponding to each image of Fig. 4. (a) Man; (b) coin; (c) icon; (d) rice; (e) X-ray image; (f) tire; (g) target; (h) aerial view; (i) text; (j) flower

图 6. 图4所示各图像对应的PSNR差异矩阵D_φ₂。(a) 摄影男;(b)硬币;(c)图标;(d)米粒;(e) X光片;(f)轮胎;(g)标靶;(h)俯瞰图;(i)文字;(j)花

Fig. 6. D_φ₂ of PSNR corresponding to each image of Fig. 4. (a) Man; (b) coin; (c) icon; (d) rice; (e) X-ray image; (f) tire; (g) target; (h) aerial view; (i) text; (j) flower