1 引言

叠层成像最早是Walter Hoppe在20世纪70年代提出的一种利用反卷积求解相位问题的方法,并引入“ptychography”这个词^[1]。21世纪初,Rodenburg在Walter Hoppe的基础上提出一种基于PIE(Ptychography Interactive Engine)的相干衍射叠层成像技术,该技术利用物体在空间域上的叠层关系进行约束,实现对大范围物体的重建^[1]。2013年,Zheng等^[2]提出了傅里叶叠层显微成像(FPM)技术,与PIE不同的是,该技术对光场的约束是在物体的频域内,因此能够增大物体频谱,进而等效于提高物体的分辨率。FPM技术原理是将阵列LED作为光源,点亮单个LED,该LED光透过样本和物镜后,在频域被镜头的相干传递函数截断,截断后的频谱经过目镜后被图像传感器接收,获得低分辨率图像,不同位置的LED依次被点亮,使物体频谱发生移动,镜头的相干传递函数截取不同位置的频谱,获得一系列低分辨率图像,利用相位恢复算法重构高分辨率图像。

傅里叶叠层显微成像技术在实现超分辨率、大视场的成像中有很大的优势。Zheng等^[2]利用LED阵列将低倍光学显微镜(放大倍率为两倍,数值孔径NA=0.08)超分辨为等效NA=0.5(20倍放大倍率)的分辨率结果。2014年Dong等^[3]又开发了便携式高分辨率显微镜平台FPscope。2014年迈阿密大学米勒学院将FPM技术用于循环肿瘤细胞计数^[4]。2015年加州大学伯克利分校将FPM应用于体外显微镜中,利用FPM的超分辨率和大视场的优势让此技术应用于活体样本^[5]。2016年清华大学Bian等^[6]提出了一种梯度下降优化框架下的傅里叶叠层(FP)重建方法,该技术利用泊松最大似然法进行更好的信号建模,并使用截断的Wirtinger梯度进行有效的误差去除。2017年南开大学张雷雷等^[7]利用对称照明提高了傅里叶叠层成像速度,研究了傅里叶叠层成像在空域和频域上的对称性,指出在不考虑相位的情况下,利用对称照明可提高照明强度,减少傅里叶叠层成像所需要的图像数,提高傅里叶叠层成像图像重建的速度。清华大学深圳研究院Zhang等^[8]为了有效抑制噪声,提出了一种稀疏表示的FPM算法。2017年杨佳琪等^[9]给出了物理上对FPM光强校正的实验结果。2018年林子强等^[10]提出了一种基于弧形阵列LED光源旋转照明装置的傅里叶叠层显微术,实现了对样品的大角度照明。目前傅里叶叠层的研究主要在微观领域。

航空、航天等远距离成像对光学成像系统分辨率具有较高的要求,然而光学系统的分辨本领与其孔径大小成正比,在远距离成像中,为保证系统分辨率,需要使用大孔径光学系统,但是大孔径的光学系统的制造成本高、研制难度大。傅里叶叠层成像技术本质是通过合成孔径提高分辨率,即使用小孔径相机合成等效大孔径,从而实现超分辨率成像,因此将傅里叶叠层成像技术应用于远距离宏观成像中具有潜在的应用价值。

由于宏观成像中无法对光源进行较大角度的改变,因此傅里叶叠层显微成像结构不能用于宏观成像中。由于光波的远场夫琅禾费传播等价于傅里叶变换,因此可借助于远场传播得到物体的傅里叶谱,而后在频谱面上利用相机扫描,采集目标频谱信息,从而替代了用固定的孔径光阑去采集物体频谱的方法。美国西北大学Holloway等^[11]提出了宏观傅里叶叠层成像方法,并在实验室内搭建了实验系统,实现了4倍以上的分辨率提升 。国内谢宗良等^[12]研究了小孔扫描傅里叶叠层成像的关键参量,对宏观傅里叶叠层成像进行仿真,分析了其重叠率和孔径大小不同对重构结果的影响。目前尚未检索到国内宏观傅里叶叠层成像的实验研究。

本文将傅里叶叠层技术应用到宏观的光学成像中,介绍了宏观傅里叶叠层成像的物理与数学模型,提出了傅里叶叠层重建算法,搭建了透射式宏观傅里叶叠层成像系统,利用分辨率靶标和五角星图案进行了超分辨率实验研究。

2 宏观傅里叶叠层前向成像模型

与显微成像不同,宏观成像中光源的入射光束角度无法以较大幅度改变,因此无法通过改变光源方式实现频谱移位。根据波动光学知识可知,光波的远场夫琅禾费衍射传播在数学上等价于傅里叶变换,即物面经过远场传播后所得到的是该物面的傅里叶变换,因此可在此面上利用相机进行采集。

宏观傅里叶叠层前向成像物理模型如图1所示。激光器产生相干光照射到物体上,记物体后方的复振幅函数为ψ(x,y)。而后,物光波ψ(x,y)经过夫琅禾费衍射传播到达远场面,令传播距离为z,在远场面处所得到的复振幅分布ψ'(x',y')可表示为

ψ'(x',y')=exp(jkz)exp(jkx'2+y'22z)jλz∫∫-∞∞ψ(x,y)exp-jkx'x+y'yzdxdy,(1)

式中:λ表示波长;k表示波数,k=2π/λ。

在远场面上,利用相机进行扫描。令相机孔径光阑为A(x'-c'_x,y'-c'_y),其中,(c'_x,c'_y)是光阑中心点的坐标。由于相机孔径光阑小于物体的频谱覆盖范围,因此复振幅信息ψ'(x',y')被相机的光阑所截取,即相机所截取的频谱信息为ψ'(x',y')A(x'-c'_x,y'-c'_y)。

在相机内部,图像传感器放置在镜头的焦距处,此时镜头实现了一次傅里叶变换过程。由于传感器只能记录强度信息,因此图像传感器记录的图像为

I=F-1[ψ'(x',y')A(x'-c'x,y'-c'y)]2,(2)

式中:F^-1表示傅里叶逆变换。(2)式给出了宏观傅里叶叠层成像的数学模型。可以看到,改变相机位置(c'_x,c'_y),相机孔径将截取不同位置频谱,传感器获取对应位置频谱所形成的图像I。

图 1. 宏观傅里叶叠层成像物理模型示意图。(a)装置示意图;(b)小孔孔扫描示意图;(c)相机内成像示意图

Fig. 1. Physical model schematic for macroscopic Fourier ptychography imaging. (a) Schematic of device; (b) schematic of aperture scan; (c) schematic of imaging inside camera

下载图片 查看所有图片

3 傅里叶叠层超分辨重构算法

宏观傅里叶叠层成像的计算重建过程需要由图像传感器记录的物体强度信息来恢复物体完整的频谱信息。这在数学上等价于相位恢复问题,为保证问题可解,傅里叶叠层重建算法利用低分辨率强度约束条件和重叠率约束条件来重构物体频谱。采用的PIE相位恢复算法的基本原理是将低分辨率图像进行迭代更新,获得合成频谱,得到高分辨率图像。图2给出了傅里叶叠层重构过程,重构步骤如下。

图 2. 傅里叶叠层重建过程示意图

Fig. 2. Schematic of reconstruction process of Fourier ptychography

下载图片 查看所有图片

1) 样本频谱的初始猜想:ψ'₀(x',y')。

2) 设定光圈函数A(x'-c_x'i,y'- cy'i)表示镜头孔径,i表示第i个光圈位置,与物体频谱相乘得孔径截取的频谱:

φ'0i(x',y')=ψ'0(x',y')A(x'-cx'i,y'-cy'i)。(3)

3) 将截取后的频谱傅里叶逆变换到空间域 φi0=F^-1(φ'⁽⁰⁾_i ),用对应位置的强度图像替换振幅保留相位:

φi1=Iiφi0φi0。(4)

4) 再将φ⁽¹⁾_i 傅里叶变换到频域得到φ'⁽¹⁾_i ,更新频谱(同时也可以更新孔径函数):

ψ^01=ψ^00+ηAi*Ai(Ai2+γ)max(Ai)φ'i1-φ'i0),(5)

式中:η为遗忘因子,决定了旧估计值和更新值之间的比例,影响迭代收敛速度;γ为调节因子,为了保证分母不为0,一般取小于1的正数。

5) 进行i+1个位置的频谱更新,直到所有位置频谱都被更新过,此时完成一次迭代。

6) 继续迭代,直到达到预设迭代次数k或者迭代误差小于阈值时停止迭代。

7) 得到最终的合成频谱(ψ'_k),傅里叶逆变换取模的平方得到重构图像:

Ik=F-1(ψ'k)2。(6)

4 宏观傅里叶叠层成像实验

4.1 实验设计

为了验证宏观傅里叶叠层成像实现超分辨率的可行性,在实验室内搭建了宏观傅里叶叠层成像实验系统,实验原理如图3所示。激光器发射光束产生相干光,经过透镜1和小孔对激光光束进行扩束滤波,保证了光束的质量和光斑大小。由于实验室内距离较短,在物体前增加了透镜2用于抵消菲涅耳衍射传播产生的二次相位,从而保证物体到相机镜头之间可实现傅里叶变换。最后,利用二维位移台在整个平面内移动相机,用镜头孔径截取不同位置的频谱,用传感器记录获得对应的低分辨率图像。

图 3. 实验原理图

Fig. 3. Principle diagram of experiment

下载图片 查看所有图片

实验装置如图4所示。光源为He-Ne激光器,波长λ=632.8 nm,物体到相机之间的间距L为1.5 m,透镜1焦距为50 mm,透镜2的焦距为300 mm,相机像素大小为5.5 μm,相机镜头焦距为75 mm(F数在2.8~32之间可调),相机放置在高精度电控位移台上,所用透射物体为美国空军(USAF)标准分辨率板(尺寸63 mm×63 mm)和五角星图案。

图 4. 宏观傅里叶叠层成像实验装置图

Fig. 4. Experimental setup for macroscopic Fourier ptychography imaging

下载图片 查看所有图片

4.2 实验过程与实验数据

利用搭建的实验装置进行图像采集工作,通过增大镜头的F数实现了小孔径情况下低分辨率图像的获取。实验中设定F数为32,对应孔径直径为2.34 mm。通过位移台将相机移动到起始位置,并使用该相机截取频谱来采集低分辨率图像,而后根据设定好的步长将相机移动到下一个位置,以获得对应位置的低分辨率图像,依次到达最后一个位置完成图像采集工作。

实验中分别对分辨率板和五角星图案两种目标进行了采集,采集数据如图5和图6所示。分辨率板采集中相机移动的步长为0.655 mm(对应的重叠率为72%),在水平和垂直方向按照网格方式移动了15×15个位置,共采集225张图像,图5中给出了中心9×9范围内图像。五角星图案采集中相机移动的步长为0.772 mm(对应的重叠率为67%),在水平和垂直方向按照网格方式移动了21×21个位置,共采集441张图像,图6给出了中心9×9范围内图像。

图 5. USAF分辨率板对应的傅里叶叠层数据集

Fig. 5. Fourier ptychography datasets for USAF target

下载图片 查看所有图片

图 6. 五角星图案对应的傅里叶叠层数据集

Fig. 6. Fourier ptychography datasets for Pentagram

下载图片 查看所有图片

4.3 重建结果与分析

利用傅里叶叠层超分辨率算法对分辨率板数据进行了重建,重建结果如图7所示。图7(a)为小孔径相机采集的低分辨率中心图像,由于小孔径相机的直径d仅为2.34 mm,理论计算最小可分辨线宽为λz/d=0.40 mm,对应于图7(a)中的(0,3)组附近(线宽为0.396 mm,线对为1.26 lp·mm^-1)。经过15×15的频谱扫描后,等效合成的孔径d_s为11.51 mm,因此经过傅里叶叠层超分辨后最小可分辨线宽为λz/d_s=0.082 mm,从图7(b)中可以看到最小可分辨到(2,4)组,其对应的线宽为0.088 mm(5.66 lp·mm^-1),与理论计算相符,在该组实验中空间分辨率提升5.66/1.26=4.49倍。

利用傅里叶叠层超分辨率算法对五角星图案数据进行重建,重建结果如图8所示。图8(a)为小孔径相机采集的低分辨率中心图像,可以看出,此时仅有最大的五角星能够较为清晰地分辨;经过21×21的频谱扫描后,等效合成孔径为17.78 mm,经过傅里叶叠层超分辨后,重建结果如图8(b)所示,可以清晰地分辨倒数第三级的五角星。图8(c)给出了孔径为18.75 mm的镜头(F数为4)所采集的图像,可以看到傅里叶叠成超分辨结果与18.75 mm镜头所采集结果基本相同。

图 7. USAF分辨率靶标超分辨率重建结果。(a)小孔径相机采集的低分辨率图像;(b)傅里叶叠层超分辨率重建图像;(c)图 (a)的局部放大图;(d)图 (b)的局部放大图

Fig. 7. Super-resolution reconstruction results for USAF target. (a) Low-resolution image for small aperture camera; (b) super-resolution reconstruction image using Fourier ptychography; (c) partial enlargement of Fig. (a); (d) partial enlargement of Fig. (b)

下载图片 查看所有图片

图 8. 五角星图案超分辨率重建结果。(a)小孔径相机采集的低分辨率图像;(b)傅里叶叠层超分辨率重建图像;(c) 18.75 mm孔径镜头拍摄图像;(d)图 (a)的局部放大图;(e)图 (b)的局部放大图;(f)图 (c)的局部放大图

Fig. 8. Super-resolution reconstruction results for pentagram target. (a) Low-resolution image from small aperture camera; (b) super-resolution reconstruction image using Fourier ptychography; (c) image from 18.75 mm aperture camera; (d) partial enlargement of Fig. (a); (e) partial enlargement of Fig. (b); (f) partial enlargement of Fig. (c)

下载图片 查看所有图片

5 结论

开展了宏观傅里叶叠层超分辨率成像研究,建立了宏观傅里叶叠层成像的物理与数学模型,提出了傅里叶叠层重建算法,搭建了基于傅里叶叠层技术的宏观成像系统。在分辨率靶标实验中,通过定量分析和计算,傅里叶叠层成像方法实现了近4.5倍的分辨率提升。在五角星图案实验中,傅里叶叠层成像方法利用2.34 mm孔径的镜头达到了17.78 mm孔径镜头的分辨率。上述实验说明傅里叶叠层成像技术达到了较高的分辨率提升效果,该技术在航空、航天、远距离侦察等领域具有潜在的应用前景。