激光与光电子学进展, 2020, 57 (16): 160001, 网络出版: 2020-08-05   

变参数计算成像技术研究进展 下载: 2653次封面文章特邀综述

Research Progress on Parameter-Changed Computational Imaging Techniques
作者单位
哈尔滨工业大学仪器科学与工程学院, 黑龙江 哈尔滨 150001
摘要
叠层扫描成像和傅里叶叠层扫描成像可增大视场和提高分辨率。基于多距离/多高度轴向扫描和薄柱透镜旋转扫描的计算成像技术采用相位恢复算法,可以高精度重建目标的复数光场。这些成像技术在扩大视场和提高分辨率方面具有显著优势。介绍了含变参数的光学相干衍射系统在计算成像方面的研究进展。作为间接成像形式,多参数成像技术是一类将衍射成像与算法相结合的计算成像技术,实现了复值光场的精确多维表征。
Abstract
Ptychographic iterative and Fourier ptychographic imaging techniques can enhance field of view (FOV) and resolution. The parameter-changed computational imaging technique based on multi-disntance/ multi-height axial scanning and thin cylinder rotation can be used with phase retrieval algorithms to reconstruct the complex-valued fields of objects with high resolution. These imaging techniques possess prominent advantages for enlarging FOV and resolution. We review the recent research progress of the parameter-changed optical coherent diffraction imaging systems in the field of computational imaging. As a kind of indirect imaging tools, the multi-parameter imaging technique combines diffraction imaging with algorithms, which can be used to realize the accurate multi-dimensional characterization of a complex-valued light field.

1 引言

光学显微镜已成为人类探索微观世界的重要工具,其应用涵盖医疗影像、生命科学、材料检测等很多领域。随着计算机存储量和运算性能的大幅提升,依赖于复杂计算的显微成像技术已不再拘泥于硬件设计,而是侧重于利用软件算法来重建目标图像,突破了传统光学显微镜的物理局限[1]。目前,计算成像技术已广泛应用于多种系统以提高成像分辨率,如图像超分辨算法[2]、合成孔径技术[3]。相位恢复算法解决了由强度数据溯源相位的经典反问题,可重建光场的完整波前;三维相位层析术[4]拓展了成像维度,实现了三维生物组织的无标记重建;压缩感知[5]、编码成像[6]技术减小了数据冗余度,降低了系统成本;深度学习技术[7]依靠大量样本训练提升了成像系统的鲁棒性,获得了优于传统方法的成像效果。

相位恢复技术的实质是衍射强度图已知下的光学目标重建。相位恢复算法常作为图像重建算法出现在计算成像系统中,配合不同装置即可实现不同成像功能,如像素超分辨[8]、三维成像[9]、像差校正[10]等。相位恢复技术的雏形源于Gerchberg和Saxton[11]提出的GS (Gerchberg-Saxton)算法,当显微镜准焦面和其远场强度图像已知时,可利用空域和频域空间的交替投影进行迭代运算而得到其焦面处对应的相位信息。为解决GS算法中已知样品振幅的限制,Fienup[12]引入支撑约束,提出误差下降(Error reduction, ER)算法和混合输入输出(Hybrid input-output, HIO)算法,实现了基于单幅测量图的重建。对于连续密集分布的样品,这类以支撑约束为核心的算法只能通过添加额外光阑来实现约束支撑,而相应的成像视场会缩小。

与传统相位恢复[11-12]不同,变参数相位恢复无需计算支撑区域,通过改变系统参数来采集多幅强度图像,从而进行样品重建,稳定的收敛性使其受到广泛的关注。这种相位恢复算法依据数据采集方式而分为多种形式,应用领域也有差异。叠层成像(Ptychographic imaging)[13-14]采取针孔横向重叠扫描方式采集衍射强度图,利用相邻衍射斑的关联来扩大视场和重建目标的复振幅。以叠层成像为基础,基于多方向照明的傅里叶叠层显微术(Fourier ptychographic microscopy, FPM) [3]可有效提高成像分辨率。轴向多距离成像系统[15]减小了机械扫描维度,利用多幅散焦图像可完成波前重建,已被应用于无透镜片上显微镜中[16]。旋转薄柱透镜系统[17-19]在单透镜成像基础上使用柱透镜替换传统透镜,通过柱透镜旋转生成衍射图序列,该系统不改变显微系统体积且可实现目标的复振幅重建,有利于量化相位成像系统的紧凑型设计。Katkovnik等[20]使用编码照明的方式构建低分辨图像数据,结合稀疏相位恢复实现了像素的超分辨成像。采集多帧图像会牺牲时间分辨率,不利于动态生命活动的高速成像。因此,空间复用[21]、相机阵列拍摄[22]等被用于弥补多参数成像系统的时间分辨率损失。

本文以多距离探测、横向扫描以及旋转扫描等三类多参数成像系统为核心,介绍了多参数相位恢复技术的基本原理和最新进展,如抑制孪生像、改善重构图像质量、加速数据获取等。由于实验衍射图案不可避免地受到噪声的影响,因此本文还分析了相干衍射成像系统中的噪声模型,并讨论了有关噪声抑制的算法。

2 多距离成像系统

2.1 基本原理

多距离成像系统的实质是利用多帧散焦数据进行图像重建,可用于传统显微系统或无透镜系统。对于传统显微系统,需考虑物镜的放大倍数以及像差干扰。这里以无透镜片上显微镜为基础介绍多距离成像的基本原理和新进展,其成像硬件系统如图1所示。多距离成像系统由光源、样品、导轨以及相机等组成。准单色光束照明样品时,相机在样品衍射区内沿光轴移动以采集衍射图,通过多距离相位恢复算法可完成样品的重建。在样品和相机之间布置镜组,将相机置于镜组的不同离焦面处来记录衍射图,利用多距离相位恢复算法也可实现样品复振幅的重建。

图 1. 多距离成像原理图

Fig. 1. Experimental configuration of multi-distance imaging

下载图片 查看所有图片

设衍射距离为Zn,样品复振幅为u0,相机拍摄的衍射强度图In

In=D[AZn(u0)]+ε,n[1,N],(1)

式中: D(·)代表图像采集的退化过程,即相位丢失,仅能采集强度图像(振幅的平方);N为图像总数;ε为加性高斯噪声项; AZn代表传输距离为Zn的自由空间正向传输矩阵;n为测量平面序号。衍射场的正向传输可利用快速卷积型角谱衍射或者菲涅耳衍射公式进行计算。相应的逆传输矩阵记为 AZnH,其为正向传输矩阵的复共轭。(1)式描述的退化模型诠释了强度型图像传感器的弊端,即只能探测强度图像而丢失了光场的相位信息。使用强度图像进行反卷积运算生成的重建图像会被孪生像干扰,进而严重影响重建图像的对比度和分辨率,因此需引入相位恢复算法来完成目标光场的重建。

根据计算方式,多距离相位恢复算法可分为串行传输、并行加权以及非线性优化重建等三类。串行传输式相位恢复算法是Pedrini等[15]提出的SBMIR算法。设第k次迭代的输出结果为 uk0,SBMIR算法流程如下。

1) 将第k次迭代的样品函数正向传输到第一观测平面,保持相位信息不变,使用开平方强度图像以更新振幅: Ck1= I1AZ1uk0/ AZ1uk0

2) 将 Ck1依次正向传输至所有观测平面,即

Cn+1k=In+1AZn+1-Zn(Cnk)AZn+1-Zn(Cnk),n[2,N](2)

3) 将 CNk逆向传输至物面,得到样品复振幅函数的第k+1次估计, uk+10= AZNHCNk

通过上述多次迭代计算后可得到精确的目标估计图像。

与串行传输运算不同,并行加权相位恢复算法单独处理每个观测平面,将估计平均值作为每次迭代的输出结果,运算过程为

u0k+1=1Nn=1NAHZnInAZnu0kAZnu0k(3)

(3)式为基于空域加权的多距离相位恢复 (APR)算法[23],该图像融合方法也可用于频域,与多角度照明技术相结合可提升分辨率。在实际使用中,相位恢复算法未考虑噪声因素。为增加算法的鲁棒性,Migukin 等[24]指出,将相位恢复看作一个最优化问题,非线性优化算法即AL(Augmented Lagrangian)算法可替换GS算法来增加算法抗噪性。

2.2 双平面相位恢复

多距离相位恢复的收敛加速[25]、倾斜照明校正[26]、分辨率增强[27]、准焦距离估计[28]等问题都已解决,减少测量图像总数仍是多距离相位恢复的关键问题。对于单图像相位恢复,采集单帧数据可避免使用机械导轨,且系统成本降低,体积减小。因此,深度学习[29]、约束支撑[15]和压缩感知[30]等方法被用于图像重建。支撑约束和压缩感知要求样品必须为稀疏分布,即只能实现孤立或分散组织的图像重建;深度学习技术依赖于训练数据,难以保证重建训练集之外的图像的保真度和可靠性。与单帧重建相比,多距离相位恢复对样品的分布没有要求,能重建多种类样品。多距离相位恢复技术的收敛性依赖于拍摄图像的总数,Greenbaum 等[2]在实验中证明,对于密集分布的生物组织,多距离相位恢复算法至少需要3张(N≥3)散焦图像才能完成目标重建。为继续减少散焦图的数量,这里介绍了基于全变分最小化约束的双平面相位恢复 (DPR-TV) 算法[31],其对样品分布无要求,使用两幅散焦图(N=2)即可完成样品的高质量重建。在并行加权迭代计算的基础上,DPR-TV算法增设了两个样品平面约束:全变分最小化约束和加权反馈约束。加权反馈约束通过引入反馈系数来加快收敛速度,全变分最小化约束可抑制噪声,防止算法陷入局部最优解。

DPR-TV算法由传输投影、振幅替换、全变分最小化约束、图像均值融合、加权反馈约束等五部分组成,算法流程如下。

1) 以随机数或全1矩阵初始化目标函数。

2)将第k次迭代重建结果并行传输到每个观测平面,经振幅替换和逆向传输后样品估计为

gnk=AHZnInAZnu0kAZnu0k,n=1,2(4)

3) 用L1范数的全变分函数(Total variation, TV)作为图像平滑函数,在每次迭代中求解目标函数的最小值有利于抑制图像噪声,最小值 g^nk由梯度下降法求解,即

g^nk=min[TV(gnk)]=gnk-t[TV(gnk)]gnk*=gnk-tgnkdxdy(gnk)*,(5)

式中:TV(·)为全变分函数;Ñ为梯度算符;t为梯度下降步长。根据欧拉-拉格朗日公式可得

g^nk=gnk+t2·(gnk)(gnk)(6)

4) 对步骤3)的输出结果进行加权平均以完成子图像融合,即 u^k0= 12g^k1+g^k2,其中 u^k0为均值运算后的样品复振幅估计值。

5) 使用加权反馈[32]计算样品的复振幅第k+1次更新值,即

u0k+1=u^0k,k2u0k+1=(1+a+b)u^0k-au0k-bu0k-1,k>2,(7)

式中:ab为加权系数,其数值分别为0.7和0.5。

6) 重复计算步骤2)~5)以完成目标图像的重建。

使用分辨率测试卡、小鼠大肠病理切片、小鼠肺部病理切片、活体巨噬细胞等样品进行实验验证。相应片上显微镜系统参数如下:激光波长为532 nm;相机在衍射距离为2 mm的范围内测量衍射图像,利用自动准焦算法标定精确成像距离;CMOS图像传感器选用Sony公司的IMX206,像素尺寸为1.34 μm,感光面分辨率为4608 pixel×3456 pixel;机械导轨为PI公司的M403。这里选用经典多距离相位恢复算法即SBMIR、APR、APRDF、AL算法进行对比,相应重建结果如图2所示。分辨率板、大肠切片和肺部切片仅展示重建振幅的图像。活体细胞呈半透明状,其振幅图对比度低,故图2所示的巨噬细胞重建图为相位图。从图2可知,AL算法无法完成图像重建,原因在于AL算法的抗噪力依赖于图像数目,图像数量少时收敛陷入局部最优。APR、SBMIR、APRDF算法可实现分辨率板和巨噬细胞的图像重建,但成像对比度远弱于DPR-TV算法。对于病理切片,只有DPR-TV算法完成目标重建。结果表明,传统相位恢复算法在双图像测量时存在不足,只能实现二值样品或稀疏样品的粗糙重建,无法对密集型样品成像。DPR-TV算法稳定,更适用于计算显微系统。

图 2. 双平面测量下的图像重建结果[31]

Fig. 2. Reconstructed results via dual-plane measurement[31]

下载图片 查看所有图片

2.3 亚像素超分辨成像

无透镜显微系统的分辨率由数值孔径和相机像素尺寸共同决定。无透镜系统的数值孔径与样品衍射距离呈反比。当成像距离在百微米量级时,无透镜系统的等效数值孔径接近1。决定片上系统成像分辨率的另一关键因素是相机像素尺寸。如目前相机像素尺寸为1~6 μm,导致片上显微系统的分辨率难以突破微米尺度。利用像素超分辨技术改进无透镜系统则可实现亚像素成像。

在无透镜系统中,像素超分辨技术分为单帧重建和多帧重建两类。前者使用发散球面波照明样品,测量放大的样品衍射图。设样品与光纤光源和相机距离分别为Z1Z2,则系统的放大倍率为(Z1+Z2)/Z1。后者通过采集样品微移动后的图像序列,使用多帧图像超分辨算法插值合成亚像素超分辨数据。单帧重建法充分发挥了球面波的放大作用,但是在实际使用中存在以下不足:1) 照明端需要利用波长或近波长量级的针孔进行空间滤波,对激光器和相机的信噪比要求极高;2) 视场小、成本高;3) 适用样品种类单一。对于医学检测中广泛应用的病理切片,单帧重建法的实验结果鲜有报道。

多帧重建法以图像超分辨算法为核心,通过融合图像序列来打破相机像素的限制,稳定而高效的重建效果已在计算机视觉领域得到充分验证。Greenbaum等[2]将多帧重建法移植到无透镜片上系统,通过融合样品三维移动的衍射图堆栈,实现了多种生物组织的亚像素、大视场、无孪生像重建。在多帧重建法的数据处理环节,通过图像超分辨算法完成了每层低分辨数据的像素超分辨处理,基于处理后的多距离衍射图像,利用相位恢复算法实现了最终的目标重建。基于多帧重建架构,研究者从数据采集模块简易化和模糊核标定等方面优化无透镜超分辨成像系统[33]。超分辨环节多是基于迭代型图像超分辨算法,本节以非迭代超分辨算法为核心讨论多距离成像系统的亚像素处理技术。

选用双立方插值、S&A(shift and add)[34]、频域超分辨(FSR)[35]以及自适应维纳滤波(AWF)[36]等四个算法进行像素超分辨测试。在实验测试中,将分辨率板置于二维电动位移台上进行横向蛇形扫描,使用CMOS相机记录25张低分辨衍射图。选择一幅低分辨图像进行逆衍射传输,其重建结果以及对应的分辨率测试卡的高分辨区域(第八、九组线对)如图3(a)所示。在图3(a)中,衍射图的直接逆传输存在孪生像和像素欠采样两个问题。虽然孪生像会干扰重建图像的对比度,但是因分辨率测试卡为稀疏样品,对应的数字仍可显示。因此单帧分辨率卡衍射图的逆传输重建结果可用于判断是否实现了像素超分辨。受采样定理的限制,大于两倍像素的图案(第八、九组线对)无法识别。双立方插值的衍射图逆传输重建结果如图3(b)所示。与图3(a)相比,图3(b)的第八组线对可分辨,其横向分辨率达1.09 μm。使用插值后的衍射图或全息图进行图像重建可有效地打破采样定理限制,将无透镜系统的分辨率提升至像素级别。图3(c)~(e)为S&A、FSR、AWF三种算法融合25张低分辨率图像所得的重建结果。对比图3(a)、(b)可知,三种非迭代图像超分辨算法均提高了成像分辨率,其中AWF算法的重建效果最优,能分辨的最小图案为第九组第三线对(775 nm)。

图 3. 像素超分辨重建结果图[37]

Fig. 3. Reconstructed results via pixel super-resolution[37]

下载图片 查看所有图片

图3所示,AWF算法有助于无透镜系统实现亚像素成像,但单帧逆衍射重建不能消除孪生像。而使用多平面GS(Multi-plane Gerchberg-Saxton, MGS) 算法[37]能够消除孪生像。该算法在第一测量平面的25张低分辨图基础上,再采集不同距离下的5幅低分辨散焦图,其重建流程如下。

1)使用AWF算法在第一观测平面重建超分辨衍射图 I1SR

2)超分辨图像与散焦图像排列组成新的轴向多距离衍射图像序列,记为In(I1= I1SR,n∈[1,6])。

3)使用(5)式的并行传输法得到第k次迭代的多个样品估计值 gnk,其中 g1k为样品的高分辨估计,而 gnk(n∈[2,6])为样品的低分辨估计。

4)以 gk1为参考图像,使用导向滤波对样品低分辨振幅图像进行去噪处理: g^nk=GF gnk,gk1,从而锐化样品低分辨的模糊轮廓。

5) 保持相应的低分辨相位图不变,进行加权图像融合,可得样品的重建结果,即

u0k+1=16g1k+n=26g^nkgnkgnk(8)

6) 重复计算步骤3)~5)可消除孪生像,实现无透镜系统的亚像素重建。

宽场显微镜和片上显微镜的成像结果如图4所示。图4(a)和图4(b)是宽场显微镜(IX71, Olympus)在4倍(数值孔径NA=0.1)和10倍物镜(NA=0.25)下拍摄的分辨率板高分辨区域的图像,图4(c)为MGS算法的重建结果。在图4(c)中,孪生像[图3(e)]现象已被消除,对比度得到显著提升。比较图4(a)、(c)的横切线可知,像素超分辨处理后的无透镜系统的成像分辨率和10倍物镜一致,其等效数值孔径达0.25。为验证无透镜系统的大视场特性,使用AWF算法和MGS算法重建全视野大肠切片,结果如图4(d)所示,其成像视场为28.6 mm2。选择大小为300 μm×300 μm的区域进行局部放大,如图4(g)所示,同等区域的宽场显微镜成像图如图4(e)、(f)所示。从图4可知,无透镜系统在10倍物镜基础上将视场扩大了20倍。

图 4. 无透镜片上显微镜和宽场显微镜成像结果对比图[37]

Fig. 4. Imaging result comparison for lens-free on-chip microscope and wide-field microscope[37]

下载图片 查看所有图片

3 横向扫描成像系统

3.1 叠层扫描成像

由于传统相干衍射成像要求成像样品是孤立的,因此视场(FOV)受到很大限制。2004年,Rodenburg等[14]将叠层扫描(Ptycholography)与相位恢复结合,提出了无透镜叠层扫描成像方法(Ptycholographic Iterative Engine, PIE),也称为空域叠层扫描成像。PIE将一个被限制在小孔内的照明光斑相对样品移动,扫描并记录不同位置处的衍射斑,最后通过相位恢复来重构样品。该方法要求相邻区域间有重叠,因不涉及透镜相差,空间分辨率得以改善,视场较大。

PIE实验系统示意图如图5所示,被光瞳限制的照明光束p(r)入射到样品o(r)上,将光瞳或样品固定于2D位移设备上以进行阵列扫描,其中r=(x,y)。PIE流程如下。

1) 第i个位置的照明孔径函数为

pi(r)=p(r-ri),(9)

式中:ri为第i个移动位置坐标。

2) 通过样品的出射函数为

ψi(r)=oi(r)pi(r-ri),(10)

式中:oi(r)为第i个位置照明下的物体函数。

3) 样品后出射波ψi(r)传播至记录面。相应的复振幅为

Ψi(ρ)=F[ψi(r)],(11)

式中:空域坐标ρ=(fx,fy),fxfy分别为xy方向的频域坐标;F(·)表示傅里叶变换。

4) 对衍射图样作振幅约束,以测量强度平方根代替计算的光场振幅,保留相位,即

Ψ'i(ρ)=Ψi(ρ)Ψi(ρ)Ii,(12)

式中:Ψ'i(ρ)为采样平面更新后的衍射图样。

5) 更新光场并将其逆向传回样品面,有

ψ'i(r)=F-1[Ψ'i(ρ)],(13)

式中:ψ'i(r)为更新后的样品出射波;F-1(·)为傅里叶逆变换。

6) 更新样品函数和照明光斑函数,得

o'i(r)=oi(r)+pi(r-ri)pi(r-ri)maxconj[pi(r-ri)][pi(r-ri)2+α]×β[ψ'i(r)-ψi(r)],(14)

式中:参数αβ的取值影响收敛性;conj表示取共轭复数。多次重复步骤1)~6)可得重建图像。

图 5. PIE光学实验系统图

Fig. 5. Schematic of PIE experimental system

下载图片 查看所有图片

2007年研究人员在X射线波段实验证实了PIE的有效性。该方法需要准确的照明光斑信息,这在实验中难以实现。2009年,研究人员提出了ePIE算法[38],同时恢复照明光斑和样品的计算公式为

o'i(r)=oi(r)+σconjpi(r-ri)ψ'i(r)-ψi(r)pi(r-ri)max2,(15)p'i(r)=pi(r)+γconjoi(r-ri)ψ'i(r)-ψi(r)oi(r-ri)max2,(16)

式中:参数σγ的取值影响收敛性。当光束探针模型未知时,ePIE算法能恢复样品和光束探针,实用性强于PIE。

研究人员提出rPIE和mPIE算法[39]来提高相位算法的收敛速度并增强鲁棒性。由于样品或照明光斑的先验信息对成功重构样品极其重要,研究人员相继提出串行互相关校正[40]和pcIE[41]算法,有效减小了衍射斑位置误差并提高了重构图像质量。由于相邻记录位置重叠率高(70%以上)且光瞳孔径尺寸小,观测较大视场需采集大量数据。因此,实验时间的减少是亟待解决的问题,单次曝光法[21,42]在一次记录中可获得数十或数百个衍射图像以用于重建图像。

3.2 傅里叶叠层扫描成像

Zheng等[3]提出了傅里叶叠层扫描显微术(Fourier ptychographic microscopy, FPM),该方法通过在傅里叶域拼接低分辨图像来合成高分辨图像。使用LED阵列光源,在不同照明方向利用低倍物镜采集Q幅图像。根据傅里叶频移性质,通过空域相移使频谱移动,超出截至频率的高频信息变为可测信息,从而提高了分辨率。图6为 FPM迭代恢复过程。FPM将多角度照明技术与合成孔径方法结合,克服了传统显微技术中视场和分辨率的制约。FPM的主要流程如下。

1) 初始化高分辨率图像 Ihexp(jφh),其中Ih为任意一幅低分辨率图经上采样后对应的高分辨率图强度,φh为高分辨率图像的相位函数,初始值设为0。

2) 计算出与斜入射平面波对应的低分辨率图像Iqexp(jφq),其中,Iq为获取的第q幅低分辨率图的强度,φq为低分辨率图像的相位函数。

3) 用测量强度Iq'替换Iq、相位保持不变,即Iqexp(jφq)→ Iq'exp(jφq)。在傅里叶域,更新相应区域的高分辨图像 Ihexp(jφh) (即图6中步骤②、③)。

4) 重复步骤2)、3),直到所有方向的平面波均被更新。

5) 重复步骤2)~4),得到收敛结果。

图 6. FPM迭代恢复过程[3]

Fig. 6. Iterative recovery procedure of FPM[3]

下载图片 查看所有图片

图 7. FPM彩色成像[3]

Fig. 7. Gigapixel colour imaging via FPM[3]

下载图片 查看所有图片

FPM能够显著增加空间带宽积,有利于数字病理学和神经科学的大视场成像。图7显示了乳腺癌病理切片的大视场彩色成像。利用红色、绿色和蓝色LED的照明,并将照明结果合并到每个颜色通道中以创建彩色FPM图像。图7(a)是一幅大视场病理切片图,其空间带宽积为2.3×107 pixel。图7(b)、(c1)、(d)、(e)为图7(a)部分区域放大的高分辨图。图7(c1)是FPM的恢复结果,图7(c2)、(c3)分别是在20倍和2倍物镜下的观测结果。结果表明,FPM与20倍物镜所得图像效果相同。

为减少FPM系统噪声,Bian等[43]提出了针对傅里叶成像自适应系统的校正方法,Zuo等[44]提出了针对抗噪声傅里叶光学显微镜的自适应步长策略以提高成像鲁棒性。准确的光源位置也是重要因素,通过位置校正可提高重构图像的稳定性及系统的抗噪性能[45]

3.3 近场散斑扫描片上显微术

为了提高分辨率,研究人员提出了场散斑扫描片上显微术。利用介质的散射特性使高频信息进入探测器。这里需要分离散斑和样品,可通过ePIE算法解决。在片上成像中利用亚像素超分辨技术可进一步提高分辨率。近场散斑扫描显微术具有成本低、装置简单、分辨率高等优点。

Guo等[46]提出了基于平移散斑照明和亚采样相位恢复的定量无透镜显微镜,装置如图8所示。照明光经散射介质形成的散斑光束可用于扫描照明,记录衍射图并通过ePIE算法恢复样品和散斑。图8(c1)为衍射图,因为成像系统中加入了散射介质,衍射图分布变得复杂。图8(c2)是通过相位恢复算法重构的相位图,结果清晰、对比度高,散斑已被分离。

图 8. 基于平移散斑照明和亚像素相位恢复的无透镜成像平台[46]

Fig. 8. Lens-free imaging platform based on translated speckle illumination and sub-pixel ptychographic phase retrieval[46]

下载图片 查看所有图片

4 旋转薄柱透镜系统

4.1 基本原理

不同于轴向和横向的平移扫描,旋转扫描是一种更复杂但更高效的成像方式,能够给传统成像系统带来新特性,不但能实现全空间操作[47],而且能实现快速迭代重建[17]。旋转成像系统的主要特点为全空间扫描和多样化照明。在光学相干断层扫描(OCT)成像中,需要对样本进行旋转操作,但传统OCT的有限成像深度在一定程度上限制了整个样本的可视化。Wu等[47]提出旋转成像以增强OCT的可视化,通过一个机械旋转平台对样本进行多角度旋转扫描从而实现整体成像。

在基于机械旋转扫描的OCT系统中,样本的单轴旋转导致中心核缺失。Lin等[48]提出基于数字全息显微镜的光学驱动全角度旋转方案对生物医学样品活体进行成像,通过计算全息生成双光束光镊以控制样本空间旋转,实现了样品三维折射率分布的测量和分析,并完成了整个对称光谱的层析重建。在照明模式方面,连续旋转单个散射片以产生非相干照明光束,这种照明模式常用于散射成像。Wu等[49]通过旋转一对梯度折射率镜片,实现了具有多种模式输出的OCT照明光束,且通过改变镜片旋转角度实现了多种扫描方式。利用基于旋转柱透镜的计算成像系统,可实现多样化相位调制[17-19]

基于柱透镜旋转相位调制的计算成像技术如图9所示,系统包括光纤激光器(FL)、准直镜(CO)、孔型光阑(A)、样本(S)、柱透镜(CL)和探测器(CCD)。激光束穿过准直透镜(CO),出射的平面波直接照到样本上,后表面的透射光束携带样本信息,其传播距离d1到达柱透镜前表面。经过柱透镜的非对称相位信息调制,不同空间朝向的柱透镜可对入射光实现多样化相位调制,探测器收集对应的出射光场强度图,利用并行加权相位恢复方法实现样本的精确重构。

图 9. 多旋转柱透镜成像系统[17]

Fig. 9. Imaging system using multi-rotation of cylinder lens[17]

下载图片 查看所有图片

设样本透过率分布为S(r),柱透镜前表面的复振幅光场 Dd1

Dd1(r')=F-1F[S(r)]expj2πd1λ1-(λu)2-(λv)2,(17)

式中:r'为样本平面的坐标矢量;r为柱透镜平面的坐标矢量;uv分别为xy方向的空间频率;d1为样本到柱透镜前表面的距离;λ为光波长。经过柱透镜的相位调制,携带样本信息的透射光场被CCD收集,即

Iα(r)=Df[Dd1(r')P(r'α)]2,(18)Pα(x',y')=exp-jπλf(x'cosα+y'sinα)2,(19)

式中:r″为探测器平面的坐标;Df为角谱传播算子;f为柱透镜焦距; x'y'为柱透镜平面在笛卡儿坐标系中的坐标;Pα(x',y')为柱透镜的二次相位调制函数;α为柱透镜旋转角度;f为柱透镜焦距。

4.2 计算旋转角度

柱透镜的旋转角度α在样本重构中非常重要,对其进行直接精确的测量非常困难,所以根据衍射斑建立旋转角度评估算法具有重要的意义。利用柱透镜可近似实现一维傅里叶变换,输出衍射斑近似为光亮明线。据此有两种旋转角度评估算法,即基于Radon变换[17]和基于图像矩[19]的的角度评估算法。

基于Radon变换的旋转角度评估算法步骤如下。1) 粗算:在[0°,180°)范围内以1°为扫描步长计算衍射图的Radon变换结果,如图10所示,其中色度条表示归一化的强度,结果最大值对应的角度α1为柱透镜旋转角度的粗估计。2) 精算:以更小扫描步长0.001°在(α1-0.5°,α1+0.5°)角度范围内作Radon变换(扫描结果与图10类似),取最大值对应的角度为柱透镜旋转角度。

图 10. 强度图像的Radon变换[18]

Fig. 10. Radon transformation of intensity pattern[18]

下载图片 查看所有图片

基于图像矩的角度估算步骤如下。1)对图像进行预处理以找到图像的线特征点。2) 将线特征点集合代入下式求旋转角度:

α=12·arctan2(M11-M00CmCn)M20-M00Cm2-M02+M00Cm2,(20)

式中:M00为零阶矩; CmCn为质心坐标;M11M20M02为二阶矩。

4.3 实验结果分析

采用美国Thorlabs公司的精密旋转控制平台PRM1Z8,以固定步长旋转一个焦距为10 cm的平凸圆柱面透镜(N-BK7)。相机采用德国PCO公司的科研级sCOMS图像探测器Pco.edge 4.2 LT,在不同旋转角度下记录18幅衍射图像。对应的柱透镜旋转角度是通过4.2节所描述的角度评估法计算得到的。利用并行加权相位恢复算法精确重构样本信息,不同迭代次数下的重构结果如图11所示,其中色度条表示归一化的强度。

图 11. 归一化的重构样本。(a1)~(d1)直接重构结果;(a2)~(d2) BM3D滤波结果[18]

Fig. 11. Normalized reconstruction sample. (a1)-(d1) Directly reconstructed results; (a2)-(d2) results with BM3D filter[18]

下载图片 查看所有图片

柱透镜聚焦会导致探测器过曝光,所以要降低光源发射功率,而光强低又会导致衍射图的信噪比降低,如图11(a1)~(d1)所示。为了提高信噪比,可使用BM3D算法[50]滤波提升重构质量,相应结果如图11(a2)~(d2)所示。

4.4 轴向失配校正

保证所有衍射图同轴是非常困难的,而同轴失配会使重构图像严重退化,如图12所示,预照明探测可解决失配问题[18]。轴向失配情况如图12(a1)所示,把记录的36张空载强度图叠在一起,可看出图像中心区域并未重合到一点,这表明旋转过程中存在轴向偏离。预照明探测的具体步骤为:1) 空载时测量旋转周期内的强度图;2) 通过Hough变换确定离轴重叠区域的圆心坐标,计算强度图的偏移量;3) 保存圆心位置和偏移量,利用频域平移法将每次测量的样本强度图平移到圆心位置;4) 使用迭代重构算法重建样本信息。

图12(a2)是平移校正后重叠的36幅空载测量强度图。在相同实验条件下,采用两个 “HIT”字母样本和USAF51分辨率板进行重构测试。图12(b1)、(c1)和图12 (b2)、(c2)是平移校正前后迭代50次的样本重构,结果表明,平移校正可提高重构样本的质量。

5 计算成像系统的降噪技术

在天文学成像、医学和生物学成像、显微成像、瞬态成像等领域,常需要在低照度条件下得到高信噪比和高分辨率图像。常见的衍射成像实验噪声有暗电流噪声、散粒噪声和读出噪声。图13是单透镜成像系统中的散粒噪声的仿真结果[50],其中色度条表示对数坐标下的归一化光强。在典型降噪方法中,全变分正则化方法利用迭代计算求解相应的目标函数。目前一种性能较好的降噪技术是BM3D算法[51]。通过与相邻图像块进行匹配,将若干相似的图像块整合为一个三维矩阵,对其进行滤波处理,将结果进行逆变换,最终输出二维图像。在相位恢复算法中,利用物域支撑外非零值之间的相关性来进行噪声的抑制,在不同迭代阶段进行自适应滤波,从而实现全局寻优。通过在不同迭代阶段添加不同的参量空间频率滤波器来削弱高频权重,可提升图像的重构效果[52]

图 12. 平移校正前后衍射强度的重叠结果和重构结果。(a1)(a2)衍射强度的重叠结果;(b1)(b2)(c1)(c2)重构样本对比[18]

Fig. 12. Overlapping of diffraction intensity and reconstructed results before and after translation correction. (a1) (a2) Overlapping of diffraction intensity; (b1)(b2)(c1)(c2) reconstructed samples[18]

下载图片 查看所有图片

图 13. 散粒噪声的仿真结果。(a)目标图像;(b)散粒噪声-光子数曲线;(c)理想衍射图;(d)含噪声衍射图[51]

Fig. 13. Simulation results of shot noise. (a) Object image; (b) shot noise versus photon number; (c) ideal diffraction pattern; (d) noisy diffraction image[51]

下载图片 查看所有图片

过采样衍射图样的相位恢复通常受实验噪声的影响。针对生物样本等弱散射物体,如何从有噪声的实验数据中获取一致的相位信息仍是一个难题。APR-双重反馈(DF)-过平滑约束(OSS)算法利用了一个一般平滑约束以外的支撑区域,迭代过程中实现的新约束在原则上应该为零,但在实际应用中可表征噪声轮廓的特点。如图14所示,仿真和实验结果表明,在存在实验噪声的情况下,此算法实现了一致且可靠的噪声衍射图样重构,其他相位恢复算法如HIO、ER(Error reduction)-HIO和NR(Noise robust)-HIO容易遭受噪声的破坏。在噪声衍射图的重建中,降噪算法提高了相位恢复结果的精度。具有降噪能力的计算成像技术在观测弱散射物体(特别是生物样本)方面具有重要的应用。

图 14. 有噪声存在时的算法恢复效果。(a)(b)数值模拟结果,(c)~(f)实验结果及其放大图

Fig. 14. Reconstruction results of algorithms when noise occurs. (a)(b) Numerical simulation; (c)-(f) experimental results and their magnification

下载图片 查看所有图片

6 结束语

介绍了以轴向多参数测量为基础的计算光学成像技术的进展。通过测量光轴不同位置处的目标投影图,构建了欠定光学衍射方程的超完备数据集,利用相位恢复技术可重建目标的复值光场信息。该技术抑制了孪生像,提高了重建图像的质量。此外,通过旋转柱透镜可以获得具有不同相位调制的衍射图,结合计算成像技术可获取目标信息。利用数字定位技术,在多参数计算成像系统中可确定光学元件的位置参数,降低了对高精度位移设备的需求。作为间接成像方式,多参数计算成像是获取高性能成像的一个有效方法,其在超分辨成像技术领域有很好的发展前景。

参考文献

[1] 邵晓鹏, 刘飞, 李伟, 等. 计算成像技术及应用最新进展[J]. 激光与光电子学进展, 2020, 57(2): 020001.

    Shao X P, Liu F, Li W, et al. Latest progress in computational imaging technology and application[J]. Laser & Optoelectronics Progress, 2020, 57(2): 020001.

[2] Greenbaum A, Ozcan A. Maskless imaging of dense samples using pixel super-resolution based multi-height lensfree on-chip microscopy[J]. Optics Express, 2012, 20(3): 3129-3143.

[3] Zheng G A, Horstmeyer R, Yang C. Wide-field, high-resolution Fourier ptychographic microscopy[J]. Nature Photonics, 2013, 7(9): 739-745.

[4] Choi W, Fang-Yen C, Badizadegan K, et al. Tomographic phase microscopy[J]. Nature Methods, 2007, 4(9): 717-719.

[5] 张华, 曹良才, 金国藩, 等. 基于压缩感知算法的无透镜数字全息成像研究[J]. 激光与光电子学进展, 2020, 57(8): 080001.

    Zhang H, Cao C L, Jin G F, et al. Lensless digital holographic imaging based on compressive sensing algorithm[J]. Laser & Optoelectronics Progress, 2020, 57(8): 080001.

[6] 季向阳. 编码摄像[J]. 光学学报, 2020, 40(1): 0111012.

    Ji X Y. Coded photography[J]. Acta Optica Sinica, 2020, 40(1): 0111012.

[7] 王飞, 王昊, 卞耀明, 等. 深度学习在计算成像中的应用[J]. 光学学报, 2020, 40(1): 0111002.

    Wang F, Wang H, Bian Y M, et al. Applications of deep learning in computational imaging[J]. Acta Optica Sinica, 2020, 40(1): 0111002.

[8] Zhang J L, Chen Q, Li J J, et al. Lensfree dynamic super-resolved phase imaging based on active micro-scanning[J]. Optics Letters, 2018, 43(15): 3714-3717.

[9] Chowdhury S, Chen M, Eckert R, et al. High-resolution 3D refractive index microscopy of multiple-scattering samples from intensity images[J]. Optica, 2019, 6(9): 1211-1219.

[10] Ou X Z, Zheng G A, Yang C. Embedded pupil function recovery for Fourier ptychographic microscopy[J]. Optics Express, 2014, 22(5): 4960-4972.

[11] Gerchberg R W. A practical algorithm for the determination of phase from image and diffraction plane pictures[J]. Optik, 1972, 35(2): 237-246.

[12] Fienup J R. Phase retrieval algorithms: a comparison[J]. Applied Optics, 1982, 21(15): 2758-2769.

[13] 程北, 张雪杰, 刘诚, 等. 基于衍射重建叠层相位恢复术的平面偏振双折射测量[J]. 中国激光, 2019, 46(12): 1204003.

    Cheng B, Zhang X J, Liu C, et al. Birefringence measurement based on ptychgraphic iteratice engine in planar polarimeter[J]. Chinese Journal of Lasers, 2019, 46(12): 1204003.

[14] Rodenburg J M. Faulkner H M L. A phase retrieval algorithm for shifting illumination[J]. Applied Physics Letters, 2004, 85(20): 4795-4797.

[15] Pedrini G, Osten W, Zhang Y. Wave-front reconstruction from a sequence of interferograms recorded at different planes[J]. Optics Letters, 2005, 30(8): 833-835.

[16] Greenbaum A, Luo W, Su T W, et al. Imaging without lenses: achievements and remaining challenges of wide-field on-chip microscopy[J]. Nature Methods, 2012, 9(9): 889-895.

[17] Geng Y, Tan J B, Guo C, et al. Computational coherent imaging by rotating a cylindrical lens[J]. Optics Express, 2018, 26(17): 22110-22122.

[18] Geng Y, Guo C, Zhou X Y, et al. Enhanced multi-rotation computational coherent imaging based on pre-illumination and simulated annealing compensation[J]. Journal of Optics, 2019, 21(11): 115701.

[19] Zuo Q, Geng Y, Shen C, et al. Accurate angle estimation based on moment for multirotation computation imaging[J]. Applied Optics, 2020, 59(2): 492-499.

[20] Katkovnik V, Shevkunov I, Petrov N V, et al. Computational super-resolution phase retrieval from multiple phase-coded diffraction patterns: simulation study and experiments[J]. Optica, 2017, 4(7): 786-794.

[21] Sidorenko P, Cohen O. Single-shot ptychography[J]. Optica, 2016, 3(1): 9-14.

[22] Holloway J, Asif M S, Sharma M K, et al. Toward long-distance subdiffraction imaging using coherent camera arrays[J]. IEEE Transactions on Computational Imaging, 2016, 2(3): 251-265.

[23] Liu Z J, Guo C, Tan J B, et al. Iterative phase-amplitude retrieval with multiple intensity images at output plane of gyrator transforms[J]. Journal of Optics, 2015, 17(2): 025701.

[24] Migukin A, Katkovnik V, Astola J. Wave field reconstruction from multiple plane intensity-only data: augmented Lagrangian algorithm[J]. Journal of the Optical Society of America A, 2011, 28(6): 993-1002.

[25] Guo C, Zhao Y, Tan J, et al. Multi-distance phase retrieval with a weighted shrink-wrap constraint[J]. Optics and Lasers in Engineering, 2019, 113: 1-5.

[26] Guo C, Li Q, Wei C, et al. Axial multi-image phase retrieval under tilt illumination[J]. Scientific Reports, 2017, 7(1): 7562.

[27] Rivenson Y, Zhang Y B, Gunaydin H, et al. Phase recovery and holographic image reconstruction using deep learning in neural networks[J]. Light: Science & Applications, 2018, 7(2): 17141.

[28] Shen C, Guo C, Geng Y, et al. Noise-robust pixel-super-resolved multi-image phase retrieval with coherent illumination[J]. Journal of Optics, 2018, 20(11): 115703.

[29] Guo C, Zhao Y X, Tan J B, et al. Adaptive lens-free computational coherent imaging using autofocusing quantification with speckle illumination[J]. Optics Express, 2018, 26(11): 14407-14420.

[30] Zhang W H, Cao L C, Brady D J, et al. Twin-image-free holography: a compressive sensing approach[J]. Physical Review Letters, 2018, 121(9): 093902.

[31] Guo C, Liu X M, Kan X C, et al. Lensfree on-chip microscopy based on dual-plane phase retrieval[J]. Optics Express, 2019, 27(24): 35216-35229.

[32] Guo C, Shen C, Li Q, et al. A fast-converging iterative method based on weighted feedback for multi-distance phase retrieval[J]. Scientific Reports, 2018, 8: 6436.

[33] Greenbaum A, Luo W, Khademhosseinieh B, et al. Increased space-bandwidth product in pixel super-resolved lensfree on-chip microscopy[J]. Scientific Reports, 2013, 3: 1717.

[34] Navruz I, Coskun A F, Wong J, et al. Smart-phone based computational microscopy using multi-frame contact imaging on a fiber-optic array[J]. Lab on a Chip, 2013, 13(20): 4015-4023.

[35] Vandewalle P, Süsstrunk S, Vetterli M. A frequency domain approach to registration of aliased images with application to super-resolution[J]. EURASIP Journal on Advances in Signal Processing, 2006, 2006: 071459.

[36] Hardie R. A fast image super-resolution algorithm using an adaptive Wiener filter[J]. IEEE Transactions on Image Processing, 2007, 16(12): 2953-2964.

[37] Guo C, Zhang F L, Zhang X Q, et al. Lensfree super-resolved imaging based on adaptive Wiener filter and guided phase retrieval algorithm[J]. Journal of Optics, 2020, 22(5): 055703.

[38] Maiden A M, Rodenburg J M. An improved ptychographical phase retrieval algorithm for diffractive imaging[J]. Ultramicroscopy, 2009, 109(10): 1256-1262.

[39] Maiden A, Johnson D, Li P. Further improvements to the ptychographical iterative engine[J]. Optica, 2017, 4(7): 736-745.

[40] Zhang F C, Peterson I, Vila-Comamala J, et al. Translation position determination in ptychographic coherent diffraction imaging[J]. Optics Express, 2013, 21(11): 13592-13606.

[41] Maiden A M, Humphry M J, Sarahan M C, et al. An annealing algorithm to correct positioning errors in ptychography[J]. Ultramicroscopy, 2012, 120: 64-72.

[42] He X L, Veetil S P, Pan X C, et al. High-speed ptychographic imaging based on multiple-beam illumination[J]. Optics Express, 2018, 26(20): 25869-25879.

[43] Bian Z C, Dong S Y, Zheng G A. Adaptive system correction for robust Fourier ptychographic imaging[J]. Optics Express, 2013, 21(26): 32400-32410.

[44] Zuo C, Sun J S, Chen Q. Adaptive step-size strategy for noise-robust Fourier ptychographic microscopy[J]. Optics Express, 2016, 24(18): 20724-20744.

[45] Zhou A, Wang W, Chen N, et al. Fast and robust misalignment correction of Fourier ptychographic microscopy for full field of view reconstruction[J]. Optics Express, 2018, 26(18): 23661-23674.

[46] Guo K K, Zhang Z B, Jiang S W, et al. 13-fold resolution gain through turbid layer via translated unknown speckle illumination[J]. Biomedical Optics Express, 2018, 9(1): 260-275.

[47] Wu C, Sudheendran N, Singh M, et al. Rotational imaging optical coherence tomography for full-body mouse embryonic imaging[J]. Journal of Biomedical Optics, 2016, 21(2): 026002.

[48] Lin Y C, Chen H C, Tu H Y, et al. Optically driven full-angle sample rotation for tomographic imaging in digital holographic microscopy[J]. Optics Letters, 2017, 42(7): 1321-1324.

[49] Wu J G, Conry M, Gu C H, et al. Paired-angle-rotation scanning optical coherence tomography forward-imaging probe[J]. Optics Letters, 2006, 31(9): 1265-1267.

[50] Shen C, Bao X J, Tan J B, et al. Two noise-robust axial scanning multi-image phase retrieval algorithms based on Pauta criterion and smoothness constraint[J]. Optics Express, 2017, 25(14): 16235-16249.

[51] Dabov K, Foi A, Katkovnik V, et al. Image denoising by sparse 3-D transform-domain collaborative filtering[J]. IEEE Transactions on Image Processing, 2007, 16(8): 2080-2095.

[52] Shen Y, Blondel W. Adjustable frequency filtering and weighted feedback for iterative phase retrieval under noisy conditions[J]. Optics and Lasers in Engineering, 2020, 124: 105808.

郭澄, 耿勇, 翟玉兰, 左琴, 温秀, 刘正君. 变参数计算成像技术研究进展[J]. 激光与光电子学进展, 2020, 57(16): 160001. Cheng Guo, Yong Geng, Yulan Zhai, Qin Zuo, Xiu Wen, Zhengjun Liu. Research Progress on Parameter-Changed Computational Imaging Techniques[J]. Laser & Optoelectronics Progress, 2020, 57(16): 160001.

本文已被 3 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!