1 引言

近年来,计算鬼成像(CGI)^[1-2]作为一种新颖的单像素成像技术,已引起了研究人员的广泛关注。该技术利用空间光调制器件(SLM)或数字微镜阵列(DMD)产生特定的光强度分布,代替传统鬼成像技术中的参考光路,仅用单探测光路和单像素探测器即可完成成像过程。该成像方式具备高分辨、高灵敏度和抗环境干扰等特征,结合激光雷达技术将有助于突破现有成像技术在自动驾驶、三维场景构建、环境探测等应用中的技术瓶颈,推动该技术的实用化进程。然而为了得到高质量的图像,计算鬼成像需要大量的测量次数,不仅影响系统的运行效率,还对硬件的性能和资源空间提出了很高的要求。然而压缩感知理论(CS)^[3-6]的发展,给计算鬼成像带来了新的解决思路。

压缩感知理论作为一种新的图像采集和重建的技术,可以在保证信号不受损失的情况下,用比Nyquist-Shannon采样定理少得多的样本来恢复信号。压缩感知中的压缩即使用测量矩阵对信号中的重要信息进行采样。因此,测量矩阵的质量直接影响到信号的重构效果。目前,主要存在两种矩阵的设计方式,一种是随机测量矩阵,另一种是确定性测量矩阵。随机测量矩阵,例如随机高斯矩阵^[7-8]、伯努利矩阵^[9]等通常在硬件的实现上比较困难,限制了它们的应用范围。因此确定性矩阵,如托普利兹矩阵、多项式矩阵等^[10]成为人们研究的对象。文献[ 11-12]分别利用多项式映射矩阵和光正交码作为确定性测量矩阵的构造方法。文献[ 13]利用非相干性准则^[14]提出了一种设计确定性测量矩阵的方法,该方法通过降低测量矩阵与稀疏基的相干性,进而减少压缩采样所需要的测量次数。文献[ 15]对稀疏循环矩阵进行研究,提出了一种0-1稀疏循环矩阵。文献[ 16]考虑到硬件平台实现的复杂性,基于小波变换和伪随机序列矩阵构建了一种新型的确定性二值测量矩阵,并将其用于嵌入式视觉系统。文献[ 17]提出了一种基于“Russian Dolls”的Hadamard基的优化排序方法,该方法可以利用场景中的稀疏性,达到确定性采样的目的,同时可以显著加快图像的重建速度。文献[ 18]也对Hadamard矩阵的优化排序算法进行研究,提出了一种基于Haar小波变换系数的最优排序算法,可以实现低采样率条件下的快速重建。然而,确定性矩阵虽然改正了随机测量阵的缺点,但是矩阵的稀疏度不足,还将需要更多的观测次数来获得高质量的图像。

考虑到卷积神经网络^[19]强大的学习能力,研究人员提出了一些用于压缩感知测量与重建任务的卷积神经网络^[20-24]。文献[ 24]提出了一种残差编解码网络进行压缩感知成像,其使用二值化的全连接层替代高斯随机阵实现图像的采样过程,但是由于全连接层包含大量的训练参数,只能使用小的图像块进行重构。

本文根据压缩感知理论,从观测矩阵的稀疏性、硬件实现的简单性等角度出发,设计了一种构造自适应二值测量矩阵的采样网络。该网络利用卷积层模拟图像的压缩采样过程,并通过图像训练对测量矩阵进行自适应更新,避免了使用全连接层引起的参数量大的问题。同时,搭建了激光主动照明计算鬼成像系统,对构造的二值测量矩阵进行实验,验证其可行性。

2 基本原理

2.1 基于压缩感知的计算鬼成像原理

压缩感知理论允许将高维信号投影到低维空间中,同时当信号在某个域中稀疏时,可以从投影空间中精确地恢复信号。对于N维的离散信号x,假设其在变换域Ψ下稀疏,利用与Ψ不相关的测量矩阵对其进行M(M=N)次测量,即可得到观测向量y,表示为

y=Φx=ΦΨs,(1)

式中:Φ为M×N的测量矩阵;y∈R^M为信号x的观测向量;s为信号x在变换域Ψ下的一组K-稀疏信号。根据压缩感知理论,x的求解过程可以转化为l₁最小化问题^[25-26],表示为

minss1,s.t.y=ΦΨs,(2)

如果信号x本身就满足稀疏性条件,则(2)式可以重新表示为

minxx1,s.t.y=Φx。(3)

在计算鬼成像系统中,假设A为探测矩阵,T为目标物体的透射函数,则基于压缩感知的计算鬼成像模型表示为^[27]

minTT1,s.t.y=ΑT。(4)

为了求解(4)式中的优化问题,常用的方法有凸优化方法^[28]、贪婪算法^[29-30]等。本文使用的求解算法为交替方向乘子(ADMM)法^[28]。

2.2 采样网络模型

图1是本文建立的一种采样网络模型。整个网络由负责图像采样的卷积层和负责图像信号恢复的卷积层组成。网络的第一层为采样卷积层,负责对图像进行压缩采样,其主要基于图像分块的思想,即图像送入采样网络后会被划分为B×B×l的非重叠块,其中l表示图像通道数。然后对每个图像块进行卷积滤波操作获得采样值。由于每个图像块大小为B×B×l,因此采样卷积中的每个滤波器大小也为B×B×l。当采样率为M/N时,每个图像块对应的测量值数目为n_B= MNlB²,这里N代表图像的像素个数,n_B也表示卷积层的通道数。同时为了保证图像的非重叠性采样,步长设置为B×B。上述采样过程可以表示为

y=S(Ι)=WS⊗Ι,(5)

式中:S(Ι)代表图像的采样函数;Ι表示输入的图像信号;W_S表示卷积层的权重参数;而符号“ ⊗”代表卷积运算。在训练阶段,采样卷积层参数W_S可以进行梯度更新以达到自适应的学习测量矩阵的目的。

图 1. 基于深度学习的采样网络模型

Fig. 1. Sampling network model based on deep learning

下载图片 查看所有图片

网络的第二个卷积负责对信号进行复原操作,称之为复原卷积。为了得到复原的图像信号 Ι̃,类似于信号的压缩采样过程,可以使用具有特定卷积核大小和步长的卷积操作实现信号的重构过程。数学表示为

Ι̃=Winv⊗y,(6)

式中:W_inv表示复原卷积层的权重参数。对于每一个图像块,采样卷积层输出大小为1×1×n_B的向量,因此复原卷积的滤波器大小应为1×1×n_B。为了恢复信号到原始维度,复原卷积的通道数应设置为lB²。因此, Ι̃的每一行是大小为1×1×lB²的向量,刚好对应于一个大小为B×B×l图像块。网络最后的Reshape层将图像块依次组合即可得到重构的图像。

2.3 二值测量矩阵训练方法

在实际的应用环境中,如DMD^[31]只能加载二值型(0-1)的稀疏测量矩阵,而卷积层的训练参数为浮点型。为了得到二值型(0-1)的测量矩阵,目前常用的方式是将网络中的采样参数W_S限制为0-1后重新训练,然而此方式必然会带来精度上的损失。同时由于网络结构比较简单,单纯将卷积层中的参数二值化后很难使网络收敛。因此本文在图1所示网络的基础上设计了一种用于训练二值测量矩阵的二值化采样网络。具体结构如图2所示。

图 2. 基于深度学习的二值化采样网络模型

Fig. 2. Binary sampling network model based on deep learning

下载图片 查看所有图片

该网络与图1所示采样网络的区别在于将图1中的采样卷积层替换为二值采样卷积层,通过该二值采样层即可将浮点型的测量矩阵转换为二值型的测量矩阵。该卷积层的参数设置与图1中的采样卷积层参数一致,同时在训练过程中该卷积层会加载图1网络训练好的浮点型权重参数,并对参数进行二值化处理,即将浮点型参数转化为二值参数,过程表示为

WBi=1,WiS>t0,WiS≤t,(7)

式中:W_B为二值化后的权重参数;t为阈值,用于控制测量矩阵的稀疏性。但是如果仅仅对参数进行二值化会造成网络难以收敛,同时也会造成精度的下降。因此,在该层后面加入了一个卷积核为1×1×n_B的卷积层,来模拟参数二值化步骤的逆过程,该层不改变特征通道大小,也即该层的输入输出通道数相同,则整个采样模块可以表示为

ỹ=WI⊗(WB⊗x)≈y,(8)

式中:W_I表示求逆层中的权重参数; ỹ表示图2中的采样模块得到的测量值。(8)式的目的是将使用浮点型采样参数得到的采样结果y与先二值化采样再求逆得到的采样结果 ỹ无限近似,避免了二值化过程造成的精度损失。

网络的训练策略如下:1)对图1所示的采样网络进行训练,得到浮点型参数;2)根据(7)式将浮点型权重参数二值化;3)将第一步得到的网络参数和二值化后的采样层参数作为图2网络的初始化参数进行训练;4)训练完成,计算测量矩阵。

网络训练使用BSDS500数据集^[32],首先将图像进行灰度化并使用数据扩增方式扩充数据集;其次将图像统一缩放为128×128分辨率大小,同时设置图像块大小为8×8,也即B=8,这里B需要满足被图像的宽和高整除;最后使用均方误差(MSE)损失进行优化训练。

本文所提出的二值化采样网络具有以下几个优点:1)网络模型简单,只使用了3个卷积层,且可以训练任意大小的图像块;2)二值化采样网络可以自适应的构造二值测量矩阵;3)通过修改(7)式中的参数t,可以控制二值测量矩阵中每行1的个数。

3 数值模拟与成像实验

3.1 图像数值模拟实验

根据本文提出的采样网络,分别构造了三种不同采样率下的二值测量矩阵,采样率(SR)分别为10%、20%和50%。同时为了加以比较,使用随机高斯阵,基于沃尔什优化排序的哈达玛矩阵和托普利兹矩阵在相同条件下进行实验。图像的分辨率大小为128×128,评价指标为峰值信噪比(PSNR)^[33]和结构相似度(SSIM)^[34],其中SSIM的取值范围为0到1,其值越大越好。图3为仿真实验使用的原始图像。图4显示了随机高斯阵(GS)、托普利兹矩阵(TP)、基于沃尔什排序的哈达玛矩阵(HM)和本文提出的二值测量矩阵的仿真结果。

图 3. 本文仿真实验使用的图像。(a)Ball;(b)Face

Fig. 3. Original images used in simulation experiment. (a) Ball; (b) Face

下载图片 查看所有图片

图 4. 不同测量矩阵的仿真结果。(a)~(f)随机高斯阵的结果;(g)~(l)托普利兹矩阵的结果;(m)~(r)哈达玛矩阵的结果;(s)~(x)本文测量矩阵的结果

Fig. 4. Simulation results of different measurement matrices. (a)--(f) Results of random Gaussian matrix; (g)--(l) results of Toeplitz matrix; (m)--(r) results of Hadamard matrix; (s)--(x) results of proposed matrix

下载图片 查看所有图片

比较图4可以看出,本文提出的二值测量矩阵能够在低采样率条件下实现较好的重构。而随机高斯阵、托普利兹矩阵和哈达玛矩阵在低采样率下重构图像比较模糊,需要较高的采样率(如0.5)条件才能实现清晰的成像。表1和表2分别记录了在不同采样率条件下,重构图像的PSNR和SSIM。结果表明,本文构建的二值测量矩阵取得了最好的结果,再次表明了本文提出的二值测量矩阵可以有效地利用图像的特征,实现较好的重构效果。

3.2 激光成像实验

为了验证本文提出的二值化测量矩阵的实际效果,搭建激光主动照明计算鬼成像系统,其结构和实物分别如图5(a)、(b)所示。整个系统的具体原理如下:激光器使用BrightSolution公司的SOL-5 W脉冲激光器,波长532 nm,最高单脉冲能量在400 μJ以上。DMD使用Vialux公司的V7001套件,实现对激光光场的矩阵调制。单像素探测器采用滨松公司的H10721型号的PMT模组。自行设计焦距为200 mm的投影镜组和接收镜组。示波器采用Picoscope公司的6404D示波器作为高速数据采集器件。计算机实现对DMD的控制、接收探测数据,并对数据进行重构和显示的功能。

图 5. 基于压缩感知的计算鬼成像装置图。(a)原理图;(b)实物图

Fig. 5. Ghost imaging system structure based on compressed sensing. (a) Principle diagram; (b) picture

下载图片 查看所有图片

实验时,物体放置于激光探测器的正前方约6 m的位置,重构图像的分辨率为128×128,确定采样次数M,将本文构造的二值测量矩阵生成M幅图像,并依次被DMD加载。激光器发射光束经过DMD调制后照射在目标物体上,经探测器接收后即可得到每次测量的光强波形图,将波峰作为观测值y_i。M次探测后即可得到观测向量y,经压缩感知算法可计算得到x,将x的范围归一化到0~255,即可得到反演的图像。为了进一步统计重构图像的PSNR和SSIM,根据激光在目标图像上的光斑范围,从相机拍摄的图像中匹配出目标图像。

图6为激光成像实验使用的目标图像。图7显示了在10%、20%和50%采样率下不同测量矩阵的计算鬼成像系统的重构结果,表3和表4为其对应的PSNR和SSIM数据。可以看到,本文构造的测量矩阵在相同采样率条件有更低的背景噪声和更丰富的细节,在较低采样率下(10%采样率)即可实现高质量的图像重构。相反,其他的测量矩阵的结果受到背景噪声较强的干扰。这一点与仿真结果基本一致。另外,本文构造的测量矩阵在10%采样率下,目标轮廓即可清晰显现,随着采样率的增加,目标细节信息逐渐出现,该特征说明系统可以根据探测目的灵活调整采样率,以节省采样时间,提高运行效率。同时也进一步验证了本文所提出的二值测量矩阵设计方法在计算鬼成像应用中的可行性和普适性。然而比较表3和表4中的PSNR和SSIM结果发现:较高的采样率并不一定对应较高的PSNR和SSIM。这是因为目标图像是相机拍摄的图像,并通过匹配算法获得最终的目标范围,该过程存在较大的误差。同时获得的目标图像与重构图像本身就存在较大的差异。

图 6. 激光成像实验目标图像。(a)Target1; (b)Target2

Fig. 6. Target images of laser imaging experiment. (a) Target1; (b) Target2

下载图片 查看所有图片

图 7. 不同采样率(SR)下的激光成像实验结果。(a)~(f)随机高斯阵的结果;(g)~(l)托普利兹矩阵的结果;(m)~(r)哈达玛矩阵的结果;(s)~(x)本文测量矩阵的结果

Fig. 7. Results of laser imaging under different sampling rates. (a)--(f) Results of random Gaussian matrix; (g)--(l) results of Toeplitz matrix; (m)--(r) results of Hadamard matrix; (s)--(x) results of proposed matrix

下载图片 查看所有图片

4 结论

结合压缩感知实际的应用情况,本文提出了一种基于深度学习的二值测量矩阵的构建方法:通过卷积来模拟图像的压缩采样过程,卷积参数在网络训练阶段自适应的学习,减少了人为设计测量矩阵的难度。然后,对设计的测量矩阵进行压缩感知成像模拟,仿真结果显示:所提测量矩阵相比其他常用测量矩阵拥有最好的图像重构效果,并且使得系统在低采样率条件下实现高质量的重构,有助于提高系统运行效率。最后搭建了激光主动照明计算鬼成像系统,验证了所构造的测量矩阵在实际应用中的可行性,也进一步说明了基于深度学习的二值测量矩阵设计方法可以满足实际的应用需求。今后的工作以提高成像效率为目标,将围绕基于深度学习的重构网络进行持续性的研究。