压缩感知在光学成像领域的应用

柯钧; 张临夏; 周群

doi:doi:10.3788/AOS202040.0111006

光学学报, 2020, 40 (1): 0111006, 网络出版: 2020-01-06

压缩感知在光学成像领域的应用下载： 5748次特邀综述

Applications of Compressive Sensing in Optical Imaging

论文大纲

柯钧 ^*张临夏周群

作者单位

北京理工大学光电学院, 北京 100081

AI 词云图 AI语音精读 AI语音超短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

早期压缩感知在光学成像领域的应用主要集中在空域压缩成像。近年来,更多的空域压缩成像采用阵列式探测器取代单元探测器采集测量值。同时,压缩成像的研究也从二维空间拓展到三维测距、高速成像、多光谱成像、关联成像和全息成像等方向。本文针对空域高分辨率压缩成像、压缩感知测距和时域高速压缩成像进行详细分析,结合空域压缩成像总结了测量矩阵设计的研究进展,讨论研究中遇到的困难以及未来可能发展的机遇,并对压缩感知在多光谱、关联成像、和全息成像中的应用研究进行了讨论。此外,本文也总结了近几年深度学习技术在各应用方向上对系统目标恢复性能的改善。

Abstract

The early application of compressive sensing in optical imaging focuses on spatial compressive imaging. In recent years, increasing compressive imaging systems have employed detector array instead of a single detector for collecting measured values. Moreover, the scope of compressive imaging expands from two-dimensional space to three-dimensional ranging, high-speed imaging, multispectral imaging, ghost imaging, and holography imaging. Herein, we analyzed recent works on high-resolution compressive imaging, compressive sensing ranging, and temporal high-speed compressive imaging with details, summarized the research progresses of measured matrix design by combining spatial compressive imaging, works on sensing matrix design in spatial compressive imaging, discussed their challenges and future development opportunities, and reviewed the applications of compressive sensing in multispectral imaging, ghost imaging, and holography imaging. Furthermore, we summarized the improvement of reconstruction performance of system targets by applying deep learning to compressive imaging.

1 引言

压缩成像作为压缩感知的一个分支,对其最早的研究可以追溯到21世纪初。2003年,亚利桑那大学(University of Arizona)的Neifeld教授等^[1]提出FSI(feature specific imaging)概念,即系统采集目标像素的线性加权值,而非目标的像素。这些线性加权值被称为目标的特征值。采用这种方式,系统获得的测量值数量远小于目标的像素数。FSI使用较少测量值以恢复目标的方法与压缩成像十分类似,但是FSI采用的测量向量不是随机向量,恢复算法也没有利用目标的稀疏特性。FSI概念缺乏有力的实验数据支持,并没有获得广泛的关注。2006年前后,压缩感知的概念首先在数学领域被提出,进而在各个领域中掀起了极大的研究热潮。压缩成像作为压缩感知的一个方向也吸引了众多学者的注意。

压缩成像与压缩感知^[2-4]概念一致,通常包含三大要素,即目标的稀疏特性、测量矩阵和恢复算法。目标的稀疏特性方面,对于较特殊的点目标,其本身在空间域是稀疏的。而大部分成像目标,其稀疏特性通常表现在某个变换域,如小波变换域^[5-6]或者曲波变换域^[7-8]。在压缩感知领域,设计测量矩阵的研究成果众多,主要是理论基础方面的探讨,也有结合具体应用的设计。本文着重结合空域高分辨率压缩成像应用,讨论了矩阵设计的研究发展。在该应用方向,矩阵设计研究成果也较多。在其他应用方向,多采用已有的测量矩阵。本文将结合具体内容进行简单总结。对于压缩成像中的测量矩阵,其设计在考虑对恢复目标影响的同时,需要考虑可实现性。压缩成像需要特殊的系统结构采集测量值^[9],这种测量值采集结构的特殊性是本文关注的主要内容。对于压缩感知的第三个要素——恢复算法,本文并未着重讨论,相关恢复算法可参考近年的综述文章^[10-12]。与本文讨论的研究问题直接相关的恢复算法也可在具体文献中找到。

在成像领域,最受关注的两个系统参数是系统的分辨率和成像速度。二者的研究是压缩成像领域持续关注的方向,也是本文讨论的主要范畴。学术界希望采用压缩成像实现现有技术无法获得的分辨率和速度,或者解决由提高分辨率和速度带来的大数据量以及数据传输带宽迅速上升的问题。

本文分析近年来压缩感知在光学成像领域的主要研究成果。第2节,首先对空域压缩成像中的矩阵设计进行分析,并对可见光和红外波段的二维空域高分辨率压缩成像进行讨论;第3节,针对压缩感知三维成像激光测距领域,探讨近几年的主要研究结果;第4节,对时域压缩成像的发展进行总结;第5节,讨论压缩感知多光谱成像、压缩感知关联成像和压缩感知全息成像;第6节,分析近几年深度学习在压缩成像领域的应用;最后,进一步地讨论并总结各部分内容。

2 二维空域高分辨率压缩成像

空域压缩成像是压缩成像发展最早的领域,其中最出名的是莱斯大学(Rice University) Kelly等^[13]提出的单像素相机(SPC)。在SPC中,目标光聚焦到空间光调制器DMD(digital micro-mirror device)上,DMD对目标图像进行强度调制,然后将调制后的图像再次聚焦到单元探测器上进行数据采集。采用SPC,可以使单元探测器实现高分辨率成像。然而,在可见光波段,因商业市场的需求以及半导体工艺的进步,探测器芯片分辨率得到快速的提高。采用压缩成像技术获得高分辨率图像的方法难以与之竞争。2015年,在压缩成像领域发展近10年时间后,学术界对压缩成像遇到的困难和机遇进行了讨论^[14]。压缩成像在非可见光波段成像^[15]和非成像领域^[16]的优势得到了肯定。在非可见光波段,由于半导体工艺的限制,阵列式探测器的分辨率的提高仍然受到限制,因而采用压缩成像方法提高分辨率有较大优势;对于非成像领域应用,例如目标识别,一方面成像仅需提供中间结果,另一方面,图像分辨率的提高对目标识别准确度的提升效果有限,因而采用压缩成像获得少量目标测量值成为一个较好的选择。需要提出的是,在2015年的讨论中,深度学习^[17-18]的研究还未被广泛引入到成像领域中。然而,技术的发展日新月异。自2012年深度学习网络在一系列国际目标识别大赛中夺冠后,采用深度学习技术进行目标识别已经成为这一领域的主要研究热点。同时,深度学习网络在压缩成像领域的目标恢复以及测量矩阵设计中逐渐形成新的研究热点。对此,本文将在第6节展开相关讨论。

由于测量矩阵是压缩感知的三个重要元素之一,在关注可见光和红外波段空域高分辨压缩成像发展之前,本文首先讨论空域压缩成像在测量矩阵设计方面的研究进展。

2.1 空域压缩成像中的测量矩阵设计

在压缩感知研究中,为了获得有效的目标恢复,测量矩阵需要满足RIP(restricted isometry property)准则^[19],即

\begin{matrix} (1 - δ_{K}) | | x | |_{2}^{2} \leq | | Hx | |_{2}^{2} \leq (1 + δ_{K}) | | x | |_{2}^{2}, (1) \end{matrix}

式中:x(N×1)为任意K稀疏的目标;H(M×N)为测量矩阵;0≤δ_K<1。对于变换域稀疏的目标,(1)式可以表示为

\begin{matrix} (1 - δ_{K}) | | θ | |_{2}^{2} \leq | | HΨθ | |_{2}^{2} \leq (1 + δ_{K}) | | θ | |_{2}^{2}, (2) \end{matrix}

式中:x=Ψθ,θ为目标在稀疏变换域的系数。本小节讨论x稀疏的情况。对于变换域稀疏的目标,重新定义测量矩阵为HΨ,本节讨论的方法和结论对θ仍然成立。

早期研究证实,满足RIP准则的矩阵包括随机高斯矩阵、随机贝努力矩阵和随机的傅里叶变换矩阵。在随机高斯矩阵和随机贝努力矩阵中,矩阵元素满足高斯和贝努力分布。对于随机傅里叶矩阵,矩阵中的行向量是从傅里叶变换矩阵中随机抽取的。

2.1.1 利用最小化相干准则的测量矩阵设计

对于压缩成像,RIP准则是测量矩阵需要满足的条件,但是直接采用RIP准则进行矩阵设计并不现实,因而采用最小化相干(minimizing mutual coherence)准则进行压缩感知矩阵设计。对于测量矩阵H,其互相干表述为

\begin{matrix} μ (H) = \max_{\begin{matrix} 1 \leq i, j \leq N \\ i \neq j \end{matrix}} \frac{| {h^{T}}_{i} h_{j} |}{|| h_{i} | | | | h_{j} ||}, (3) \end{matrix}

式中:{h_i, i=1,…,N}为H的列向量。在这类方法中,经典的算法包括以色列理工学院(Israel Institute of Technology)Elad^[20]的算法、明尼苏达大学(University of Minnesota)的Duarte-Carvajalino等^[21]讨论的Julio Martin Duarte-Carajalino和Guillermo Sapiro算法,以及电子科技大学的Xu等^[22]的算法。这些方法在假定对H的列向量进行归一化的同时,均利用μ(H)的一个特点,即μ(H)=||G| $\begin{matrix} |_{\infty, off} \end{matrix}$ = $\begin{matrix} \max_{i \neq j} \end{matrix}$ |g_ij|,其中G=H^TH,g_ij表示矩阵G中第i行第j列的元素数值,|g_ij|表示g_ij的绝对值。可以看出,μ(H)即为G的最大非对角线元素。三种经典方法均对μ(H)进行了某种近似。在Elad^[20]的矩阵设计方法中,μ(H)被近似为

\begin{matrix} μ_{t} (H) = \frac{\sum_{\begin{matrix} 1 \leq i, j \leq N \\ i \neq j \end{matrix}} T (| g_{ij} |)| g_{ij} |}{\sum_{\begin{matrix} 1 \leq i, j \leq N \\ i \neq j \end{matrix}} T (| g_{ij} |)}, (4) \end{matrix}

而

\begin{matrix} T (| g_{ij} |) = \{\begin{matrix} 1, & | g_{ij} | \geq t \\ 0, & | g_{ij} | < t \end{matrix}, (5) \end{matrix}

式中:t为预先设定的阈值。最小化μ(H)被转换为最小化μ_t(H)。Duarte-Carvajalino等^[21]讨论的算法中,并没有最小化μ(H),而是令矩阵G尽量接近单位矩阵,这就令最小化问题转换为

\begin{matrix} \min_{H} | | I - H^{T} H| |_{F}, (6) \end{matrix}

式中:I为单位矩阵;||•||_F为求F范数。这一方法的目标恢复效果并不是非常理想,因为矩阵H的列数通常远大于行数,矩阵G难以接近单位矩阵。Xu等^[22]利用μ(H)的Welch极限值进行测量矩阵设计,这一极限值定义为

\begin{matrix} μ (H) \geq \sqrt[]{\frac{N - M}{M (N - 1)}} 。 (7) \end{matrix}

矩阵设计问题就转换为

\begin{matrix} \min_{G} | | G - G_{W} | |_{F}, (8) \end{matrix}

式中:G_W为对角线元素为1的对称矩阵,其非对角线上的最大元素小于等于μ(H)的Welch极限值,或者||G_W| $\begin{matrix} |_{\infty, off} \end{matrix}$ ≤ $\begin{matrix} \sqrt[]{\frac{N - M}{M (N - 1)}} \end{matrix}$ 。如前所述,以上三种方法均采用近似的μ(H)进行矩阵设计。2018年,新加坡国立大学(National University of Singapore)的Lu、北京大学的Li以及上海交通大学的Lin^[23]合作,采用直接优化μ(H)的方法进行了测量矩阵设计。

2.1.2 其他测量矩阵设计方法

除了采用优化方法进行测量矩阵设计外,压缩感知领域还借鉴通讯编码技术构造测量矩阵,例如正交光编码(OCC)、BCH编码、离散Chirp编码、Reed-Muller编码、LDPC编码等。另外,压缩感知领域还采用有限域思想进行测量矩阵构造。部分的研究成果可在相关综述文献[ 24-25]中找到。此外,对于一些特殊的目标类型,学术界也进行了测量矩阵设计的研究^[26-27]。例如,某些K稀疏的目标,其K个非零值并非随机出现在目标像素的不同位置,而是集中在某个区域,这一特性被称为块稀疏。而对于核磁共振成像(MRI)等应用,受其物理实现的限制,其测量矩阵的定义不能完全随机,而要遵从某种变换,如傅里叶变换,因而变换中的某些参数是可设计的,所以此时的矩阵设计自由度并非MN个测量矩阵元素值,而是小于MN的一系列参数。对于这种情况的矩阵设计,东北大学(Northeastern University)的Obermeier等^[28]进行了研究。

2.1.3 新的测量矩阵设计理念

在压缩感知测量矩阵设计研究中特别需要提出的是,2017年,Simon Fraser University的Adcock和剑桥大学(University of Cambridge)的Hansen等^[29]发表了题为《Breaking the coherence barrier: A new theory for compressed sensing》的文章。在该文中,作者讨论了压缩感知的三个基本概念(稀疏性、非相关性和随机下采样)在具体应用中所遇到的困难。系统测量矩阵和目标稀疏变换矩阵之间的完全非相关,在具体应用中较为少见。而对于一些特殊问题,对目标稀疏特性的严格要求并不能保证目标的恢复,因此作者提出渐进稀疏、渐进非相关性和多层随机下采样的概念。渐进稀疏即局部维度上的目标稀疏度随目标维度的变大而变大;同理,测量矩阵和稀疏变换矩阵在某些向量空间上是相关的。但是,随着矩阵维度增大,相关系数会趋近于0。利用这两个概念,作者提出多层随机下采样,即在目标稀疏度较小的局部维度上不进行下采样,而在局部稀疏度大的维度上进行稀疏随机下采样,采用这一方法,作者获得了更好的目标恢复效果。

2.1.4 结合压缩成像系统结构的二值测量矩阵设计

需要注意的是,以上矩阵设计研究多是从数学分析角度进行,所得矩阵多为随机灰度矩阵。对于成像应用,在系统中有噪声时,随机矩阵的目标恢复效果与传统矩阵,如PCA(principal component analysis)^[30] 等相比较,并未显示出显著的优越性,特别是噪声较大时。另一方面,压缩成像系统较多采用DMD进行光强调制,而DMD对光强的调制是通过时间分配方式完成的,因而系统采用灰度测量矩阵时,数据采集时间较长。为此,本课题组与香港大学Lam教授等^[31]合作研究,着重考虑了二值测量矩阵的设计。该研究首先分析最小化恢复均方根误差(MSE)条件下的最优矩阵。通过分析得出组成最优矩阵的测量向量由PCA向量的线性组合组成,即H=A $\begin{matrix} Q_{PCA}^{T} \end{matrix}$ ,其中A(M×M)为一个可逆矩阵,M为采集数值个数,Q_PCA(N×M)的每一列为目标自相关矩阵的一个特征向量或PCA向量,N为目标分辨率或目标的像素数。换言之,最优测量向量来自于由PCA向量作为基向量构成的向量空间。因而二值测量矩阵的设计就转换为寻找距离该空间最近的二值测量向量,即求解

\begin{matrix} \begin{matrix} \min_{A} || \sqrt[]{N} A {Q^{T}}_{PCA} - sgn (\sqrt[]{N} A {Q^{T}}_{PCA}) | | \\ subject to A A^{T} = I 。 (9) \end{matrix} \end{matrix}

除了以上所述的矩阵设计方法,近年来,由于深度学习研究的快速发展,测量矩阵的设计中也出现了利用深度网络的方法。

2.2 二维空域高分辨率压缩成像的典型应用

2.2.1 分块式可见光波段压缩成像

在可见光波段,近年压缩成像逐渐从SPC向分块式压缩成像(BCI)发展^[32],分块式压缩成像有时也被称为并行压缩成像,或是以焦平面阵列(FPA)为基础的压缩成像^[33]。在SPC出现之初,学术界就出现了对分块式压缩成像的讨论^[34-35]。但是,当时的研究主要从模拟实验角度出发,分块式压缩成像与数字图像压缩标准JPEG的理论模型非常近似。由于没有结合光学系统进行更深入的讨论,因而分块式压缩成像并没有受到广泛的关注。然而,经过几年的研究,SPC在高分辨率目标恢复中的问题逐渐凸显,学术界开始重新重视这一研究方向。

在SPC的数据采集过程中,系统可以采用多种光学结构,包括时间上的依次采集、分孔径的并行采集和流水线式的同时采集^[36]。三种光学结构中,由于光学结构相对简单,时间上依次采集的方式被普遍采用。但是时间上的依次采集模式会延长数据采集时间。如果定义数据的压缩比为系统采集数值个数M和目标分辨率N之比,对于高分辨率目标,即使压缩比数值M/N较小,系统仍需采集大量的数据进行目标恢复,系统的成像时间较长^[20]。另一方面,对于高分辨率图像,恢复图像的质量对数据压缩比也提出了较高要求,或者说对于高分辨率目标,采用SPC,很难采用较少的数据获得较高质量的恢复图像。因而,在近几年空域压缩成像研究中,分块式的成像系统结构越来越普遍。

1) 分块式压缩成像的系统结构和成像过程

图1为分块式压缩成像系统的结构图。采用这一结构,目标被分为多个数据块。与SPC类似,目标均通过成像物镜聚焦到空间光调制器上,然后再通过中继镜缩小并再次将调制后的图像聚焦到阵列探测器上。每一个探测器单元对应一个目标块。对目标分块后,每一个目标块包含的细节减少,可以有效减小系统数据压缩比数值,减少测量值数量。

2) 对分块式压缩成像目标恢复性能的提高

对于分块式压缩成像,存在一个明显的问题,即分块式处理带来的恢复目标块效应。为了解决这一问题,本课题组与香港大学合作,在目标恢复的过程中引入FoE(field-of-export)模型进行处理^[32,37-38]。同时,也有其他课题组采用BM3D(block matching and 3D )算法^[39-40]对恢复后的图像作进一步消除块效应的操作。

2016年,新泽西州立罗格斯特大学(Rutgers University, The State University of New Jersey)的Dumas等^[41]对分块式压缩成像系统光学镜头引入的测量值误差进行分析。在压缩成像系统中,系统的测量值模型通常表述为测量矩阵与目标向量的乘积,即Y=HX,其中Y(M×K)代表测量值,H(M×N)和X(N×K)分别代表测量矩阵和引入分块思想处理后的目标。M、N和K分别为每个目标块的测量值数量、像素个数和目标块个数。这种简单的测量值采集模型并没有考虑光学镜头在成像过程中产生的非理想点扩展函数。该课题组将镜头的点扩展函数引入到成像模型中,以三种实验室使用的镜头为例,分析了镜头引入的误差,并通过实验验证了改进的实验系统对目标恢复的效果。

图 1. 分块式/并行压缩成像系统框图^[19]

Fig. 1. Diagram of blockwise/parallel compressive imaging system^[19]

下载图片查看所有图片

另一个在空域压缩成像研究领域的趋势,是将可见光波段的分块式压缩成像拓展入双波段成像领域,即利用DMD空间光调制的特点,在DMD的两个反射方向上分别采集两个波段的测量值,从而进行目标恢复^[42]。

2.2.2 红外波段压缩成像

在红外波段,由于探测器半导体技术的限制,常用的探测器芯片分辨率仍然多为320×256或者640×512量级。为了提高分辨率,采用压缩成像方法,利用低分辨率探测器进行相关研究受到了广泛关注。目前红外波段的分块式压缩成像研究主要集中在短波红外和中波红外波段。

1) 短波红外(SWIR)分块式压缩成像

对于采用DMD的压缩成像系统,短波波段的优势在于DMD器件本身可工作于该波段,无需改造。2015年,莱斯大学(Rice University)的Ashok Veeraraghavan教授等^[33]采用DMD器件,搭建了短波红外分块式压缩成像系统,该系统被称为FPA-CS(focal plane array-based compressive sensing)系统,其结构与可见光波段的分块式系统十分类似,目标被分为16×16大小的块,系统采用64×64分辨率的探测器,可实现1024×1024分辨率的目标恢复。

2) 入射光与反射光共用一个镜头的中波红外(MWIR)分块式压缩成像

在中波波段,由于**安全应用的需要,高分辨率红外探测器一直受到限制。在技术方面,中波波段探测器均为制冷型探测器,光学部分的设计需要考虑F数匹配,因而较其他波段更难。DMD器件窗口对中波波段不透光,因而DMD器件需经改造才能用于该波段。尽管有更多的限制,由于中波波段应用的特点,采用压缩成像提高中波系统分辨率仍然是研究领域关注的一个问题。2014年Lockheed Martin公司的Mahalanobis等^[43]研发了中波波段的分块式成像系统,如图2所示。该研究中最为特别的是其光学系统的设计。虽然系统的工作原理仍然是将目标成像到DMD上,通过DMD调制后的图像再次聚焦到低分辨率探测器上,以实现测量值的采集。但是,不同于其他系统,该系统DMD前后的两部分光机并未完全独立分开,而是共用了一个镜头,这主要是利用了DMD可将光束反射入不同方向的原理。如图3所示,来自目标的光通过镜头的下半部分聚焦到DMD上,而经过DMD反射的光线经过同一镜头的上半部分,再通过一个反射镜和另一个镜头聚焦到探测器上。采用这种设计,可以减小系统尺寸,提高系统的实用性。2014年该课题组发表其研究成果时,这一成像系统的分辨率为270×480,仅为原理演示。而在2018年,该系统已可以实现1284×1024的分辨率^[44]。

图 2. MWIR分块式压缩成像系统框图^[43]

Fig. 2. Diagram of MWIR blockwsie compressive imaging system^[43]

下载图片查看所有图片

图 3. 用于DMD入射、反射的一体式光机部分^[43]

Fig. 3. Integral optical machine used for incidence and reflection of DMD^[43]

下载图片查看所有图片

2.2.3 采用空域压缩的视频压缩成像

与分块式压缩成像研究类似,将压缩成像方法用于视频图像也出现在早期的压缩成像研究中^[45-46]。早期的研究假定目标在一个很短的时间段内不动,通过单元探测器,采用压缩成像获得单帧目标的多个测量值。对于下一帧目标,系统重复上述过程,采集目标测量值恢复出原始图像。这种方法,直接将空域压缩成像应用于视频图像采集,实验获得的恢复图像效果有限。2015年,莱斯大学(Rice University)的Baraniuk教授等^[47]对上述方法进行了改进,其研究采用SPC结构,设计了数据采集所需要的测量矩阵。另外,系统与早期的视频压缩成像最主要的区别在于恢复阶段采用了两步的方法。在第一步中,采用低分辨率的恢复图像对视频中的运动矢量进行估计;在第二步中,将估计的运动矢量作为一个约束条件加入到目标的恢复过程中,从而获得较好的恢复结果。采用类似方法的还包括Mississippi State University的Fowler等^[48]。

2.3 应用中存在的主要问题及可能的解决思路

在二维空域压缩成像应用研究中,典型的成像系统结构采用了DMD进行空间光调制。由于DMD采用反射方式进行光调制,因此系统从第一个镜头到探测器的距离较传统系统更远,从而增大了系统的体积。首先该系统在使用同样口径的镜头时,会降低探测器阵列能够收集的目标能量;其次对于光调制模板,其中有相当一部分数值较小,这就进一步降低了探测器可以获得的能量。从系统设计上,这就提出了采用更大口径光机部分的要求,进而增加了光机部分的设计难度。另外,DMD的反射结构使得其前后光机部分设计更为复杂,进一步增加了设计难度。为了解决探测器获得信号照度较低的问题,一是可以通过光学部分设计进行改善,二是可以通过算法提高目标恢复的效果。已有相关研究通过目标的统计模型进行恢复^[49]。根据对相应研究成果进行的初步模拟,该方向的研究还有很大的提升空间。而另一方面,目标信号较弱是计算成像研究中普遍面临的问题,因而开展这一方向的研究对于本文其他部分的讨论也有非常重要的意义。

空域压缩成像应用面临的另一个问题是实时成像。实现实时成像需要提高测量值采集速度、目标恢复速度。如前所述,测量值的采集受空间光调制器的限制,采用DMD进行调制时,受限于DMD的翻转速度;同时也受探测器采集速度的限制,还涉及矩阵的设计。在矩阵设计方面,结合系统的约束进行测量矩阵优化设计是未来发展的方向。另外,压缩感知的主要恢复算法均采用迭代式方法。迭代式方法使恢复算法运行时间长。即使采用并行方式,迭代式算法仍然难以达到实时成像的要求。开展非迭代式算法的研究对于实时成像非常重要,而其中一个方向是采用深度网络研究目标恢复。

3 三维空域压缩成像

压缩感知在三维成像领域的应用主要是距离信息的获取。传统的测距方法包括激光测距、双目测距以及结构光测距等^[50-52]。激光测距方法又包括脉冲激光测距和相位激光测距,这两种激光测距方法均通过测量激光光束从光源到目标的飞行时间(ToF)来计算目标的距离。而双目测距、结构光测距以及Kinect^[53]使用的随机散斑等方法均利用经过成像系统产生的图像位置的偏移来获得距离信息。将压缩感知用于距离信息获取的方法主要应用于激光测距领域中。

无论是脉冲激光测距还是相位激光测距,由于系统是通过测量光束飞行时间来测距的,而光的速度是3×10⁸ m/s,这就对系统数据采集部分的精度、速度以及数据存储容量都提出了很高的要求;另一方面,激光测距均针对目标场景中的一个点实现,所以系统需要额外的扫描装置实现视场范围内的距离成像。针对激光测距系统这两方面的特殊要求,学术界采用压缩成像方法进行研究。

3.1 无需扫描的压缩感知单元探测器激光测距

3.1.1 仅恢复深度图的压缩感知脉冲激光测距

在2011年前后,先后有几个课题组提出了无扫描的压缩感知激光测距^[54-56]。原麻省理工大学的Goyal等^[54]使用DMD结合单元探测器,针对脉冲激光测距进行研究。图4为该课题组采用的系统。系统光源仍然是脉冲激光器,但是脉冲光束在照射到目标之前,首先经过空间光强调制器进行调制;目标反射后的光束由单元探测器采集,从而获得系统测量值。该系统将目标的距离离散化为L个距离数值,采用1和0二值表述目标在该距离上是否会产生回波。在视场范围内,三维目标的距离信息可表述为

\begin{matrix} [\begin{matrix} d_{1} & \dots & 0 & \dots & 0 \\ ︙ & ︙ & ︙ \\ 0 & \dots & d_{l} & \dots & 0 \\ ︙ & ︙ & ︙ \\ 0 & \dots & 0 & \dots & d_{L} \end{matrix}] [\begin{matrix} I_{11}^{1} & \dots & I_{1 N}^{1} & I_{21}^{1} & \dots & I_{2 N}^{1} & \dots & I_{N 1}^{1} & \dots & I_{NN}^{1} \\ ︙ & ︙ & ︙ & ︙ & ︙ & ︙ \\ I_{11}^{l} & \dots & I_{1 N}^{l} & I_{21}^{l} & \dots & I_{2 N}^{l} & \dots & I_{N 1}^{l} & \dots & I_{NN}^{l} \\ ︙ & ︙ & ︙ & ︙ & ︙ & ︙ \\ I_{11}^{L} & \dots & I_{1 N}^{L} & I_{21}^{L} & \dots & I_{2 N}^{L} & \dots & I_{N 1}^{L} & \dots & I_{NN}^{L} \end{matrix}] = DI, (10) \end{matrix}

式中:{d_l,l=1,…,L}为目标所在的L个距离集合; $\begin{matrix} I_{ij}^{l} \end{matrix}$ =1或0(i,j=1,…,N)表述在距离d_l处第(i,j)个像素处是否有目标回波。此外,系统假设 $\begin{matrix} \overset{L}{\sum_{l = 1}} \end{matrix} \begin{matrix} I_{ij}^{l} \end{matrix}$ =1,即目标不存在部分反射、部分透射的情况。将DMD上的模板定义为一个向量w,那么采用一个DMD模板获得的系统测量值即可表述为y=[y₁y₂ … y_L]^T=Iw,其中y_l代表系统在第l个时刻采集到的数据,这一时刻对应距离d_l。变换DMD上的模板,系统的多次测量值定义为[y₁ … y_M]=I[w₁ … w_M]或者Y=IW。采用这一测量值模型,通过恢复算法,系统可以获得估计的I矩阵,从而实现无扫描的激光测距。需要注意的是,这一系统仅对全反射目标进行讨论,而且系统仅可恢复出目标的距离信息,并不会得出目标的灰度或者反射率信息。

3.1.2 可恢复灰度图像的压缩感知脉冲激光测距

2013年,罗切斯特大学(University of Rochester)的Howland等^[57]同样采用DMD对目标的回波进行调制,但是不同于Goyal等的研究,该系统采用时间相关单光子计数(TCSPC)模组输出每个光子到达探测器的时间,并通过算法恢复出目标的深度和反射率数值。如图5所示,该系统将目标(N×N)范围内的反射率定义为x_I(N²×1),目标范围内的ToF定义为t(N²×1),每个DMD模板对应于一个测量向量w_m(N²×1)。系统利用TCSPC的输出可以同时获得目标回波的两个测量值:一是仅包括目标反射率数值的系统测量值y_I_,_m= $\begin{matrix} w_{m}^{T} \end{matrix}$ x_I,该测量值y_I_,_m可以通过计算一个激光脉冲照射所得所有回波光子数量的总和得到;第二个测量值包括目标反射率和ToF的系统测量值y_Q_,_m=C $\begin{matrix} w_{m}^{T} \end{matrix}$ (x_I·t)=C $\begin{matrix} w_{m}^{T} \end{matrix}$ x_Q,可通过将探测器所得所有ToF数值相加得到,其中C为一个常数。改变DMD上的模板即可得到系统两个测量值向量,y_I=Wx_I和y_Q=Wx_Q。由于目标在每个坐标点上的距离数值与其ToF成正比,因而使用两组测量值y_I和y_Q求得x_I和x_Q之后,将x_Q点除x_I即可得到距离数值。与其他研究不同,该系统可恢复目标的反射率信息x_I和距离信息。

图 4. 采用PIN光电二极管的压缩感知脉冲激光测距系统框图^[54]

Fig. 4. Diagram of compressive sensing pulse laser ranging system using PIN^[54]

下载图片查看所有图片

图 5. 采用TCSPC模组的压缩感知脉冲激光测距系统框图^[57]

Fig. 5. Diagram of compressive sensing pulse laser ranging system using TCSPC module^[57]

下载图片查看所有图片

3.1.3 利用门电路和空域压缩成像的三维成像系统

2012年以来,北京航空航天大学的Li等^[56,58]将门电路与空域压缩成像方法结合,获得了目标的三维图像,如图6所示。该系统将脉冲激光作为主动光源照射目标,使用DMD器件对目标回波进行调制,再通过门电路选通不同距离上的目标回波,采用单元探测器进行数据采集。采用类似研究方法的还有格拉斯哥大学(University of Glasgow)的Padgett等^[59]。

图 6. 门控压缩感知激光雷达三维成像^[56]

Fig. 6. LiDAR 3D imaging with gated compressive sensing^[56]

下载图片查看所有图片

3.1.4 压缩感知相位激光测距

以上研究均针对脉冲式的激光测距方法。脉冲式测距方法较为简单,但是测距精度不如相位式激光测距。2017年,莱斯大学的Veeraraghavan和西北大学的Cossairt等^[60]针对相位激光测距开展了压缩成像研究,如图7所示。在脉冲式激光测距中,目标的距离与测量值成正比。系统将目标的ToF值乘以0.5c(c为光速)可得到目标的距离。而在相位激光测距中,光源信号为正弦波,回波信号的相位与目标距离成正比,因而系统测量值与目标的距离不是一个线性关系,所以在压缩感知相位激光测距研究中,一个主要问题是解决这一非线性关系带来的困难。Li等^[60]的研究采用TI公司的ToF模组进行数据采集。在系统中,光源发射正弦波,部分光源分束成为参考光r(t)=b_r+a_rcos(ωt-φ),其中b_r、a_r和φ分别为参考光的偏置、强度和可控相位,φ取值为0、π/2、π、3π/2。将目标反射回探测器的信号定义为目标光m(t)=b_m+a_mcos(ωt-φ_m)。将参考光与目标光相关得到B_m(φ)。利用4个φ值获得多个B_m(φ),可求得a_m和φ_m,即

\begin{matrix} \begin{matrix} a_{m} = \sqrt[]{\frac{[B (3 π / 2) - B {(π / 2)]}^{2} + [B (π) - B {(0)]}^{2}}{2}}, (11) \\ φ_{m} = \arctan [\frac{B (3 π / 2) - B (π / 2)}{B (π) - B (0)}], (12) \end{matrix} \end{matrix}

并定义y=a_mexp(jφ_m)。

图 7. 压缩感知相位激光测距系统框图^[60]

Fig. 7. Diagram of compressive sensing phase laser ranging system^[60]

下载图片查看所有图片

为了获得系统的线性测量模型,该研究重新定义了系统测量值和目标未知量。系统假定光源发出的光可以表述为exp(jωt),光源光束遇到目标后反射,目标距离带来回波相位差exp(jφ₀),目标反射率带来幅度值变化系数a₀。假定目标对光源的反射不会产生频率上的变化,那么不同目标距离将带来不同的幅度值和相位。需要注意,各个二维位置(i,j)上的目标回波信号频率不会发生变化,仍然是ω。而将exp(jωt)部分提出后,多个位置的回波可表述为 $\begin{matrix} \sum_{i, j} \end{matrix}$ a₀₍_i_,_j₎exp[j(ωt+φ₀₍_i_,_j₎)]=a'₀exp[j(ωt+φ'₀)], 其复数幅值和相位部分可以写为a'₀exp(jφ'₀)。这一信号的表述方式对于通过DMD器件进行强度加权后的信号仍然适用。这个复数同时也是ToF相机单个像素获得的测量值,即利用多个B_m(φ)求得的反射光波y=a_mexp(jφ_m)。该研究将a_mexp(jφ_m)的表述形式定义为Phasor。采用Phasor表述方式,压缩感知相位激光测距系统的测量值模型即为y=Hx或者为

\begin{matrix} [\begin{matrix} a'_{1} \exp (jφ'_{1}) \\ ︙ \\ a'_{M} \exp (jφ'_{M}) \end{matrix}] = [\begin{matrix} H_{11} & \dots & H_{1 N} \\ ︙ & ︙ \\ H_{M 1} & \dots & H_{MN} \end{matrix}] [\begin{matrix} a_{1} \exp (j φ_{1}) \\ ︙ \\ a_{N} \exp (j φ_{N}) \end{matrix}], (13) \end{matrix}

式中:M和N为ToF相机以及目标的总像素数。

3.2 采用压缩感知的低带宽、高精度激光测距

3.2.1 在时域利用压缩感知降低激光测距带宽要求

在激光测距应用中,除了需要扫描装置完成视场范围成像外,系统另一个的显著特点是回波信号的高带宽,这主要是系统采用测量光束飞行时间的方法来计算距离。为了降低系统对后端数据采集带宽的要求,蒙塔纳州立大学(Montana State University)的Babbitt等^[61]首先采用压缩感知方法开展了相关研究,如图8所示。该系统将连续的激光光束通过电光调制器(EOM),从而沿时间轴进行强度调制。系统中控制EOM的信号来自任意信号发生器(AWG),其产生的信号对应于压缩感知测量向量;调制后的信号发射到目标后产生回波,回波信号可再次通过EOM进行信号调制;然后通过低带宽探测器和数据采集设备获得测量值。采用这一方法可以大幅度降低系统对探测器及数据采集部分的带宽要求,同时也可以降低数据的存储量。但是在这一系统中,压缩感知测量向量的产生是通过EOM和AWG实现的,两者在数据带宽、设备成本、设备体积等方面较原有的脉冲激光测距系统并没有显著改善。

图 8. 压缩感知低带宽脉冲激光测距系统框图^[61]

Fig. 8. Diagram of compressive sensing low-bandwidth pulse laser ranging system^[61]

下载图片查看所有图片

3.2.2 时域超分辨全波形激光雷达

针对全波形激光雷达,我们采用时域超分辨的方法对激光测距系统的带宽降低进行研究^[62]。系统框图如图9所示,该系统中的光源脉冲脉宽较传统系统更宽,探测器的带宽更低。系统将回波信号分束并通过不同路径照射到多个探测器上,每个探测器对应的路径长度略不相同。采用这一方式,系统可以同时获得多组低测距分辨率的测量值,然后系统采用超分辨方法恢复获得原始信号。图10为系统采用两组52个测量值和三组78个测量值恢复的结果。可以看出,相较于低分辨率输出,恢复信号的分辨率得到很大提升。两组测量值的均方根误差(RMSE)分别是0.14和0.054。

图 9. 时域超分辨全波形LiDAR系统框图^[62]

Fig. 9. Diagram of temporal super-resolution full waveform LiDAR system^[62]

下载图片查看所有图片

图 10. 时域超分辨全波形激光雷达实验结果^[62]

Fig. 10. Experimental results of temporal super-resolution full waveform LiDAR^[62]

下载图片查看所有图片

需要注意,如果将非扫描式和低带宽压缩感知激光雷达相结合,那么在避免采用扫描装置的同时,可降低系统数据采集速度以及对后端设备的要求,这对于激光雷达3D成像的发展有重要的意义。

3.3 应用中存在的主要问题及可能的解决思路

三维空域压缩成像关注距离的测量,而且较多采用飞行时间测距方式。在测量飞行时间过程中,需要高带宽的探测器和数据采集装置,同时需要大容量的数据存储设备。在采用单元探测器的压缩感知激光测距研究中,并没有考虑这一方面的问题,因而采用低带宽数据采集模块的三维空域压缩成像研究在应用中会有更重要的研究价值。另一方面,采用EOM调制光源的方法需要使用复杂且价格昂贵的信号发生器。因而,寻求更有效、更简单的替代方法,例如仅在接收端采用电路调制信号的方式降低数据转换存储设备的带宽,是下一步这一研究领域需要关注的问题之一。

另一方面,非扫描式的压缩感知激光测距使用了扩展的光源光束。同样强度的光源,扩展后照射到目标上单位面积内的能量下降,回波信号强度也会下降,这一问题对于远距离目标更为明显。因而,与空域压缩成像类似,如何在低照度情况下有效恢复目标是这一领域另一个需要关注的问题。

此外,相较于二维空域压缩成像,三维压缩成像数学模型更为复杂,目前的恢复算法多借用已有的二维空域压缩算法,因而发展更为有效的算法也是需要关注的问题之一。最后,开展不同介质中的压缩感知测距研究也是一个十分有意义的方向。

4 时域压缩高速成像

时域压缩成像是近年来压缩成像领域的另一个研究热点。时域压缩成像利用运动目标在时间上的连续性,采用低速探测器可恢复高速运动目标图像。根据恢复图像的速度,这方面的研究又可以分为时域压缩高速成像和超高速成像。

4.1 时域压缩高速成像

4.1.1 时域压缩高速成像的基本原理和典型应用

在时域压缩高速成像方面,如图11(b)所示,早期的研究来自杜克大学(Duke University)的Brady教授等^[63]。时域压缩成像系统的组成部分与空域压缩成像系统非常类似。系统中的目标仍然成像到一个空间光调制器上,经过调制后的图像再次聚焦到阵列式探测器上进行测量值的采集。但是时域压缩成像和空域压缩成像在工作原理上是不同的。首先,系统利用的不是空间调制器的高空间分辨率,而是其在时间上高速的光调制特性;其次,经空间光调制器调制后的目标图像没有在空域上缩小分辨率,而是在时间域上放慢,所以系统中阵列探测器的空间分辨率与目标分辨率一致,但是其采集数据的速度低于原始运动目标。系统在每个像素位置(i,j)上,对多帧像素数值进行时域上的编码调制和压缩。在时域压缩成像中,由于目标是运动的,因此多帧像素的调制不具有重复性,因而系统的测量矩阵的稀疏度远大于空域压缩成像中采用的测量矩阵,该系统测量模型为

\begin{matrix} [y_{11} \dots y_{1 N} \dots y_{N 1} \dots y_{NN}]^{T} = [H^{1} H^{2} \dots H^{t}] [x_{11}^{1} \dots x_{NN}^{1} x_{11}^{2} \dots x_{NN}^{2} \dots x_{11}^{t} \dots x_{NN}^{t}]^{T}, (14) \end{matrix}

式中: $\begin{matrix} x_{ij}^{t} \end{matrix}$ 为第t帧第(i,j)位置上的像素; $\begin{matrix} h_{ij}^{t} \end{matrix}$ 为第t帧第(i,j)位置上的像素加权值;y_ij为第(i,j)位置上的时域压缩成像测量值;H^t=diag{ $\begin{matrix} h_{11}^{t} \end{matrix}$ , $\begin{matrix} h_{12}^{t} \end{matrix}$ ,…, $\begin{matrix} h_{NN}^{t} \end{matrix}$ }。

图 11. 空域压缩成像和时域压缩成像概念比较。(a)空域压缩成像;(b)时域压缩成像

Fig. 11. Comparison of concepts of spatial compressive imaging and temporal compressive imaging. (a) Spatial compressive imaging; (b) temporal compressive imaging

下载图片查看所有图片

在Brady等^[63]的研究中,系统采用透射式二值化固定模板,通过上下移动该模板,实现对不同目标图像的调制。采用这一调制方式的优点是系统中的目标、调制模板、和最终的探测器在同一光轴上,相较于反射式调制模板,这一系统的光机部分较简单;另外,该系统采用移动模板的方式来改变不同时刻对目标图像的调制,模板的移动通过控制位移台实现。采用这一方法,通过位移台控制信号较简单,但是这对位移台的重复位移精度提出了高要求。另一方面,由于模板的固定化,系统虽然通过移动可以对目标进行调制,但是总的可实现调制的模板数量较采用可编程空间光调制器如DMD的方法少。采用固定二值模板进行类似研究的还包括西北大学(Northwest University)的Katsaggelos教授等^[64]和中佛罗里达大学(Central Florida University)的Pang教授等^[65]。

由于固定模板的这一限制,学术界也有采用DMD进行时域压缩成像研究的,包括浙江大学的Chen教授^[66]等和本课题组^[67-68]。浙江大学的课题组采用DMD对运动目标进行时域压缩调制,在恢复方法上,使用自适应的方法进行目标恢复。本课题组在时域压缩成像研究上,主要针对近红外波段开展研究,另外,利用DMD具有两个反射方向的特点,将时域压缩成像拓展为双波段系统。图12为本课题组所得的实验结果。其中图12(a)、(b)是可见光波段的1帧测量值和恢复所得的10帧高速图像,图12(c)、(d)是近红外波段的测量值和恢复结果。系统中的目标是一个绕中心高速运动的纸质目标,由于涂料覆盖,视场内的数字在可见光波段下无法清晰成像,但是在近红外波段下数字的图像十分清楚。

图 12. 双波段时域压缩成像实验结果。(a)可见光波段下1帧测量值;(b)可见光波段下10帧恢复图像;(c)红外波段下1帧测量值;(d)红外波段下10帧恢复图像

Fig. 12. Experimental results of dual-band temporal compressive imaging. (a) 1 frame measured value in visible band; (b) 10 frame reconstructed images in visible band; (c) reconstructed images of 1 frame in IR band; (d) 10 frame reconstructed images in IR band

下载图片查看所有图片

4.1.2 时域压缩高速成像的恢复算法

在时域压缩成像研究中,由于测量矩阵的不同,将空域压缩成像研究中使用的恢复算法用于时域压缩,效果不一定理想,因而对时域压缩成像恢复算法的讨论也是该领域的一个研究重点。目前,较理想的几种恢复算法包括全变分TV算法、利用高斯混合模型(GMM)的算法^[68-69]以及WNNM(weighted nuclear norm minimization)算法^[70]。全变分TV算法利用恢复目标在二维或者三维空间上的连续性,将全变分或者目标的梯度函数作为恢复问题中的一个约束条件。对于图像或者视频数据,TV算法在多种恢复算法中一直是一种恢复效果较好的算法。GMM算法假定每个目标像素位置上的数值满足GMM模型,即假定该数值满足一个概率分布,其概率密度函数为几个高斯函数的加权求和值,几个高斯函数的均值可以看作该像素点在几个时刻会出现的数值。可以看出,GMM模型在时域压缩成像应用中有时效性,即该模型对某一时间段内的像素数值有效,这也是在线GMM模型^[68-69]数据恢复效果优于离线GMM 模型^[68-69]的原因。WNNM算法在优化问题的定义上,与TV算法以及采用L₁模进行约束的算法有类似性。优化问题都可以定义为

\begin{matrix} \underset{^}{x} = \underset{x}{argmin} | | y - Hx | |_{2}^{2} + λ | | f (x) | |_{*}, (15) \end{matrix}

式中:||f(x)||_*为约束项。对于TV算法,||f(x)||_*是恢复后多帧高速图像的二维或者三维TV模。WNNM算法把恢复所得的多帧图像分为多个部分重叠的二维像素块,定义为z_i∈R^d,然后在z_i周围L×L×K的三维恢复图像区域内寻找M个近似的像素块{z_i_,1,z_i_,2,…,z_i_,_M}。将这M个z_i_,_j作为列向量,可以定义一个矩阵Z_i。由于Z_i中的列非常相似,因此Z_i的秩很小。WNNM算法利用这一特点加入优化问题的约束项,||f(x)||_*= $\begin{matrix} \sum_{i} \end{matrix}$ ||Z_i||_w_,_*,其中||Z_i||_w_,_* 是矩阵的加权Nuclear模(weighted nuclear norm),定义为

\begin{matrix} || Z_{i} | |_{w, *} = \overset{\min {d, M}}{\sum_{j = 1}} w_{j} σ_{j}, (16) \end{matrix}

式中:w_j为大于等于0的权值;σ_j为矩阵的第j个奇异值。

4.1.3 采用像素级电信号调制的时域压缩高速成像

以上对时域压缩成像的研究,均采用额外的空间光强度调制器对目标进行调制。学术界还从探测器芯片设计的角度对时域压缩成像展开了研究^[71]。这种方法通过控制每个像素的曝光时间实现片上对数据采集的强度调制,可减少光学系统的设计难度,避免了使用额外的光强度调制器,系统紧凑。但是,该系统工作依靠芯片设计及加工,目前现有的实验验证系统分辨率多为几百个像素大小。

4.2 千亿帧每秒的时域压缩超高速成像

在时域压缩成像的研究领域,需要特别提出的是采用DMD的超高速相机研究。高速相机的需求由来已久,对生物习性的观察、**弹药的实验监控、工业生产应用(如汽车碰撞过程研究)、艺术作品的展现以及对基础科学问题的探索,都需要远高于人眼能观测到的速度。一般高速相机的速度从数百帧到数万帧不等^[72-74],但是对于基础科学问题,例如采集获得光传播或者基础粒子传播的图像等,每秒几万帧的成像速度远远不够。本小节讨论的超高速成像,学术界有时也将其相关研究称为瞬态光学研究。传统的和成熟的超高速成像多采用高速拖动的胶片或者高速转镜,将图像投影到不同胶片或者探测器上实现。2014年,圣路易斯华盛顿大学Wang教授等^[75]首次将压缩感知的方法应用到超高速成像中。图13为该研究所采用的实验系统。在该系统中,目标图像成像到DMD上,经过调制的目标图像通过分束器反射并聚焦成像到Streak相机的入口光电阴极上;Streak相机采用高强度偏转电压使不同时刻光阴极上产生的电子束沿着电压方向偏移,多帧偏移后的电子束被CCD采集;最终系统通过恢复算法获得原始图像。在该系统中,Streak相机对电子束的偏移速度为1.32×10⁹ mm/s,系统使用的CCD相机等效像素大小为6.54×2=13.08 μm,系统恢复所得帧速为1.01×10¹¹ frame/s。如果这一系统不采用压缩成像的方法,即DMD仅将图像反射到Streak相机上, 那么系统成像速度为2.64×10⁸ frame/s。可以看出,采用压缩感知方法可以显著提高系统的成像速度。需要特别提出,对于这一系统,系统的曝光时间并不由CCD控制,该CCD的曝光时间为微秒量级。系统的曝光控制依靠的是系统中的皮秒激光光源,这也是传统超高速相机经常使用的一种曝光控制方法。另外,由于系统使用Streak相机对不同时刻的图像进行平移,因此系统中DMD上的模板并没有变化。在相关领域开展工作的还包括伊利诺伊州大学香槟分校(UIUC-University of Illinois Urbana-Champaign)的Gao教授等^[76]。

图 13. 超高速压缩成像相机^[75]

Fig. 13. Ultra-fast camera using compressive imaging^[75]

下载图片查看所有图片

4.3 关于时域压缩成像的进一步讨论

与二维空域压缩成像研究类似,在可见光波段,商业化的高速成像芯片已较为成熟。而在非可见光波段,高速芯片技术仍有待发展,因此时域压缩成像的应用更有价值。另一方面,在非可见光波段,高分辨率探测器技术还需继续发展,而在某些非可见光波段,仍然只有单元探测器可供选择。因此,结合时域和空域压缩成像,在非可见光波段采用低速、低分辨率探测器获得高速、高分辨率目标图像对于成像应用有重要的意义。此外,对于运动目标,时域压缩成像用于解决探测器成像速度问题,而空域压缩成像用于解决空间分辨率问题;对于同一目标,其空间分辨率和时间分辨率应是同时考虑的两个因素。因此,将时域压缩与空域压缩相结合也是压缩成像理论未来发展的需求。

5 采用压缩感知技术的多光谱成像、关联成像和全息成像

在空域和时域压缩成像研究之外,应用压缩感知技术的光学成像或光学探测领域还包括前文提到的MRI领域。已采用光学系统验证的主要还包括多光谱成像、关联成像和全息成像等。在本节分别对这三个领域近年的发展进行讨论。

5.1 采用压缩感知技术的多光谱成像

在多光谱成像中,图像数据是三维的,如图14所示。色散元件一次仅能采集多个谱段内一个空间维度上的数据,系统需要扫描装置获得二维空间上的图像。采用压缩感知技术的多光谱成像,可以将三维的数据压缩至二维,进行数据采集。2008年,杜克大学(Duke University)的Brady等^[77-78]首先开展了相关研究。图14为采用压缩感知技术的多光谱成像(CASSI)系统。在该系统中,目标首先成像到一个编码孔径上;然后利用空域编码的多光谱图像,经过色散原件,根据波长和相对初始位置,每个谱段上的图像沿色散方向发生不一样的平移;最终多个谱段的图像叠加被一个阵列探测器采集。对于一个空间分辨率为N×N、有L个谱段的目标, CASSI系统采集到N×(N+L-1)的数据。忽略一些边界点,CASSI的一次测量数据大小为N×N。对于光谱信息较丰富的目标, 一次测量值不足以获得好的目标恢复效果,因此,CASSI系统使用可移动的二值编码孔径获得目标的多次测量值。这一数据采集的过程可以描述为y=Hx的形式。采用多种压缩感知恢复算法,如OMP(orthogonal matching pursuit)、CoSaMP(compressive sampling matching pursuit)、SpaRSA(sparse reconstruction via separable approximation)、TwIST(two-step iterative shrinkage/thresholding algorithm)、GPSR(gradient projections for sparse reconstruction)等,可以获得目标恢复^[77]。

图 14. CASSI系统。 (a) CASSI系统结构图;(b) CASSI系统数据采集示意图^[77]

Fig. 14. CASSI system. (a) CASSI system diagram; (b) CASSI data collection diagram^[77]

下载图片查看所有图片

在压缩感知多光谱成像领域,另一个开展相关研究的是达拉维尔大学(University of Delaware)的Arce教授课题组^[79]。2015年该课题组提出了SSCSI(spatial-spectral encoded compressive hyperspectral imaging) 结构的压缩感知多光谱成像,如图15所示。在该结构中,目标首先通过色散原件在横轴方向上将不同谱段的图像进行平移;然后采用彩色滤光阵列对平移后的图像进行谱域上的频率调制。采用这一方法无需移动任何系统元件,可以一次实现压缩感知多光谱成像的测量值采集。2017年,该课题组还研究了旋转极坐标下编码孔径的压缩感知多光谱成像^[80]。此外,该课题组在多光谱压缩成像领域开展的另一个研究是测量矩阵设计^[81-85]。2016年,针对CASSI系统,通过分析如何大概率满足RIP准则,该课题组设计了空时域蓝噪声编码孔径^[85]。随后在2017年,该课题组通过直接最小化测量矩阵列向量间的相关性进行了编码孔径设计^[83]。2019年,该课题组又将其编码孔径设计策略用于X射线层析成像中^[82]。

图 15. SSCSI系统结构图^[79]

Fig. 15. SSCSI system diagram^[79]

下载图片查看所有图片

除了杜克大学和达拉维尔大学的研究,2016年清华大学的Bian等^[86]采用DMD对光源进行空间强度调制,然后将调制后的照明光源经过光栅产生色散,再通过一个透光率变化的旋转衰减片,对不同谱段上的光源进行不同周期的强度调制,从而实现基于单元探测器的空谱域压缩成像。在具体应用中,休斯顿大学(University of Houston)的Arnob等^[87]采用DMD和线阵探测器,针对短波红外波段,实现了压缩感知高光谱成像。

图 16. 伪热光源关联成像系统框图^[89]

Fig. 16. Diagram of ghost-imaging system of pseudothermal source^[89]

下载图片查看所有图片

5.2 采用压缩感知技术的关联成像

在过去20多年间,关联成像或者鬼成像(GI)一直是量子光学领域的一个研究热点^[88]。早期的关联成像研究将光源分为两束:一束穿透目标,然后采用一个单元探测器进行信号采集,所得信号不包含目标的二维空间信息;另一束被二维探测器阵列或者一个可以扫描的针孔探测器采集,获得光源信号在二维空间上的分布。而目标图像的恢复通过两束信号的相关所得。初始的关联成像研究采用纠缠的光子对实现,而随后的研究验证了采用伪热光源也可以有效地实现关联成像^[89]。以通过旋转磨砂玻璃的连续激光光束作为伪热光源,关联成像系统框图如图16所示。系统中,光源光束可表述为零均值的高斯随机过程,其特性可以用相关函数表征。采用Gaussian-Schell模型,系统中相关器的输出值可以表述为一个常数背景项加上一个包含目标透过率的函数项^[89],即

\begin{matrix} C_{1} (ρ_{1}) = K \int_{A} d ρexp (- | ρ_{1} - ρ |^{2} / ρ_{L}) \times | T (ρ) |^{2}, (17) \end{matrix}

式中:ρ为二维坐标;K为一个常数;ρ_L为光束传播L后的相关半径;T(ρ)为目标的透过率。需要注意的是,经过分光片的两束光信号相同,参考光束在自由空间传播后被针孔探测器探测。如果已知光源光束的相关函数,那么可以通过计算的方式获得参考光束在探测器上的统计分布,从而降低系统的复杂度。

麻省理工大学(Massachusetts Institute of Technology)的Shapiro^[89]和以色列魏茨曼科技大学(The Weizmann Institute of Science)的Katz等^[90]分别提出计算关联成像和压缩感知关联成像。图17为计算关联成像的系统框图,该系统使用相位空间光调制器对激光光源进行调制,并采用数值计算的方式取代了图16中的参考光束探测臂,该系统仅使用一个单元探测器即可获得目标图像。而Katz等^[90-92]的研究将目标的稀疏特性作为一个约束加入到目标恢复,从而大幅降低了系统成像所需的空间光调制次数。此外,芬兰坦佩雷理工大学(Tampere University of Technology)的Katkovnik等^[93]采用最大似然估计算法进行关联成像目标恢复。加州理工大学的Erkmen^[94]将计算关联成像用于遥感。瑞士查尔姆斯理工大学(Chalmers University of Technology)的Durán等^[95]研究了散射介质中的关联成像。关于计算关联成像,大量研究成果涌现。

图 17. 计算关联成像系统框图^[89]

Fig. 17. Diagram of computational ghost imaging system^[89]

下载图片查看所有图片

在关联成像研究领域,特别需要提到的是来自中国的多个课题组的研究工作。在2012~2016年,中国科学院上海光学精密机械研究所的Gong等^[96-97]将关联成像应用于激光雷达成像,并通过对目标的稀疏约束,提高了计算关联成像的成像分辨率^[98]。2014年中国科学院空间科学与应用研究中心的Yu等^[99]采用自适应方式降低了计算关联成像的数据采集和目标恢复时间。中国科学院安徽光学精密机械研究所的Shi等^[100]将光传播中的偏振分量用于关联成像,解决了目标光与参考光强度相近带来的无法成像的问题。南京邮电大学的Zhao等^[101]将关联成像用于光学加密。中国科学院上海光学精密机械研究所的Situ教授等^[102-103]将深度学习网络用于关联成像的目标恢复中。

5.3 采用压缩感知技术的全息成像

全息成像是另一个采用压缩感知技术获得性能显著提升的领域。2009年,杜克大学(Duke University)的Brady教授等^[104]首先将压缩感知恢复算法用于Gabor全息的3D目标恢复过程。如图18所示,在Gabor全息中,一束平行光照射在目标上,经过目标透射的光束和该平行光到达探测平面,形成的干涉信号被阵列探测器采集成为全息图像。如果假设目标的透射信号为η(x',y',z'),那么采用Born近似,传播距离z并数字化后的目标信号可以表述为

\begin{matrix} \begin{matrix} E_{n_{1} n_{2}} = \frac{1}{N^{2}} \sum_{l} \sum_{m_{1}} \sum_{m_{2}} [\sum_{m'_{1}} \sum_{m'_{3}} η_{m'_{1} m'_{2} l} \exp (- 2 π \frac{m_{1} m'_{1} + m_{2} m'_{2}}{N})] \exp (jkl Δ_{z} \sqrt[]{k^{2} - m_{1}^{2} Δ_{k}^{2} - m_{2}^{2} Δ_{k}^{2}}) \cdot \\ \exp (jkl Δ_{z} \sqrt[]{k^{2} - m_{1}^{2} Δ_{k}^{2} - m_{2}^{2} Δ_{k}^{2}}) =_{2 D}^{- 1} \{\sum_{l} {\tilde{η}}_{m_{1} m_{2} l} \exp (jkl Δ_{z} \sqrt[]{k^{2} - m_{1}^{2} Δ_{k}^{2} - m_{2}^{2} Δ_{k}^{2}})\} 。 (18) \end{matrix} \end{matrix}

图 18. Gabor全息的3D过程^[104]

Fig. 18. 3D process of Gabor hologram^[104]

下载图片查看所有图片

通过(18)式可以看出, $\begin{matrix} E_{n_{1} n_{2}} \end{matrix}$ 是 $\begin{matrix} η_{m'_{1} m'_{2} l} \end{matrix}$ 的线性加权求和结果,可以通过线性方程表述。将 $\begin{matrix} E_{n_{1} n_{2}} \end{matrix}$ 和 $\begin{matrix} η_{m'_{1} m'_{2} l} \end{matrix}$ 转换为两个向量 $\begin{matrix} \bar{g} \end{matrix}$ 和f,可得

\begin{matrix} \bar{g} = Hf 。 (19) \end{matrix}

在Gabor全息成像中,探测器采集的数据可以表述为

\begin{matrix} I (x, y) = | A + E (x, y) |^{2} = | A |^{2} + | E (x, y) |^{2} + A^{*} E (x, y) + A E^{*} (x, y) 。 (20) \end{matrix}

假定参考光的幅度A=1,将二次项 $\begin{matrix} {|E (x, y)|}^{2} \end{matrix}$ 定义为一个误差函数,那么可以将Gabor全息成像测量过程表述为

\begin{matrix} g = 2 Re {\bar{g}} = 2 Re {Hf} + e + n, (21) \end{matrix}

式中:n为探测器上的加性噪声。在目标恢复部分,该课题组采用TwIST算法求解

\begin{matrix} \hat{f} = \underset{f}{argmin} | | f | |_{TV} subject tog = Hf 。 (22) \end{matrix}

可以看出,杜克课题组初期的研究并没有减少系统测量值的数量,而是通过数字化的表述,以及采用压缩成像的恢复算法得到了很好的目标恢复。在随后的研究中^[105],该课题组将压缩感知用于毫米波全息成像中,对测量值进行随机采集,实现了测量值数量的压缩,所以采用压缩感知恢复算法同样能得到很好的恢复效果。延续毫米波压缩感知全息成像研究的还有清华大学的Qiao等^[106]。而杜克大学(Duke University)与华盛顿大学(University of Washington)合作,设计了超颖材料探测器阵列,将其用于毫米波压缩感知全息成像。2013年,以色列本古里安大学(Ben-Gurion University of the Negev)的Rivenson等和康涅狄格大学(University of Connecticut)的Javidi等^[107]采用类似的方法将压缩感知模型和目标恢复策略用于离轴的Fresnel全息成像中,并对部分遮挡和多视角投影全息应用进行了研究。

2015年,麻省理工大学的Chen等^[108]将Mie散射模型引入到压缩感知全息成像中,对水中气泡进行成像,讨论了气泡浓度对成像质量的影响。2017年,西北大学(Northwest University)、莱斯大学(Rice University)和波士顿大学(Boston University)合作,将时域压缩和压缩感知全息成像结合,对压缩感知全息视频进行了研究^[109]。2016年,日本千叶大学(Chiba University)将GPU用于恢复算法的加速^[110]。而加州大学洛杉矶分校(University of California, Los Angeles)将压缩感知全息技术用于显微成像领域,利用目标在小波变换域的稀疏特性,大幅降低了系统成像所需的测量值数量^[111]。2018年,清华大学的Cao教授等^[112]采用压缩感知方法对全息成像中的共轭图像影响进行了讨论。

5.4 采用压缩感知技术的多光谱成像、关联成像和全息成像的进一步讨论

压缩感知多光谱成像、关联成像和全息成像研究,相较于空域和时域压缩,在数学模型上更复杂,对实验设备的要求更高,因此在压缩感知多光谱成像研究中,实验的验证多是在可见光波段中的多个谱段上进行,而在实际应用中,更有价值的是在非可见光波段,或者跨越可见光的更宽的谱段上的应用。对于关联成像,其基本原理适用条件与远距离、低照度的工作环境非常吻合,因此在遥感或者介质中的成像会有更广泛的应用价值。全息成像的数据采集量巨大,这也是限制数字全息发展的问题之一。现有的压缩感知全息成像仍多为理论性研究,寻找其合适的应用领域,如显微成像,将会非常有价值。

6 深度学习在压缩成像中的应用

近年来深度学习在模式识别、目标检测、图像处理等领域的发展非常迅速。在压缩成像领域,深度网络对目标恢复的改善和测量矩阵的设计都产生了重要影响。压缩成像目标恢复算法包括线性和非线性算法,线性算法如维纳算子,非线性算法如经典的OMP(orthogonal matching pursuit)、TwIST(tow-step iterative Shrinkage/threshold)、TV等。采用维纳算子,测量值向量与算子矩阵相乘即可得到目标恢复结果。该方法速度快,但是没有利用目标的稀疏特性。非线性算法利用了目标的稀疏性,但是通常使用迭代方法,恢复过程耗时长,限制了非线性算法在压缩成像中的应用。深度学习网络采用多层网络结构、数量众多的节点和非线性激活函数近似复杂算法。对于目标恢复问题,网络的输入是系统测量值,网络的输出是恢复目标。网络经过训练后,参数是固定的,因而测量值传送到网络中实现目标恢复这一过程是一次性的,无迭代,所以采用深度学习网络进行目标恢复可以显著提高恢复过程的速度。同时由于非线性激活函数的使用,目标恢复过程是非线性的,而恰当的网络结构、规模和参数优化保证了较优的恢复效果。将深度网络应用于压缩成像的研究目前集中在二维空域压缩成像、时域压缩成像和关联成像研究中。

6.1 深度学习在二维空域压缩成像中的应用

在空域压缩成像领域,亚利桑那州立大学(Arizona State University)的Ashok等^[113]借鉴超分辨CNN网络(SRCNN),设计了ReconNet进行分块式压缩成像的目标恢复。在恢复网络中,目标块大小为33×33,测量值数量M分别为272、109、43、10。系统恢复算法的核心是ReconNet单元,如图19(a)所示。ReconNet单元的输入数据并不是系统测量值,而是采用全连接(FC)网络产生的一个目标块的估计。ReconNet单元包括了三层卷积层:第一层采用64个11×11的卷积核函数,通过第一层,获得33×33×64的中间输出;第二个卷积层包括32个1×1的核函数,产生33×33×32的输出;第三层是一个7×7的核函数,输出目标块的估计值。整个恢复算法采用了两级ReconNet单元。该深度网络训练过程采用了两种代价函数,一是均方根误差(MSE),二是结合GAN (generative adversarial network)概念改进的均方根误差代价函数。此外,为了克服系统恢复后产生的块效应,在第二级ReconNet单元输出上,系统又采用BM3D算法^[39-40]进一步对恢复目标进行了处理。整个系统恢复的流程如图19(b)所示。在该研究的最后,作者还使用全连接深度学习网络中的信号传播过程,模拟和表征系统光学测量值的采集过程,并通过网络参数设计实现了测量矩阵的设计。

图 19. 空域压缩成像系统采用的深度学习网络。(a) ReconNet单元结构图;(b) ReconNet流程图^[113]

Fig. 19. Deep learning network used in spatial compressive imaging system. (a) Structural diagram of ReconNet unit; (b) flow diagram for ReconNet^[113]

下载图片查看所有图片

6.2 深度学习在时域压缩成像中的应用

在时域压缩成像研究中,采用深度网络进行目标恢复的主要是西北大学(Northwestern University)的Katsaggelos教授^[114-115]课题组。该课题组采用全连接深度网络实现时域压缩成像的目标恢复。采用全连接网络而非卷积网络的主要原因是,采用较小的目标块(如8×8×16),目标的特征提取效果有限,而采用较大的目标块(如32×32×16)会造成网络的复杂度急剧上升,所以该课题组在研究中采用全连接的网络结构。隐藏层的数量设定为4层和7层。除了将深度学习网络用于目标恢复,该课题组也将深度网络用于测量矩阵的设计。相比亚利桑那州立大学的研究,该课题组对测量矩阵的设计进行了改进,针对二值矩阵进行了设计。在网络参数更新的过程中,采用sign函数对更新后的测量矩阵进行非线性处理,从而获得二值的测量向量。该sign函数为

\begin{matrix} w_{b} = \{\begin{matrix} 1, & w_{r} > 0 \\ 0, & w_{r} \leq 0 \end{matrix}, (23) \end{matrix}

式中:w_r和w_b分别为灰度和二值化后的深度网络参数。

6.3 深度学习在关联成像中的应用

在关联成像研究中,中国科学院上海光学精密机械研究所的Situ教授等^[102]采用深度网络解决了关联成像中采集次数多、采集时间长、恢复效果差的问题,他们将其称为GIDL (ghost imaging using deep learning)。GIDL方法分为两步:第一步是使用已有的关联成像方法恢复出初始的重构图像;然后将初始重构图像与真实图像放入深度网络中进行训练,使神经网络可以由输入的初始重构图像得到更优的预测图像。具体过程如图20所示。GIDL使用的神经网络是一个6层结构的网络,如图21所示,包括2个整形层、3个隐藏层和1个输出层。

图 20. 使用深度神经网络的GI流程图^[102]

Fig. 20. Flowchart of GI using deep neural networks^[102]

下载图片查看所有图片

图 21. 使用深度神经网络的GI框架图^[102]

Fig. 21. Framework of GI using deep neural networks^[102]

下载图片查看所有图片

除了GIDL网络,该课题组还研究了一种基于深度学习的端到端的计算关联成像方法^[103]。该方法使用神经网络可以直接从实验采集的测量值中重建二维图像,不需要进行初始图像恢复。对于经过准静态散射介质进行成像的情况,这种方法特别适用,因为在生成训练数据时不需要仔细地模拟介质的散射过程。该神经网络的训练过程如图22所示。随机对模板模糊处理后,系统对二维目标进行调制,然后对所有像素点求和得到一个观测值,以此来模拟调制光照射到目标后被单元探测器接收的过程。将模拟观测值和真实目标分别作为神经网络的输入、输出进行网络参数训练,训练好的网络只需输入观测值即可得到预测图像,该神经网络结构如图23所示。网络主要使用三种类型模块来连接输入和输出,即全连接层、卷积层和残差块层。网络使用两个全连接层定义输入信号之间的关联,将第二个全连接层的输出重新定义为64×64的图像,然后利用卷积神经网络(CNN)对目标图像进行重构。

图 22. 端到端深度学习鬼成像的训练过程示意图^[103]

Fig. 22. Schematic of training progress of proposed end-to-end deep learning ghost imaging^[103]

下载图片查看所有图片

图 23. 基于端到端深度学习鬼成像的图像恢复神经网络结构^[103]

Fig. 23. Neural network architecture for image restoration based on end-to-end deep learning ghost imaging^[103]

下载图片查看所有图片

6.4 深度学习在压缩成像中的进一步讨论

深度学习网络在压缩成像研究领域的应用仍然处于相对初级的阶段,深度学习网络研究遇到的问题在压缩成像领域中同样存在。首先是训练数据集的制备。通常深度网络的训练过程需要数千或上万的样本,而压缩成像实验系统采集的数据多是数十个。通过一些图像预处理的方法获得更多的样本是一种解决的方法,但是寻找能符合压缩成像系统结构及产生误差机理的模拟方法,会令样本更具有代表性和实用性。其次,深度网络改善压缩成像系统性能的原理仍然需要具体的解释,这也是深度学习网络研究领域共同的问题。对于深度学习网络,无论是否产生初始恢复图像,网络的后一部分对系统中测量矩阵的利用很少,这使网络的恢复过程独立于测量过程,但是也令网络无法学习到更多的测量矩阵知识。

7 讨论与结束语

压缩成像是压缩感知研究领域的一个分支,同时它也是计算成像领域的一部分。采用压缩感知技术,系统采集较少的测量值,可获得原始信号更多的信息。而对于计算成像,在系统设计过程中将光学成像与数据处理相结合,并将其作为一个整体综合考虑,从而可以突破传统成像系统在某一方面的局限,例如系统的景深、分辨率等。在原理方法上,压缩感知和计算成像突破了现有技术的限制,对于科学技术的长远发展大有益处。此外,计算机的运算能力飞速发展,而压缩成像或者计算成像的系统成像性能的提高更多地倾向于后端的数据处理,这就可以有效地借助计算机的运算能力,获得更好的系统性能,这是压缩成像研究发展的优势。

但是,压缩成像属于多领域的交叉学科,既需要光学成像领域技术,也需要数据处理、优化等信息领域的知识,因此,其应用发展常需要多领域学者或技术人员的合作,新技术人员的培养时间也更长。组建这样跨领域的团队并高效运作,其本身也是一种挑战,而这种挑战对其工业应用发展的影响就更为明显。

此外,在压缩成像或者计算成像中,新方法和新技术的应用还有其他困难。首先,系统的性能对系统模型的准确度有很高的依赖,这直接体现在压缩成像研究的模拟实验和光学实验的差距中;其次,在空域、时域和谱域压缩成像中,普遍存在较复杂的光学部分设计、系统校正等问题,因此如何简化光学部分、降低校正难度或者寻找有效的校正方法,对提升目标恢复效果,进而推动相应应用方向的发展有重要的意义。另一方面,压缩成像面临着其他技术发展的竞争。在可见光波段,成像探测器阵列在工业应用和日常消费品如手机中有着广泛应用,在批量化生产的推动下,其价格和技术发展速度都令压缩成像难以与其竞争。而在红外波段,国内外都出现了高分辨率的探测器。2019年8月在北京举办的中国光电展上,高德红外展示了自主生产的1280×1024中波红外相机,北京凌云也表示拥有了自主的同样分辨率的中波红外相机;在长波红外波段,大立科技宣布了其生产的1280×1024长波红外相机;在短波红外波段,芯片技术也在迅速发展,未来几年内,红外芯片的分辨率有望达到2048×2048。尽管高分辨率红外相机的造价仍然十分昂贵,但是在总的趋势上,在红外波段,由于高分辨率探测器技术的发展,采用DMD的压缩成像技术的优势在慢慢消失,这主要是因为探测器分辨率与DMD器件分辨率之间的差距在缩小,而采用DMD的分块式压缩成像系统的分辨率受限于DMD的分辨率。值得庆幸的是,分块式压缩成像方法仍然可以在现有的探测器分辨率基础上用于获得更高分辨率的图像。2017年,亚利桑那大学(University of Arizona)的Neifeld和Lockheed Martin公司的Mahalanobis等^[116]合作,使用透射式模板代替DMD开展分块式压缩成像研究。除了二维空域压缩成像,技术发展带来的竞争同样存在于时域压缩成像、多光谱压缩成像等领域。

从另一个角度来看,对于更高分辨率成像系统的需求是永远存在的。而高分辨率图像的采集势必会带来大量数据的传输和处理,如何减少数据采集量和数据传输量也是采用压缩成像进行高分辨率成像研究的初衷。对于采集数据量极大的领域,如可用于三维显示的光场成像,采用压缩成像方法可以有效地降低采集数据量。同时,对于高速成像,大量数据的产生势必会限制其空间分辨率的提高,而目前红外波段相机的速度不高,采用压缩成像方法提高相机的帧速是切实可行的方法。对于其他没有阵列探测器或者探测器分辨率不高的领域,如太赫兹(THz)、GHz、X-ray波段或者是激光测距领域,采用压缩成像方法提高系统空间分辨率具有重要的研究价值。

另一方面,在采用压缩感知的光学成像应用中,微弱信号或者不同介质中的成像研究还不够丰富。对于远距离目标、被动成像或者高速成像,信号强度随着距离的增加、自然光源的减弱或者曝光时间的减少而减少。信号的输出模型不再能够表达为简单的乘加组合,需要更为复杂的模型表述。而通过不同介质,如生物组织、雨、水、烟、雾等,信号会发生显著变化,如何在这些介质中有效地获得目标信号,进而对目标进行恢复,是未来压缩成像向应用继续发展的方向之一。另外,关于测量矩阵设计和恢复算法的结合应用的研究鲜有报道,开展相关方向的研究将有力地推动压缩感知在光学成像领域中的应用。

此外,特别需要提出的是压缩成像在多个域的同时应用。在现有的商用成像系统中,就存在多个相机的组合,例如采用可见光相机和多光谱仪结合的方式获得目标多谱段的信息,或者在手机上结合可见光和红外相机同时获得可见光和红外图像。这些商用系统一般直接将多个相机集合,每个相机单独采集图像,然后进行处理。而多个域的压缩成像或者多模压缩成像则采用一到两个探测器结合,进而设计光学系统,可同时获得多个域的测量值。在多光谱压缩成像研究中,就出现了将谱域压缩成像与时域压缩成像以及空域压缩成像相结合的研究^[117]。另外,也有研究在时域和距离方面同时采用压缩感知方法提高系统分辨率^[118-119]。本课题组也致力于将时域压缩成像与空域压缩成像相结合,提高系统在时空域的分辨率。

最后,压缩成像研究涉及领域广泛,与多个研究领域互相交叉,在光谱成像、生物医学成像以及其他光电探测领域都有深入发展的前景。随着新方法、新工具的出现,压缩成像的恢复图像效果及成像速度会进一步改善,为减缓数据采集量的增长、减少数据冗余度提供一种有效的解决思路和方法。

参考文献

[1] Neifeld M A, Shankar P. Feature-specific imaging[J]. Applied Optics, 2003, 42(17): 3379-3389.

[2] Donoho D L. Compressed sensing[J]. IEEE Transactions on Information Theory, 2006, 52(4): 1289-1306.

[3] Baraniuk R G. Compressive sensing [lecture notes][J]. IEEE Signal Processing Magazine, 2007, 24(4): 118-121.

[4] Kutyniok G. Compressed sensing: theory and applications[J]. Corr, 2012, 52(4): 1289-1306.

[5] Antonini M, Barlaud M, Mathieu P, et al. Image coding using wavelet transform[J]. IEEE Transactions on Image Processing, 1992, 1(2): 205-220.

[6] Daubechies I. The wavelet transform, time-frequency localization and signal analysis[J]. IEEE Transactions on Information Theory, 1990, 36(5): 961-1005.

[7] Starck J L, Candès E J, Donoho D L. The curvelet transform for image denoising[J]. IEEE Transactions on Image Processing, 2002, 11(6): 670-684.

[8] Candès E, Demanet L, Donoho D, et al. Fast discrete curvelet transforms[J]. Multiscale Modeling & Simulation, 2006, 5(3): 861-899.

[9] SternA. Optical compressive imaging[M]. Boca Raton: CRC Press, 2016.

[10] Marques E C, Maciel N, Naviner L, et al. A review of sparse recovery algorithms[J]. IEEE Access, 2018, 7: 1300-1322.

[11] DraganicA, OrovicI, Stankovic S. On some common compressive sensing recovery algorithms and applications-reviewpaper[J/OL]. ( 2017-04-21)[2019-09-08]. top/abs/1705. 05216. https://arxiv.xilesou.

[12] Vaswani N, Zhan J C. Recursive recovery of sparse signal sequences from compressive measurements: a review[J]. IEEE Transactions on Signal Processing, 2016, 64(13): 3523-3549.

[13] Duarte M F, Davenport M A, Takhar D, et al. Single-pixel imaging via compressive sampling[J]. IEEE Signal Processing Magazine, 2008, 25(2): 83-91.

[14] Gehm M E, Brady D J. Compressive sensing in the EO/IR[J]. Applied Optics, 2015, 54(8): C14-C22.

[15] Gerrits T, Lum D J, Verma V, et al. Short-wave infrared compressive imaging of single photons[J]. Optics Express, 2018, 26(12): 15519-15527.

[16] Ke J, Ashok A, Neifeld M A. Block-wise motion detection using compressive imaging system[J]. Optics Communications, 2011, 284(5): 1170-1180.

[17] GoodfellowI, BengioY, CourvilleA. Deep learning[M]. USA: MIT Press, 2016.

[18] LeCun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436-444.

[19] Candès E J. The restricted isometry property and its implications for compressed sensing[J]. Comptes Rendus Mathematique, 2008, 346(9/10): 589-592.

[20] Elad M. Optimized projections for compressed sensing[J]. IEEE Transactions on Signal Processing, 2007, 55(12): 5695-5702.

[21] Duarte-Carvajalino J M, Sapiro G. Learning to sense sparse signals: simultaneous sensing matrix and sparsifying dictionary optimization[J]. IEEE Transactions on Image Processing, 2009, 18(7): 1395-1408.

[22] Xu J P, Pi Y M, Cao Z J. Optimized projection matrix for compressive sensing[J]. EURASIP Journal on Advances in Signal Processing, 2010, 2010: 560349.

[23] Lu C, Li H, Lin Z. Optimized projections for compressed sensing via direct mutual coherence minimization[J]. Signal Processing, 2018, 151: 45-55.

[24] 王强, 张培林, 王怀光, 等. 压缩感知中测量矩阵构造综述[J]. 计算机应用, 2017, 37(1): 188-196.

Wang Q, Zhang P L, Wang H G, et al. Survey on construction of measurement matrices in compressive sensing[J]. Journal of Computer Applications, 2017, 37(1): 188-196.

[25] 王强, 李佳, 沈毅. 压缩感知中确定性测量矩阵构造算法综述[J]. 电子学报, 2013, 41(10): 2041-2050.

Wang Q, Li J, Shen Y. A survey on deterministic measurement matrix construction algorithms in compressive sensing[J]. Acta Electronica Sinica, 2013, 41(10): 2041-2050.

[26] Obermeier R. Martinez-Lorenzo J A. Sensing matrix design via capacity maximization for block compressive sensing applications[J]. IEEE Transactions on Computational Imaging, 2019, 5(1): 27-36.

[27] Zelnik-Manor L, Rosenblum K, Eldar Y C. Sensing matrix optimization for block-sparse decoding[J]. IEEE Transactions on Signal Processing, 2011, 59(9): 4300-4312.

[28] Obermeier R. Martinez-Lorenzo J A. Sensing matrix design via mutual coherence minimization for electromagnetic compressive imaging applications[J]. IEEE Transactions on Computational Imaging, 2017, 3(2): 217-229.

[29] Adcock B, Hansen A C, Poon C, et al. Breaking the coherence barrier: a new theory for compressed sensing[J]. Forum of Mathematics, Sigma, 2017, 5: e4.

[30] JolliffeI. Principal component analysis[M] //Lovric M. International encyclopedia of statistical science. Berlin, Heidelberg: Springer, 2011.

[31] Ke J, Lam E Y. Fast compressive measurements acquisition using optimized binary sensing matrices for low-light-level imaging[J]. Optics Express, 2016, 24(9): 9869-9887.

[32] Ke J, Lam E Y. Object reconstruction in block-based compressive imaging[J]. Optics Express, 2012, 20(20): 22102-22117.

[33] ChenH, Asif MS, Sankaranarayanan AC, et al. FPA-CS: focal plane array-based compressive imaging in short-wave infrared[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 7-12, 2015, Boston, MA, USA. New York: IEEE, 2015: 2358- 2366.

[34] MunS, Fowler JE. Block compressed sensing of images using directional transforms[C]//2009 16th IEEE international conference on image processing (ICIP), November 7-10, 2009, Cairo, Egypt. New York: IEEE, 2009: 3021- 3024.

[35] GanL. Block compressed sensing of natural images[C]//2007 15th International Conference on Digital Signal Processing, July 1-4, 2007, Cardiff, UK. New York: IEEE, 2007: 403- 406.

[36] Neifeld M A, Ke J. Optical architectures for compressive imaging[J]. Applied Optics, 2007, 46(22): 5293-5303.

[37] RothS, Black MJ. Fields of experts: a framework for learning image priors[C]//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05), June 20-25, 2005, San Diego, CA, USA. New York: IEEE, 2005: 8624117.

[38] Roth S, Black M J. Fields of experts[J]. International Journal of Computer Vision, 2009, 82(2): 205-229.

[39] DabovK, FoiA, KatkovnikV, et al. BM3D image denoising with shape-adaptive principal component analysis[C]//SPARS'09-Signal Processing with Adaptive Sparse Structured Representations, Inria Rennes-Bretagne Atlantique, April 2009, Saint Malo, France. [S.l.: s.n.], 2009.

[40] Burger HC, Schuler CJ, HarmelingS. Image denoising: can plain neural networks compete with BM3D?[C]//2012 IEEE Conference on Computer Vision and Pattern Recognition, June 16-21, 2012, Providence, RI, USA. New York: IEEE, 2012: 2392- 2399.

[41] Dumas J P, Lodhi M A, Bajwa W U, et al. Computational imaging with a highly parallel image-plane-coded architecture: challenges and solutions[J]. Optics Express, 2016, 24(6): 6145-6155.

[42] Kaylor BM, AshokA, Seger EM, et al. Dynamically programmable, dual-band computational imaging system[C]//Imaging and Applied Optics Technical Papers, June 24-28, 2012, Monterey, California, United States. Washington, D.C.: OSA, 2012: CM4B. 3.

[43] Mahalanobis A, Shilling R, Murphy R, et al. Recent results of medium wave infrared compressive sensing[J]. Applied Optics, 2014, 53(34): 8060-8070.

[44] Todd D, Sanjeev A, Judith D, et al. An overview of joint activities on computational imaging and compressive sensing systems by NATO SET-232[J]. Proceedings of SPIE, 2018, 10669: 106690H.

[45] Kang LW, Lu CS. Distributed compressive video sensing[C]//2009 IEEE International Conference on Acoustics, Speech and Signal Processing, April 19-24, 2009, Taipei, Taiwan, China. New York: IEEE, 2009: 1169- 1172.

[46] WakinM, Laska JN, Duarte MF, et al. and coding[C/OL]. [S.l.:s.n.], 2006[ 2019-09-08]. https://www.researchgate.net/publication/220043723_Compressive_Imaging_for_Video_Representation_and_Coding.

[47] Sankaranarayanan A C, Xu L N, Studer C, et al. Video compressive sensing for spatial multiplexing cameras using motion-flow models[J]. SIAM Journal on Imaging Sciences, 2015, 8(3): 1489-1518.

[48] Fowler J E, Mun S, Tramel E W. Block-based compressed sensing of images and video[J]. Foundations and Trends ^© in Signal Processing, 2010, 4(4): 297-416.

[49] Raginsky M, Willett R M, Harmany Z T, et al. Compressed sensing performance bounds under Poisson noise[J]. IEEE Transactions on Signal Processing, 2010, 58(8): 3990-4002.

[50] Amann M C, Bosch T M, Lescure M, et al. Laser ranging: a critical review of usual techniques for distance measurement[J]. Optical Engineering, 2001, 40(1): 10-19.

[51] Lucas BD, KanadeT. An iterative image registration technique with an application to stereo vision[C]//Proc 17th Intl Joint Conf on Artificial Intelligence(IJCAI) 1981, August 24-28, 1981, Vancouver, British Columbia. [S.l.: s.n.], 1981: 674- 679.

[52] Geng J. Structured-light 3D surface imaging: a tutorial[J]. Advances in Optics and Photonics, 2011, 3(2): 128-160.

[53] Han J, Shao L, Xu D, et al. Enhanced computer vision with microsoft kinect sensor: a review[J]. IEEE Transactions on Cybernetics, 2013, 43(5): 1318-1334.

[54] Kirmani A, Colaço A. Wong F N C, et al. Exploiting sparsity in time-of-flight range acquisition using a single time-resolved sensor[J]. Optics Express, 2011, 19(22): 21485-21507.

[55] Howland G A, Dixon P B, Howell J C. Photon-counting compressive sensing laser radar for 3D imaging[J]. Applied Optics, 2011, 50(31): 5917-5920.

[56] Li L, Wu L, Wang X B, et al. Gated viewing laser imaging with compressive sensing[J]. Applied Optics, 2012, 51(14): 2706-2712.

[57] Howland G A, Lum D J, Ware M R, et al. Photon counting compressive depth mapping[J]. Optics Express, 2013, 21(20): 23822-23837.

[58] Ren X M, Li L, Dang E S. Compressive sampling and gated viewing three-dimensional laser radar[J]. Journal of Physics: Conference Series, 2011, 276(1): 012142.

[59] Sun M J, Edgar M P, Gibson G M, et al. Single-pixel three-dimensional imaging with time-based depth resolution[J]. Nature Communications, 2016, 7: 12010.

[60] Li F Q, Chen H J, Pediredla A, et al. CS-ToF: high-resolution compressive time-of-flight imaging[J]. Optics Express, 2017, 25(25): 31096-31110.

[61] Babbitt W R, Barber Z W, Renner C. Compressive laser ranging[J]. Optics Letters, 2011, 36(24): 4794-4796.

[62] KeJ, Lam EY. Temporal super-resolution full waveform LiDAR[C]//Imaging and Applied Optics 2018 (3D, AO, AIO, COSI, DH, IS, LACSEA, LS&C, MATH, pcAOP), June 25-28, 2018, Orlando, Florida, United States. Washington, D.C.: OSA, 2018: CTh3C. 1.

[63] Llull P, Liao X J, Yuan X, et al. Coded aperture compressive temporal imaging[J]. Optics Express, 2013, 21(9): 10526-10545.

[64] Koller R, Schmid L, Matsuda N, et al. High spatio-temporal resolution video with compressed sensing[J]. Optics Express, 2015, 23(12): 15992-16007.

[65] Yuan X, Sun Y Y, Pang S. Compressive video sensing with side information[J]. Applied Optics, 2017, 56(10): 2697-2704.

[66] Chen Y T, Tang C Y, Xu Z H, et al. Adaptive reconstruction for coded aperture temporal compressive imaging[J]. Applied Optics, 2017, 56(17): 4940-4947.

[67] Zhou Q, Ke J, Lam E Y. Near-infrared temporal compressive imaging for video[J]. Optics Letters, 2019, 44(7): 1702-1705.

[68] ZhouQ, KeJ, Lam EY. Dual-waveband temporal compressive imaging[C]//Imaging and Applied Optics 2019 (COSI, IS, MATH, pcAOP), June 24-27, 2019, Munich, Germany. Washington, D.C.: OSA, 2019: CTu2A. 8.

[69] Yang J B, Yuan X, Liao X J, et al. Video compressive sensing using Gaussian mixture models[J]. IEEE Transactions on Image Processing, 2014, 23(11): 4863-4878.

[70] Liu Y, Yuan X, Suo J L, et al. Rank minimization for snapshot compressive imaging[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019, 41(12): 2990-3006.

[71] Zhang J, Xiong T, Tran T, et al. Compact all-CMOS spatiotemporal compressive sensing video camera with pixel-wise coded exposure[J]. Optics Express, 2016, 24(8): 9013-9024.

[72] Courtney-Pratt J S. A review of the methods of high-speed photography[J]. Reports on Progress in Physics, 1957, 20(1): 379-432.

[73] Field J E. High-speed photography[J]. Contemporary Physics, 1983, 24(5): 439-459.

[74] Liang J Y, Wang L V. Single-shot ultrafast optical imaging[J]. Optica, 2018, 5(9): 1113-1127.

[75] Gao L, Liang J Y, Li C Y, et al. Single-shot compressed ultrafast photography at one hundred billion frames per second[J]. Nature, 2014, 516(7529): 74-77.

[76] Mikami H, Gao L, Goda K. Ultrafast optical imaging technology: principles and applications of emerging methods[J]. Nanophotonics, 2016, 5(4): 497-509.

[77] Arce G R, Brady D J, Carin L, et al. Compressive coded aperture spectral imaging: an introduction[J]. IEEE Signal Processing Magazine, 2014, 31(1): 105-115.

[78] Wagadarikar A, John R, Willett R, et al. Single disperser design for coded aperture snapshot spectral imaging[J]. Applied Optics, 2008, 47(10): B44-B51.

[79] Correa C V, Arguello H, Arce G R. Snapshot colored compressive spectral imager[J]. Journal of the Optical Society of America A, 2015, 32(10): 1754-1763.

[80] Fu C, Don M L, Arce G R. Compressive spectral imaging via polar coded aperture[J]. IEEE Transactions on Computational Imaging, 2017, 3(3): 408-420.

[81] Galvis L, Lau D, Ma X, et al. Coded aperture design in compressive spectral imaging based on side information[J]. Applied Optics, 2017, 56(22): 6332-6340.

[82] Mao T Y, Cuadros A, Ma X, et al. Coded aperture optimization in X-ray tomography via sparse principal component analysis[J]. IEEE Transactions on Computational Imaging, 2019, 1.

[83] Parada-Mayorga A, Arce G R. Colored coded aperture design in compressive spectral imaging via minimum coherence[J]. IEEE Transactions on Computational Imaging, 2017, 3(2): 202-216.

[84] Arguello H, Arce G R. Rank minimization code aperture design for spectrally selective compressive imaging[J]. IEEE Transactions on Image Processing, 2012, 22(3): 941-954.

[85] Correa C V, Arguello H, Arce G R. Spatiotemporal blue noise coded aperture design for multi-shot compressive spectral imaging[J]. Journal of the Optical Society of America A, 2016, 33(12): 2312-2322.

[86] Bian L, Suo J, Situ G, et al. Multispectral imaging using a single bucket detector[J]. Scientific Reports, 2016, 6: 24752.

[87] Arnob M M P, Nguyen H, Han Z, et al. Compressed sensing hyperspectral imaging in the 0.9-2.5 μm shortwave infrared wavelength range using a digital micromirror device and InGaAs linear array detector[J]. Applied Optics, 2018, 57(18): 5019-5024.

[88] Padgett M J, Boyd R W. An introduction to ghost imaging: quantum and classical[J]. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences, 2017, 375(2099): 20160233.

[89] Shapiro J H. Computational ghost imaging[J]. Physical Review A, 2008, 78(6): 061802.

[90] Katz O, Bromberg Y, Silberberg Y. Compressive ghost imaging[J]. Applied Physics Letters, 2009, 95(13): 131110.

[91] Bromberg Y, Katz O, Silberberg Y. Ghost imaging with a single detector[J]. Physical Review A, 2009, 79(5): 053840.

[92] Erkmen B I, Shapiro J H. Ghost imaging: from quantum to classical to computational[J]. Advances in Optics and Photonics, 2010, 2(4): 405-450.

[93] Katkovnik V, Astola J. Compressive sensing computational ghost imaging[J]. Journal of the Optical Society of America A, 2012, 29(8): 1556-1567.

[94] Erkmen B I. Computational ghost imaging for remote sensing[J]. Journal of the Optical Society of America A, 2012, 29(5): 782-789.

[95] Durán V, Soldevila F, Irles E, et al. Compressive imaging in scattering media[J]. Optics Express, 2015, 23(11): 14424-14433.

[96] Gong W, Zhao C, Yu H, et al. Three-dimensional ghost imaging lidar via sparsity constraint[J]. Scientific Reports, 2016, 6: 26133.

[97] Zhao C, Gong W, Chen M, et al. Ghost imaging lidar via sparsity constraints[J]. Applied Physics Letters, 2012, 101(14): 141123.

[98] Gong W L, Han S S. High-resolution far-field ghost imaging via sparsity constraint[J]. Scientific Reports, 2015, 5: 9280.

[99] Yu W K, Li M F, Yao X R, et al. Adaptive compressive ghost imaging based on wavelet trees and sparse representation[J]. Optics Express, 2014, 22(6): 7133-7144.

[100] Shi D F, Hu S X, Wang Y J. Polarimetric ghost imaging[J]. Optics Letters, 2014, 39(5): 1231-1234.

[101] Zhao S, Wang L, Liang W, et al. High performance optical encryption based on computational ghost imaging with QR code and compressive sensing technique[J]. Optics Communications, 2015, 353: 90-95.

[102] Lyu M, Wang W, Wang H, et al. Deep-learning-based ghost imaging[J]. Scientific Reports, 2017, 7: 17865.

[103] Wang F, Wang H, Wang H C, et al. Learning from simulation: an end-to-end deep-learning approach for computational ghost imaging[J]. Optics Express, 2019, 27(18): 25560-25572.

[104] Brady D J, Choi K, Marks D L, et al. Compressive holography[J]. Optics Express, 2009, 17(15): 13040-13049.

[105] Cull C F, Wikner D A, Mait J N, et al. Millimeter-wave compressive holography[J]. Applied Optics, 2010, 49(19): E67-E82.

[106] Qiao L B, Wang Y X, Shen Z J, et al. Compressive sensing for direct millimeter-wave holographic imaging[J]. Applied Optics, 2015, 54(11): 3280-3289.

[107] Rivenson Y, Stern A, Javidi B. Overview of compressive sensing techniques applied in holography [Invited][J]. Applied Optics, 2013, 52(1): A423-A432.

[108] Chen W S, Tian L, Rehman S, et al. Empirical concentration bounds for compressive holographic bubble imaging based on a Mie scattering model[J]. Optics Express, 2015, 23(4): 4715-4725.

[109] Wang Z H, Spinoulas L, He K, et al. Compressive holographic video[J]. Optics Express, 2017, 25(1): 250-262.

[110] Endo Y, Shimobaba T, Kakue T, et al. GPU-accelerated compressive holography[J]. Optics Express, 2016, 24(8): 8437-8445.

[111] Rivenson Y, Wu Y C, Wang H D, et al. Sparsity-based multi-height phase recovery in holographic microscopy[J]. Scientific Reports, 2016, 6: 37862.

[112] Zhang W H, Cao L C, Brady D J, et al. Twin-image-free holography: a compressive sensing approach[J]. Physical Review Letters, 2018, 121(9): 093902.

[113] Lohit S, Kulkarni K, Kerviche R, et al. Convolutional neural networks for noniterative reconstruction of compressively sensed images[J]. IEEE Transactions on Computational Imaging, 2018, 4(3): 326-340.

[114] IliadisM, SpinoulasL, Katsaggelos A K. Deep Binary Mask: learning a binary mask for video compressive sensing[J/OL]. ( 2016-07-18)[2019-09-08]. top/abs/1607. 03343. https://arxiv.xilesou.

[115] Iliadis M, Spinoulas L, Katsaggelos A K. Deep fully-connected networks for video compressive sensing[J]. Digital Signal Processing, 2018, 72: 9-18.

[116] Mahalanobis A, Shilling R, Muise R, et al. High-resolution imaging using a translating coded aperture[J]. Optical Engineering, 2017, 56(8): 084106.

[117] Tsai T H, Llull P, Yuan X, et al. Spectral-temporal compressive imaging[J]. Optics Letters, 2015, 40(17): 4054-4057.

[118] Sun Y Y, Yuan X, Pang S. Compressive high-speed stereo imaging[J]. Optics Express, 2017, 25(15): 18182-18190.

[119] Zhang Z B, Liu S J, Peng J Z, et al. Simultaneous spatial, spectral, and 3D compressive imaging via efficient Fourier single-pixel measurements[J]. Optica, 2018, 5(3): 315-319.

1 引言

2 二维空域高分辨率压缩成像

2.1 空域压缩成像中的测量矩阵设计

2.2 二维空域高分辨率压缩成像的典型应用

2.3 应用中存在的主要问题及可能的解决思路

3 三维空域压缩成像

3.1 无需扫描的压缩感知单元探测器激光测距

3.2 采用压缩感知的低带宽、高精度激光测距

3.3 应用中存在的主要问题及可能的解决思路

5 采用压缩感知技术的多光谱成像、关联成像和全息成像

5.1 采用压缩感知技术的多光谱成像

5.2 采用压缩感知技术的关联成像

5.3 采用压缩感知技术的全息成像

5.4 采用压缩感知技术的多光谱成像、关联成像和全息成像的进一步讨论

6 深度学习在压缩成像中的应用

6.1 深度学习在二维空域压缩成像中的应用

柯钧, 张临夏, 周群. 压缩感知在光学成像领域的应用[J]. 光学学报, 2020, 40(1): 0111006. Jun Ke, Linxia Zhang, Qun Zhou. Applications of Compressive Sensing in Optical Imaging[J]. Acta Optica Sinica, 2020, 40(1): 0111006.

压缩感知在光学成像领域的应用 下载： 5748次特邀综述

1 引言

2 二维空域高分辨率压缩成像

2.1 空域压缩成像中的测量矩阵设计

2.2 二维空域高分辨率压缩成像的典型应用

图 1. 分块式/并行压缩成像系统框图[19]

Fig. 1. Diagram of blockwise/parallel compressive imaging system[19]

图 2. MWIR分块式压缩成像系统框图[43]

Fig. 2. Diagram of MWIR blockwsie compressive imaging system[43]

图 3. 用于DMD入射、反射的一体式光机部分[43]

Fig. 3. Integral optical machine used for incidence and reflection of DMD[43]

2.3 应用中存在的主要问题及可能的解决思路

3 三维空域压缩成像

3.1 无需扫描的压缩感知单元探测器激光测距

图 4. 采用PIN光电二极管的压缩感知脉冲激光测距系统框图[54]

Fig. 4. Diagram of compressive sensing pulse laser ranging system using PIN[54]

图 5. 采用TCSPC模组的压缩感知脉冲激光测距系统框图[57]

Fig. 5. Diagram of compressive sensing pulse laser ranging system using TCSPC module[57]

图 6. 门控压缩感知激光雷达三维成像[56]

Fig. 6. LiDAR 3D imaging with gated compressive sensing [56]

图 7. 压缩感知相位激光测距系统框图[60]

Fig. 7. Diagram of compressive sensing phase laser ranging system[60]

3.2 采用压缩感知的低带宽、高精度激光测距

图 8. 压缩感知低带宽脉冲激光测距系统框图[61]

Fig. 8. Diagram of compressive sensing low-bandwidth pulse laser ranging system[61]

图 9. 时域超分辨全波形LiDAR系统框图[62]

Fig. 9. Diagram of temporal super-resolution full waveform LiDAR system [62]

图 10. 时域超分辨全波形激光雷达实验结果[62]

Fig. 10. Experimental results of temporal super-resolution full waveform LiDAR[62]

3.3 应用中存在的主要问题及可能的解决思路

4 时域压缩高速成像

4.1 时域压缩高速成像

图 11. 空域压缩成像和时域压缩成像概念比较。(a)空域压缩成像;(b)时域压缩成像

Fig. 11. Comparison of concepts of spatial compressive imaging and temporal compressive imaging. (a) Spatial compressive imaging; (b) temporal compressive imaging

图 12. 双波段时域压缩成像实验结果。(a)可见光波段下1帧测量值;(b)可见光波段下10帧恢复图像;(c)红外波段下1帧测量值;(d)红外波段下10帧恢复图像

Fig. 12. Experimental results of dual-band temporal compressive imaging. (a) 1 frame measured value in visible band; (b) 10 frame reconstructed images in visible band; (c) reconstructed images of 1 frame in IR band; (d) 10 frame reconstructed images in IR band

4.2 千亿帧每秒的时域压缩超高速成像

图 13. 超高速压缩成像相机[75]

Fig. 13. Ultra-fast camera using compressive imaging[75]

4.3 关于时域压缩成像的进一步讨论

5 采用压缩感知技术的多光谱成像、关联成像和全息成像

5.1 采用压缩感知技术的多光谱成像

图 14. CASSI系统。 (a) CASSI系统结构图;(b) CASSI系统数据采集示意图[77]

Fig. 14. CASSI system. (a) CASSI system diagram; (b) CASSI data collection diagram[77]

图 15. SSCSI系统结构图[79]

Fig. 15. SSCSI system diagram[79]

图 16. 伪热光源关联成像系统框图[89]

Fig. 16. Diagram of ghost-imaging system of pseudothermal source[89]

5.2 采用压缩感知技术的关联成像

图 17. 计算关联成像系统框图[89]

Fig. 17. Diagram of computational ghost imaging system[89]

5.3 采用压缩感知技术的全息成像

图 18. Gabor全息的3D过程[104]

Fig. 18. 3D process of Gabor hologram[104]

5.4 采用压缩感知技术的多光谱成像、关联成像和全息成像的进一步讨论

6 深度学习在压缩成像中的应用

6.1 深度学习在二维空域压缩成像中的应用

图 19. 空域压缩成像系统采用的深度学习网络。(a) ReconNet单元结构图;(b) ReconNet流程图[113]

Fig. 19. Deep learning network used in spatial compressive imaging system. (a) Structural diagram of ReconNet unit; (b) flow diagram for ReconNet[113]

6.2 深度学习在时域压缩成像中的应用

6.3 深度学习在关联成像中的应用

图 20. 使用深度神经网络的GI流程图[102]

Fig. 20. Flowchart of GI using deep neural networks[102]

图 21. 使用深度神经网络的GI框架图[102]

Fig. 21. Framework of GI using deep neural networks[102]

图 22. 端到端深度学习鬼成像的训练过程示意图[103]

Fig. 22. Schematic of training progress of proposed end-to-end deep learning ghost imaging[103]

图 23. 基于端到端深度学习鬼成像的图像恢复神经网络结构[103]

Fig. 23. Neural network architecture for image restoration based on end-to-end deep learning ghost imaging[103]

6.4 深度学习在压缩成像中的进一步讨论

7 讨论与结束语

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

压缩感知在光学成像领域的应用下载： 5748次特邀综述

图 1. 分块式/并行压缩成像系统框图^[19]

Fig. 1. Diagram of blockwise/parallel compressive imaging system^[19]

图 2. MWIR分块式压缩成像系统框图^[43]

Fig. 2. Diagram of MWIR blockwsie compressive imaging system^[43]

图 3. 用于DMD入射、反射的一体式光机部分^[43]

Fig. 3. Integral optical machine used for incidence and reflection of DMD^[43]

图 4. 采用PIN光电二极管的压缩感知脉冲激光测距系统框图^[54]

Fig. 4. Diagram of compressive sensing pulse laser ranging system using PIN^[54]

图 5. 采用TCSPC模组的压缩感知脉冲激光测距系统框图^[57]

Fig. 5. Diagram of compressive sensing pulse laser ranging system using TCSPC module^[57]

图 6. 门控压缩感知激光雷达三维成像^[56]

Fig. 6. LiDAR 3D imaging with gated compressive sensing^[56]

图 7. 压缩感知相位激光测距系统框图^[60]

Fig. 7. Diagram of compressive sensing phase laser ranging system^[60]

图 8. 压缩感知低带宽脉冲激光测距系统框图^[61]

Fig. 8. Diagram of compressive sensing low-bandwidth pulse laser ranging system^[61]

图 9. 时域超分辨全波形LiDAR系统框图^[62]

Fig. 9. Diagram of temporal super-resolution full waveform LiDAR system^[62]

图 10. 时域超分辨全波形激光雷达实验结果^[62]

Fig. 10. Experimental results of temporal super-resolution full waveform LiDAR^[62]

图 13. 超高速压缩成像相机^[75]

Fig. 13. Ultra-fast camera using compressive imaging^[75]

图 14. CASSI系统。 (a) CASSI系统结构图;(b) CASSI系统数据采集示意图^[77]

Fig. 14. CASSI system. (a) CASSI system diagram; (b) CASSI data collection diagram^[77]

图 15. SSCSI系统结构图^[79]

Fig. 15. SSCSI system diagram^[79]

图 16. 伪热光源关联成像系统框图^[89]

Fig. 16. Diagram of ghost-imaging system of pseudothermal source^[89]

图 17. 计算关联成像系统框图^[89]

Fig. 17. Diagram of computational ghost imaging system^[89]

图 18. Gabor全息的3D过程^[104]

Fig. 18. 3D process of Gabor hologram^[104]

图 19. 空域压缩成像系统采用的深度学习网络。(a) ReconNet单元结构图;(b) ReconNet流程图^[113]

Fig. 19. Deep learning network used in spatial compressive imaging system. (a) Structural diagram of ReconNet unit; (b) flow diagram for ReconNet^[113]

图 20. 使用深度神经网络的GI流程图^[102]

Fig. 20. Flowchart of GI using deep neural networks^[102]

图 21. 使用深度神经网络的GI框架图^[102]

Fig. 21. Framework of GI using deep neural networks^[102]

图 22. 端到端深度学习鬼成像的训练过程示意图^[103]

Fig. 22. Schematic of training progress of proposed end-to-end deep learning ghost imaging^[103]

图 23. 基于端到端深度学习鬼成像的图像恢复神经网络结构^[103]

Fig. 23. Neural network architecture for image restoration based on end-to-end deep learning ghost imaging^[103]