光子计数集成成像的压缩与重构

集成成像技术作为一种重要的裸眼三维显示技术，在完整记录三维场景信息的同时，庞大的数据量给传输和存储带来了压力。为了实现图像的有效压缩和重构，根据光子计数集成成像的特点，基于分布式压缩感知理论，提出用于图像压缩与重构的方案。该方案将图像分为参考图像和非参考图像两类，对其设置不同的测量率并分别进行重构。为保证非参考图像的重构质量，提出一种联合重构算法。该算法首先对非参考图像进行分块测量，依据与参考图像之间的相关性进行图像块分类，然后结合参考图像测量值信息构建新的测量矢量，利用新的测量矢量完成初次图像重构。为了进一步提升图像重构质量，对初次重构结果进行二次残差补偿重构，获得最终重构结果。最后通过设置不同的测量率进行了大量实验，实验结果表明，所提算法在测量率为0.25时，图像重构质量可以达到30 dB，测量率为0.4时，图像质量可以达到35 dB，算法性能具有一定的优越性。

Abstract

As an important naked eyes three-dimensional display technology, integral imaging technology completely records the three-dimensional scene information while the huge amount of data puts pressure on the transmission and storage. In order to achieve effective compression and reconstruction of images, according to the characteristics of photon counting integral imaging, a scheme for image compression and reconstruction based on the distributed compressed sensing theory was proposed. In this scheme, images were divided into reference images and non-reference images, which were set with different measurement rates and reconstructed respectively. To ensure the reconstruction quality of non-reference images, a joint reconstruction algorithm was proposed. Firstly, the block measurements were performed on the non-reference images, and the image blocks classification was carried out by considering the correlation with the reference images. Then, combined the measurement information of the reference images, a new measurement vector was constructed to complete the initial image reconstruction. In order to further improve the image reconstruction quality, the image was reconstructed with secondary residual compensation to obtain the final reconstruction results. Finally, a large number of experiments were conducted by setting different measurement rates. The experimental results show that the image reconstruction quality of the proposed algorithm can reach 30 dB when the measurement rate is 0.25, and can reach 35 dB when the measurement rate is 0.4. The performance of the algorithm has certain superiority.

1 引言

集成成像技术（integral imaging，II）^[1-2]是一种重要的裸眼三维显示技术，能够完整记录并还原出三维立体场景，具有成像结构简单、稳定性高、无需辅助设备、不会造成视觉疲劳等优点^[3]。它是近年来三维显示领域的研究热点，广泛应用于目标识别和定位、深度信息检测、医疗影像、微光成像等领域，特别是Yeom等人^[4]将集成成像技术与光子计数技术结合，首次提出光子计数集成成像系统，有效提高了光子计数图像的质量。集成成像技术优势明显，但是采集的图像相似度高、数据量大，给系统的传输和存储带来了巨大的压力，因此，解决集成成像图像的压缩问题就变得尤为重要。

传统的图像压缩方法必须满足奈奎斯特采样定理，采样数据量大，且先采样后压缩的方式浪费了大量时间和存储空间。压缩感知(compressed sensing，CS)理论^[5]的提出，突破了奈奎斯特采样定理的限制，实现了信号采样与压缩的同时进行。该理论充分利用信号的稀疏性，用少量的测量数据就可以完成信号的精确重构，有效避免了资源浪费^[6-7]。然而，压缩感知理论针对的是单一信号的压缩与重构问题，当面临多信号压缩时，若依然采用单独压缩与重构的方式，会造成资源浪费，同时加大编码端的计算复杂度。因此，为了解决多信号压缩问题，研究人员在压缩感知理论的基础上提出了分布式压缩感知理论(distributed compressed sensing，DCS)^[8]，该理论利用多个信号内和信号间的相关性，对信号进行压缩和重构，提高了信号的整体重构效率，降低了信号的存储和传输成本。

自DCS提出以来，众多学者将其应用于音视频处理、图像融合、三维成像等领域，并展开了广泛研究。Thong T. Do等人^[9]将DCS理论成功地应用于视频信号，提出了分布式压缩视频框架(distributed compressed video sensing，DCVS)。它将视频序列划分为关键帧和非关键帧，前者采用传统的帧内编码技术将其传输到解码端，后者结合关键帧的信息进行基于压缩感知的测量与重构。为了提高测量效率和降低复杂度，一些学者采用了基于块的压缩测量以及平滑投影Landweber重构算法(block compressed sensing-smoothed projected landweber，BCS-SPL)^[10-11]。基于BCS-SPL，有学者提出了块分类测量方式，即在编码端对图像块进行分类判断，不同的图像块设置不同的测量率，这种方式进一步提高了测量效率，且保证了图像质量^[12]。除了应用于视频处理，DCS在其他领域也有广泛应用。王忠良等人^[13]根据高光谱数据的特点，提出了一种基于像元的分布式压缩采样模型，搭建了实现该模型的压缩采样光谱成像系统，完成了高光谱图像的有效压缩采样与重构。Deng等人^[14]根据高光谱图像的光谱相关性，提出了高光谱图像压缩自适应分组算法，提高了图像的重构效果，获得了较好的压缩效率。张娜等人^[15]设计了一种DCS距离选通三维成像方法，根据相关性构建基于联合稀疏模型的分布式压缩模型，辅助重构部分时间切片，有效解决了三维成像庞大数据量与硬件存储性能的冲突。Sumi等人^[16]将分布式压缩感知的框架应用到光场相机的多视角图像，并将交替方向乘子法应用于字典设计，高概率地同时重构多幅图像。

基于以上DCS理论在众多领域的应用，考虑到光子计数集成成像系统采集的图像序列之间相似性大，图像信息少，对压缩和重构要求高的特点，本文将DCS应用于光子计数集成成像的压缩，对图像序列进行测量和重构。本文提出一种新的适用于光子计数图像序列的压缩与重构方案，将图像序列分为参考图像和非参考图像，分别进行处理。其中参考图像设置高测量率，采用块测量与重构的方式；非参考图像设置较低测量率，提出针对低测量率下图像重构的算法。所提算法在解码端对图像块测量值完成分类，针对不同类型的图像块使用不同的矢量构建策略，保证图像的重构质量，同时进行二次残差补偿重构，进一步提高重构图像质量。

1基本原理

1.1离轴分布感知集成成像原理

集成成像系统主要有基于透镜采集和基于相机采集两种类型。本节主要介绍基于相机的离轴分布感知集成成像系统^[17]。系统原理图如图1所示，单个相机在距离物体一定位置处，沿着与光轴有一定角度的直线进行多次移动并采集图像，每次采集到的图像被称为元素图像。由图1可知，当相机的移动方向与光轴之间的夹角在 $0 \sim 90^{\circ}$ 时，系统采集到的元素图像同时具有纵向和轴向视差信息，因此，此系统可以记录比较完整的三维场景信息。由于相机每次的移动距离不大，获得的图像序列之间差异较小，相邻元素图像之间有很强的相关性。

图 1. 离轴分布感知系统

Fig. 1. Schematic of off-axis distributed sensing system

下载图片查看所有图片

1.2分布式压缩感知原理

压缩感知理论指出，当信号具有稀疏性或可以被稀疏表示时，仅依靠少量的测量值就可以高概率地恢复原始信号。设长度为 $N$ 的任意信号 $f \in R^{N \times 1}$ ，在某组正交基 $Ψ \in R^{N \times N}$ 下展开，矩阵表示形式为 $f = Ψ s$ 。然后，使用低维测量矩阵 $Φ \in R^{M \times N} (M ≪ N)$ 对信号 $f$ 进行测量，得到测量值 $y$ ，可描述为

1 $y = Φ f = Φ Ψ s$

式中： $s$ 是原始信号 $f$ 的稀疏表示形式； $y \in R^{M \times 1}$ 是测量值。式(1)将原来的 $N$ 维数据随机投影到 $M$ 维空间，则原始信号的测量率定义为 $S = M / N$ ，表示原始信号的压缩程度。测量率越低，表明数据压缩程度越高，保留的原始信息越少。

信号重构过程定义为

2 $\min_{s} {‖ s ‖}_{0} s .t . y = Φ Ψ s$

压缩感知理论处理单个信号时具有重构精度高、运算速度快的优势，但是在处理多个信号时，由于不能利用信号之间的相关性，使得它优势不再明显。因此，针对多信号处理情况，研究人员提出了分布式压缩感知理论^[6]，该理论充分利用信号内和信号间的关联性，完成多个信号的独立测量和联合重构。分布式压缩感知理论的模型如图2所示。

图 2. 分布式压缩感知理论模型

Fig. 2. Model of distributed compressed sensing theory

下载图片查看所有图片

2图像压缩与重构

本文基于分布式压缩感知理论，提出用于光子计数集成成像图像压缩与重构的框架，如图3所示。在编码端，将输入的图像序列分为固定大小的图像组(group of picture，GOP)，每个GOP中设置第一幅图像为参考图像，剩余图像为非参考图像。对于参考图像和非参考图像均进行基于块的压缩感知测量。在解码端，对参考图像测量值进行压缩感知重构，获得重构图像。对于非参考图像，为了获得高质量的重构图像，需要利用与参考图像之间的相关性进行二次重构，具体过程为：首先对非参考图像的测量值进行块分类，结合参考图像的测量值构建测量矢量完成初次图像重构，然后对初次重构结果进行分块测量，完成第二次重构，获得最终重构结果。本方案结合分布式压缩感知系统的特点，将图像序列进行区分处理，充分挖掘图像之间的相关性，既可以降低传输数据量，又能保证图像重构质量，为集成成像图像的采集和传输提供了一个新的发展方向。

图 3. 本文所提分布式压缩与重构框架

Fig. 3. Proposed distributed compression and reconstruction framework

下载图片查看所有图片

2.1图像的分块测量

对于多幅元素图像，将相邻的两幅图像设为一个图像组，即N_GOP=2。设置每个GOP中第一幅图像为参考图像，用 $f_{K}$ 表示，另一幅图像为非参考图像，用 $f_{NK}$ 表示。

参考图像 $f_{K}$ 被分为 $h$ 个 $B \times B$ 大小的不重叠的块，对每个图像块进行压缩感知测量，获得以下测量值：

3 $Y_{K} = {y_{K}^{i} | y_{K}^{i} = Φ_{B} f_{K}^{i}, i = 1,2, \dots, h}$

式中： $f_{K}^{i}$ 是 $f_{K}$ 的第 $i$ 个图像块的向量形式，大小为 $B^{2} \times 1$ ； $Φ_{B}$ 是测量矩阵，大小为 $M_{B} \times B^{2}$ ； $y_{K}^{i}$ 是第 $i$ 个图像块的测量值，大小为 $M_{B} \times 1$ 。整幅图像的测量率 $S_{K} = M_{B} / B^{2}$ 。

在图2的编码端，当 $f_{K}$ 用同一测量矩阵 $Φ_{B}$ 进行块测量时，则整幅图像的测量矩阵 $Φ$ 可以表示为

4 $Φ = [\begin{matrix} Φ_{B} & 0 & \dots & 0 \\ 0 & Φ_{B} & \dots & 0 \\ ⋮ & ⋱ & 0 \\ 0 & \dots & 0 & Φ_{B} \end{matrix}]$

那么，整幅图像的测量值 $y_{K}$ 与图像 $f_{K}$ 的关系如式（5）所示：

5 $y_{K} = Φ f_{K}$

式中 $y_{K} = {(y_{K}^{1}, y_{K}^{2}, \dots, y_{K}^{h})}^{T}$ ； $f_{K} = {(f_{K}^{1}, f_{K}^{2}, \dots, f_{K}^{h})}^{T}$ 。

非参考图像 $f_{NK}$ 同样被分为 $h$ 个 $B \times B$ 大小的块，对其进行基于块的测量得到测量值：

6 $Y_{NK} = {y_{NK}^{i} | y_{NK}^{i} = {\bar{Φ}}_{B} f_{NK}^{i}, i = 1,2, \dots, h}$

式中： $f_{NK}^{i}$ 是 $f_{NK}$ 的第 $i$ 个图像块的向量形式，大小为 $B^{2} \times 1$ ； ${\bar{Φ}}_{B}$ 是测量矩阵，大小为 ${\bar{M}}_{B} \times B^{2}$ ； $y_{NK}^{i}$ 是第 $i$ 个图像块的测量值，大小为 ${\bar{M}}_{B} \times 1$ 。非参考图像的测量率 $S_{NK} = {\bar{M}}_{B} / B^{2}$ 。为了降低传输数据量，通常设置非参考图像的测量率低于参考图像的测量率，即 $S_{NK} < S_{K}, {\bar{M}}_{B} < M_{B}$ 。

同理可得整幅非参考图像的测量值 $y_{NK}$ 与 $f_{NK}$ 的关系为

7 $y_{NK} = \bar{Φ} f_{NK}$

式中： $y_{NK} = {(y_{NK}^{1}, y_{NK}^{2}, \dots, y_{NK}^{h})}^{T}; f_{NK} = {(f_{NK}^{1}, f_{NK}^{2}, \dots, f_{NK}^{h})}^{T}; \bar{Φ} = [\begin{matrix} {\bar{Φ}}_{B} & 0 & \dots & 0 \\ 0 & {\bar{Φ}}_{B} & \dots & 0 \\ ⋮ & ⋱ & 0 \\ 0 & \dots & 0 & {\bar{Φ}}_{B} \end{matrix}]$ 。

2.2参考图像的重构

由于测量值的数量远小于原信号的长度，压缩感知图像重构面临着求解欠定方程的问题。由1.2节可知，为了能够从 $y_{K}$ 中重构出原始图像 $f_{K}$ ，选择以下形式的稀疏基 $Ψ$ ，使得 $f_{K}$ 可以被稀疏表示：

8 $f_{K} = Ψ s_{K}, Ψ = [\begin{matrix} Ψ_{B} & 0 & \dots & 0 \\ 0 & Ψ_{B} & \dots & 0 \\ ⋮ & ⋱ & 0 \\ 0 & \dots & 0 & Ψ_{B} \end{matrix}]$

式中： $s_{K}$ 是 $f_{K}$ 的稀疏表示形式； $Ψ_{B}$ 是基于块变换的 $B^{2} \times B^{2}$ 的矩阵。则参考图像的重构可以通过求解以下问题获得：

9 ${\hat{s}}_{K} = \underset{s_{K}}{\arg \min} {‖ s_{K} ‖}_{0} s .t . y_{K} = Φ Ψ s_{K}$

10 ${\hat{f}}_{K} = Ψ {\hat{s}}_{K}$

针对图像分块测量的特点，选择BCS-SPL算法^[8]求解式(9)，获得参考图像重构值。该算法复杂度低，重构速度快，通过不断迭代可以很大程度上去除图像块效应，提高图像质量。

2.3非参考图像的重构

由于非参考图像设置了较低的测量率，直接重构会导致图像质量不高，有效信息严重缺失。为了解决这个问题，本文根据集成成像系统采集的图像序列存在大量重叠信息的特点，利用图像之间的相关性，提出以下非参考图像重构算法。

2.3.1初次重构

首先根据参考图像与非参考图像的相关性大小，在解码端对非参考图像进行块分类，并按照分类结果重新构建块测量值矢量。

由2.1节可知，参考图像与非参考图像的第 $i$ 块测量值分别为 $y_{K}^{i}$ 和 $y_{NK}^{i}$ ，不同的是参考图像有 $M_{B}$ 个测量值，而非参考图像有 ${\bar{M}}_{B}$ 个测量值，且 $M_{B} > {\bar{M}}_{B}$ 。为了能对 $y_{NK}^{i}$ 进行分类，取 $y_{K}^{i}$ 的前 ${\bar{M}}_{B}$ 个测量值组成测量矢量 $y_{K, {\bar{M}}_{B}}^{i}$ ，选择以下分类准则：

11 $e = \frac{{‖ y_{K, {\bar{M}}_{B}}^{i} - y_{NK}^{i} ‖}_{2}^{2}}{{‖ y_{K, {\bar{M}}_{B}}^{i} ‖}_{2}^{2}}$

具体块分类方式为

12 $y_{NK}^{i} \in {\begin{array}{l} 基本不变块, e ⩽ T_{1} \\ 小变化块, T_{1} < e ⩽ T_{2} \\ 大变化块, e > T_{2} \end{array}$

式中： $T_{1}$ 和 $T_{2}$ 为阈值。对于不同类型的非参考图像块，采用不同的块测量矢量构建策略，具体如下：当 $y_{NK}^{i}$ 为基本不变块时，说明 $f_{K}^{i}$ 和 $f_{NK}^{i}$ 之间有很强的相关性，两区域内的图像内容基本没有变化，可以用 $f_{K}^{i}$ 的内容充当 $f_{NK}^{i}$ 的内容，即用 $y_{K}^{i}$ 中第 ${\bar{M}}_{B} + 1 \sim M_{B}$ 个测量值将 $y_{NK}^{i}$ 的 ${\bar{M}}_{B}$ 个测量值扩展到 $M_{B}$ 个，得到新的测量矢量 $y_{NK, M_{B}}^{i}$ ：

13 $y_{NK, M_{B}}^{i} = [y_{NK, {\bar{M}}_{B}}^{i}, y_{K}^{i} ({\bar{M}}_{B} + 1), \dots, y_{K}^{i} (M_{B})]$

当 $y_{NK}^{i}$ 为小变化块时，说明 $f_{K}^{i}$ 和 $f_{NK}^{i}$ 之间有一定的内容相关性，但也存在差异，针对这种情况，若是将 $y_{NK}^{i}$ 的 ${\bar{M}}_{B}$ 个测量值也扩展到 $M_{B}$ 个显然不合适，所以选择将 $y_{NK}^{i}$ 的测量值拓展到 $\frac{{\bar{M}}_{B} + M_{B}}{2}$ 个，即用 $y_{K}^{i}$ 中第 ${\bar{M}}_{B} + 1 \sim \frac{{\bar{M}}_{B} + M_{B}}{2}$ 个测量值补到 $y_{NK}^{i}$ ，得到新的测量矢量 $y_{NK, \frac{{\bar{M}}_{B} + M_{B}}{2}}^{i}$ ：

14 $y_{NK, \frac{{\bar{M}}_{B} + M_{B}}{2}}^{i} = [y_{NK, {\bar{M}}_{B}}^{i}, y_{K}^{i} ({\bar{M}}_{B} + 1), \dots, y_{K}^{i} (\frac{{\bar{M}}_{B} + M_{B}}{2})]$

当 $y_{NK}^{i}$ 为大变化块时，说明 $f_{K}^{i}$ 和 $f_{NK}^{i}$ 之间的内容相关性已经很小，直接用 ${\bar{M}}_{B}$ 测量值重构这种类型的图像块。

经过块分类和块测量矢量构建后，非参考图像块的测量值维度不再一致，无法按照参考图像的方式进行整体重构，只能对每个图像块单独进行重构，重构过程如下：

15 ${\hat{s}}_{NK}^{i} = \underset{s_{NK}^{i}}{\arg \min} {‖ s_{NK}^{i} ‖}_{0} s . t . y_{NK}^{i} = {\bar{Φ}}_{B} Ψ_{B} s_{NK}^{i}$

16 ${\hat{f}}_{NK}^{i} = Ψ_{B} {\hat{s}}_{NK}^{i}$

式中： $Ψ_{B}$ 是与参考图像相同的块稀疏基； ${\bar{Φ}}_{B}$ 是测量矩阵，针对不同类型的图像块选择不同的测量矩阵，具体为，当图像块为基本不变块时， ${\bar{Φ}}_{B}$ 取参考图像的块测量矩阵 $Φ_{B}$ ，图像块为小变化块时，取 $Φ_{B}$ 的前 $\frac{{\bar{M}}_{B} + M_{B}}{2}$ 行组成 ${\bar{Φ}}_{B}$ ，图像块为大变化块时，取 $Φ_{B}$ 的前 ${\bar{M}}_{B}$ 行组成 ${\bar{Φ}}_{B}$ 。

重构算法选择正交匹配追踪(orthogonal matching pursuit，OMP)算法^[18]完成对每个图像块的重构，然后将图像块重组成整幅图像，获得非参考图像的初次重构结果。

2.3.2二次重构

与图像的直接重构相比，初次重构通过增加块分类和块测量矢量构建的步骤可以达到提升图像质量的目的，但是对于大变化块来说，重构质量依然不理想，而且选择块独立重构方式会使重构图像产生一定程度的块效应。所以为了进一步提高图像的质量，对非参考图像进行第二次重构，算法框架如图4所示。

图 4. 非参考图像二次重构框架

Fig. 4. Secondary reconstruction framework of non-reference images

下载图片查看所有图片

首先，根据原始非参考图像 $f_{NK}$ 的测量方式，对非参考图像的初次重构结果 ${\hat{f}}_{NK,1}$ 进行相同的块测量，则整幅图像的测量值为

17 $y_{NK,2} = \bar{Φ} {\hat{f}}_{NK,1}$

接着计算两次测量值的差值 $y_{r}$ ：

18 $y_{r} = y_{NK,2} - y_{NK,1}$

利用BCS-SPL算法对 $y_{r}$ 重构得到 ${\hat{f}}_{r}$ ，那么非参考图像的二次重构结果可由式(19)获得：

19 ${\hat{f}}_{NK,2} = {\hat{f}}_{NK,1} + {\hat{f}}_{r}$

式中： ${\hat{f}}_{NK,2}$ 为非参考图像的最终重构结果。与初次重构结果相比，经过二次重构后，非参考图像的质量可以有进一步的提升，这主要是因为二次重构利用两次测量值的残差信息，保证了信号的稀疏性，且采用整体重构的方式，可以有效避免图像产生块效应。

3实验结果与分析

3.1实验设置和参数选择

本文实验图像来自基于光子计数的离轴分布感知集成成像实验平台^[19]，如图5所示。单幅元素图像获取过程如下。首先，三维场景中的目标物体反射少量的光汇聚在光学镜头后形成二维像面，多像素光子计数器(multi-pixel photon counter，MPPC)对像面进行逐点扫描获取每点的光子数值，然后，光子数值经由光纤传回电脑，利用软件程序恢复成二维光子计数图像。由于实验平台中图像采集部分不方便移动，根据探测原理，按照一定的角度和位移来移动三维物体，完成多幅元素图像的采集。

图 5. 光子计数ODIS实验平台

Fig. 5. Experimental platform of photon counting-based ODIS

下载图片查看所有图片

设置载有目标物体的一维导轨偏离相机光轴 $45^{\circ}$ ，每次移动目标物体5 mm，移动10次，依次采集到10个视角下的10幅光子计数图像。将采集到的图像相邻两张设置为一个图像组，共分为5个图像组。每个图像组中，第1张图像设为参考图像，第2张图像设为非参考图像，并用 $GOP_i (i = 1,2,3,4,5)$ 表示第 $i$ 个图像组的非参考图像。结果如图6所示，第1行表示参考图像，第2行表示非参考图像，第1列至第5列分别表示图像组1至图像组5。从图6中可以看出，每个图像组中参考图像和非参考图像的场景位置不同。

图 6. 实验图像

Fig. 6. Experimental images

下载图片查看所有图片

为了对所提方案的性能进行评估，本节进行一系列实验，选择OMP(orthogonal matching pursuit)算法、Joint-OMP算法^[20]、BCS-SPL算法作为对比算法重构非参考图像，其中，OMP算法和BCS-SPL算法是仅依靠非参考图像测量值重构图像的独立重构算法，Joint-OMP算法和所提算法是结合参考图像测量值信息的联合重构算法。选择PSNR（峰值信噪比）和SSIM（结构相似性）作为图像重构质量的客观评价指标。参考图像测量率固定为0.7，非参考图像测量率在 $0.2 \sim 0.5$ 之间。块大小 $B$ 为16像素^[21]，阈值 $T_{1} = 0.03$ ， $T_{2} = 0.12$ ，测量矩阵选择高斯随机正交矩阵，稀疏基选择离散余弦变换矩阵。所有的仿真实验在配置为Windows 10、AMD R5 CPU、2.3 GHz、16 G RAM的电脑上进行。MATLAB版本为R2017a。

3.2实验结果

首先，验证分组设置测量率对传输数据量的减少作用。由上节内容可知，集成成像系统共采集到10幅图像，分为5个图像组，即5张参考图像和5张非参考图像，每张图像的尺寸为 $320 \times 320$ 像素， $8 bit$ ，则10张图像的原始数据量为 $320 \times 320 \times 8 \times 10 = 1000 kB$ 。当设置参考图像的测量率为0.7，非参考图像的测量率为0.3时，压缩后的图像总数据量为 $0.7 \times (320 \times 320 \times 8) \times 5 + 0.3 \times (320 \times 320 \times 8) \times 5 = 500 kB$ 。由此可见，在系统采集到少量图像，且分辨率不高的情况下，采用分别设置测量率的方式就可以减少一半的数据量，而对于那些采集海量图像的大型集成成像系统而言，此种测量率设置方式对数据传输量的减少效果是更明显的。

为了验证所提算法的图像重构性能，将参考图像和非参考图像的测量率分别设置为0.7和0.3。利用OMP算法、Joint-OMP算法、BCS-SPL算法和所提算法重构非参考图像，计算所有非参考图像的PSNR和SSIM值，结果如表1所示。

表 1. 测量率0.3时图像重构结果的PSNR和SSIM值

Table 1. PSNR and SSIM values for image reconstruction results at measurement rate of 0.3

图像	OMP		Joint-OMP		BCS-SPL		本文算法
图像	PSNR/dB	SSIM	PSNR/dB	SSIM	PSNR/dB	SSIM	PSNR/dB	SSIM
GOP_1	24.3847	0.5429	27.0765	0.6053	30.1958	0.7470	31.0020	0.7972
GOP_2	24.0755	0.5232	27.0765	0.6399	29.4262	0.7066	31.3735	0.8046
GOP_3	27.1271	0.5633	29.6963	0.6578	31.3835	0.7599	33.2433	0.8280
GOP_4	27.2666	0.5632	30.8425	0.6683	31.4313	0.7336	33.8106	0.8032
GOP_5	24.2778	0.4885	27.1474	0.5783	29.5582	0.7044	32.5105	0.7830
平均值	25.4263	0.5362	28.3678	0.6299	30.3990	0.7303	32.3880	0.8032
平均运行时间/s	3.4908		5.9154		3.1956		4.0201

查看所有表

从表1可以看出，与OMP、Joint-OMP和BCS-SPL算法相比，所提算法有效提高了非参考图像的重构质量，获得了最高的PSNR和SSIM值，其中，PSNR平均增益约为 $2 dB \sim 7 dB$ ，SSIM平均增益约为 $0.08 \sim 0.27$ 。在非参考图像测量率设置较低的情况下，所提算法能取得优势的原因主要有：1）所提算法的联合重构方式不仅利用图像本身的测量值信息，也考虑与相邻图像的相关性，结合参考图像的测量值，从而获得更多编码图像的有效信息；2）所提算法在获得初次重构结果后，通过初次重构测量值与接收到的测量值之间的残差进行补偿，使信号表达更加稀疏，从而获得了质量更高的非参考图像。总的来说，所提算法采用联合和二次重构的方式，弥补了原始测量信息的不足，保证了图像的重构质量。

此外，算法运行时间可以作为计算复杂度的一个合理近似。表1最后一行给出了在非参考图像测量率为0.3时，4种算法重构图像所需的平均运行时间。可以看出，BCS-SPL算法所需运行时间最短，Joint-OMP算法所需运行时间最长，这主要是因为该算法在计算过程中涉及两类差异信息的更新，增加了运行时间。因为采用二次重构的方式，所提算法运行时间略高于OMP和BCS-SPL算法，但是在图像质量保持方面优于其他算法，计算成本是可接受的。

为了直观地展示每种算法的图像重构性能，本文比较了不同方案的主观图。如图7所示，第1列从上到下分别为5个图像组中的原始非参考图像，使用5幅图像进行实验，可以验证算法的稳定性，避免实验偶然性；第2至5列分别为OMP、Joint-OMP、BCS-SPL和所提算法的重构图像。从图7中可以看到，OMP算法的重构效果是最差的，图像整体变得模糊，细节信息丢失严重。Joint-OMP算法比OMP效果稍微好一些，这主要是因为该算法也结合了参考图像的测量值信息，但是因为算法本身的局限性，参考图像的测量值信息对非参考图像的重构起到的帮助作用很小，图像重构效果依然不够理想。BCS-SPL算法的重构质量比OMP和Joint-OMP算法都要好，目标物体基本被完整重构，但是该算法在重构过程中加入了维纳滤波，对图像的结构有破坏作用，使重构图像产生“亮斑”现象，影响了图像的视觉效果。相比之下，所提算法的主观性能是最佳的，重构的图像整体清晰，保留了完整的轮廓和纹理信息，该算法取得高性能的原因不仅在于基于图像之间的内容相关性，考虑参考图像的信息，也进行残差补偿重构，BCS-SPL算法只在残差重构中起作用，有效减少了图像“亮斑”，使得该算法在低测量率下获得了高质量的重构图像。

图 7. 测量率0.3时不同非参考图像的重构结果

Fig. 7. Reconstruction results of different non-reference images at measurement rate of 0.3

下载图片查看所有图片

为了进一步验证所提算法的性能，设置不同的测量率进行实验。参考图像的测量率 $S_{K}$ 固定为0.7，非参考图像的测量率在一个范围内变化，即 $S_{NK} = {0.20,0.25,0.30,0.35,0.40,0.45,0.50}$ 。利用OMP、Joint-OMP、BCS-SPL和本文所提算法进行所有非参考图像进行重构。

图8～图12分别展示了在不同测量率下每个GOP的非参考图像利用各种算法重构的PSNR和SSIM曲线图。由图8～图12中图（a）可知，测量率设置较低时，所有算法的重构图像质量都不高，然而随着测量率的增加，各个算法的PSNR值都是呈上升趋势，这表明影响算法性能的最大因素是非参考图像本身的测量值信息，测量率越大，保留的原始信息越多，重构图像质量也越高。

图 8. GOP_1在不同测量率下PSNR和SSIM值

Fig. 8. PSNR and SSIM values of GOP_1 at different measurement rates

下载图片查看所有图片

图 9. GOP_2在不同测量率下PSNR和SSIM值

Fig. 9. PSNR and SSIM values of GOP_2 at different measurement rates

下载图片查看所有图片

图 10. GOP_3在不同测量率下PSNR和SSIM值

Fig. 10. PSNR and SSIM values of GOP_3 at different measurement rates

下载图片查看所有图片

图 11. GOP_4在不同测量率下PSNR和SSIM值

Fig. 11. PSNR and SSIM values of GOP_4 at different measurement rates

下载图片查看所有图片

除此之外，从图8～图12中图（a）还可以观察到，尽管OMP算法的PSNR值也随测量率的增大而增加，但是始终低于另外3种算法，重构性能最差。在测量率较低时，BCS-SPL算法性能优于Joint-OMP算法，然而随着测量率的增加，Joint-OMP算法可利用的参考图像信息随之增加，联合重构优势逐渐显现，PSNR值也逐渐接近甚至高于独立重构的BCS-SPL算法。而在不同的测量率下，所提算法的性能是最好的，均取得了高于其他算法的PSNR值，尤其是在低测量率下，所提算法优势明显。当测量率为0.25时，所提算法的PSNR值率先接近甚至高于 $30 dB$ ，这得益于重构过程中参考图像的相关信息和二次重构的残差补偿。当测量率高于0.4时，所提算法的PSNR值可以达到 $35 dB \sim 40 dB$ 。同样的，由图8～图12中图(b)也可以看出，在不同的测量率下，本文所提算法均获得了比其他算法更高的SSIM值，说明该算法性能优于比较算法，获得了更高质量的重构图像。

图 12. GOP_5在不同测量率下PSNR和SSIM值

Fig. 12. PSNR and SSIM values of GOP_5 at different measurement rates

下载图片查看所有图片

为了进一步表明所提算法的优势，图13展示了GOP_1在测量率分别为0.25和0.4时的重构结果，并计算了PSNR和SSIM值。从图13中可以看出，在这2种测量率下，相较于对比算法，本文所提算法均取得了最好的视觉效果，获得的重构图像质量更高，有效信息更多。

图 13. 测量率0.25和0.4时GOP_2重构结果

Fig. 13. Reconstruction results of GOP_2 at measurement rates of 0.25 and 0.4

下载图片查看所有图片

为了增强实验的客观性，计算了同一测量率下5幅非参考图像的平均PSNR和SSIM值，结果如表2所示，其中，最后一行是所有测量率下的平均PSNR和SSIM值。从表2中可以看出，在不同测量率下，OMP算法的性能始终是最低的，重构图像取得了最低的PSNR和SSIM值；Joint-OMP和BCS-SPL算法随着测量率的增加性能越来越接近，但是它们的图像重构质量高于OMP算法，却始终低于所提算法；所提算法的性能是最好的，重构图像质量最高，PSNR和SSIM值始终高于对比算法，其中，PSNR值比OMP、Joint-OMP和BCS-SPL分别高出7.25 dB、3.13 dB和2.26 dB，SSIM值分别高0.22、0.12和0.07。

表 2. 不同测量率下重构图像的平均PSNR和SSIM

Table 2. Average PSNR and SSIM values of reconstruction image at different measurement rates

测量率	OMP		Joint-OMP		BCS-SPL		本文算法
测量率	PSNR/dB	SSIM	PSNR/dB	SSIM	PSNR/dB	SSIM	PSNR/dB	SSIM
0.20	22.0795	0.4486	24.8883	0.4972	26.2748	0.5822	28.5340	0.6651
0.25	23.9405	0.4715	26.5462	0.5406	28.3853	0.6453	30.8643	0.7515
0.30	25.4263	0.5362	28.3678	0.6299	30.3990	0.7303	32.3880	0.8032
0.35	27.3420	0.6275	31.5357	0.7359	32.7273	0.7836	34.9646	0.8473
0.40	28.9384	0.6776	34.2974	0.8122	35.1031	0.8318	36.8989	0.8856
0.45	31.1638	0.7326	36.6306	0.8571	36.5963	0.8611	38.9205	0.9047
0.50	33.6955	0.7783	39.1299	0.8974	38.0272	0.8809	40.7533	0.9237
平均值	27.5123	0.6103	31.6280	0.7100	32.5019	0.7593	34.7605	0.8259

查看所有表

综合以上所有实验结果，可以得出，与对比算法相比，本文所提算法在不同测量率下对图像进行重构均具有一定优势，尤其是在测量率较低时，获得的重构图像质量依然很高。所提方案可以达到减少集成成像图像序列传输数据量，同时保证图像质量的目的。

4结论

本文根据光子计数集成成像的图像特点，设计了基于分布式压缩感知的图像测量与重构框架。该框架将图像序列区分处理，设置高低不同的测量率，使存储的数据量大幅减少，节省了存储空间。同时，为了保证低测量率下的图像重构质量，提出了图像二次重构算法，在对图像进行块分类测量的基础上，利用图像之间的相关性，对低测量值拓展，完成初次重构，并将初次重构结果作为参考信息完成二次重构。实验结果验证了所提算法有效提高了低测量率图像的重构质量，具有优越的性能。

参考文献

[1] LIPPMANN GLa photographie integraleComptes Rendus de I’Academie Bulgare des Sciences1908146446451

[2] MARTÍNEZ-CORRAL M, DORADO A, BARREIRO J C, et alRecent advances in the capture and display of macroscopic and microscopic 3-D scenes by integral imagingProceedings of IEEE2017105582583610.1109/JPROC.2017.2655260

[3] ZHANG Lei, JIAO Xiaoxue, SUN Yu, et al3D shape acquisition technology of object with large depth based on integral imagingJournal of Applied Optics2017384587591

张雷, 焦小雪, 孙羽, 等集成成像大纵深物体的三维形貌获取技术应用光学2017384587591

[4] YEOM S, JAVIDI B, WATSON EPhoton counting passive 3D image sensing for automatic target recognitionOptics Express200513239310933010.1364/OPEX.13.009310

[5] DONOHO D LCompressed sensingIEEE Transaction on Information Theory20065241289130610.1109/TIT.2006.871582

[6] 蒋宗铧, 田昕, 杨晋陵基于非局部广义全变分的计算鬼成像重建方法应用光学20224315259

JIANG Zonghua, TIAN Xin, YANG JinlingReconstruction method of computational ghost imaging based on non-local generalized total variationJournal of Applied Optics20224315259

[7] 吴笑男, 张瑞, 王志斌, 等基于FP微阵列的压缩感知光谱重建研究应用光学202142343644210.5768/JAO202142.0301010

WU Xiaonan, ZHANG Rui, WANG Zhibin, et alResearch on compressed sensing spectral reconstruction based on Fabry-Perot micro-arrayJournal of Applied Optics202142343644210.5768/JAO202142.0301010

[8] BARON D, DUARTE M F, WAKIN M B, et alDistributed compressive sensingIEEE Signal Processing Magazine20092133547

[9] DO T T, CHEN Y, NGUYEN D T, et al. Distributed Compressed Video Sensing[C]//2009 16th IEEE International Conference on Image Processing. Cairo, Egypt: IEEE, 2009: 1393-1396.

[10] MUN S, FOWLER J E. Block compressed sensing of images using directional transforms[C]//2009 16th IEEE International Conference on Image Processing. Cairo, Egypt: IEEE, 2009: 3021-3024.

[11] MUN S, FOWLER J E. Residual reconstruction for block-based compressed sensing of video[C]//2011 Data Compression Conference. Snowbird, UT, USA: IEEE, 2011: 183-192.

[12] 练秋生, 田天, 陈书贞, 等基于变采样率的多假设预测分块视频压缩感知电子与信息报2013351203208

LIAN Qiusheng, TIAN Tian, CHEN Shuzhen, et alBlock compressed sensing of video based on variable sampling rates and multihypothesis predictionsJournal of Electronics & Information Technology2013351203208

[13] 王忠良, 冯燕, 肖华, 等高光谱图像的分布式压缩感知成像与重构光学精密工程20152341131113710.3788/OPE.20152304.1131

WANG Zhongliang, FENG Yan, XIAO Hua, et alDistributed compressive sensing imaging and reconstruction of hyperspectral imagerOptics and Precision Engineering20152341131113710.3788/OPE.20152304.1131

[14] DENG L, ZHENG Y, JIA P, et al. Adaptively group based on the first joint sparsity models distributed compressive sensing of hyperspectral image[C]//2017 6th International Conference on Computer Science and Network Technology. Dalian, China: IEEE, 2017: 429-434.

[15] ZHANG Na, WANG Lu, CHENG Junna, er alAdaptive Range-Gated 3D Imaging Based on Distributed Compressed SensingJournal of Northeastern University (Natural Science)2021424516523

张娜, 王璐, 程军娜, 等基于分布式压缩感知的自适应距离选通三维成像东北大学学报(自然科版)2021424516523

[16] SUMI T, NAKAMURA I, KUROKI Y. Distributed compressed video sensing of multi-viewpoint images using ADMM[C]//2016 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference. Jeju, Korea: IEEE, 2016: 1-5.

[17] PIAO Y, ZHANG M, SHIN D, et alThree-dimensional imaging and visualization using off-axially distributed image sensingOptics Letters201338163162316410.1364/OL.38.003162

[18] TROPP J A, GILBERT A CSignal recovery from random measurements via orthogonal matching pursuitIEEE Transactions on Information Theory200753124655466610.1109/TIT.2007.909108

[19] 李英, 尹丽菊, 申晋, 等微光成像实验平台的光路设计实验室研究与探索20193812757810.3969/j.issn.1006-7167.2019.12.018

LI Ying, LIN Liju, SHEN Jin, et alOptical Path design of low-light-level imaging experimental platformResearch and Exploration in Laboratory20193812757810.3969/j.issn.1006-7167.2019.12.018

[20] 崔平, 倪林分布式压缩感知联合重构算法红外与激光工程201544123825383010.3969/j.issn.1007-2276.2015.12.055

CUI Ping, NI LinJoint reconstruction algorithm for distributed compressed sensingInfrared and Laser Engineering201544123825383010.3969/j.issn.1007-2276.2015.12.055

[21] 梁漠杨. 图像的采样率自适应分块压缩感知算法研究[D]. 西安: 西安电子科技大学, 2019.

LIANG Moyang. Research on sampling rate adaptive block compressed sensing algorithms for image[D]. Xi'an: Xidian University, 2019.

崔玉敏, 尹丽菊, 隋立国, 周辉, 邓玉林. 光子计数集成成像的压缩与重构[J]. 应用光学, 2023, 44(2): 295. Yumin CUI, Liju YIN, Liguo SUI, Hui ZHOU, Yulin DENG. Compression and reconstruction of photon counting integral imaging[J]. Journal of Applied Optics, 2023, 44(2): 295.