1 引言

压缩感知(CS)理论^[1]相较于奈奎斯特定律, 只需少量采样次数就可以较好地重构出原始图像,在生物医学、航空航天、遥感测量、通信工程等领域发挥着重要作用^[2-4]。由于彩色图像在识别和探测方面优于单色灰度图像,因此彩色压缩成像成为CS领域新的研究方向^[5-6]。Welsh等^[7]提出了一种基于压缩鬼成像系统的彩色压缩成像方法,该方法利用白光散斑进行投影,通过分束镜后分为红(R)、绿(G)、蓝(B)三色光并分别进入装有滤光片的单像素探测器,然后对三分量分别进行重构得到彩色图像。但是CS的计算开销大,所需重构时间长,其计算量随成像分辨率的增加而呈指数型增长。

Averbuch等^[8]提出一种自适应压缩采样(ACS)算法,其直接利用小波稀疏基的二值投影图案取代经典随机散斑投影。在单像素相机基础上加入反馈机制,利用小波树中的父子关系来预测小波树中下一层对应的子系数的重要性。在所有的重要系数都被采样后,进行反小波变换就可以将图像重构出来。该方法与CS相比,显著降低了重构所需的时间。但ACS算法中重要父系数所对应的子系数未必都是重要的,仅通过父子关系来确定重要系数将会造成误判失真,从而导致采样次数增加。为进一步提高重要系数的预测准确性,Dai等^[9]提出了扩展小波树的概念,将小波树的兄弟关系和父子关系结合起来,提出了基于扩展小波树的自适应压缩采样(EWT-ACS)方法。EWT-ACS方法避免了CS所带来的计算开销,大大减少重构所需的时间,提高成像速率,有效提高了重要系数的预测准确性。在相同采样率下,EWT-ACS方法所提供的成像效果优于ACS和CS。Huo等^[10-11]在此基础上进一步挖掘了小波树中各节点之间的关系,加入了对非重要父节点所对应的重要子节点位置的预测,有效提高了对采样位置预测的准确性,提高了采样率,减少了重构所需时间。

当前对于彩色图像压缩成像,多数只是简单利用彩色图像中三分量的灰度图像来进行压缩采样和重构融合,得到的彩色图像质量并不理想,经常存在偏色比较严重的现象。本文在扩展小波树理论基础上,利用彩色图像三通道间的相关性,提出了一种基于多任务贝叶斯模型的彩色图像自适应压缩成像方法,在降低采样率的同时,有效提高了彩色成像的质量。

2 EWT-ACS方法

小波分解提供了一种多分辨率的分层图像表示结构——小波树^[12],其由不同分辨率不同空间频率方向的小波系数组成。图1所示为扩展小波树结构,其中,每一个父系数在其下一层对应4个子系数,父系数和子系数具有很强的相关性,称为父子关系,由图1中的单向箭头表示,其中j表示小波分解的层数。绝对值大的父系数所对应的4个子系数的绝对值一般也较大,其子系数很可能对应着图像中的边缘区域。绝对值小的父系数,其子系数绝对值一般较小,一般对应着图像中的平坦区域。因此,小波系数的重要性会沿着小波树结构^[12-13]传递。

图 1. 扩展小波树结构

Fig. 1. Structure of extended wavelet trees

下载图片 查看所有图片

在确定阈值后,利用小波树结构的父子关系,可以通过父系数的重要性估计子系数的重要性,保留重要系数,舍弃非重要系数,大大减少采样次数。但是,由于子系数对应的空间区域是父系数所对应空间区域的子集,重要父系数所对应的4个子系数中,也可能存在非重要系数。如果只依赖父子关系进行重要系数的判定,很可能因为误判失真而造成采样资源的浪费。

图2是利用Haar小波对图像进行小波变换后的稀疏表示,可以看出,同一尺度内三个方向上的高频系数有很大可能性出现在相同位置。因此,ETW-ACS方法根据同一尺度下兄弟系数对应相同空间区域的原理,提出扩展小波树的概念^[9]。在扩展小波树中,每一个高频的小波数在同一层的相同空间位置处都有两个兄弟系数,称为兄弟关系,由图1中子带间的双向箭头表示。ETW-ACS方法将父子关系与兄弟关系结合起来,精确判断重要系数所在的位置。

图 2. Haar小波下图像的稀疏表示

Fig. 2. Sparse representation of images in Haar wavelet

下载图片 查看所有图片

在ETW-ACS方法中,每一个小波系数可以通过两次投影矩阵测量而得到,单次测量的二进制投影图像由图2中相同的颜色和条纹表示。同一尺度内的小波系数按照对角子带、水平子带、垂直子带的顺序扫描。首先判断父系数类型,若是对角系数,则利用小波树中的父子关系来预测重要系数所在的位置,即当父系数比给定的阈值大时,其在小波树下一层中所对应的4个子系数都是重要系数;若是水平或垂直系数,则需将父子关系与兄弟关系结合起来判断下一层中重要子系数所在的位置。之后根据确定的采样系数进行小波逆变换重构图像。

3 多任务贝叶斯模型和图像重构算法

3.1 彩色图像RGB分量图像的相关关系

彩色图像可视为由R、G、B分量结合而成,图3是彩色图像baboon及其各分量图像。

图 3. 彩色图像baboon及其三分量图像。(a)原始图像;(b)红;(c)绿;(d)蓝

Fig. 3. Color image baboon and its three component images. (a) Original image; (b) red; (c) green; (d) blue

下载图片 查看所有图片

由图3可知,彩色图像分解成独立的R、G、B分量以后,各分量图像仍然是清晰的,除了图像的色彩发生了偏移性的变化,并没有产生模糊性失真。这就表明,当彩色图像在某个区域的色彩随位移发生变化时,其R、G、B独立分量图像的像素值也会随位移而变化。对彩色图像baboon的R、G、B三通道分别进行两层小波分解,设置阈值。然后利用扩展小波树,确定重要系数的位置并进行采样。不同通道内不同方向的第一层重要小波系数位置如图4所示,其中,子图像LH表示水平方向低频、垂直方向高频的分量,表现原图像的水平边缘;子图像HL表示水平方向高频、垂直方向低频的分量,表现原图像的垂直边缘;子图像HH表示水平方向高频、垂直方向高频的分量,表现原图像的斜边缘。

图 4. 三通道不同方向上第一层重要小波系数的位置

Fig. 4. Locations of significant wavelet coefficients of different directions in three channels at the first scale

下载图片 查看所有图片

将EWT-ACS方法应用于彩色成像领域,一种简单的思想是将该算法分别用于R、G、B三通道,独立重构,随后使用各通道的重构结果合成彩色图像。然而,在实际应用中,该方法存在一些缺点。如图4所示,不同通道同一方向相同尺度下的重要小波系数有很多处于相同的位置(如图4中黄色矩形框所示),这就表明了不同通道内小波系数存在很强的相关性。但同时也存在明显的不同,如不同通道内垂直边缘(HL)方向的重要小波系数在图中央的分布(如图4中红色圆圈内所示),R通道内该处重要小波系数分布明显与G、B通道的不同,在进行阈值比较时可能因为舍弃了不同通道内较小的小波系数而导致彩色的偏色。因此,各个通道的小波系数在进行阈值比较时,某些通道的小波系数可能会被当作非重要系数舍弃,从而导致最后融合得到的彩色图像出现颜色失真。

3.2 多任务贝叶斯模型

由于彩色图像的R、G、B分量间有很强的相关性,因此可以将这些分量的小波系数看成是既独立又相关的三个任务。在采样压缩的时候将这些分量的高频系数看作是独立的,但在重构时则可以通过联合重构来对三个任务间的相关性加以利用^[14-15]。多任务贝叶斯模型特别适合处理既独立又相关的任务,本文结合多任务贝叶斯模型,在R、G、B分量的多个任务间共享和传递信息。

对彩色图像的R、G、B分量分别执行n级的小波变换,设某个尺度相同方向上的小波系数一维化为 {θi}i=1,2,3,大小为N×1,由所有任务共享,且这些任务相关。 {φi}i=1,2,3为稀疏采样矩阵,大小为M_i×N,下标i取1代表R分量的高频系数,取2代表G分量的高频系数,取3代表B分量的高频系数。{v_j},v_j∈R^Mi为与第j个任务相关的CS测量值,ε_j∈R^Mj为误差,服从均值为0、方差为1/α₀的高斯随机分布,下标j取1、2、3分别代表R、G、B三通道的小波系数。这三个压缩采样的过程相互独立,满足

vj=φjθj+εj,j=1,2,3,(1)

则基于采样值向量v_j,关于参数θ_i和α₀的最大似然函数可表述为

p(vj|θi,α0)=(2π/α0)-Mi2exp-α02‖vj-φiθi‖2,(2)

设θ_i,j代表第i个任务中的第j个小波系数,得到

p(θi|α)=∏j=1MiNθij|0,αj-1=∏j=1Miαj2πexp-12αjθi2,(3)

式中N(·|0, αj-1)是零均值、方差为1/α_j的高斯密度函数。需要注意的是,超参数α={αj}j=1,Mi由三个任务共享,因此所有采样值向量 {vj}j=1,2,3都用来获取超参数,并在超参数α的控制下为自适应地从不同采样值中借取强度提供机会。

由于超参数α和α₀都服从Gamma分布,为了提高θ_i的稀疏度,对超参数α和α₀进行Gamma超先验,其条件概率密度函数分别表示为

p(α|a,b)=∏j=1MiGamma(αj|a,b),(4)p(α0|c,d)=Gamma(α0|c,d)=dcΓ(c)α0(c-1)exp(-dα0)。(5)

选择合适的参数a和b将改善向量θ_i中系数的稀疏表示,这个概念就扩展到了多任务贝叶斯模型的设置中。实验过程中,a=b=ε,当ε是大于0的小常量时,贝叶斯模型具有很好的性能。Gamma分布在零值处有一个大的波峰,波峰对应不会向外界借取信息的基函数,因此它的表征特质特异于具体信号。在另一个极端,α_j位于右尾部的基函数系数在所有任务中都快速收敛至零,这有利于在采集过程中对所有信号都不重要的基函数进行稀疏。对于小常量ε,将会产生很多这样不重要的基函数。为了避免a和b的主观选择并简化计算,默认设置a=b=0。在噪声精度参数α₀的超先验中,也默认设置参数c=d=0。

3.3 图像重构算法

重构算法分解为两个步骤:

1) 所有三个通道小波系数的采样值向量 {vi}i=1,2,3通过最大似然估计参与超参数的点估计运算,即

{α,α0}=argmax∑i=1,2,3lg∫p(vi|θi,α0)p(w|α)dθi,(6)

得到α和α₀的点估计后,可以通过下式得到系数θ_i的先验分布,即

pθiα=∏j=1NNθi,j|0,αj-1。(7)

2) 根据系数θ_i的先验计算出θ_i的后验,之后所有三个通道小波系数的采样数据 {vi}i=1,2,3被用来构成θ_i的经验贝叶斯先验。这个先验被单独运用到每一个采样值v_i来更新相关的θ_i的逼近值。

重构算法在上述两个步骤间来回迭代,过程中通过增加、删除和重新估计基函数对公式进行更新,直到迭代停止。这就意味着,重构每一个通道的小波系数时,都借用了另外两个通道小波系数的采样信息来帮助本身的重构^[16]。

4 仿真与实验

4.1 仿真与评价

首先对彩色图像的R、G、B三通道进行两层小波分解,设置阈值。然后利用扩展小波树,确定重要系数的位置并进行采样。以分辨率为64 pixel×64 pixel的彩色barboon图像为例,采用EWT-ACS方法对三通道进行压缩采样,首先确定分解层数为两层,分别采样得到分辨率为32 pixel×32 pixel的低频小波系数,对R、G、B三通道均设置阈值T_hr=120。

将利用EWT-ACS算法得到的小波系数矩阵直接进行小波逆变换,得到的彩色图像如图5所示。其中,R、G、B分量图像的采样率分别为0.5037、0.4980、0.5833。

图 5. 小波逆变换结果。(a)原始baboon图像; (b)重构后的baboon图像

Fig. 5. Result after wavelet inverse transform. (a) Original baboon image; (b) reconstructed baboon image

下载图片 查看所有图片

通过计算彩色图像的峰值信噪比(PSNR)来对获得的重构图像进行评价。彩色图像的PSNR^[14]值计算公式为

PSNR=10lg25521UV∑i=13∑s=1U∑t=1VQis,t-Q^is,t2/3,(8)

式中Q_i(s,t)和 Q^i(s,t)分别表示位置为(s,t)的原图像和重构图像的像素值,U和V表示图像的总的行数和列数,i=1,2,3分别表示R、G、B三通道。得到的图像与原始图像对比,其PSNR值为29.5004。

利用多任务贝叶斯模型对R、G、B三通道的小波系数进行处理,选择的是分别将 R、G、B 三通道中第一层小波系数完全保留,将第二层高分辨率小波系数单独作为一个任务并进行贝叶斯CS多任务处理后,再对三个通道的小波系数分别进行反小波变换,最后将重构后的R、G、B分量进行合并,得到重构的彩色图像。

为了进一步验证成像效果,分别选用了基于CS的彩色压缩成像方法、独立贝叶斯模型和多任务贝叶斯模型进行仿真对比,三种方法得到的重构图像对比图如图6所示,细节放大图像如图7所示。其中,对于基于CS的彩色压缩成像方法,综合考虑计算开销等问题,选择最小化全变分改进算法(TVAL3)作为CS重建算法,并使用哈达玛矩阵作为测量矩阵。该方法首先对R、G、B三通道分别进行随机测量,然后将重建结果合成彩色图像。

由图6可知,通过直接采样小波系数,再由小波逆变换获得的图像整体色彩存在一定的失真,这是由于在EWT-ACS算法中,只采样绝对值大于预设阈值的重要小波系数来实现压缩成像,这对灰度成像有较好的效果,但对彩色成像效果不佳,因为R、G、B三通道重要小波系数分布存在差异,某些重要小波系数被采样,而与其同尺度同位置的不同通道的小波系数被丢弃,从而造成颜色失真。

图 6. 不同采样次数下三种模型的重构结果。(a) 400;(b) 500;(c) 600;(d) 700;(e) 800;(f) 900;(g) 1000

Fig. 6. Reconstructed results of three models at different sampling times. (a) 400; (b) 500; (c) 600; (d) 700; (e) 800; (f) 900; (g) 1000

下载图片 查看所有图片

图 7. 不同采样次数下三种模型重构结果的细节放大图。(a) 600;(b) 700;(c) 800;(d) 900;(e) 1000

Fig. 7. Zoomed reconstructed results of three models at different sampling times. (a) 600; (b) 700; (c) 800; (d) 900; (e) 1000

下载图片 查看所有图片

从图6和7可以看出,相比于TVAL3算法和独立模型的重构结果,使用多任务贝叶斯模型对三通道的高分辨率层小波系数进行更新,得到的重构图像随着采样次数的增加,细节更加明显,更重要的是重建图像色调均衡、不失真,避免了颜色畸变,说明了基于多任务贝叶斯模型的方法在低采样率条件下,同样可以获得基于独立模型的方法在高采样率条件下的图像质量。三种方法的PSNR值如表1所示。

由表1可知,多任务贝叶斯模型和独立贝叶斯模型的PSNR值明显优于TVAL3算法的PSNR值。其中,多任务贝叶斯模型的成像质量比独立模型更加稳定,且在采样600次以后优于独立模型。

此外,低分辨率层的小波系数值相对比较大,因此在同一阈值下,由于采集了某一通道的小波系数,而另一通道同一位置处的小波系数未被采集,造成比较小的失真。如果对所有分辨率层的小波系数都进行更新,不仅增加了程序的复杂度、运算量、运行时间,而且得到的重构图像的效果也不尽理想。因此,使用本文方法,在获得高质量重构图像的同时大大降低了重构所需的计算开销。

4.2 实验与分析

通过实验来验证利用扩展小波树进行彩色图像压缩成像的可行性。将爱色丽标准比色卡作为目标图像,如图8所示。

图 8. 爱色丽标准比色卡

Fig. 8. X-Rite standard color chart

下载图片 查看所有图片

首先,确定最终成像分辨率为64 pixel×64 pixel,分解层数为2。由PC端的Labview软件生成Haar小波基投影图像,采用数字光处理器(DLP)内置的数字微镜阵列(DMD)对目标彩色图像进行投影。目标图像的反射光强信号由没有空间分辨率的桶探测器接收。使用的DLP具有内置的红绿蓝光源,将其作为不同的结构光,可以分别得到R、G、B三通道下的采样数据,实验装置如图9所示。

图 9. 彩色自适应压缩成像方法的实验装置图

Fig. 9. Experimental setup of colored adaptive compressed imaging method

下载图片 查看所有图片

采用EWT-ACS方法分别得到R、G、B分量图像的重要小波系数矩阵,然后将三通道中第二层的重要系数作为多任务贝叶斯模型中的三个任务进行处理。将处理后得到的数据分别重构得到R、G、B分量图像,最后将其融合得到彩色图像。

图10(a)是对经过EWT-ACS方法后得到的小波系数矩阵直接进行R、G、B融合得到的彩色图像,是未采样直接融合得到的图像,图10(b)~(e)是采样次数分别为400、600、800和1000时融合得到的图像。如图10(b)所示,当采样次数为400时,就可以区分大部分不同的颜色,但色卡的色块上仍有比较明显的块状失真;如图10(c)所示,当采样次数达到600时,色调和图9基本一致。因此,在图像重构时选择稀疏采样次数为600即可满足要求。

图 10. 不同采样次数下多任务贝叶斯模型对色卡的重构图像。(a)未采样;(b) 400;(c) 600;(d) 800;(e) 1000

Fig. 10. Reconstructed images of color chart at different sampling times using multi-mask Bayesian Model. (a) Un-sampled; (b) 400; (c) 600; (d) 800; (e) 1000

下载图片 查看所有图片

从彩色分析的角度出发,通过计算总色差来对重构图像的色彩偏差进行评价,采用最新的CIE DE2000色差公式^[17],即

ΔE00=0.5ΔL'kLSL2+ΔC'kCSC2+ΔH'kHSH2+RTΔC'kCSCΔH'kHSH,(9)

式中:ΔE₀₀是用CIE DE2000计算的总色差;△L'、△C'、△H'分别表示明度差、彩度差和色调差;k_L、k_C、k_H是与实验条件有关的校正系数,又称为参数因子;S_L、S_C、S_H是用来校正颜色空间均匀性的权重函数;R_T是旋转函数,用于校正颜色空间蓝色区域容差椭圆主轴方向的偏转的。

对于未采样直接融合的结果图10(a),色差ΔE₀₀的平均值为15.63,最大值为26.0。而使用多任务贝叶斯模型和独立贝叶斯模型处理得到图像的色差ΔE₀₀的平均值和最大值如表2和3所示。

由表2可知,在采样次数为600时,多任务模型的ΔE₀₀平均值最小。之后随着采样次数的增加,多任务模型和独立模型的平均值有所改变但都趋向于稳定。

由表3可知,对于多任务模型和独立模型的ΔE₀₀的最大值,独立模型随着采样次数的增加浮动较大,很不稳定。而多任务模型ΔE₀₀的最大值在采样次数变化时浮动范围并不大,比较稳定。因此,多任务模型在彩色成像效果方面可以较好地保持色调。

5 结论

针对彩色成像过程中存在的重构时间长、重构图像效果不好的问题,在EWT-ACS 方法的基础上提出了基于多任务贝叶斯模型的彩色图像自适应压缩成像方法。根据扩展小波树结构中父子系数和兄弟系数的关系,对彩色图像三通道的分量图像分别进行EWT-ACS自适应压缩采样,降低采样率,减少采样时间。同时利用彩色图像三通道间的高频小波稀疏的关联性,采用多任务贝叶斯模型进行融合得到彩色重构图像。仿真和实验结果表明,当采样次数达到600次,即采样率为14.6%时,基于多任务贝叶斯模型的彩色重构方法得到的PNSR值均在27 dB以上,色差均值很小。所提出的方法相较于传统的独立模型,在不同采样次数下均可较好地保证重构图像色调的一致性,而且多任务贝叶斯模型重构图像的色差比独立模型更加稳定。