基于张量截断核范数的高光谱图像超分辨率重构

王艺卓; 曾海金; 赵佳佳; 谢晓振

doi:doi:10.3788/LOP56.211007

激光与光电子学进展, 2019, 56 (21): 211007, 网络出版: 2019-11-02

基于张量截断核范数的高光谱图像超分辨率重构下载： 998次

Super-Resolution Reconstruction of Hyperspectral Images Based on Tensor Truncated Nuclear Norm

论文大纲

王艺卓曾海金赵佳佳谢晓振 ^*

作者单位

西北农林科技大学理学院, 陕西咸阳 712100

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

针对高光谱图像在获取过程中存在多种不同程度退化的问题,提出一种基于张量截断核范数和空谱全变差正则化模型,实现了高光谱图像的超分辨重构。首先分析高光谱图像的两种先验信息:空谱低秩先验和空谱稀疏先验;利用空谱低秩先验建立基于张量截断核范数的低秩约束模型,实现对秩函数的准确逼近;利用空谱稀疏先验建立空谱全变差正则化模型,有效地保持图像的边缘信息;最后结合两种模型的优势,建立基于张量截断核范数和空谱全变差正则化的高光谱图像重构模型。实验结果表明新模型提高了视觉质量,与目前最新的超分辨率重构模型相比,本文方法的平均峰值信噪比提高了0.8 dB。新模型充分利用高光谱图像的空间和光谱稀疏低秩先验,针对模糊化和下采样后的高光谱图像,能够有效实现高光谱数据的超分辨率重构。

Abstract

Based on the tensor truncated nuclear norm and the spatial-spectral total variation regularization,a new model is proposed to realize super-resolution reconstruction of hyperspectral images to solve the problem that most hyperspectral images suffer from degradation in the acquisition process. First, two types of priori information in the hyperspectral images, i. e., the low rank-based priori information and sparse priori in the spatial and spectral domain, are explored. Next, using the low rank-based priori information in the spatial and spectral domain, a low-rank constraint model based on the tensor truncated nuclear norm is proposed to achieve a more accurate approximation of the rank function. Subsequently, using sparse priori information in the spatial and spatial domain, a spatial and spectral total variation regularization model is proposed to retain the sharp edges and more detailed information of the original image. Finally, the low-rank constraint model based on the tensor truncated nuclear norm and spatial and spectral total variation models are integrated. This new restoration model possesses the advantages of both the aforementioned models. The peak signal-to-noise ratio of 0.8 dB is obtained, and structural similarity indices are adopted to provide quantitative assessments of experimental results. The experimental results demonstrate that the proposed model achieves better visual quality than those of several existing related methods. The proposed model can effectively achieve the super-resolution reconstruction of hyperspectral images after being blurred and downsampled.

1 引言

高光谱图像(HSI)已广泛用于医学诊断、文献成像、犯罪现场分析等众多领域^[1-2]。但由于受到成像设备和环境等限制,HSI的空间几何分辨率很低,难以满足实际应用需求。因此,提高HSI的空间分辨率,实现HSI的超分辨率重构(SR),是一个非常重要的问题。图像的SR是由一个或多个低分辨率图像获取高分辨率图像的过程。针对HSI的SR问题,一种简单的做法就是将自然图像的SR模型算法直接推广应用到HSI的SR问题^[3]中。尽管自然图像和HSI存在相似之处,但是随着HSI光谱维度的急剧增加,这类直接推广的做法存在很多难题。因此在自然图像的SR模型算法基础上,充分考虑并结合HSI的特点,直接针对HSI的SR算法成为近来一个重要的研究方向。

另外一种可行方案是发掘HSI蕴含的先验信息,在正则化理论框架内重构出高分辨率的HSI结果。在高光谱成像机理的基础上,文献[ 4-5]认为HSI可以分解为终端单元字典和该字典下的稀疏表示系数。在这样的先验约束下,可利用高分辨率辅助图像来获取重构高分辨率HSI的信息。文献[ 6]提出的SSGS(Spatial-Spectral Group Sparsity)方法则是在此基础上添加了光谱稀疏先验和基于块的稀疏先验,利用光谱混合分析和空谱块的稀疏性来构建HSI的超分辨框架,实验证明此方法在空谱域不仅保持了光谱的一致性,而且保留了较清晰的纹理特征。另外,由于高光谱成像波段狭窄,HSI不同光谱通道间具有很强的相关性,即HSI的光谱低秩先验;同时同一波段的HSI,与灰度图像类似,其临近像素间也具有很强的相关性,即HSI的空间稀疏先验。在HSI复原问题中,经常用全变差(TV)最小化来表示空间稀疏性^[7],用核范数最小化来近似光谱低秩性^[8],或用两者线性组合的正则化^[9]来重构未知的HSI。其中同时利用空间稀疏和光谱低秩先验的模型算法在HSI复原实验中已被证实取得了较好的重构结果,但是目前极少有文献将这种模型推广到HSI的SR问题中,而文献[ 10]将这种方法率先应用到核磁共振图像(MRI)的SR问题上,提出了三维全变差正则化的超分辨重构模型(LRTV),并用实验验证了该模型的有效性。

二维光谱矩阵低秩表示中,核范数即矩阵的特征值之和是矩阵秩函数最紧密的凸下界,因此,在众多HSI复原问题,通常使用核范数作为秩函数的凸松弛^[9]。近来的研究结果表明HSI的不同特征值包含不同的信息,其中较大的特征值主要包含原始数据信息,而较小的特征值主要包含观测噪声或者人为的结构信息。但是基于核范数最小化的重构方法将所有的特征值同等对待,对应的模型算法利用相同阈值对特征值进行收缩处理,在拟制噪声或者人为结构的前提下丢失了大量的图像信息,这是该方法的一个重要缺陷。为了解决这个缺陷,Hu等^[11]充分利用上述特征值的性质,建立了仅惩罚较小特征值的截断核范数最小化模型(TNN模型),实现了对秩函数更加精确和稳健的逼近,并且将该模型成功运用于矩阵填充问题中,补全了低秩矩阵中丢失的值且保留了大量的原始图像信息。在此基础上,Cao等^[12]又将截断核范数应用在RPCA(Robust Principal Component Analysis)模型上。但基于截断核范数最小化问题属于非凸优化问题,之后相关学者对其求解方法进行了研究,文献[ 11,13-15]中给出了多种截断核范数的最小化问题求解算法,这使得截断核范数和替换核范数用于HSI的SR问题成为可能。

不同于矩阵的秩,张量秩的定义不唯一。基于不同的张量分解方法,定义张量秩的研究有很多^[16-19],例如:基于CP(CANDECOMP)分解的CP秩、基于Tucker分解的Tucker秩等。CP秩^[16]和Tucker秩^[18]是张量秩中两个最具代表性的定义。CP秩定义为张量所需要的秩1张量最小数,虽然CP秩的度量与矩阵的度量是一致的,但是很难建立一个可解的松弛形式;Tucker秩被定义为一个向量,它的元素是由张量沿每一个模的展开矩阵的秩组成,该定义基于矩阵分解来计算。为了有效地最小化张量秩,Liu等^[20]考虑张量各个模的相关性,将一个张量核范数的定义作为张量秩的凸松弛,并应用于张量填充问题中。随后有大量文献[ 10,21-22]将张量核范数应用于张量复原等问题中,而且实验证明该方法能同时探索图像的空间维和光谱维的低秩先验。

为了改善HSI的超分辨率重构结果,本文结合张量核范数和矩阵的截断核范数的各自优势,将矩阵的截断核范数扩展到张量截断核范数,随后利用空谱全变差和张量截断核范数最小化方法来表示HSI的稀疏和空谱低秩先验,建立新的HSI的SR模型。实验表明新的SR模型能够重构出较好的高分辨率HSI。

2 相关工作

2.1 HSI超分辨率重构框架

假定原始的高分辨率HSI为X,其大小为M×N×B,其中M和N表示空间维大小,B表示光谱维大小,即波段数。在获得数据的过程中,观测数据会受到各种模糊、下采样和噪声的影响,使观测数据产生退化。那么,低分辨率HSI的观测模型可表示为

\begin{matrix} T = DSX + N, (1) \end{matrix}

式中:T为观测的低分辨率高光谱图像;D为下采样算子;S为模糊算子;X为理想的高分辨率高光谱图像;N为观测噪声,例如高斯噪声。高光谱图像的超分辨率重构就是通过观测模型(1)式,在已知观测的高光谱图像T的基础上求解未知高分辨率高光谱图像X的过程,属于极端的病态反问题,求解非常困难。目前,求解该类病态逆问题的有效工具是正则化方法,它通过添加待求变量的先验信息来约束求解算法,最后搜寻满足条件的解。在正则化理论框架内,HSI的超分辨率重构可以通过求解如下最小化问题来实现,即

\begin{matrix} \hat{X} = \underset{X}{argmin} ‖ DSX - T ‖_{F}^{2} + λJ (X), (2) \end{matrix}

式中: $\begin{matrix} \hat{X} \end{matrix}$ 表示超分辨重构出的图像;第1项是数据保真项,‖·‖_F表示F范数;第2项J(X)是关于高分辨图像X先验信息的正则项;λ为正则化参数,用来平衡保真项和正则项。下面从光谱和空间两方面来探索高光谱图像的先验信息。

2.2 张量核范数

由HSI的成像特点可知,HSI的光谱维相邻带之间表现出强相关性,即光谱低秩先验。而HSI的邻近像素间也具有很强的相关性,即空间稀疏先验。在探索图像低秩先验时,由于张量的秩函数是非凸和不连续的,因此求解低秩问题非常困难。目前,求解该问题的一种有效方法就是寻找秩函数的凸替代。由压缩感知理论可知,核范数即矩阵的特征值之和是矩阵秩函数最紧密的凸下界;同时,它与矩阵秩函数的关系类似于向量l₁范数与l₀范数之间的关系。所以,通常使用核范数作为矩阵秩函数的凸松驰^[8]。因此,对于高光谱图像,即三阶张量,最简单的方式是将张量秩转化为矩阵秩函数的凸替代来近似,即张量核范数^[10,20],定义为HSI沿着每一维展开的二维矩阵的核范数的加权平均,即

\begin{matrix} Rank (X) \approx \overset{3}{\sum_{i = 1}} α_{i} ‖ X_{(i)} ‖_{*}, (3) \end{matrix}

式中:Rank(X)表示张量的秩函数;‖‖_*表示核范数,即奇异值之和;α_i为权重参数,满足 $\begin{matrix} α_{i} \geq 0 和 \sum α_{i} = 1 \end{matrix}$ ;X₍_i₎为张量X的模i展开。对于大小为M×N×B的高光谱图像X,沿着每一模i可以展开为三个二维的矩阵X₍_i₎,其大小分别为M×(N×B)、B×(M×N)、N×(M×B)。

2.3 张量截断核范数

尽管矩阵核范数是矩阵秩函数最紧密的凸下界,可使基于矩阵核范数最小化理论达到良好的重构效果,但是文献[ 11]研究发现在低秩数据的奇异值分解过程中,数据信息主要集中在较大的特征值中,而大部分较小的特征值包含了数据中的噪声、缺损或人为结构等信息;并且核范数最小化约束方法将所有特征值均等惩罚,丢失了原始数据中的大量信息。所以,为了防止数据信息的丢失,提出了仅约束惩罚较小特征值的截断核范数最小化模型,并在矩阵填充应用中得到较好的效果。由此引出矩阵截断核范数的定义:对于秩为t且大小为m×n的矩阵X,可通过核范数减去几个较大奇异值之和来定义,即

\begin{matrix} ‖X ‖_{t, *} = ‖ X ‖_{*} - \overset{t}{\sum_{k = 1}} σ_{k} (X) = \overset{\min (m, n)}{\sum_{k = t + 1}} σ_{k} (X), (4) \end{matrix}

式中:σ_k( )为矩阵第k个最大特征值;‖ ‖_t_,_*表示截断核范数;‖ ‖_*为核范数。若记

\begin{matrix} ‖X ‖_{tc, *} = \overset{t}{\sum_{k = 1}} σ_{i} (X), (5) \end{matrix}

则核范数与截断核范数的关系为

\begin{matrix} ‖X ‖_{t, *} = ‖ X ‖_{*} - ‖ X ‖_{tc, *}, (6) \end{matrix}

式中:‖ ‖_t_c,*表示一种范数。

张量是矩阵概念的推广,文献[ 10,20,22]通过使用矩阵化将张量转化为矩阵,引入张量核范数并且将其用于张量填充、张量复原等问题中,该方法可以同时在3个维度探索图像的低秩先验。因此,结合矩阵的截断核范数和张量核范数的各自优势,提出张量截断核范数,即对于大小为M×N×B的张量X,可由张量沿着每一个模的展开矩阵的截断核范数的凸组合来定义,如:‖X‖_t_,*= $\begin{matrix} \overset{3}{\sum_{i = 1}} α_{i} \end{matrix} \begin{matrix} ‖ X_{(i)} ‖_{t, *} \end{matrix}$ 。由于张量截断核范数是将张量转化为二维矩阵来定义的,因此具体由(4)式计算。

2.4 LRTV重构模型

低秩与其核范数的近似表示形式,仅能表征HSI中的光谱相关性先验。而HSI的邻近像素之间也具有很强的相关性,即空间稀疏先验。文献研究表明,空间稀疏先验有多种表示工具,其中Rudin等^[23]提出的全变差正则化是一种被广泛应用的方法,其相应的ROF(Rudin Osher Fatemi)模型^[23]利用TV正则化方法可以有效地保存边界信息,并促使空间分片光滑化。为了综合使用两种低秩先验信息,Shi等^[10]提出了基于张量核范数的低秩先验和LRTV模型,并且成功地将其应用到MRI图像的超分辨重构问题中,取得了良好的重构效果。其LRTV模型可表示为

\begin{matrix} \hat{X} = \underset{X}{argmin} ‖ DSX - T ‖_{F}^{2} + λ_{1} \overset{3}{\sum_{i = 1}} α_{i} ‖ X_{(i)} ‖_{*} + λ_{2} T_{V} (X), (7) \end{matrix}

式中:λ₁和λ₂为正则化参数;T_V(X)为全变差项,定义为图像梯度的绝对值的积分,即

\begin{matrix} T_{V} (X) = \int |\nabla X| dxdydz, (8) \end{matrix}

式中:ÑX表示MRI图像X的梯度。

3 本文模型与求解方法

3.1 TNN-LRTV模型

相比于张量核范数的方法,张量截断核范数最小化方法通过约束较小特征值之和来实现对张量秩函数的稳健逼近,有效压制超分辨率过程中所带来的噪声和人为结构。因此在LRTV模型框架的基础上,将张量核范数替换为张量截断核范数,将三维全变差变为空谱全变差,并运用于HSI的SR问题中,由此提出本文模型(TNN-LRTV模型),即

\begin{matrix} \underset{X}{argmin} ‖ DSX - T ‖_{F}^{2} + λ_{1} ‖X ‖_{t, *} + λ_{2} T_{V} (X) 。 (9) \end{matrix}

(9)式的空谱全变差项T_V(X)能从空间层面有效地保存边界信息,促使空间分片光滑化,增加图像的细节信息。由于较大奇异值对应于大量原始数据的信息,较小的特征值中主要包含观测噪声和人为结构等信息,利用张量截断核范数项‖X‖_t_,_*保留观测数据较大奇异值,仅惩罚较小奇异值,近而更准确地逼近张量秩函数,在抑制噪声和人为结构的前提下丰富了大量的原始图像信息,并且能够同时探索HSI三个维度的不同低秩先验,从而得到更好的HSI超分辨重构结果。如果参数t取值为0,那么TNN-LRTV模型就退化为(7)式的全变差和秩约束下的LRTV模型。

3.2 TNN-LRTV模型求解

利用ADMM(Alternating Direction Method of Multipliers)方法^[24]求解模型(9)式,首先引入3个中间变量 $\begin{matrix} {M_{i}}_{i = 1}^{3} \end{matrix}$ 来模拟高光谱图像X的每一维度,且满足X沿着第i维展开unfold_i(·)的二维矩阵等于M_i沿着第i维展开的二维阵,则模型(9)式可改为

\begin{matrix} \{\begin{matrix} \underset{X, {Mi} 3 i = 1}{argmin} ‖ DSX - T ‖_{F}^{2} + λ_{1} \overset{3}{\sum_{i = 1}} α_{i} ‖ M_{i (i)} ‖_{t, *} + λ_{2} T_{V} (X) \\ s.t. X_{(i)} = M_{i (i)} \end{matrix}, i = 1,2, 3, (10) \end{matrix}

式中:M_i₍_i₎为中间变量M_i沿着图像每一维展开的矩阵。

基于ADMM法,并且结合拉格朗日乘子法将(10)式变为无约束优化问题,其增广的拉格朗日函数表示为

\begin{matrix} \begin{matrix} \underset{X, {Mi} 3 i = 1, {Ui} 3 i = 1}{argmin} ‖ DSX - T ‖_{F}^{2} + λ_{1} \overset{3}{\sum_{i = 1}} α_{i} ‖ M_{i (i)} ‖_{t, *} + λ_{2} T_{V} (X) + \overset{3}{\sum_{i = 1}} U_{i} \cdot \\ [X_{(i)} - M_{i (i)}] + \overset{3}{\sum_{i = 1}} \frac{ρ}{2} ‖ X - M_{i} ‖_{F}^{2}, (11) \end{matrix} \end{matrix}

式中:U_i为拉格朗日参数;ρ为惩罚参数。令Y_i=U_i/ρ,将上述优化问题进行配方,得

\begin{matrix} \begin{matrix} \underset{X, {Mi} 3 i = 1, {Yi} 3 i = 1}{argmin} ‖ DSX - T ‖_{F}^{2} + λ_{1} \overset{3}{\sum_{i = 1}} α_{i} ‖ M_{i (i)} ‖_{t, *} + λ_{2} T_{V} (X) + \\ \overset{3}{\sum_{i = 1}} \frac{ρ}{2} (‖ X - M_{i} + Y_{i} ‖_{F}^{2} - ‖ Y_{i} ‖_{F}^{2}) 。 (12) \end{matrix} \end{matrix}

根据ADMM方法,上述优化问题(12)式可以转换为下列几个子优化问题,在已知第K步迭代结果的基础上,在第K+1步更新如下变量:

1)子问题1——更新X⁽^K⁺¹⁾:

\begin{matrix} X^{(K + 1)} = \underset{X}{argmin} (λ_{2} T_{V} (X) + ‖ DSX - T ‖_{F}^{2} + \overset{3}{\sum_{i = 1}} \frac{ρ}{2} ‖ X - M_{i}^{(K)} + Y_{i}^{(K)} ‖_{F}^{2}), (13) \end{matrix}

该子问题可由梯度下降法求解,其中TV项的梯度可由相应的欧拉-拉格朗日方程^[25]获得。

2)子问题2——更新{ $\begin{matrix} M_{i}^{(K + 1)} \end{matrix} \begin{matrix} }_{i = 1}^{3} \end{matrix}$ :

\begin{matrix} \begin{matrix} {M_{i}^{(K + 1)}}_{i = 1}^{3} = \underset{{Mi} 3 i = 1}{argmin} (λ_{1} \overset{3}{\sum_{i = 1}} α_{i} ‖ M_{i (i)} ‖_{t, *} + \overset{3}{\sum_{i = 1}} \frac{ρ}{2} ‖ X^{(K + 1)} - M_{i} + Y_{i}^{(K)} ‖_{F}^{2}) = \\ \underset{{Mi} 3 i = 1}{argmin} \overset{3}{\sum_{i = 1}} (λ_{1} α_{i} ‖ M_{i (i)} ‖_{t, *} + \frac{ρ}{2} ‖ M_{i} - X^{(K + 1)} - Y_{i}^{(K)} ‖_{F}^{2}) 。 (14) \end{matrix} \end{matrix}

对于每个M_i(i=1,2,3),可分别求解下面优化问题:

\begin{matrix} M_{i}^{(K + 1)} = \underset{Mi}{argmin} [F(M_{i}) = λ_{1} α_{i} ‖ M_{i (i)} ‖_{t, *} + \frac{ρ}{2} ‖ M_{i} - X^{(K + 1)} - Y_{i}^{(K)} ‖_{F}^{2}] 。 (15) \end{matrix}

利用凸函数之差算法(DCA)将上述优化目标函数(15)式更改为两个凸函数之差^[13-14]的形式,即

\begin{matrix} \{\begin{matrix} G (M_{i}) = λ_{1} α_{i} ‖ M_{i (i)} ‖_{*} + c ‖ M_{i} ‖_{F}^{2} M + \frac{ρ}{2} ‖ M_{i} - (X^{(K + 1)} + Y_{i}^{(K))} ‖_{F}^{2} \\ H (M_{i}) = λ_{1} α_{i} ‖ M_{i (i)} ‖_{tc, *} + c ‖ M_{i} ‖_{F}^{2} \end{matrix}, (16) \end{matrix}

式中:c为常数,通常令c=0;F(M_i)=G(M_i)-H(M_i),用来加强函数G和H的凸性。根据DCA理论,可以得到下面迭代序列,即

\begin{matrix} \{\begin{matrix} Z_{i}^{(j)} \in \partial H (M_{i}^{(j)}) = \partial (λ_{1} α_{i} ‖ M_{i (i)} ‖_{tc, *}) \\ M_{i}^{(j + 1)} = \underset{Mi}{argmin} (G (M_{i}) - < M_{i}, Z_{i}^{(j)} >) = \\ \underset{M_{i}}{argmin} (λ_{1} α_{i} ‖ M_{i (i)} ‖_{*} + \frac{ρ}{2} ‖ M_{i} - \\ (X^{(K + 1)} + Y_{i}^{(K))} ‖_{F}^{2} - < M_{i}, Z_{i}^{(j)} >) \end{matrix}, (17) \end{matrix}

式中:<,>为内积;j为循环迭代索引,DCA方法产生的两个迭代序列分别记为 $\begin{matrix} Z_{i}^{(j)} \end{matrix}$ 和 $\begin{matrix} M_{i}^{(j)} \end{matrix}$ ;∂H为(16)式中函数H(M_i)的次微分;∂为次微分运算符。

针对(17)式中 $\begin{matrix} Z_{i}^{(j)} \end{matrix}$ 的求解方法表示为

\begin{matrix} Z_{i}^{(j)} = λ_{1} α_{i} U_{i} [diag (d), 0] {V^{T}}_{i}, (18) \end{matrix}

式中:U_i和V_i为奇异值分解后的正交矩阵;d= $\begin{matrix} {d_{p}}_{p = 1}^{S} \end{matrix}$ ,其中S表示奇异值的个数,取值为

\begin{matrix} d_{p} = \{\begin{matrix} 1, p \leq t \\ 0, p > t \end{matrix}, (19) \end{matrix}

式中:t为矩阵的秩;p为向量d的分量d_p的下标索引,它的范围是1到奇异值的个数S之间;1和0表示元素全为1或0的向量。U_i和V_i是对M_i₍_i₎进行奇异值分解得到,即

\begin{matrix} M_{i (i)} = U_{i} [diag (s), 0] {V^{T}}_{i}, (20) \end{matrix}

式中:s为矩阵M_i₍_i₎奇异值分解后的奇异值向量。

在迭代序列(17)式中,对 $\begin{matrix} M_{i}^{(j + 1)} \end{matrix}$ 的求解可表示为

\begin{matrix} \begin{matrix} M_{i}^{(j + 1)} = \underset{Mi}{argmin} (λ_{1} α_{i} ‖ M_{i (i)} ‖_{*} + \\ \frac{ρ}{2} ‖ M_{i} - X^{(K + 1)} - Y_{i}^{(K)} ‖_{F}^{2} - < M_{i}, Z_{i}^{(j)} >) = \\ \underset{Mi}{argmin} [λ_{1} α_{i} ‖ M_{i (i)} ‖_{*} + \\ \frac{ρ}{2} ‖ M_{i} - (X_{i}^{(K + 1)} + Y_{i (i)}^{(K)} + Z_{i}^{(j)} / ρ) ‖_{F}^{2}] = \\ fol d_{i} [SV T_{λ 1 αi / ρ} (X_{i}^{(K + 1)} + Y_{i (i)}^{(K)} + Z_{i}^{(j)} / ρ)], (21) \end{matrix} \end{matrix}

式中:SVT( )为奇异值收缩算子;λ₁α_i/ρ为收缩参数;fold_i( )为将HSI展开的二维阵还原为三维张量的算子,同时是展开算子unfold_i( )的逆算子,即

\begin{matrix} fol d_{i} (M_{i (i)}) = M_{i} 。 (22) \end{matrix}

3)子问题3——更新{ $\begin{matrix} y_{i}^{K = 1} \end{matrix} \begin{matrix} }_{i = 1}^{3} \end{matrix}$ :

\begin{matrix} Y_{i}^{(K + 1)} = Y_{i}^{(K)} + (X^{(K + 1)} - M_{i}^{(K + 1))} 。 (23) \end{matrix}

综上所述,模型(9)式的迭代求解方法具体见图1。

图 1. TNN-LRTV算法步骤

Fig. 1. Steps of TNN-LRTV algorithm

下载图片查看所有图片

4 实验结果与分析

为了验证本算法的有效性,分别在两种HSI上进行实验,第一种是用机载红外成像光谱仪拍摄的Moffet Field数据集^[26],它的空间尺寸为256×256,共有146个有用波段。第二种HSI是由高光谱数字采集试验仪拍摄的Washington DC National Mallde影像,它的空间大小为1280×307,共含191个可用波段^[27]。由于篇幅有限,选取了这些数据的某一子集进行实验。针对实验用的高光谱图像,首先将各个波段数据规范化到[0,255]之间,然后对其进行模糊下采样,从而获得低分辨率的HSI。在本实验中,所有数据集选择的模糊核都是高斯模糊核,下采样因子都是2。

与本文重构方法作对比的方法有NLM方法^[28]、SSGS^[6]、LRTV方法^[10],且用SSIM (structure similarity,I_SSIM)和PSNR (peak signal to noise ratio,I_PSNR)两个客观评价指标和基于图像视觉效果的主观评价来对比显示不同方法的重构结果。其中,I_PSNR的计算方法可表示为

\begin{matrix} I_{PSNR} = 10 \lg \frac{L^{2}}{\{\overset{M}{\sum_{x = 1}} \overset{N}{\sum_{y = 1}} {[\hat{X} (x, y) - X (x, y)]}^{2}\} / MN}, (24) \end{matrix}

式中:L为图像量化的灰度级别。(24)式的分母是重构图像数据与原始图像数据的均方误差,重建出的图像数据与原始数据均方误差越小,I_PSNR值就越大,反之,I_PSNR值就越小,说明重构出来的图像效果不好。I_PSNR用来衡量重构图像和原始图像之间的灰度相似性,值越大说明重构图像与原始图像越接近,重构效果越好。I_SSIM的计算方法可表示为

\begin{matrix} I_{SSIM} = \frac{(2 μ_{X} μ_{\dot{X}} + C_{1}) (2 σ_{X} σ_{\dot{X}}^{2} + C_{2})}{(μ_{X}^{2} + μ_{\dot{X}}^{2} + C_{1}) (σ_{X}^{2} + σ_{\dot{X}}^{2} + C_{2})}, (25) \end{matrix}

式中:μ_X和 $\begin{matrix} μ_{\dot{X}} \end{matrix}$ 分别为原始图像数据X和重建后图像数据 $\begin{matrix} \hat{X} \end{matrix}$ 的平均值;σ_X和 $\begin{matrix} σ_{\dot{X}} \end{matrix}$ 分别为方差;C₁和C₂为非常小的正整数。I_SSIM的评价更接近人眼的视觉感,用于衡量重建后的图像和原始图像之间的结果相似性,值越大,说明估计图像质量越好,结构性越完整。

图 2. Moffet Field图第50通道重构结果。(a)原始图;(b)模糊下采样图;(c) NLM结果;(d) SSGS结果;(e) LRTV结果;(f) TNN-LRTV结果

Fig. 2. Reconstruction results on band 50 of Moffet Field data. (a) Original image; (b) fuzzy down sampling image;(c) result of NLM method; (d) result of SSGS method; (e) result of LRTV method; (f) result of TNN-LRTV method

下载图片查看所有图片

Moffet Field数据集中,在去除严重污染的通道后,选取含43波段和含50波段的数据集,分别记为Moffet Field 1、Moffet Field 2。下面从结果和方法两方面进行分析,如图2所示。

从结果方面来看,图2(a)显示了Moffet Field 1第50个通道的原始图像;图2(b)是对其模糊下采样后的图像;图2(c)是NLM方法重构出的结果,它基于数据的自适应块且结合子采样相关约束的重构方法,虽然避免了插值产生的伪影,但重构效果仍然比较模糊;如图2(d)所示,SSGS方法考虑了空谱的自相似性,保留了较清晰的纹理和边缘;图2(e)和图2(f)是第50通道的LRTV和TNN-LRTV超分辨结果,直观地显示出基于张量截断核范数方法的超分辨结果要比张量核范数方法的视觉效果好一些,图2(f)中保留了更清楚的轮廓和锐利的边缘,丰富了图像的细节,得到了质量较好的重构结果。

从方法方面分析,本文方法和LRTV方法都使用了光谱低秩信息,同时也利用了空间相关信息。但本文方法使用了基于张量截断核范数的LRTV模型,并且产生了比LRTV模型更好的效果,其原因是,LRTV等核范数方法认为所有非零奇异值对矩阵的秩大小有相同的贡献,通过最小化所有奇异值之和来重构图像。LRTV等核范数方法公平地处理每一个奇异值,导致重构出的图像丢失了原始图像的大量信息,所以在实际应用中获得了次优的结果。文献[ 11]认为核范数不能较好地近似秩函数,且在实际中很难满足基于核范数启发式方法的理论要求,例如需要满足非相干性条件等。同时认为低秩数据在进行奇异值分解时,较大的奇异值中主要包含大量的原始图像数据信息,而较小的奇异值主要包含观测噪声或者人为的结构信息,且矩阵的秩也仅对应于较大的奇异值个数^[11]。本文基于张量截断核范数最小化方法能更好地逼近数据的低秩先验。

基于上面的分析,本文模型[(9)式中的第二项‖X‖_t_,*张量截断核范数项]将奇异值不平等对待,保留观测数据较大奇异值而只惩罚较小奇异值,从而得到更精确和更稳健的秩函数。而且利用该范数可以同时探索空间维和光谱维的先验信息,因此更好地保存了原始图像的大量信息和丰富了图像的细节信息。在此基础上,结合(9)式的空谱全变差正则项T_V(X)能更有效地保持图像的锐利边缘和促使空间分片光滑化。最后建立了基于张量截断核范数和空谱全变差的方法,实现了对张量秩函数更好的近似,进而展现出更好的重构结果。相比于本方法,SSGS和LRTV重构方法对噪声比较敏感,因而产生了与噪声有关的人为结构,且丢失了图像的某些细节信息。由此可以看出,在LRTV模型中对传统的核范数正则化超分辨模型的改进能有效提升模型的重构效果。

为了更好地测试本方法在不同大小的高光谱块中的可行性,在高光谱图像Washington DC National Mall中选取3个子集进行实验,分别记为DC Mall 1、DC Mall 2、DC Mall 3,大小分别为256×256×8、256×256×60、256×256×80。对其进行模糊下采样,利用本方法和对比方法对观测数据进行重构,并将重构结果所有通道的SSIM和PSNR分别取平均,记为MSSIM和MPSNR,并用这两个平均值作为最终重构效果的数值评判标准。表1汇总了4种方法的重构数值指标,可以看出,本文方法几乎在每个段中都能得到比其他方法更高的MSSIM和MPSNR值,对DC Mall 1图,本文方法处理后的HSI比LRTV的MPSNR提高了0.802 dB,比SSGS方法MPSNR高了1.094 dB,比NLM方法MPSNR提高了2.913 dB。对Moffet 1图,本文方法的图像比LRTV、SSGS、NLM方法分别提高了0.443 dB、0.88 dB、1.818 dB。可以看出平均结构相似度也大幅提高,更加接近1。其他子图的情况也类似。图3也佐证了这个结果。

表 1. 不同方法的高光谱图像SR重构结果比较

Table 1. Comparison of SR reconstruction results of hyperspectral images by different methods

Metric	Dataset	NLM	SSGS	LRTV	TNN-LRTV
MSSIM /%	DC Mall 1	0.7475	0.7930	0.8357	0.8540
	DC Mall 2	0.7791	0.8546	0.8653	0.8794
	DC Mall 3	0.7811	0.8586	0.8670	0.8814
	Moffett 1	0.7282	0.8041	0.8106	0.8319
	Moffett 2	0.7296	0.7983	0.8109	0.8307
MPSNR /dB	DC Mall 1	23.512	25.331	25.623	26.425
	DC Mall 2	23.204	25.059	25.142	25.660
	DC Mall 3	23.619	25.516	25.602	26.137
	Moffett 1	26.747	27.685	28.122	28.565
	Moffett 2	26.879	27.613	28.229	28.646

查看所有表

图3(a)中显示了子图DC Mall 3数据第101个光谱通道的清晰图像;图3(b)对其进行模糊下采样;图3(c)和(d)是NLM方法和SSGS方法的结果;图3(e)显示的是LRTV的结果。NLM显示出了较严重的模糊伪影,SSGS结果的对比度增强是由于SSGS方法结合了HSI稀疏性和非局部相似性,利用稀疏表示方法分析了HSI的光谱和空间性质。LRTV和本文方法都利用了高光谱立方体的张量稀疏表示,比NLM和SSGS方法显现出更好的重构结果,由此体现出张量处理高光谱图像超分辨问题的优势。而相比于LRTV方法,本文方法采用的张量秩函数更加精确,所以重构出的图像视觉效果有更丰富的细节和锐利的边缘,故本文结果,即图2(f)的视觉效果要强于其他方法。

从直观的图像可以看出本文的超分辨结果比LRTV等方法的重构细节更多,而且在每个通道的PSNR和SSIM值也证实了这个结果,如图4和图5所示,可以看出本方法对图像的重构能力更强,并且没有异常值出现。

为了进一步比较这4种重构方法的性能,实验比较了图像重构前后像素点的光谱特征,实验结果表明图像的大量像素点的光谱特征结果类似,因此以随机选取的像素点(100,120)的光谱特征为代表来进行分析。图6给出了DC Mall 3原始图像在该点的光谱特征、该点模糊下采样后的图像的光谱特征和对比方法图像的光谱特征。图中f₀表示原始图像的光谱特征。可以看出,各个波段TNN-LRTV所得到的该点的光谱特征曲线基本和原来的光谱曲线一致,而LRTV则在某些波段有较大的偏离。所以提出的方法能更有效地重构出像素点的光谱特征。

图 3. DC Mall图第101通道重构结果。(a)原始图;(b)模糊下采样图;(c) NLM结果;(d) SSGS结果;(e) LRTV结果;(f) TNN-LRTV结果

Fig. 3. Reconstruction results on band 101 of DC Mall image. (a) Original image; (b) fuzzy down sampling image; (c) result of NLM method; (d) result of SSGS method; (e) result of LRTV method; (f) result of TNN-LRTV method

下载图片查看所有图片

图 4. 各方法重构结果的I_PSNR值

Fig. 4. I_PSNR values of different methods

下载图片查看所有图片

图 5. 各方法重构结果I_SSIM值

Fig. 5. I_SSIM values of different methods

下载图片查看所有图片

图 6. (100, 120)处的光谱特征结果。(a)原始光谱特征;(b)模糊下采样后光谱特征;(c)各方法重构结果的光谱特征值

Fig. 6. Results of spectral features at (100, 120). (a) Spectral feature of original image; (b) spectral feature after fuzzy down sampling; (c) spectral features of the reconstructed results of different methods

下载图片查看所有图片

在TNN-LRTV模型中,本实验中的数据集所含的波段数不同,因此需要对正则化参数随波段数的变化进行略微调整,以含80个波段的子图DC Mall 3数据为例,正则化参数λ₁=2212/ $\begin{matrix} \sqrt[]{m \times n \times 8} \end{matrix}$ 和λ₂=0.121。固定λ₁,从0.005~0.8中每隔0.04取一个值形成λ₂的取值集合,将每一个λ₂值代入模型计算MPSNR和MSSIM。若λ₂取值较大,TV项作用加大,使数据纹理细节部分丢失,两个指标值都变小;若λ₂取值较小,噪声问题不能解决,不管是视觉效果还是量化指标都变差。固定λ₂,λ₁值的分子从1900到3230每隔70取一个值,将对应的每个λ₁代入模型中计算重构效果的数值指标,分别选取使MPSNR和MSSIM值最大的λ₂和λ₁。另外,对于权重参数a_i的取值,视每一维图像同等重要,即

\begin{matrix} α_{1} = α_{2} = α_{3} = 1 / 3 。 (26) \end{matrix}

5 结论

针对HSI超分辨率重构问题,分析数据中存在的两种低秩先验:空谱低秩先验和空谱稀疏先验。在这两种先验的基础上,建立基于张量截断核范数的秩函数近似实现高光谱图像的超分辨重构。首先,基于张量截断核范数的秩函数近似方法可以更准确地逼近张量的秩函数,并且可以同时探索HSI的各个维度的先验信息,进而更好地反映出HSI的空谱低秩特性;其次,引入空谱全变差方法能更好地重构图像的边缘和细节信息。因此,结合两种先验优势,基于张量截断核范数和空谱全变差正则化模型在重构矩阵的秩和误差的稀疏性方面更具有稳健性,所以能够重构出高质量的HSI。相比经典的LRTV方法,TNN-LRTV的MPSNR和MSSIM值有所提高,并且能够更好地改善图像的细节纹理等视觉效果。但是,HSI维度高,导致重构模型的计算结果复杂度增大,因此建立高效的模型计算方法,是未来需要研究的重点问题。

致谢武汉大学国际软件学院李杰博士提供了文献[ 6]中模型算法的程序,在此向其表示忠心的感谢。

参考文献

[1] 刘立新, 李梦珠, 赵志刚, 等. 高光谱成像技术在生物医学中的应用进展[J]. 中国激光, 2018, 45(2): 0207017.

Liu L X, Li M Z, Zhao Z G, et al. Recent advances of hyperspectral imaging application in biomedicine[J]. Chinese Journal of Lasers, 2018, 45(2): 0207017.

[2] 付立婷, 邓河, 刘春红. 新型高光谱图像快速实时目标检测与分类方法[J]. 光学学报, 2017, 37(2): 0230002.

Fu L T, Deng H, Liu C H. Novel fast real-time target detection and classification algorithms for hyperspectral imagery[J]. Acta Optica Sinica, 2017, 37(2): 0230002.

[3] Yokoya N, Grohnfeldt C, Chanussot J. Hyperspectral and multispectral data fusion: a comparative review of the recent literature[J]. IEEE Geoscience and Remote Sensing Magazine, 2017, 5(2): 29-56.

[4] Dong W S, Fu F Z, Shi G M, et al. Hyperspectral image super-resolution via non-negative structured sparse representation[J]. IEEE Transactions on Image Processing: a Publication of the IEEE Signal Processing Society, 2016, 25(5): 2337-2352.

[5] 许蒙恩, 谢宝陵, 徐国明. 空间光谱联合稀疏表示的高光谱图像超分辨率方法[J]. 激光与光电子学进展, 2018, 55(7): 071014.

Xu M E, Xie B L, Xu G M. Hyperspectral image super-resolution method based on spatial spectral joint sparse representation[J]. Laser & Optoelectronics Progress, 2018, 55(7): 071014.

[6] Li J, Yuan Q Q, Shen H F, et al. Hyperspectral image super-resolution by spectral mixture analysis and spatial-spectral group sparsity[J]. IEEE Geoscience and Remote Sensing Letters, 2016, 13(9): 1250-1254.

[7] Guo Z H, Wittman T, Osher S. L1 unmixing and its application to hyperspectral image enhancement[J]. Proceedings of SPIE, 2009, 7334: 73341M.

[8] Zhang H Y, He W, Zhang L P, et al. Hyperspectral image restoration using low-rank matrix recovery[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52(8): 4729-4743.

[9] He W, Zhang H Y, Zhang L P, et al. Total-variation-regularized low-rank matrix factorization for hyperspectral image restoration[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(1): 178-188.

[10] Shi F, Cheng J, Wang L, et al. LRTV: MR image super-resolution with low-rank and total variation regularizations[J]. IEEE Transactions on Medical Imaging, 2015, 34(12): 2459-2466.

[11] Hu Y, Zhang D B, Ye J P, et al. Fast and accurate matrix completion via truncated nuclear norm regularization[J]. IEEE Transactionson Pattern Analysis and Machine Intelligence, 2013, 35(9): 2117-2130.

[12] Cao F L, Chen J Y, Ye H L, et al. Recovering low-rank and sparse matrix based on the truncated nuclear norm[J]. Neural Networks, 2017, 85: 10-20.

[13] Tao P D. An L T H. Convex analysis approach to d.c. programming: theory, algorithms and applications[J]. Acta Mathematica Vietnamica, 1997, 22(1): 289-355.

[14] An L T H, Tao P D. The DC (difference of convex functions) programming and DCA revisited with DC models of real world nonconvex optimization problems[J]. Annals of Operations Research, 2005, 133: 23-46.

[15] Yuan Q Q, Zhang L P, Shen H F. Hyperspectral image denoising employing a spectral-spatial adaptive total variation model[J]. IEEE Transactions on Geoscience and Remote Sensing, 2012, 50(10): 3660-3677.

[16] Kolda T G, Bader B W. Tensor decompositions and applications[J]. SIAM Review, 2009, 51(3): 455-500.

[17] Zhao Q B, Zhang L Q, Cichocki A. Bayesian CP factorization of incomplete tensors with automatic rank determination[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1751-1763.

[18] Tucker L R. Some mathematical notes on three-mode factor analysis[J]. Psychometrika, 1966, 31(3): 279-311.

[19] Li X T, Ng M K, Cong G, et al. MR-NTD: manifold regularization nonnegative tucker decomposition for tensor data dimension reduction and representation[J]. IEEE Transactions on Neural Networks and Learning Systems, 2017, 28(8): 1787-1800.

[20] Liu J, Musialski P, Wonka P, et al. Tensor completion for estimating missing values in visual data[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(1): 208-220.

[21] Gandy S, Recht B, Yamada I. Tensor completion and low-n-rank tensor recovery via convex optimization[J]. Inverse Problems, 2011, 27(2): 025010.

[22] Zhang C Y, Hu W R, Jin T Y, et al. Nonlocal image denoising via adaptive tensor nuclear norm minimization[J]. Neural Computing and Applications, 2018, 29(1): 3-19.

[23] Rudin L I, Osher S, Fatemi E. Nonlinear total variation based noise removal algorithms[J]. Physica D: Nonlinear Phenomena, 1992, 60: 259-268.

[24] Boyd S. Distributed optimization and statistical learning via the alternating direction method of multipliers[J]. Foundations and Trends ^© in Machine Learning, 2010, 3(1): 1-122.

[25] Marquina A, Osher S J. Image super-resolution by TV-regularization and Bregman iteration[J]. Journal of Scientific Computing, 2008, 37(3): 367-382.

[26] AVIRIS data[DB/OL]. [2017-07-19].https:∥aviris. jpl. nasa. gov/data/image_cube. html.

[27] HYDICE data[DB/OL]. [2017-01-30].https:∥engineering purdue. edu/~biehl/MultiSpec/ hype- rspectral. html.

[28] Manjón J V, Coupé P, Buades A, et al. Non-local MRI upsampling[J]. Medical Image Analysis, 2010, 14(6): 784-792.

王艺卓, 曾海金, 赵佳佳, 谢晓振. 基于张量截断核范数的高光谱图像超分辨率重构[J]. 激光与光电子学进展, 2019, 56(21): 211007. Yizhuo Wang, Haijin Zeng, Jiajia Zhao, Xiaozhen Xie. Super-Resolution Reconstruction of Hyperspectral Images Based on Tensor Truncated Nuclear Norm[J]. Laser & Optoelectronics Progress, 2019, 56(21): 211007.

基于张量截断核范数的高光谱图像超分辨率重构下载： 998次

1 引言

2 相关工作

2.1 HSI超分辨率重构框架

2.2 张量核范数

2.3 张量截断核范数

2.4 LRTV重构模型

3 本文模型与求解方法

3.1 TNN-LRTV模型

3.2 TNN-LRTV模型求解

图 1. TNN-LRTV算法步骤

Fig. 1. Steps of TNN-LRTV algorithm

4 实验结果与分析

图 2. Moffet Field图第50通道重构结果。(a)原始图;(b)模糊下采样图;(c) NLM结果;(d) SSGS结果;(e) LRTV结果;(f) TNN-LRTV结果

Fig. 2. Reconstruction results on band 50 of Moffet Field data. (a) Original image; (b) fuzzy down sampling image;(c) result of NLM method; (d) result of SSGS method; (e) result of LRTV method; (f) result of TNN-LRTV method

表 1. 不同方法的高光谱图像SR重构结果比较

Table 1. Comparison of SR reconstruction results of hyperspectral images by different methods

图 3. DC Mall图第101通道重构结果。(a)原始图;(b)模糊下采样图;(c) NLM结果;(d) SSGS结果;(e) LRTV结果;(f) TNN-LRTV结果

Fig. 3. Reconstruction results on band 101 of DC Mall image. (a) Original image; (b) fuzzy down sampling image; (c) result of NLM method; (d) result of SSGS method; (e) result of LRTV method; (f) result of TNN-LRTV method

图 4. 各方法重构结果的I_PSNR值

Fig. 4. I_PSNR values of different methods

图 5. 各方法重构结果I_SSIM值

Fig. 5. I_SSIM values of different methods

图 6. (100, 120)处的光谱特征结果。(a)原始光谱特征;(b)模糊下采样后光谱特征;(c)各方法重构结果的光谱特征值

Fig. 6. Results of spectral features at (100, 120). (a) Spectral feature of original image; (b) spectral feature after fuzzy down sampling; (c) spectral features of the reconstructed results of different methods

5 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于张量截断核范数的高光谱图像超分辨率重构 下载： 998次

1 引言

2 相关工作

2.1 HSI超分辨率重构框架

2.2 张量核范数

2.3 张量截断核范数

2.4 LRTV重构模型

3 本文模型与求解方法

3.1 TNN-LRTV模型

3.2 TNN-LRTV模型求解

图 1. TNN-LRTV算法步骤

Fig. 1. Steps of TNN-LRTV algorithm

4 实验结果与分析

图 2. Moffet Field图第50通道重构结果。(a)原始图;(b)模糊下采样图;(c) NLM结果;(d) SSGS结果;(e) LRTV结果;(f) TNN-LRTV结果

Fig. 2. Reconstruction results on band 50 of Moffet Field data. (a) Original image; (b) fuzzy down sampling image;(c) result of NLM method; (d) result of SSGS method; (e) result of LRTV method; (f) result of TNN-LRTV method

表 1. 不同方法的高光谱图像SR重构结果比较

Table 1. Comparison of SR reconstruction results of hyperspectral images by different methods

图 3. DC Mall图第101通道重构结果。(a)原始图;(b)模糊下采样图;(c) NLM结果;(d) SSGS结果;(e) LRTV结果;(f) TNN-LRTV结果

Fig. 3. Reconstruction results on band 101 of DC Mall image. (a) Original image; (b) fuzzy down sampling image; (c) result of NLM method; (d) result of SSGS method; (e) result of LRTV method; (f) result of TNN-LRTV method

图 4. 各方法重构结果的IPSNR值

Fig. 4. IPSNR values of different methods

图 5. 各方法重构结果ISSIM值

Fig. 5. ISSIM values of different methods

图 6. (100, 120)处的光谱特征结果。(a)原始光谱特征;(b)模糊下采样后光谱特征;(c)各方法重构结果的光谱特征值

Fig. 6. Results of spectral features at (100, 120). (a) Spectral feature of original image; (b) spectral feature after fuzzy down sampling; (c) spectral features of the reconstructed results of different methods

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于张量截断核范数的高光谱图像超分辨率重构下载： 998次

图 4. 各方法重构结果的I_PSNR值

Fig. 4. I_PSNR values of different methods

图 5. 各方法重构结果I_SSIM值

Fig. 5. I_SSIM values of different methods