高光谱超分图像质量评价

薛松; 张思雨; 刘永峰

doi:doi:10.3788/LOP56.041001

激光与光电子学进展, 2019, 56 (4): 041001, 网络出版: 2019-07-31

高光谱超分图像质量评价下载： 1145次

Quality Assessment of Hyperspectral Super-Resolution Images

论文大纲

薛松 ¹张思雨 ^2,**刘永峰 ^1,*

作者单位

¹ 陆军炮兵防空兵学院兵器工程系, 安徽合肥, 230000

² 陆军炮兵防空兵学院研究生1队, 安徽合肥, 230000

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

利用经典超分方法获得高光谱超分图像集,研究了图像的特点,提出一种基于3类图像特征向量的高光谱超分图像质量评价方法。该方法分别计算了图像的空域自然场景统计、局部频域特征以及局部二值模式梯度,获得了3类特征向量,对3类低层特征向量建立回归森林模型,以预测图像的质量得分。与其他经典方法相比,所提算法具有更好的准确度和主客观一致性。

Abstract

The hyperspectral super-resolution image set is obtained with the classical super-resolution method and the characteristics of these images are studied. A quality assessment method of hyperspectral super-resolution images is proposed based on three types of image feature vectors. In this method, the spatial natural statistics, the local frequency features and the local binary gradient of images are calculated, respectively, and three kinds of feature vectors are obtained. The regression forest model is established for the three types of low-level feature vectors to predict the image quality scores. Compared with other classical methods, the proposed algorithm possesses high accuracy and good subjective and objective consistency.

1 引言

随着现代科学技术的快速发展,高光谱遥感科学作为一门综合性的高新技术,在资源探索、地质矿物识别和环境检测等领域应用广泛^[1]。高光谱图像(HI)包含丰富的空间信息、辐射信息和光谱信息,具有光谱连续、图谱合一等特性^[2],使得许多原本在多光谱遥感图像中无法获取的光谱信息得以探测。但是随着高光谱图像光谱波段数的增加,为了提高感光性能和成像质量,需要增大感光元的物理尺寸,但会造成图像空间分辨率降低^[3],而在目标识别、地物分类、环境变化检测等高光谱遥感的诸多应用中仍然需要较高空间分辨率的图像。

图像超分辨率(SR)重建是将低分辨率(LR)图像通过信息处理方法重构出高分辨率(HR)图像。图像超分重建最早由Harris^[4]提出,因其具有切实有效、成本低廉的优点,被广泛应用于视频监控、医疗成像、卫星成像及影像融合等领域^[5]。学者在图像超分重建上进行了大量研究,形成了基于插值、基于重建及基于学习的方法^[6]。基于插值的方法简单易行,计算效率较高,但会损失图像的高频细节,造成图像锯齿或图像模糊;基于重建的方法通过获取图像的先验知识将低分辨率场景复原为高分辨率,然而由于有效先验知识的获取较为困难,因此该类方法的重建效果仍然较差;基于学习的方法是在基于重建方法的基础之上,先通过机器学习建立高、低分辨率影像之间的非线性映射关系,再进行影像重构^[7-9]。Freeman等^[7]通过引入马尔可夫网络,实现了基于实例学习的单一图像超分辨率算法。Chang等^[8]提出了邻域嵌入的方法。Yang等^[9]利用稀疏方法构建模型,更好地恢复出图像的细节信息。Dong等^[10]首次提出了深度神经网络的方法,取得了优越的重建效果。目前这些重建后的图像通常通过均方根误差(MSE)、峰值信噪比(PSNR)、结构相似性指数(SSIM)等全参考图像质量评价方法来判别其与高分辨率原始真实场景的相似性。但是在某些情况下,这些度量指标与人眼视觉感知不相符,且在实际过程中原始真实场景通常难以获得。因此采用无参考手段对其进行质量评价的定量分析不但具有现实应用需求,而且对拓展图像质量评价方法的理论研究和应用领域具有重要意义。

无参考图像质量评价理论的研究发展迅猛,出现了许多准确有效的质量评价方法,如BIQI(Blind Image Quality Index)^[11]、DIIVINE(Distortion Identification-Based Image Verity and Integrity Evaluation)^[12]、BRISQUE(Blind/Referenceless Image Spatial Quality Evaluator)^[13]、BLIINDS(BLind Image Integrity Notator Using DCT Statistics)^[14]、BLIINDS-II^[15]、CORNIA(Codebook Representation for No-Reference Image Assessment)^[16]、QAC(Quality-Aware Clustering)^[17]等算法。这些算法借助于不同的特征提取方式对人们已知的5种失真类型图像进行质量评价,取得了良好的评价效果。Mittal等^[18-19]进而提出了一类通用的无参考评价方法NIQE(Natural Image Quality Evaluator)和IL-NIQE(Integrated Local NIQE),算法不局限于5种失真类型,利用马氏距离映射训练样本和测试样本模型参数获得质量得分,实现了图像的绝对“盲评价”。近年来无参考图像质量评价方法又朝着图像类型多样化和评价方法智能化的方向不断发展,对航拍图像、红外图像等特殊场景和类型图像的质量评价方法层出不穷,诸如深度学习、神经网络的智能评价方法得到了广泛应用。

目前针对高光谱超分图像的大多数研究都剥离为两个部分,一部分研究高光谱图像信息识别和定位探测的能力,一部分研究超分图像中超分算法的设计。但针对高光谱超分图像的质量评价问题研究却鲜见报道。2017年,Ma 等^[20]对超分图像质量评价问题进行研究,取得较为良好的评价效果。本文针对大量高光谱超分图像进行综合分析,提取出能够表征图像特点的3类特征因子:自然场景统计特征、局部频域特征、局部二值模式梯度特征。对3类特征因子建立回归森林,构建出一种与视觉感知相匹配的高光谱超分图像无参考质量评价算法。

2 图像特征分析及提取

2.1 图像特点分析

图 1. 第25、50、75、100波段图像超分辨率重建效果比较。(a)高光谱图像;(b)高光谱超分图像;(c)高光谱图像的场景图像块;(d)高光谱超分图像的场景图像块

Fig. 1. Super-resolution reconstruction effects of 25th, 50th, 75th and 100th band images. (a) Hyperspectral image; (b) hyperspectral super-resolution image; (c) scene image blocks for hyperspectral image; (d) scene image blocks for hyperspectral super-resolution image

下载图片查看所有图片

超分重建的基本思想是从退化的低分辨率图像中重建丢失的信息并消除退化因素的影响,从而获得高分辨率图像。在高光谱成像过程中,不同光谱波段对地物特征的敏感性不同,重建过程中重建图像的细节易受高光谱成像仪及传输过程中不确定因素的影响,导致高光谱超分图像产生不同程度的降质现象。图1为不同波段场景细节超分重建后的效果对比。高光谱成像在后续整个超分过程中还容易受到以下因素的影响:1) 无法控制的因素,如成像系统的抖动或目标场景的偏移,使得成像结果产生模糊效应;2) 在高光谱同一时刻运用不同波段成像时,图像序列配准和运动估计不够精确。以上一系列的因素均会导致重建后的图像质量下降严重,致使出现成像结果解码偏差、运动模糊、对比度下降等现象。因此必须深入分析并选取适合其质量评价的图像特征。

2.2 基于空域自然场景统计特征

有学者研究指出自然场景统计能够显著地揭示失真图像的质量衰退程度^[21]。基于该研究理论,本研究参考成熟的图像质量评价算法,将自然场景统计作为一类特征因子用于图像信息结构的度量。自然灰度图像的局部归一化过程可以描述为

\begin{matrix} I_{MSCN} (i, j) = \frac{I_{gray} (i, j) - μ (i, j)}{σ (i, j) + 1}, (1) \end{matrix}

式中:(i,j)为空间像素点,i∈1,2,…,M,j∈1,2,…,N;M和N分别表示图像的高度和宽度;I_gray为自然图像的灰度图,gray表示图像灰度;I_MSCN(i,j)为对图像像素点计算的去均值对比度归一化(MSCN)因子,用于表示图像在空域下的自然场景统计特征;μ(i,j)和σ(i,j)分别为图像的局部均值和方差,表达式为

\begin{matrix} \begin{matrix} μ (i, j) = \overset{K}{\sum_{k = - K}} \overset{L}{\sum_{l = - L}} w_{k, l} I_{gray} (i + k, j + l), (2) \\ σ (i, j) = \sqrt[]{\overset{K}{\sum_{k = - K}} \overset{L}{\sum_{l = - L}} w_{k, l} [I_{gray} (i + k, j + l) - μ {(i, j)]}^{2}}, (3) \end{matrix} \end{matrix}

其中w= $\begin{matrix} \{w_{k, l} │ k = - K, \dots, K; l = - L, \dots, L\} \end{matrix}$ 为二维循环对称高斯权重函数;k和l分别为标准偏差量,K和L为标准偏差的采样大小且K=L=3。清晰图像的统计直方图呈现明显的高斯分布。由于图像光谱波段不同,经超分后带来的某些失真会改变这种统计属性,导致图像直方图产生一定偏差,因此量化这些扭曲和偏差可以预测图像的质量。为了直观地表明偏差带来MSCN因子的变化,对图1(a)在光谱覆盖范围408.9~918.8 nm、光谱分辨率4~5 nm、波段数为100个时,每隔10个波段提取的10幅图像,经(1)式计算获得MSCN因子统计直方图,如图2所示。从图中可以看出随着波段的增加,超分后图像的MSCN直方图也在不断变化,趋向于非高斯型。因此通过(1)式计算获得的平均差分和对比度归一化因子可作为预测图像质量的特征。

图 2. MSCN统计规律

Fig. 2. Statistical regularity of MSCN

下载图片查看所有图片

2.3 局部频域特征

先前研究表明,图像的离散余弦变换(DCT)统计系数能够有效地量化图像的失真程度和失真形式。这种方法已经被成熟地运用到经典的无参考图像质量评价算法中,如文献[ 13]、文献[ 18]和文献[ 19]。对于本文所研究的对象,从低分辨率到高分辨率的过程可看作是图像高频部分恢复的过程。为了量化由超分过程引入的图像高频信息,参考文献[ 15],提取超分图像的离散余弦变换系数,并通过广义高斯分布(GGD)进行拟合。广义高斯分布定义为

\begin{matrix} f (x |α, β) = \frac{1}{2 βΓ (1 / α)} \exp [- {(\frac{|x|}{β})}^{α}], (4) \end{matrix}

式中:α控制GGD分布的形状;β控制GGD分布的方差;Γ(·)为gamma方程,表达式为

\begin{matrix} Γ (α) = \int_{0}^{\infty} t^{α - 1} \exp (- t) dt α > 0 。 (5) \end{matrix}

通过DCT变换后,由(1)式所计算的图像因子遵循一个统一的规律结构。而图像中蕴含的某些失真会扰乱这种关联结构。由图像失真带来统计规律上的偏差可以通过计算相邻因子对来获得。将水平、垂直、主对角线方向和次对角线方向上的相邻因子对,分别表示为I_MSCN(i,j)I_MSCN(i,j+1)、I_MSCN(i,j)I_MSCN(i+1,j)、I_MSCN(i,j)I_MSCN(i+1,j+1)、I_MSCN(i,j)I_MSCN(i+1,j-1),将每个方向上获得的参数对作为衡量图像质量的特征之一。图3所示为相邻因子的提取方法,相邻因子的统计规律直方图如图4所示。

图 3. 相邻因子提取方法

Fig. 3. Extraction method of adjacent factors

下载图片查看所有图片

图 4. 4个方向的相邻因子统计规律。(a)水平方向;(b)垂直方向;(c)主对角线方向;(d)次对角线方向

Fig. 4. Statistic of adjacent factors along four directions. (a) Horizontal direction; (b) vertical direction; (c) main-diagonal direction; (d) secondary-diagonal direction

下载图片查看所有图片

2.4 局部二值模式梯度特征

针对前文MSCN对图像结构信息表征不充分的问题,对图像进行梯度处理。图像的梯度幅值是指在两个正交方向上对图像进行平方和开根号计算获得有关图像的方向性特性。计算时通常可通过边缘检测算子获取图像的梯度幅值,相应的检测算子包括一阶算子中的Robert算子、Prewitt算子、Sobel算子、Kirsch算子,以及二阶算子中的Canny算子、Laplacian算子等。在这些算子中,由于Prewitt算子计算简便,因此所提算法采用Prewitt滤波器来计算图像的梯度。该计算过程为

\begin{matrix} g (i) = \sqrt[]{(I_{MSCN} * p_{x})^{2} (i) + (I_{MSCN} * p_{y})^{2} (i)}, (6) \end{matrix}

式中:符号*表示卷积计算;p_x和p_y分别为两个正交的Prewitt滤波器传递函数;g为图像在当前像素点i上的梯度幅值。

而后基于(6)式计算图像的局部二值模式(LBP)。LBP用于表示图像的中心像素与周围相邻像素间灰度差的关系^[22]。因此可通过LBP判断图像梯度图中以某个像素点为中心像素与以周围8个像素为相邻像素的联系。因此将基于LBP的图像梯度(GLBP)定义为

\begin{matrix} G_{LBP} (P, r) = \overset{P - 1}{\sum_{i = 0}} s (g_{i} - g_{c}) 2^{i}, (7) \end{matrix}

式中:r为以中心像素为中心,辐射到邻域像素点的辐射半径;P为半径为r的圆环形邻域上均匀分布的像素点个数。定义P=8,r=1。g_i和g_c分别代表中心像素与邻域像素的梯度幅值。s(·)表示LBP算子计算的阈值函数,定义为

\begin{matrix} s (g_{i} - g_{c}) = \{\begin{matrix} 1, g_{i} - g_{c} \geq 0 \\ 0, g_{i} - g_{c} < 0 \end{matrix} 。 (8) \end{matrix}

通常情况下,g_c被标定在g_i的正右方,坐标为(c,r)。当图像被旋转,g_i和g_c的相对位置发生变化,致使GLBP值不同。为了消除旋转带来的影响,获得唯一的GLBP值,实现旋转不变性,定义一种包含统一度量模式的局部旋转不变的均匀GLBP,即

\begin{matrix} {\bar{G}}_{LBP} (P, r) = \{\begin{matrix} \overset{P - 1}{\sum_{i = 0}} s (g_{i} - g_{c}), U \leq 2 \\ P + 1, else \end{matrix}, (9) \end{matrix}

式中: $\begin{matrix} U \end{matrix}$ 为统一度量模式,表示均匀环形结构内极少的空间转换形式,用来记录空间转换的数量,即0~1变化的次数。模式 $\begin{matrix} U \end{matrix}$ 定义为

\begin{matrix} U = | s (g_{P - 1} - g_{c}) - s (g_{0} - g_{c}) |+ \overset{P - 1}{\sum_{i = 0}} |s (g_{i} - g_{c}) - s (g_{i - 1} - g_{c}) | 。 (10) \end{matrix}

在所有8位二进制中共有P(P-1)+2=58种变化次数,其中变化次数为0的有2种、变化次数为1的有0种、变化次数为2的有56种。因此结合(9)式在U≤2时,共有58个属于同一模式,其他所有都属于P+1,即第59个。通过以上步骤可以提取图像中较为明显的梯度结构特征。图5所示为每隔10个波段提取的高光谱图像进行超分重建后的GLBP图。从图5可看出不同波段的超分图像有着不同形式的GLBP特征,因此图像的GLBP特征也可作为感知图像质量的特征之一。

图 5. 高光谱超分图像的GLBP特征图。(a) 10波段;(b) 20波段;(c) 30波段;(d) 40波段; (e) 50波段;(f) 60波段;(g) 70波段;(h) 80波段;(i) 90波段;(j) 100波段

Fig. 5. GLBP feature maps of hyperspectral super-resolution images. (a) 10th band; (b) 20th band; (c) 30th band; (d) 40th band; (e) 50th band; (f) 60th band; (g) 70th band; (h) 80th band; (i) 90th band; (j) 100th band

下载图片查看所有图片

2.5 质量评价模型构建

对前文所提取的空域自然场景统计特征、图像局部频域特征、局部二值模式梯度特征,建立独立的回归森林^[23],并在预测图像时输出线性的感知分数。定义x_k(k=1,2,3)为其中某一类低层特征,k代表层数;y为输出的感知分数。森林中第n(n=1,2,…,T)个决策树的第m个节点的学习方式为

\begin{matrix} θ_{m}^{(k) *} = argma x_{θ {(k)}^{*} m \in T_{m}} I_{m}^{(k)}, (11) \end{matrix}

式中:T_m为控制训练数据的随机子集,用于训练节点m; $\begin{matrix} I_{m}^{(k)} \end{matrix}$ 为目标函数,定义为

\begin{matrix} \begin{matrix} I_{m}^{(k)} = \sum_{xk \in S_{m}} \ln (|Λ_{y} (x_{k})|) - \\ \sum_{i \in \{L, R\}} [\sum_{x_{n} \in S (i) m} \ln (|Λ_{y} (x_{k})|)], (12) \end{matrix} \end{matrix}

其中Λ_y为由概率线性拟合计算出的条件协方差矩阵,S_m为到达训练节点m的训练集合; $\begin{matrix} S_{m}^{(i)} \end{matrix}$ (i∈L,R)为左右分裂集。通过对T个回归树的输出求平均可得预测分数

\begin{matrix} {\hat{y}}_{k} = \frac{1}{T} \overset{T}{\sum_{t}} p_{t} (x_{k} |Θ), (13) \end{matrix}

式中:Θ为随机变量。因此对以上3类由特征到感知分数的输出过程进行线性回归,可以获得整个图像的质量分数,即

\begin{matrix} y_{k} = \sum_{k} λ_{k} \cdot {\hat{y}}_{k}, (14) \end{matrix}

式中:λ_k为权重因子,可通过λ^*=arg min $\begin{matrix} {(\sum_{k} λ_{k} \cdot {\hat{y}}_{k} - y)}^{2} \end{matrix}$ 计算获得,λ^*表示使得 $\begin{matrix} {(\sum_{k} λ_{k} \cdot {\hat{y}}_{k} - y)}^{2} \end{matrix}$ 能够取得最小值的所有λ_k的集合。

在测试中以步长为100,范围为1000~5000进行测试获取最优的回归森林参数T。经过测试,当T=2000时算法性能达到最优。因此在本文中设定参数T=2000。

算法流程如图6所示。

图 6. 算法模型流程图

Fig. 6. Flow chart of algorithm model

下载图片查看所有图片

3 实验结果与分析

3.1 实验数据库

采用一幅美国加州郊区的高光谱图像进行实验,其光谱覆盖范围是408.9~918.8 nm,光谱分辨率为4~5 nm,波段数为100个。采集的图像用Yang等^[9]提出的经典方法将每个波段采集到的图像进行超分重建。在重建过程中训练字典大小为512,权值η=0.15,超分倍数为2。为了获得更为丰富的超分图像,在重建过程中对相关参数进行设定。将图像块的大小设置为5×5,个数分别设定为20000,40000,60000,80000,120000,160000,共获得6组图像,分别为图像库1~6;在80000个图像块中定义块大小为5×5,重叠区域为2~4,共获得3组图像,分别为图像库7~9;在120000个图像块中定义块大小为5×5,重叠区域为2~6,共获得5组图像,分别为图像库10~14。这样一共获得14组共计1400幅超分图像,并对获取的每一幅图像进行主观测试获得主观得分。在实验过程中,将图像集随机分为两个部分,其中60%的图像用于训练,其余40%的图像用于测试,并将测试结果与主观得分相比较。将此测试过程循环10次获取平均的测试结果。

3.2 评价实验结果

基于构建的高光谱超分图像数据库,比较4种经典的无参考算法(BLIINDS-II、QAC、BRISQUE、NIQE)和所提算法的性能。本研究之所以未采用近年较为流行的神经网络算法,是因为神经网络算法大多基于彩色图像,运行时间过长,不适用于本文研究的图像。实验采用对数函数对所提算法和对比算法的测试结果进行非线性补偿,即

\begin{matrix} \begin{matrix} q (x) = β_{1} l [β_{2} (x - β_{3})] + 0.1 x + 40, (15) \\ l (x) = \frac{1}{2} - \frac{1}{1 + \exp [β_{2} (x - β_{3})]}, (16) \end{matrix} \end{matrix}

式中:x为算法测试结果;β₁为主观评价结果的最大值;β₂为主观评价结果的最小值;β₃为客观评价结果的均值。选用两个参数指标比较算法的性能:皮尔森线性相关系数(PLCC)、斯皮尔曼相关系数(SROCC),其中PLCC用于评测质量模型预测的准确性,SROCC用于评测质量模型预测的单调性。测试结果如表1所示。

从表1可以看出所提算法相较于其他4种方法,SROCC和PLCC均取得了最大值,具备较好的单调性和准确性。为进一步直观观察模型预测与主观分数(DMOS)的一致性,绘制了5种算法的预测质量值与DMOS对比的散点图,如图7所示。

表 1. 算法性能测试结果

Table 1. Algorithm test results of all algorithms

Parameter	BLIINDS-II	QAC	BRISQUE	NIQE	Proposed algorithm
SROCC	0.3194	0.4747	0.6738	0.4900	0.8412
PLCC	0.3876	0.3097	0.7172	0.5580	0.8763

查看所有表

图 7. 各模型的散点图。(a) BLIINDS-II;(b) QAC;(c) BRISQUE;(d) NIQE;(e)所提算法

Fig. 7. Scatter plots by different models. (a) BLIINDS-II; (b) QAC; (c) BRISQUE; (d) NIQE; (e) proposed algorithm

下载图片查看所有图片

图7中每个点代表一幅测试图像,横、纵坐标值分别为模型预测质量值和DMOS值。根据散点图的收敛程度可以直观地看出:算法BLIINDS-II、QAC、NIQE预测质量值总体上与DMOS相关性较差,这是因为算法BLIINDS-II和QAC适用于自然图像有限的失真形式,而对于高光谱超分图像失真形式无法确定;而算法NIQE虽然不限定图像的失真类型,但也仅限于单一的具体失真图像,对于高光谱超分图像可能蕴含的某些混杂多样性失真难以描述。算法BRISQUE预测值与DMOS相关性较其他对比算法有所提高,这是因为该算法基于自然场景统计信息以及相应的统计分布形状特征,在一定程度上能够表征高光谱超分图像的特性。本文提出的算法预测值与DMOS相关性显著地高于4种经典的无参考算法。所提算法采用了BRISQUE部分思想,在其基础之上丰富了特征形式,提取了能够表征图像质量的特征向量,因而所提算法针对高光谱超分图像评价性能较好。

此外为了进一步研究算法对于高光谱超分图像的适用性,本文对14组图像库的每一组进行了主客观实验,实验结果如表2所示。

从表2可以看出当图像块个数为80000和120000时,SROCC和PLCC值较为良好,即图像库4和5及图像库7~14;且当图像块大小设置为5,个数为80000,重叠区域在3~4时,即图像库8和9,SROCC和PLCC值达到最优,与先前在超分重建参数设置的研究结果一致。因此利用算法对重建图像的质量评价可判断超分重建算法的最优参数。

表 2. 14组图像库主客观评价结果

Table 2. Subjective-objective assessment results for 14 groups of image libraries

Parameter	Imagelibrary 1	Imagelibrary 2	Imagelibrary 3	Imagelibrary 4	Imagelibrary 5	Imagelibrary 6	Imagelibrary 7
SROCC	0.8032	0.8163	0.8196	0.8391	0.8344	0.8315	0.8367
PLCC	0.8166	0.8146	0.8343	0.8567	0.8373	0.8462	0.8596
Parameter	Imagelibrary 8	Imagelibrary 9	Imagelibrary 10	Imagelibrary 11	Imagelibrary 12	Imagelibrary 13	Imagelibrary 14
SROCC	0.8418	0.8498	0.8311	0.8323	0.8378	0.8288	0.8216
PLCC	0.8621	0.8643	0.8537	0.8456	0.8527	0.8362	0.8354

查看所有表

此外,为评估算法开销,在主频3.1 GHz,采用Intel-Core-i5-3350CPU处理器、内存8 GB的实验计算机,以Matlab 2014a为实验环境测试算法的运行时间,结果如表3所示。

表 3. 算法运行时间

Table 3. Runtime of all algorithmss

Algorithm	BLIINDS-II	QAC	BRISQUE	NIQE	Proposed algorithm
Time	42.3	0.2	0.3	0.5	25.6

查看所有表

从表3可以发现所提算法对一幅图像评价平均时间为25.6 s,低于BLIINDS-II。由于森林回归方法的引入,所提算法在运行时间上高于QAC、BRISQUE和NIQE,但其具有较为良好的评价效果,该效果能够满足实际需求。

4 结论

在无需场景参考信息情况下,提出了一种“主观未知”的盲评价方法,用于评价高光谱超分图像的质量。基于图像特点的分析,选择提取了图像的空域自然场景统计特征、图像局部频域特征、图像局部二值模式梯度特征,借助于经典回归森林方法,经全局加权获得其质量得分。以经典的超分算法为基础构建质量评价数据库,开展图像的评价实验验证,相比较其他方法,所提方法具有更好的主客观一致性。下一步的重点工作是采集更多的实验场景,构建更为丰富的图像数据库,改进相应的模型。

参考文献

[1] 黄鸿, 何凯, 郑新磊, 等. 基于深度学习的高光谱图像空-谱联合特征提取[J]. 激光与光电子学进展, 2017, 54(10): 101001.

Huang H, He K, Zheng X L, et al. Spatial-spectral feature extraction of hyperspectral image based on deep learning[J]. Laser & Optoelectronics Progress, 2017, 54(10): 101001.

[2] 许蒙恩, 谢宝陵, 徐国明. 空间光谱联合稀疏表示的高光谱图像超分辨率方法[J]. 激光与光电子学进展, 2018, 55(7): 071014.

Xu M E, Xie B L, Xu G M. Hyperspectral image super-resolution method based on spatial spectral joint sparse representation[J]. Laser & Optoelectronics Progress, 2018, 55(7): 071014.

[3] 杨超, 杨斌, 黄国玉. 基于多光谱图像超分辨率处理的遥感图像融合[J]. 激光与光电子学进展, 2016, 53(2): 021001.

Yang C, Yang B, Huang G Y. Remote sensing image fusion based on multispectral image super-resolution[J]. Laser & Optoelectronics Progress, 2016, 53(2): 021001.

[4] Harris J L. Diffraction and resolving power[J]. Journal of the Optical Society of America, 1964, 54(7): 931-936.

[5] 李丽, 隋立春, 康军梅, 等. 在线变分贝叶斯估计的遥感影像超分辨率重建[J]. 激光与光电子学进展, 2018, 55(6): 062801.

Li L, Sui L C, Kang J M, et al. Super resolution reconstruction of remote sensing images based on online variational Bayesian estimation[J]. Laser & Optoelectronics Progress, 2018, 55(6): 062801.

[6] 肖进胜, 刘恩雨, 朱力, 等. 改进的基于卷积神经网络的图像超分辨率算法[J]. 光学学报, 2017, 37(3): 0318011.

Xiao J S, Liu E N, Zhu L, et al. Improved image super-resolution algorithm based on convolutional neural network[J]. Acta Optica Sinica, 2017, 37(3): 0318011.

[7] Freeman W T, Jones T R, Pasztor E C. Example-based super-resolution[J]. IEEE Computer Graphics and Applications, 2002, 22(2): 56-65.

[8] ChangH, Yeung DY, Xiong YM. Super-resolution through neighbor embedding[C]∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition, June 27-July 2, 2014, Washington, DC, USA. New York: IEEE, 2004: 275- 282.

[9] Yang J C, Wright J, Huang T S, et al. Image super-resolution via sparse representation[J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873.

[10] DongC, Loy CC, He KM, et al. Learning a deep convolutional network for image super-resolution[C]∥Fleet D, Pajdla T, Schiele B, et al. European Conference on Computer Vision, Cham: Springer, 2014: 184- 199.

[11] Moorthy A K, Bovik A C. A two-step framework for constructing blind image quality indices[J]. IEEE Signal Processing Letters, 2010, 17(5): 513-516.

[12] Moorthy A K, Bovik A C. Blind image quality assessment: from natural scene statistics to perceptual quality[J]. IEEE Transactions on Image Processing, 2011, 20(12): 3350-3364.

[13] Mittal A, Moorthy A K, Bovik A C. No-reference image quality assessment in the spatial domain[J]. IEEE Transactions on Image Processing, 2012, 21(12): 4695-4708.

[14] Saad M A, Bovik A C, Charrier C. A DCT statistics-based blind image quality index[J]. IEEE Signal Processing Letters, 2010, 17(6): 583-586.

[15] Saad M A, Bovik A C, Charrier C. Blind image quality assessment: A natural scene statistics approach in the DCT domain[J]. IEEE Transactions on Image Processing, 2012, 21(8): 3339-3352.

[16] YeP, KumarJ, KangL, et al. Unsupervised feature learning framework for no-reference image quality assessment[C]∥IEEE Conference on Computer Vision and Pattern Recognition, June 16-21, 2012, Providence, RI, USA. New York: IEEE, 2012: 1098- 1105.

[17] Xue WF, ZhangL, Mou XQ. Learning without human scores for blind image quality assessment[C]∥IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2013, Portland, OR, USA. New York: IEEE, 2013: 995- 1002.

[18] Mittal A, Soundararajan R, Bovik A C. Making a “completely blind” image quality analyzer[J]. IEEE Signal Processing Letters, 2013, 20(3): 209-212.

[19] Zhang L, Zhang L, Bovik A C. A feature-enriched completely blind image quality evaluator[J]. IEEE Transactions on Image Processing, 2015, 24(8): 2579-2591.

[20] Ma C, Yang C Y, Yang X K, et al. Learning a no-reference quality metric for single-image super-resolution[J]. Computer Vision and Image Understanding, 2017, 158(5): 1-16.

[21] Ruderman D L. The statistics of natural images[J]. Network: Computation in Neural Systems, 1994, 5(4): 517-548.

[22] Ojala T, Pietikainen M, Maenpaa T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7): 971-987.

[23] Breiman L. Random forests[J]. Machine Learning, 2001, 45(1): 5-32.

薛松, 张思雨, 刘永峰. 高光谱超分图像质量评价[J]. 激光与光电子学进展, 2019, 56(4): 041001. Song Xue, Siyu Zhang, Yongfeng Liu. Quality Assessment of Hyperspectral Super-Resolution Images[J]. Laser & Optoelectronics Progress, 2019, 56(4): 041001.

高光谱超分图像质量评价下载： 1145次

1 引言

2 图像特征分析及提取

2.1 图像特点分析

图 1. 第25、50、75、100波段图像超分辨率重建效果比较。(a)高光谱图像;(b)高光谱超分图像;(c)高光谱图像的场景图像块;(d)高光谱超分图像的场景图像块

Fig. 1. Super-resolution reconstruction effects of 25th, 50th, 75th and 100th band images. (a) Hyperspectral image; (b) hyperspectral super-resolution image; (c) scene image blocks for hyperspectral image; (d) scene image blocks for hyperspectral super-resolution image

2.2 基于空域自然场景统计特征

图 2. MSCN统计规律

Fig. 2. Statistical regularity of MSCN

2.3 局部频域特征

图 3. 相邻因子提取方法

Fig. 3. Extraction method of adjacent factors

图 4. 4个方向的相邻因子统计规律。(a)水平方向;(b)垂直方向;(c)主对角线方向;(d)次对角线方向

Fig. 4. Statistic of adjacent factors along four directions. (a) Horizontal direction; (b) vertical direction; (c) main-diagonal direction; (d) secondary-diagonal direction

2.4 局部二值模式梯度特征

图 5. 高光谱超分图像的GLBP特征图。(a) 10波段;(b) 20波段;(c) 30波段;(d) 40波段; (e) 50波段;(f) 60波段;(g) 70波段;(h) 80波段;(i) 90波段;(j) 100波段

Fig. 5. GLBP feature maps of hyperspectral super-resolution images. (a) 10th band; (b) 20th band; (c) 30th band; (d) 40th band; (e) 50th band; (f) 60th band; (g) 70th band; (h) 80th band; (i) 90th band; (j) 100th band

2.5 质量评价模型构建

图 6. 算法模型流程图

Fig. 6. Flow chart of algorithm model

3 实验结果与分析

3.1 实验数据库

3.2 评价实验结果

表 1. 算法性能测试结果

Table 1. Algorithm test results of all algorithms

图 7. 各模型的散点图。(a) BLIINDS-II;(b) QAC;(c) BRISQUE;(d) NIQE;(e)所提算法

Fig. 7. Scatter plots by different models. (a) BLIINDS-II; (b) QAC; (c) BRISQUE; (d) NIQE; (e) proposed algorithm

表 2. 14组图像库主客观评价结果

Table 2. Subjective-objective assessment results for 14 groups of image libraries

表 3. 算法运行时间

Table 3. Runtime of all algorithmss

4 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

高光谱超分图像质量评价 下载： 1145次

1 引言

2 图像特征分析及提取

2.1 图像特点分析

图 1. 第25、50、75、100波段图像超分辨率重建效果比较。(a)高光谱图像;(b)高光谱超分图像;(c)高光谱图像的场景图像块;(d)高光谱超分图像的场景图像块

Fig. 1. Super-resolution reconstruction effects of 25th, 50th, 75th and 100th band images. (a) Hyperspectral image; (b) hyperspectral super-resolution image; (c) scene image blocks for hyperspectral image; (d) scene image blocks for hyperspectral super-resolution image

2.2 基于空域自然场景统计特征

图 2. MSCN统计规律

Fig. 2. Statistical regularity of MSCN

2.3 局部频域特征

图 3. 相邻因子提取方法

Fig. 3. Extraction method of adjacent factors

图 4. 4个方向的相邻因子统计规律。(a)水平方向;(b)垂直方向;(c)主对角线方向;(d)次对角线方向

Fig. 4. Statistic of adjacent factors along four directions. (a) Horizontal direction; (b) vertical direction; (c) main-diagonal direction; (d) secondary-diagonal direction

2.4 局部二值模式梯度特征

图 5. 高光谱超分图像的GLBP特征图。(a) 10波段;(b) 20波段;(c) 30波段;(d) 40波段; (e) 50波段;(f) 60波段;(g) 70波段;(h) 80波段;(i) 90波段;(j) 100波段

Fig. 5. GLBP feature maps of hyperspectral super-resolution images. (a) 10th band; (b) 20th band; (c) 30th band; (d) 40th band; (e) 50th band; (f) 60th band; (g) 70th band; (h) 80th band; (i) 90th band; (j) 100th band

2.5 质量评价模型构建

图 6. 算法模型流程图

Fig. 6. Flow chart of algorithm model

3 实验结果与分析

3.1 实验数据库

3.2 评价实验结果

表 1. 算法性能测试结果

Table 1. Algorithm test results of all algorithms

图 7. 各模型的散点图。(a) BLIINDS-II;(b) QAC;(c) BRISQUE;(d) NIQE;(e)所提算法

Fig. 7. Scatter plots by different models. (a) BLIINDS-II; (b) QAC; (c) BRISQUE; (d) NIQE; (e) proposed algorithm

表 2. 14组图像库主客观评价结果

Table 2. Subjective-objective assessment results for 14 groups of image libraries

表 3. 算法运行时间

Table 3. Runtime of all algorithmss

4 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

高光谱超分图像质量评价下载： 1145次