彩色图像质量评价的广义平均池化策略

马月梅; 陈海英; 刘国军

doi:doi:10.3788/LOP55.021007

激光与光电子学进展, 2018, 55 (2): 021007, 网络出版: 2018-09-10

彩色图像质量评价的广义平均池化策略下载： 953次

General Mean Pooling Strategy for Color Image Quality Assessment

论文大纲

马月梅 ¹陈海英 ^1,2刘国军 ^1,*

作者单位

¹ 宁夏大学民族预科教育学院, 宁夏银川 750021

² 武汉大学数学与统计学院, 湖北武汉 430072

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

彩色图像质量评价(CIQA)是目前图像质量评价(IQA)研究的一个热点。色度信息对人类视觉系统(HVS)会产生一定的影响,将RGB图像转换到另一色彩空间YIQ,将灰度图像的结构相似性指标(SSIM)、基于梯度的SSIM(GSSIM)扩展得到彩色图像的SSIM和GSSIM(即C-SSIM和C-GSSIM)。HVS是一个复杂的非线性系统,采用2种广义平均池化策略来刻画HVS特性,以提高C-SSIM、C-GSSIM及彩色图像的特征相似性(C-FSIM)的评价效果。在TID2013图像数据库中进行数值计算,结果表明:基于广义平均池化策略的C-SSIM、C-GSSIM及C-FSIM能有效提高IQA的准确率。

Abstract

Color image quality assessment (CIQA) is a hot spot in researching image quality assessment (IQA). Chromatic information has a certain effect on the human visual system (HVS). Based on the conversion of RGB images to another color space YIQ, we obtain SSIM and GSSIM of the color image (C-SSIM and C-GSSIM) by extending the structural similarity index (SSIM) and gradient-based SSIM (GSSIM) of the grayscale image. In addition, considering HVS as a complex nonlinear system, two general pooling strategies are used to describe HVS characteristics to improve the evaluation effect of C-SSIM, C-GSSIM and feature similarity of the color image (C-FSIM). The numerical results, performed in TID2013 image database, demonstrate that C-SSIM, C-GSSIM and C-FSIM based on the general mean pooling strategy can effectively improve the accuracy of IQA.

1 引言

彩色图像质量评价(CIQA)是目前图像质量评价(IQA)研究的一个热点,其目的是评价彩色图像质量的好坏,目前IQA方法分为主观评价方法和客观评价方法。根据对原始图像的参考程度,客观IQA可分为3类:全参考型、半参考型和无参考型。随着对人类视觉系统(HVS)认识的加深,近年来全参考型IQA(FR-IQA)取得了极大的进展。通常FR-IQA方法可以归纳为2步来进行^[1-2]:1) 在参考图像和失真图像中分别提取相应的特征,计算它们的局部质量映射图;2) 根据局部质量映射图,并通过池化策略得到最终的质量分数。

Wang等^[3]提出的结构相似性指标(SSIM)具有里程碑式的意义。随后,杨春玲等^[4]在梯度域上构造SSIM(GSSIM)。Zhang等^[5]提出了基于相位一致性(PC)和梯度幅值(GM)的特征相似性(FSIM)。

目前,针对彩色图像的IQA方法也越来越多。一种方法是直接在RGB图像上进行计算。如Li等^[6]提出基于稀疏表示和重构残差的CIQA方法,通过组合基于稀疏表示的特征图、重建残差和亮度相似性来评估彩色图像的质量;Temel等^[7]提出了基于颜色、结构和视觉系统特征的FR-IQA方法,通过分离红(R)、绿(G)、蓝(B)通道,量化颜色、结构和视觉感知的差异来获得IQA;Lu等^[8]提出了结合视觉感知和颜色结构的IQA方法,通过测量参考图像与失真图像之间的视觉感知系数的比例差异来获取客观IQA;徐海勇等^[9]提出了非负矩阵分解IQA,利用非负矩阵分解方法,无监督地提取彩色图像R、G、B 3个通道的特征,并用显著性模型提取视觉显著区域,从而进行质量评价。另一种方法是将RGB图像转换成其他更符合HVS的色彩空间。如Lee等^[10]提出了基于定向统计的颜色相似度,先将RGB图像转换到S-CIELAB色彩空间,利用从3个感知色彩通道L^*、a^*、b^*提取的局部颜色描述符,采用定向统计工具来处理色调数据,并利用两个加权机制将测量得到的比较分数准确地组合成最终得分。Gupta等^[11]提出在YIQ色彩空间中结合Sobel算子和色度信息的彩色图像的FR-IQA方法。事实上,文献[ 5]也将FSIM扩展到了彩色图像,即先将RGB图像转换到YIQ色彩空间,从而分离图像的亮度与色度信息,然后将色度信息融合到亮度信息FSIM中得到彩色图像的FSIM(C-FSIM)。

池化策略也是最近研究的热点,其目的是为了模拟HVS的复杂非线性属性。池化是在特征提取的基础上,对每个特征进行处理,然后将得到的所有数据进行融合,得到最终的结果。一般的FR-IQA方法往往采用算术平均的池化策略,对提取的局部特征图同等对待处理,这不符合HVS的非线性特点。之后,研究者们又提出了加权池化策略,如:信息量加权^[1]、PC加权^[5]和区域类型加权^[12]。这些策略在一定程度上提高了评价准确率,但计算复杂度较高、运行时间较长。另外,研究者们还提出了偏差池化策略,如标准偏差池化策略^[2]和平均绝对偏差池化策略^[13]。平均绝对偏差池化策略相比于平均池化策略和标准偏差池化策略,效率较高且具有较好的稳健性。文献[ 14]扩展了算术平均和调和平均^[15],通过参数选取来刻画HVS的非线性特点,针对灰度图像得到了广义平均的池化策略,改进了SSIM、GSSIM、FSIM评价算法。

本文首先将RGB彩色图像转换到YIQ色彩空间,引入色度信息,将灰度图像的SSIM和GSSIM扩展得到彩色图像的SSIM和GSSIM(即C-SSIM、C-GSSIM)。对C-SSIM、C-GSSIM、C-FSIM采用两种广义平均池化策略,以获得CIQA算法。

2 针对彩色图像的FR-IQA方法

一般的IQA方法都是针对灰度图像的,但色度会影响HVS对图像的理解。Zhang等^[5]利用PC和GM特征,提出了FSIM,并将FSIM扩展得到C-FSIM。数值实验表明,C-FSIM比FSIM有更好的视觉一致性。此处首先简单介绍C-FSIM的构造,然后将灰度图像的SSIM、GSSIM方法扩展得到C-SSIM和C-GSSIM。

2.1 C-FSIM

1) 将原来的RGB空间转换成另一个更符合人类主观视觉的色彩空间YIQ^[16]。YIQ色彩空间将图像的亮度和色度信息分离出来,Y代表亮度信息,I和Q代表色度信息,R、G、B代表R、G、B三通道信息。将RGB空间转换成YIQ色彩空间的转换公式为

$\begin{matrix} [\begin{matrix} Y \\ I \\ Q \end{matrix}] = [\begin{matrix} 0.299 & 0.587 & 0.114 \\ 0.596 & - 0.274 & - 0.322 \\ 0.211 & - 0.523 & 0.312 \end{matrix}] [\begin{matrix} R \\ G \\ B \end{matrix}] 。 (1) \end{matrix}$

2) 分别在参考图像块x和失真图像块y中提取亮度信息,计算得到局部特征相似图S_PC(x,y)和S_GM(x,y)为

$\begin{matrix} \{\begin{matrix} S_{PC} (x, y) = \frac{2 S_{PC} (x) S_{PC} (y) + T_{1}}{S_{PC} {(x)}^{2} + S_{PC} {(y)}^{2} + T_{1}} \\ S_{GM} (x, y) = \frac{2 S_{GM} (x) S_{GM} (y) + T_{2}}{S_{GM} {(x)}^{2} + S_{GM} {(y)}^{2} + T_{2}} \end{matrix}, (2) \end{matrix}$

式中S_PC(x)为x的PC,S_PC(y)为y的PC,S_GM(x)为x的GM,S_GM(y)为y的GM;T₁、T₂为正常数,以避免分母取0。选取T₁=0.85,T₂=160,从而融合得到亮度信息的局部特征图S_L(x,y),即

$\begin{matrix} S_{L} (x, y) = S_{PC} (x, y) S_{GM} (x, y) 。 (3) \end{matrix}$

3) 引入I、Q,计算色度之间的相似性。

假设I(x),I(y)和Q(x),Q(y)分别表示参考图像块和失真图像块的色度分量,将图像色度之间的相似性定义为

$\begin{matrix} \{\begin{matrix} S_{I} (x, y) = \frac{2 I (x) I (y) + T_{3}}{I^{2} (x) + I^{2} (y) + T_{3}} \\ S_{Q} (x, y) = \frac{2 Q (x) Q (y) + T_{4}}{Q^{2} (x) + Q^{2} (y) + T_{4}} \end{matrix}, (4) \end{matrix}$

式中T₃、T₄为正常数,因为I、Q的动态范围相似,可取T₃=T₄=200。则图像的色度相似性局部特征图S_C(x,y)为

$\begin{matrix} S_{C} (x, y) = S_{I} (x, y) S_{Q} (x, y) 。 (5) \end{matrix}$

4) 参考图像和失真图像C-FSIM的计算可以表示为

$\begin{matrix} I_{C - FSI M} = \frac{\overset{N}{\sum_{i = 1}} S_{L} (x_{i}, y_{i}) {[S_{C} (x_{i}, y_{i})]}^{λ} M_{PC} (x_{i}, y_{i})}{\overset{N}{\sum_{i = 1}} M_{PC} (x_{i}, y_{i})}, (6) \end{matrix}$

式中N表示图像块的个数;M_PC(x_i,y_i)=max $\begin{matrix} [S_{PC} (x_{i}), S_{PC} (y_{i})] \end{matrix}$ 为权函数,max[]表示求最大值;λ是一个大于0的参数,用来调整色度信息的重要性,取λ=0.03。

2.2 C-SSIM

类似于C-FSIM,将RGB空间转换成YIQ色彩空间,提取亮度信息和色度信息,在亮度信息的基础上进行亮度相似性、对比度相似性及结构相似性的计算,在色度信息的基础上进行色度相似性的度量,最后计算C-SSIM,其计算可以表示为

$\begin{matrix} \begin{matrix} I_{C - SSIM} (x, y) = {[l (x, y)]}^{α} {[c (x, y)]}^{β} {[s (x, y)]}^{γ} {[S_{C} (x, y)]}^{λ}, (7) \end{matrix} \end{matrix}$

式中l(x,y)、c(x,y)、s(x,y)、S_C(x,y)是4幅局部特征图α、β、γ、λ为参数且都大于0,用来调整这4种信息的相对重要性。通常取α=β=γ=1,则(7)式可转化为

$\begin{matrix} \begin{matrix} I_{C - SSIM} (x, y) = [l (x, y)] [c (x, y)] [s (x, y)] {[S_{C} (x, y)]}^{λ} 。 (8) \end{matrix} \end{matrix}$

2.3 C-GSSIM

类似于C-SSIM,C-GSSIM的计算可以表示为

$\begin{matrix} \begin{matrix} I_{C - GSSIM} (x, y) = l_{G} (x, y) c_{G} (x, y) s_{G} (x, y) {[S_{C} (x, y)]}^{λ}, (9) \end{matrix} \end{matrix}$

式中l_G(x,y)、c_G(x,y)、s_G(x,y)、S_C(x,y)分别为梯度域中的亮度、对比度、结构和色度相似性局部特征图。

3 广义平均池化策略的FR-IQA方法

对于任意给定的n个非负数a₁,a₂,…,a_n,记作a= $\begin{matrix} (a_{1}, a_{2}, \dots, a_{n}) \end{matrix}$ ,其广义平均定义为^[14]

$\begin{matrix} G (a, r) = \{\begin{matrix} {(\frac{a_{1}^{r} + a_{2}^{r} + a_{3}^{r} + \dots + a_{n}^{r}}{n})}^{\frac{1}{r}}, r \neq 0 \\ \sqrt[n]{a_{1} \cdot a_{2} \cdot a_{3} \cdot \dots \cdot a_{n}}, r = 0 \end{matrix} 。 (10) \end{matrix}$

广义平均是几类常用平均数的概括和延伸。从(10)式中可以看出,当r=-1时,G(a,r)为调和平均数;当r=0时,G(a,r)为几何平均数;当r=1时,G(a,r)为算术平均数;当r=2时,G(a,r)为平方平均数。它们的大小关系为:G(a,-1)≤G(a,0)≤G(a,1)≤G(a,2)。需要强调的是,除了r=1之外,(10)式都为非线性函数。

HVS是一个复杂的非线性分析系统。研究表明,HVS对图像中局部严重失真的区域更加敏感,即图像中严重失真的局部区域对整幅图像的质量影响较大^[15],如图1所示。图1(a)是参考图像,图1(b)、(c)是图1(a)不同程度的失真图像,图1(b)中对参考图像的亮度进行了改变,图1(c)中含有1个白色小块和1个蓝色小块,尽管图1(b)与图1(c)相比有较大的均方误差E_MSE和较小的峰值信噪比R_PSNR,但人们普遍认为图1(b)有较好的图像质量。由此可得,局部严重失真的区域与整幅图像质量之间应该存在某种非线性关系,而非线性变换能较好地反映局部严重失真的区域与整幅图像质量之间的关系。因此,利用广义平均的非线性(不同的参数r代表了不同的非线性程度)来模拟HVS对IQA的复杂过程^[14],针对彩色图像的FR-IQA算法,采用2种广义平均池化策略。

3.1 对C-SSIM采用广义平均的池化策略

C-SSIM中涉及到4个局部特征,分别是亮度相似性、结构相似性、对比度相似性和色度相似性,采用2种广义平均的池化策略,得到2种改进的算法。

算法1:先利用(8)式计算C-SSIM,再对C-SSIM进行广义平均,最终得到的整个图像的质量分数GM-C-SSIM1可以表示为

$\begin{matrix} I_{GM - C - SSIM 1} = G [I_{C - SSIM} (x, y), r] 。 (11) \end{matrix}$

图 1. TID2013数据库中的一幅参考图像和两幅不同程度的失真图像。(a)参考图像;(b)失真图像(EMSE=76.54,RPSNR=29.29);(c)失真图像(EMSE=0.88,RPSNR=48.68)

Fig. 1. Reference image and distorted images of varying degrees in TID2013 database. (a) Reference image; (b) distorted image (EMSE=76.54, RPSNR=29.29); (c) distorted image (EMSE=0.88, RPSNR=48.68)

下载图片查看所有图片

算法2:先分别对C-SSIM中的4幅局部特征图l(x,y)、c(x,y)、s(x,y)、S_C(x,y)进行广义平均,再进行线性加权平均,最后得到的整个图像的质量分数GM-C-SSIM2可以表示为

$\begin{matrix} I_{GM - C - SSIM 2} = ω_{1} G [l (x, y), r] + ω_{2} G [c (x, y), r] + ω_{3} G [s (x, y), r] + ω_{4} G [S_{C} (x, y), r], (12) \end{matrix}$

式中ω₁、ω₂、ω₃和ω₄是相应特征图的权重。

3.2 对C-GSSIM采用广义平均的池化策略

同样,对C-GSSIM采用2种广义平均的池化策略,可得

$\begin{matrix} \begin{matrix} I_{GM - C - GSSIM 1} = G [I_{C - GSSIM} (x, y), r], (13) \\ \begin{matrix} I_{GM - C - GSSIM 2} = ω_{1} G [l_{G} (x, y), r] + ω_{2} G [c_{G} (x, y), r] + \\ ω_{3} G [s_{G} (x, y), r] + ω_{4} G [S_{C} (x, y), r] 。 (14) \end{matrix} \end{matrix} \end{matrix}$

3.3 对C-FSIM采用广义平均的池化策略

同样,对(2)~(5)式采用2种广义平均的池化策略,可得

$\begin{matrix} \begin{matrix} I_{GM - C - FSIM 1} = G [S_{L} (x, y) S_{C} (x, y), r], (15) \\ \begin{matrix} I_{GM - C - FSIM 2} = ω_{1} G [S_{GM} (x, y), r] + ω_{2} G [S_{PC} (x, y), r] + ω_{3} G (S_{C}, r) 。 (16) \end{matrix} \end{matrix} \end{matrix}$

4 数值计算

4.1 评价指标

为了评价IQA算法的好坏,视频质量专家组VQEG提出了4个可以验证客观评价与主观评价紧密程度的性能指标^[17],分别是斯皮尔曼等级相关系数(SROCC)、肯德尔等级相关系数(KROCC)、皮尔逊相关系数(PLCC)以及均方根误差(RMSE)。SROCC、KROCC和PLCC反映了在非线性回归条件下待测图像的客观评价值与主观评价值(MOS)的线性相关性,三者的值越大则相关性越好。RMSE反映的是在非线性回归条件下客观评分与MOS之间的均方误差,RMSE值越小则评价方法越好。对于非线性回归,使用Logistic回归函数^[18]

$\begin{matrix} f (x) = β_{1} \{\frac{1}{2} - \frac{1}{1 + \exp [β_{2} (x - β_{3})]}\} + β_{4} x + β_{5}, (17) \end{matrix}$

式中β_i(i=1,2,…,5)为相应选择的参数。一个好的客观评价算法应该有较大的SROCC、KROCC和PLCC,同时有较小的RMSE。

4.2 参数的选择

选取TID2013数据库和不同的参数值进行数值计算^[19]。对计算得到的SROCC值进行对比,通过选取最优的SROCC值来确定最佳参数值。

在IQA算法C-SSIM和C-GSSIM中,参数T₃、T₄、λ通过控制变量法来确定。取T₃、T₄、λ的步长分别为50,10,0.05。先令T₄=200,λ=0.05,在TID2013数据库中进行比对,得到T₃的最优值;其次利用得到的T₃最优值以及λ=0.05,得到T₄的最优值;最后利用上述获得的T₃和T₄的最优值,得到λ的最优值。在C-SSIM算法中,T₃、T₄、λ分别取1300,750,0.85;在C-GSSIM算法中,T₃、T₄、λ分别取6250,140,0.75。

在基于广义平均池化策略的IQA算法中,选取r的区间为[-2,1],步长为0.25,利用基于广义平均池化策略的IQA算法进行计算,不同的算法需选择不同的r,它们的SROCC值随r变化的曲线图如图2所示。由图2(a)可以看出,当r=-0.25时,GM-C-SSIM1和GM-C-GSSIM1的SROCC取得最优值;当r=-0.5时,GM-C-FSIM1的SROCC取得最优值。由图2(b)可以看出,当r=-0.5时,GM-C-SSIM2的SROCC取得最优值;当r=0.25时,GM-C-GSSIM2的SROCC取得最优值;当r=-0.75时,GM-C-FSIM2的SROCC取得最优值。

图 2. SROCC值随r变化的曲线图。(a)广义平均池化策略1;(b)广义平均池化策略2

Fig. 2. SROCC curves varying with r. (a) General mean pooling strategy 1; (b) general mean pooling strategy 2

下载图片查看所有图片

在基于广义平均池化策略的IQA算法2中,在第2步进行加权时,需要确定ω_i $\begin{matrix} (i = 1,2, 3,4) \end{matrix}$ 的值。由于在IQA中去掉亮度比较因子后对图像的质量影响不大^[20],因此在GM-C-SSIM2和GM-C-GSSIM2算法中,取ω₁=0,对ω₂、ω₃、ω₄采用控制变量法,同T₃、T₄、λ的选取方法一样,并要求ω₂+ω₃+ω₄=1,取步长为0.1。同样的,在GM-C-FSIM2算法中,在ω₁+ω₂+ω₃=1的前提下,对ω₁、ω₂、ω₃采用控制变量法,取步长为0.1。计算结果如图3所示。由图3(a)可以看出,当ω₂=0.7、ω₃=0.1和ω₄=0.2时,GM-C-SSIM2的SROCC取得最优值;由图3(b)可以看出,当ω₂=0.4、ω₃=0.3和ω₄=0.3时,GM-C-GSSIM2的SROCC取得最优值;由图3(c)可以看出,当ω₁=0.1、ω₂=0.2和ω₃=0.7时,GM-C-FSIM2的SROCC取得最优值。

图 3. SROCC值随ω变化的网状图。(a) GM-C-SSIM2的SROCC值随ω2、ω3的变化;(b) GM-C-GSSIM2的SROCC值随ω2、ω3的变化;(c) GM-C-FSIM2的SROCC值随ω1、ω2的变化

Fig. 3. SROCC mesh graphs varying with ω. (a) Variation in SROCC of GM-C-SSIM2 with ω2 and ω3; (b) variation in SROCC of GM-C-GSSIM2 with ω2 and ω3; (c) variation in SROCC of GM-C-FSIM2 with ω1 and ω2

下载图片查看所有图片

4.3 计算结果

为了说明C-SSIM、C-GSSIM以及采用广义平均池化策略的有效性,表1列举了C-SSIM、C-GSSIM、C-FSIM、SSIM、GSSIM、FSIM、改进后的2种算法和文献[ 14]中的方法分别基于TID2013数据库得到的SROCC值、KROCC值、PLCC值和RMSE值(同类方法中4个最优值用黑体标注)。

由表1可知,采用广义平均池化策略的C-SSIM、C-GSSIM、C-FSIM与C-SSIM、C-GSSIM、C-FSIM相比,都有较大的SROCC值、KROCC值、PLCC值和较小的RMSE值。以SROCC值为例,C-SSIM、C-GSSIM、C-FSIM的SROCC值与SSIM、GSSIM、FSIM相比,分别相对提高了9.41%、12.15%、6.18%;GM-C-SSIM1、GM-C-GSSIM1、GM-C-FSIM1的SROCC值与C-SSIM、C-GSSIM、C-FSIM相比,分别提高了4.86%、2.35%、1.21%;GM-C-SSIM2、GM-C-GSSIM2、GM-C-FSIM2的SROCC值与C-SSIM、C-GSSIM、C-FSIM相比,分别提高了5.50%、2.82%、3.89%。因此,C-SSIM、C-GSSIM、C-FSIM明显比SSIM、GSSIM、FSIM的评价效果要好,而且采用2种广义平均的池化策略均能有效提高评价效果,尤其是采用算法2,效果更为显著。

用Logistic回归函数非线性拟合可以得到各个评价算法在TID2013数据库中的客观评价得分与MOS之间的散点图,如图4所示。由图4可以看出,基于广义平均的池化策略能有效提高评价结果,其散点均匀分布在曲线的两侧附近。

表 1. IQA指标在TID2013数据库中的性能比较

Table 1. Performance comparison of IQA in TID2013 database

Algorithm	SROCC	KROCC	PLCC	RMSE
SSIM^[3]	0.7417	0.5588	0.7895	0.7608
C-SSIM	0.8115	0.6203	0.8221	0.7058
GM-SSIM1^[14]	0.7665	0.5869	0.8093	0.7283
GM-SSIM2^[14]	0.7825	0.5885	0.8021	0.7404
GM-C-SSIM1	0.8509	0.6596	0.8527	0.6475
GM-C-SSIM2	0.8561	0.6689	0.8526	0.6478
GSSIM^[4]	0.7586	0.5768	0.8179	0.7132
C-GSSIM	0.8508	0.6625	0.8629	0.6266
GM-GSSIM1^[14]	0.7919	0.6115	0.8515	0.6500
GM-GSSIM2^[14]	0.7466	0.5573	0.7968	0.7491
GM-C-GSSIM1	0.8708	0.6845	0.8800	0.5889
GM-C-GSSIM2	0.8748	0.6937	0.8911	0.5626
FSIM^[5]	0.8015	0.6289	0.8589	0.6349
C-FSIM^[5]	0.8510	0.6665	0.8769	0.5959
GM-FSIM1^[14]	0.8157	0.6439	0.8690	0.6133
GM-FSIM2^[14]	0.8137	0.6399	0.8649	0.6223
GM-C-FSIM1	0.8613	0.6783	0.8834	0.5810
GM-C-FSIM2	0.8841	0.6975	0.8933	0.5571

查看所有表

图 4. 各个评价算法在TID2013数据库中的客观评价得分与MOS之间的散点图。(a) C-SSIM;(b) C-GSSIM;(c) C-FSIM;(d) GM-C-SSIM1;(e) GM-C-GSSIM1;(f) GM-C-FSIM1;(g) GM-C-SSIM2;(h) GM-C-GSSIM2;(i) GM-C-FSIM2

Fig. 4. Scatter plots between objective scores and MOS of each evaluation algorithm in TID2013 database. (a) C-SSIM; (b) C-GSSIM; (c) C-FSIM; (d) GM-C-SSIM1; (e) GM-C-GSSIM1; (f) GM-C-FSIM1; (g) GM-C-SSIM2; (h) GM-C-GSSIM2; (i) GM-C-FSIM2

下载图片查看所有图片

5 结论

基于色度信息和HVS的非线性特性对IQA的影响,首先将RGB图像转换到YIQ色彩空间,在SSIM、GSSIM的基础上,引入色度信息,扩展得到C-SSIM、C-GSSIM;然后利用广义平均的非线性来刻画HVS的非线性特性,对C-SSIM、C-GSSIM、C-FSIM分别采用2种广义平均池化策略,改进已有算法。算法1的本质是先对局部多特征图进行融合,然后利用参数来刻画视觉质量评价系统复杂的非线性,而算法2本质上是将复杂的非线性视觉IQA系统模拟为非线性处理与线性组合两步策略。基于TID2013数据库进行数值计算,结果表明:C-SSIM、C-GSSIM、C-FSIM明显比SSIM、GSSIM、FSIM的评价效果要好;采用2种广义平均池化策略的CIQA算法均比C-SSIM、C-GSSIM、C-FSIM的评价效果要好,与主观评价结果具有较好的一致性,尤其当采用算法2时效果更为显著。因此,采用广义平均池化策略能有效提高IQA算法的评价效果。

参考文献

[1] Wang Z, Li Q. Information content weighting for perceptual image quality assessment[J]. IEEE Transactions on Image Processing, 2011, 20(5): 1185-1198.

[2] Xue W F, Zhang L, Mou X Q, et al. Gradient magnitude similarity deviation: A highly efficient perceptual image quality index[J]. IEEE Transactions on Image Processing, 2014, 23(2): 684-695.

[3] Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: From error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

[4] 杨春玲, 陈冠豪, 谢胜利. 基于梯度信息的图像质量评判方法的研究[J]. 电子学报, 2007, 35(7): 1313-1317.

Yang C L, Chen G H, Xie S L. Gradient information based image quality assessment[J]. Acta Electronica Sinica, 2007, 35(7): 1313-1317.

[5] Zhang L, Zhang L, Mou X Q, et al. FSIM: A feature similarity index for image quality assessment[J]. IEEE Transactions on Image Processing, 2011, 20(8): 2378-2386.

[6] Li L D, Xia W H, Fang Y M, et al. Color image quality assessment based on sparse representation and reconstruction residual[J]. Journal of Visual Communication and Image Representation, 2016, 38: 550-560.

[7] Temel D, Alregib G. CSV: Image quality assessment based on color, structure, and visual system[J]. Signal Processing: Image Communication, 2016, 48: 92-103.

[8] Lu W, Xu T J, Ren Y L, et al. On combining visual perception and color structure based image quality assessment[J]. Neurocomputing, 2016, 212: 128-134.

[9] 徐海勇, 郁梅, 骆挺, 等. 基于非负矩阵分解的彩色图像质量评价方法[J]. 电子与信息学报, 2016, 38(3): 578-585.

Xu H Y, Yu M, Luo T, et al. A color image quality assessment method based on non-negative matrix factorization[J]. Journal of Electronics and Information Technology, 2016, 38(3): 578-585.

[10] Lee D, Plataniotis K N. Towards a full-reference quality assessment for color images using directional statistics[J]. IEEE Transactions on Image Processing, 2015, 24(11): 3950-3965.

[11] Gupta S, Gore A, Kumar S, et al. Objective color image quality assessment based on Sobel magnitude[J]. Signal Image and Video Processing, 2017, 11(1): 123-128.

[12] Li C F, Bovik A C. Content-partitioned structural similarity index for image quality assessment[J]. Signal Processing: Image Communication, 2010, 25(7): 517-526.

[13] Nafchi HZ, HedjamR, ShahkolaeiA, et al. Deviation based pooling strategies for full reference image quality assessment[J]. Computer Science, 2015, arXiv.

[14] 刘国军, 高丽霞, 陈丽奇. 广义平均的全参考型图像质量评价池化策略[J]. 光学精密工程, 2017, 25(3): 742-748.

Liu G J, Gao L X, Chen L Q. Pooling strategy for full-reference IQA via general means[J]. Optics and Precision Engineering, 2017, 25(3): 742-748.

[15] Huang Y, Chen X, Ding X H. A harmonic means pooling strategy for structural similarity index measurement in image quality assessment[J]. Multimedia Tools and Applications, 2016, 75(5): 2769-2780.

[16] Yang C C, Kwok S H. Efficient gamut clipping for color image processing using LHS and YIQ[J]. Optical Engineering, 2003, 42(3): 701-711.

[17] VQEG. Final report from the video quality experts group on the validation of objective models of video quality assessment[EB/OL]. ( 2003- 03- 01). . ftp://vqeg.its.bldrdoc.gov/Documents/Meetings/Hillsboro_VQEG_Mar_03

[18] Sheikh H R, Sabir M F, Bovik A C. A statistical evaluation of recent full reference image quality assessment algorithms[J]. IEEE Transactions on Image Processing, 2006, 15(11): 3440-3451.

[19] Ponomarenko N, Jin L, Leremeiev O, et al. Image database TID2013: peculiarities, results and Perspectives[J]. Signal Processing: Image Communication, 2015, 30: 55-77.

[20] Bondzulic B P, Petrovic V S. Additive models and separable pooling, a new look at structural similarity[J]. Signal Processing, 2014, 97: 110-116.

3.1 对C-SSIM采用广义平均的池化策略

3.2 对C-GSSIM采用广义平均的池化策略

3.3 对C-FSIM采用广义平均的池化策略

马月梅, 陈海英, 刘国军. 彩色图像质量评价的广义平均池化策略[J]. 激光与光电子学进展, 2018, 55(2): 021007. Yuemei Ma, Haiying Chen, Guojun Liu. General Mean Pooling Strategy for Color Image Quality Assessment[J]. Laser & Optoelectronics Progress, 2018, 55(2): 021007.

彩色图像质量评价的广义平均池化策略下载： 953次

1 引言

2 针对彩色图像的FR-IQA方法

2.1 C-FSIM

2.2 C-SSIM

2.3 C-GSSIM

3 广义平均池化策略的FR-IQA方法

3.1 对C-SSIM采用广义平均的池化策略

图 1. TID2013数据库中的一幅参考图像和两幅不同程度的失真图像。(a)参考图像;(b)失真图像(EMSE=76.54,RPSNR=29.29);(c)失真图像(EMSE=0.88,RPSNR=48.68)

Fig. 1. Reference image and distorted images of varying degrees in TID2013 database. (a) Reference image; (b) distorted image (EMSE=76.54, RPSNR=29.29); (c) distorted image (EMSE=0.88, RPSNR=48.68)

3.2 对C-GSSIM采用广义平均的池化策略

3.3 对C-FSIM采用广义平均的池化策略

4 数值计算

4.1 评价指标

4.2 参数的选择

图 2. SROCC值随r变化的曲线图。(a)广义平均池化策略1;(b)广义平均池化策略2

Fig. 2. SROCC curves varying with r. (a) General mean pooling strategy 1; (b) general mean pooling strategy 2

图 3. SROCC值随ω变化的网状图。(a) GM-C-SSIM2的SROCC值随ω2、ω3的变化;(b) GM-C-GSSIM2的SROCC值随ω2、ω3的变化;(c) GM-C-FSIM2的SROCC值随ω1、ω2的变化

Fig. 3. SROCC mesh graphs varying with ω. (a) Variation in SROCC of GM-C-SSIM2 with ω2 and ω3; (b) variation in SROCC of GM-C-GSSIM2 with ω2 and ω3; (c) variation in SROCC of GM-C-FSIM2 with ω1 and ω2

4.3 计算结果

表 1. IQA指标在TID2013数据库中的性能比较

Table 1. Performance comparison of IQA in TID2013 database

图 4. 各个评价算法在TID2013数据库中的客观评价得分与MOS之间的散点图。(a) C-SSIM;(b) C-GSSIM;(c) C-FSIM;(d) GM-C-SSIM1;(e) GM-C-GSSIM1;(f) GM-C-FSIM1;(g) GM-C-SSIM2;(h) GM-C-GSSIM2;(i) GM-C-FSIM2

Fig. 4. Scatter plots between objective scores and MOS of each evaluation algorithm in TID2013 database. (a) C-SSIM; (b) C-GSSIM; (c) C-FSIM; (d) GM-C-SSIM1; (e) GM-C-GSSIM1; (f) GM-C-FSIM1; (g) GM-C-SSIM2; (h) GM-C-GSSIM2; (i) GM-C-FSIM2

5 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

彩色图像质量评价的广义平均池化策略 下载： 953次

1 引言

2 针对彩色图像的FR-IQA方法

2.1 C-FSIM

2.2 C-SSIM

2.3 C-GSSIM

3 广义平均池化策略的FR-IQA方法

3.1 对C-SSIM采用广义平均的池化策略

图 1. TID2013数据库中的一幅参考图像和两幅不同程度的失真图像。(a)参考图像;(b)失真图像(EMSE=76.54,RPSNR=29.29);(c)失真图像(EMSE=0.88,RPSNR=48.68)

Fig. 1. Reference image and distorted images of varying degrees in TID2013 database. (a) Reference image; (b) distorted image (EMSE=76.54, RPSNR=29.29); (c) distorted image (EMSE=0.88, RPSNR=48.68)

3.2 对C-GSSIM采用广义平均的池化策略

3.3 对C-FSIM采用广义平均的池化策略

4 数值计算

4.1 评价指标

4.2 参数的选择

图 2. SROCC值随r变化的曲线图。(a)广义平均池化策略1;(b)广义平均池化策略2

Fig. 2. SROCC curves varying with r. (a) General mean pooling strategy 1; (b) general mean pooling strategy 2

图 3. SROCC值随ω变化的网状图。(a) GM-C-SSIM2的SROCC值随ω2、ω3的变化;(b) GM-C-GSSIM2的SROCC值随ω2、ω3的变化;(c) GM-C-FSIM2的SROCC值随ω1、ω2的变化

Fig. 3. SROCC mesh graphs varying with ω. (a) Variation in SROCC of GM-C-SSIM2 with ω2 and ω3; (b) variation in SROCC of GM-C-GSSIM2 with ω2 and ω3; (c) variation in SROCC of GM-C-FSIM2 with ω1 and ω2

4.3 计算结果

表 1. IQA指标在TID2013数据库中的性能比较

Table 1. Performance comparison of IQA in TID2013 database

图 4. 各个评价算法在TID2013数据库中的客观评价得分与MOS之间的散点图。(a) C-SSIM;(b) C-GSSIM;(c) C-FSIM;(d) GM-C-SSIM1;(e) GM-C-GSSIM1;(f) GM-C-FSIM1;(g) GM-C-SSIM2;(h) GM-C-GSSIM2;(i) GM-C-FSIM2

Fig. 4. Scatter plots between objective scores and MOS of each evaluation algorithm in TID2013 database. (a) C-SSIM; (b) C-GSSIM; (c) C-FSIM; (d) GM-C-SSIM1; (e) GM-C-GSSIM1; (f) GM-C-FSIM1; (g) GM-C-SSIM2; (h) GM-C-GSSIM2; (i) GM-C-FSIM2

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

彩色图像质量评价的广义平均池化策略下载： 953次