基于自然场景统计的色域映射图像无参考质量评价

余伟; 徐晶晶; 刘玉英; 张俊升; 李腾腾

doi:doi:10.3788/LOP57.141006

激光与光电子学进展, 2020, 57 (14): 141006, 网络出版: 2020-07-28

基于自然场景统计的色域映射图像无参考质量评价下载： 888次

No-Reference Quality Evaluation for Gamut Mapping Images Based on Natural Scene Statistics

论文大纲

余伟 ¹徐晶晶 ²刘玉英 ^2,*张俊升 ²李腾腾 ²

作者单位

¹ 成都理工大学工程技术学院, 四川乐山 614000

² 中国矿业大学信息与控制工程学院, 江苏徐州 221116

色域映射图像质量评价自然场景统计颜色失真颜色空间 gamut mapping image quality evaluation natural scene statistics color distortion color space

AI 词云图 AI语音精读 AI语音超短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

色域映射是实现彩色图像在不同设备中传输和再现的关键技术,也是现代颜色管理系统的核心环节。但关于色域映射图像的质量评价研究较少,因此,提出了一种基于自然场景统计的无参考色域映射图像质量评价算法。首先将色域映射图像转换到Spatial-CIELAB颜色空间并提取颜色三属性,即亮度、彩度和色调。对亮度分量进行Log-Gabor滤波,在频域上提取统计特征表征图像的结构失真和对比度失真;对彩度和色调两个分量,在空间域上提取统计特征来表征图像的颜色失真。然后结合主观分数和提取的特征,利用后向传播神经网络训练图像质量评价模型。最后用模型评价图像质量,实验结果表明,该算法优于现有的无参考质量评价算法。

Abstract

Gamut mapping is a key technology for color image transmission and reproduction in different devices, and it is also the core part of modern color management system. However, there are few studies on the quality evaluation of gamut mapping images, therefore, in this paper, a no-reference quality evaluation algorithm based on natural scene statistics for gamut mapping images is proposed. First, the gamut mapping images are converted to the Spatial-CIELAB color space and the three attributes (e.g., luminance, chroma and hue) are extracted. Next, luminance components are decomposed by using Log-Gabor filter, and statistical features are extracted in the frequency domain to characterize image structure distortion and contrast distortion. For the two components of chroma and hue, statistical features are extracted in the spatial domain to characterize color distortion. Then, combined with subjective scores and extracted features, the backward propagation neural network is used to train the image quality prediction model. Finally, this model is employed to assess the image quality. The experimental results prove that the proposed method is superior to the existing no-reference quality evaluation algorithms.

1 引言

随着跨媒体复制、高保真印刷的应用日益广泛,数字彩色图像通常需要在不同设备之间进行传输和再现,从而促进了色域映射技术的发展。人们已经提出了大量的色域映射算法^[1-3],但在色域映射过程中,不可避免地会引入色调偏移、信息丢失等各种失真,影响人对图像的视觉体验。图像质量是人们对图像视觉感受的主观评价,包含图像的逼真度和可读懂性。逼真度是指被评价图像与标准图像的偏离程度,偏差越小,逼真度越高;可读懂性是指图像向人或机器提供信息的能力。而色域映射会对图像质量造成不可忽视的影响,因此如何准确地评价色域映射图像的质量已经成为一个亟待解决的问题。

图像质量可采用主观和客观两种方法进行评价。主观评价由观察者根据自身感官对图像进行评价,这种方法准确可靠,但耗时长,且易受外界环境等诸多因素的影响。客观评价使用数理统计的方法对数字图像进行像素级分析,提取能够判定图像质量的特征(矩、熵)判定图像质量,这种方法有效避免了主观方法的缺陷,近些年受到了广泛关注。

根据是否使用参考信息,可将已有的图像客观质量评价算法分为全参考、半参考和无参考三类^[4-6]。全参考和半参考算法是假设完全或部分使用参考图像信息^[7-12],但在有些情况下参考信息并不存在,导致全参考和半参考算法在这些情况下并不适用。因此,无参考算法受到极大的关注^[13-21]。

现有的评价算法中,无论是特征相似度(FSIM)^[10]、梯度幅值相似性偏差(GMSD)^[11]、结构相似性(SSIM)^[12]等全参考算法,还是基于空间域自然场景统计的无参考(BRISQUE)^[22]算法、使用自然场景对数导数统计的无参考质量评价(DESIQUE)^[23]算法、基于自由能熵的无参考质量评价(NFERM)^[24]等无参考算法,在评价模糊、噪声和压缩失真等常见失真方面均取得了很好的效果。但却不能有效评价色域映射图像的质量,原因是大多数图像质量评价算法主要在图像灰度域上提取特征而忽略图像的颜色信息。因此,设计评价色域映射图像质量的模型有重要意义。

Lissner等^[25]提出了彩色图像差异(CID)算法,在LAB2000HL颜色空间中预测了两幅色域映射图像的感知差异。Lee等^[26]提出了基于方向统计的颜色相似性指标(DSCSI),从三种颜色属性中提取局部颜色特征,因色调信息具有周期性,所以使用循环统计方法量化色调信息。这两种算法都属于全参考算法,在无参考信息的情况下并不适用。Lee等^[27]提出了一种基于不变性描述符的无参考算法(IDEAL),用色调、饱和度、对角(opponent angle)和球面角(spherical angle)四个参数表征颜色失真。上述算法在评价色域映射图像质量上取得了一定的成功,但评价的准确性和单调一致性还有待进一步提升。

本文提出了一种基于自然场景统计(NSS)的色域映射图像无参考质量评价算法。首先,将图像转换到Spatial-CIELAB颜色空间以提取图像的亮度、彩度和色调三种颜色属性。其次,对亮度分量进行Log-Gabor滤波,在其频域上基于NSS提取灰度统计特征表征图像结构失真和对比度失真;在彩度和色调两个分量的空间域上基于NSS提取颜色统计特征表征颜色失真。随后将提取的特征和图像的主观分数一起输入后向传播神经网络^[28]进行回归训练,得到质量评价模型。最后用训练好的模型评价图像质量,并在三个色域映射图像库上进行实验,结果表明,本算法在评价色域映射图像质量方面优于现有的无参考质量评价算法。

2 基于NSS的色域映射图像质量评价算法

由于失真会改变自然图像属性的统计分布特性,因此提取失真图像的统计特征构建质量评价模型。本算法的实现框架如图1所示,主要由颜色空间转换、特征提取、模型训练三部分构成。图中,L、C、H分别表示亮度、彩度、色调三种颜色属性,MOS为图像主观分数,BPNN为后向传播神经网络。

2.1 颜色空间转换

为了更好地逼近人类视觉系统(HVS)对颜色的感知,将失真图像从RGB(Red,Green,Blue)空间转换到Spatial-CIELAB空间^[29],获取图像的颜色三属性,且避免了三个属性间的交叉污染^[25]。在Spatial-CIELAB颜色空间中,图像的每个像素包括L、a和b三个通道,L为亮度通道,a和b分别为两个颜色通道。Spatial-CIELAB空间的圆柱型表示模型定义了L、C、H三种颜色属性,能很好地逼近人类辨别颜色的方式^[24]。可用a通道和b通道导出C分量和H分量表示Spatial-CIELAB的圆柱形模型

\begin{array}{l} C = \sqrt[]{a^{2} + b^{2}}, (1) \\ H = \arctan (b / a), (2) \end{array}

式中,a为深绿色到灰色再到亮粉红色这条颜色轴上的颜色值,b为亮蓝色到灰色再到黄色这条颜色轴上的颜色值。

图 1. 本算法框架图

Fig. 1. Framework of our algorithm

下载图片查看所有图片

图 2. 原始图像和质量逐渐降低的色域映射图像。(a)原始图像;(b)色域映射图像1;(c)色域映射图像2; (d)色域映射图像3

Fig. 2. Original image and gamut mapping images with decreasing quality. (a) Original image; (b) gamut mapping image1; (c) gamut mapping image2; (d) gamut mapping image3

下载图片查看所有图片

2.2 特征提取

2.2.1 灰度特征提取

研究表明,HVS中的神经元在感知视觉场景时表现出方向和频率选择机制^[30],因此提取多频率、多方向的统计特征有助于进行更好的图像质量评价。Gabor滤波器的频率和方向特征与HVS中的简单皮层细胞表现极其相似^[31]。基于此,用图像亮度分量频域上提取的NSS特征表征图像的对比度失真和结构失真。实验用具有对数变换的Log-Gabor滤波器^[23],以便更真实地反映自然图像的频率。Log-Gabor滤波器可表示为

G_{2} (ῶ, θ) = \exp \{- \frac{[\log (ῶ / ω_{0})^{2}]}{2 σ_{γ}^{2}}\} \exp [- \frac{(θ - θ_{j})^{2}}{2 σ_{θ}^{2}}], (3)

式中,ῶ为径向频率(radial frequency),θ为滤波方向,θ_j=jπ/J,j={0,1,…,J-1}为方向角度,J为方向角度的个数,ω₀为滤波器的中心频率,σ_γ为控制滤波器的径向带宽,σ_θ为决定滤波器的角度带宽。

1) Log-Gabor滤波后的频域矩和熵统计

色域压缩是色域映射过程中的常用操作,因此大多数色域映图像中会存在对比度失真。Fang等^[32]证明了用图像矩(一阶矩:均值(mean),二阶矩:标准差(standard deviation))和熵(entropy)评价图像对比度失真是十分有效的。实验表明,失真会导致图像Log-Gabor系数的矩和熵发生明显变化。图2为1幅原始图像和由其生成的3幅色域映射图像,从左向右,第1幅为原始图像,后面3幅为质量逐渐降低的色域映射图像。图3是滤波方向为0°,径向频率增大的情况下,图2中4幅图像Log-Gabor系数的均值、标准差和熵的变化情况。可以发现,随径向频率的增大,图像矩和熵均呈下降趋势。同时图像失真也会改变矩和熵的下降速度,失真程度越严重,变化越大,这表明图像Log-Gabor系数的矩和熵是色域映射图像质量评价的有效特征。由图3可知,径向频率越大,不同图像的矩和熵会逐渐趋近,实验取4个径向频率(0.05,0.10,0.15,0.20 cycles/(°)),2个方向(0°和90°)生成8个Log-Gabor系数,共提取24个灰度统计特征。

图 3. 图像频域矩和熵随频率的变化。(a)图像频域熵随频率的变化;(b)图像频域均值随频率的变化;(c)图像频域标准差随频率的变化

Fig. 3. Changes in the frequency domain moment and entropy of the image with frequency. (a) Change of image frequency domain entropy with frequency; (b) change of image frequency domain mean with frequency; (c) change of image frequency domain standard deviation with frequency

下载图片查看所有图片

2) Log-Gabor滤波后的频域分布直方图统计

对图像进行Log-Gabor滤波后得到图像的Log-Gabor系数g(i,j),其对数可表示为

J (i, j) = \log [|g (i, j)| + K], (4)

式中,(i,j)为像素的空间坐标,K为一个常数,避免g(i,j)=0。

由文献[ 23]可知,原始图像Log-Gabor系数的对数统计分布模型符合高斯分布,而失真会破坏这种分布。因此用广义高斯分布(GGD)拟合Log-Gabor系数的对数统计模型,GGD的密度函数可表示为

\begin{array}{l} f (x; α, σ^{2}) = \frac{α}{2 βΓ (1 / α)} \exp [- {(\frac{|x|}{β})}^{α}], (5) \\ β = σ \sqrt[]{\frac{Γ (1 / α)}{Γ (3 / α)}}, (6) \\ Γ (x) = \int_{0}^{\infty} t^{x - 1} \exp (- t) d t, x > 0, (7) \end{array}

式中,t为积分变量,x为函数变量,α为形状参数,σ为函数标准差。参数(α,σ)可以作为预测图像质量评价的有效特征。同样选择4个径向频率,2个方向,考虑到HVS的多层次特性,对图像进行下采样后再提取特征,共提取32个灰度统计特征。

2.2.2 颜色特征

对于图像的彩度分量s_C(i,j),其4个方向的相邻像素差值系数可表示为

\begin{array}{l} H_{C} (i, j) = s_{C} (i, j + 1) - s_{C} (i, j), (8) \\ V_{C} (i, j) = s_{C} (i + 1, j) - s_{C} (i, j), (9) \\ D_{C}^{1} (i, j) = s_{C} (i + 1, j + 1) - s_{C} (i, j), (10) \\ D_{C}^{2} (i, j) = s_{C} (i + 1, j - 1) - s_{C} (i, j), (11) \end{array}

式中,H_C(i,j)为水平方向相邻像素的差值系数,V_C(i,j)为垂直方向相邻像素的差值系数, $D_{C}^{1}$ (i,j)为主对角线方向相邻像素的差值系数, $D_{C}^{2}$ (i,j)为副对角线方向相邻像的素差值系数。由文献[ 27]可知,原始图像的彩度分量相邻像素差值系数服从高斯分布,而颜色失真会改变这种分布。图4为图2中4幅图像的彩度相邻像素差值系数的统计分布图。可以发现,随着图像质量的降低,趋近于0的系数增多,峰值变大。这表明用GGD模型对彩度相邻像差值系数进行拟合时,可用参数(α,σ)作为评价颜色失真的有效特征。实验选取4个方向的相邻像素差值系数,考虑到HVS的多层次特性,对图像进行下采样后再次提取特征,共提取16个颜色统计特征。

图 4. 相对彩度经验直方图

Fig. 4. Empirical histograms of relative chroma

下载图片查看所有图片

对图像的色调分量s_H(i,j),其4个方向的相邻像素差值系数可表示为

\begin{array}{l} H_{H} (i, j) = Ψ [s_{H} (i, j + 1), s_{H} (i, j)], (12) \\ V_{H} (i, j) = Ψ [s_{H} (i + 1, j), s_{H} (i, j)], (13) \\ D_{H}^{1} (i, j) = Ψ [s_{H} (i + 1, j + 1), s_{H} (i, j)], (14) \\ D_{H}^{2} (i, j) = Ψ [s_{H} (i + 1, j - 1), s_{H} (i, j)], (15) \\ Ψ (θ_{1}, θ_{2}) \{\begin{array}{l} θ_{1} - θ_{2}, - π \leq θ_{1} - θ_{2} \leq π \\ θ_{1} - θ_{2} + 2 π, - 2 π \leq θ_{1} - θ_{2} < - π \\ θ_{1} - θ_{2} - 2 π, π < θ_{1} - θ_{2} \leq 2 π \end{array} 。 (16) \end{array}

因彩色图像的色调是一个可循环的角度值,取值范围为[0,2π)^[21]。由文献[ 27]可知,原始图像的色调分量相邻像素差值系数服从柯西分布,而色调失真会改变这种分布。图5为图2中4幅图像的色调相邻像素差值系数的统计分布图,可以发现,原始图像的色调相邻像素差值系数的分布类似高斯分布,图6为原始图像的彩度和色调相邻像素差值系数的分布图,可以发现,色调差值系数的分布图峰值比彩度差值系数的峰值低,且整体分布更加平缓。由文献[ 33]可知,这样整体相对更加平缓的分布更符合柯西分布模型。

图 5. 相对色调经验直方图

Fig. 5. Empirical histograms of relative hue

下载图片查看所有图片

图 6. 相对色调和相对彩度的经验直方图

Fig. 6. Empirical histogram of relative hue and chroma

下载图片查看所有图片

由图5可知失真越严重,直方图偏离柯西模型越严重,因此用柯西模型对色调相邻像素差异系数进行拟合,柯西分布模型的密度函数可表示为

\begin{array}{l} Υ (x; ε, ρ) = \frac{1}{2 π} \frac{1 - ρ^{2}}{1 + ρ^{2} - 2 ρ \cos (x - ε)}, \\ - π \leq x < π, (17) \end{array}

式中,x为函数变量,ε为位置参数,ρ为尺度参数。可用参数(ε,ρ)作为评价颜色信息的有效特征,选择4个方向的相邻像素差值系数,考虑到HVS的多层次特性,对图像进行下采样后再提取特征,共提取16个颜色统计特征。

由图5和6可知,存在失真的情况下,彩度和色调相邻像素差值系数的分布峰值会发生明显变化,因此可将峰值作为评价颜色失真的有效特征。彩度和色调两个分量总共获得16个峰值,即一幅图像共提取48个颜色统计特征。

2.3 模型训练

对于一幅失真图像,共提取104个质量感知特征,包括56个灰度特征,48个颜色特征,作为色域映射图像的特征矢量。用AdaBoosting BPNN训练质量评价模型^[28],然后用该模型评价色域映射图像的质量。AdaBoosting算法基于初始化权值ω,用弱学习算法得到强预测函数,经多次计算误差率调整权值ω得到强预测函数。BPNN是最基础的神经网络,属于有监督学习,能模仿人类的神经元激活、传递过程,包含一个输入层(input layer)、两个隐藏层(hidden layer)和一个输出层(output layer)。BPNN的输入维度与每幅图像的特征矢量维度相同,输出的是图像的质量分数。AdaBoosting BPNN的结构如图7所示,其中F={F₁,…,F_n_-1,F_n}为图像的特征矢量,T为训练次数,ω={ω₁,…,ω_n_-1,ω_n}为每轮训练的权值,Y={Y¹,Y²,…,Yⁿ}为每次BPNN训练后输出的质量分数,D={D₁,D₂,…,D_n}为每轮训练的误差率。

图 7. AdaBoosting BPNN的结构。(a) AdaBoosting算法的结构;(b) BPNN的结构

Fig. 7. Structure of the AdaBoosting BPNN; (a) Structure of the AdaBoosting algorithm; (b) structure of BPNN

下载图片查看所有图片

3 实验结果和分析

3.1 实验设置

在三个公开的色域映射图像数据库上验证本算法的性能,包括Basic Study(BS)、Image Gamut(IG)和Local Contrast(LC)^[34]。分别有97、65和72幅原始图像以及1067、520和576幅色域映射图像。主观实验在相同环境中由测试者同时观察相同内容的原始图像和两幅色域映射图像,选择与原始图像更相似的1幅色域映射图像,并记录结果。然后借助Thurstone数学模型^[35]将主观实验数据转换为每幅失真图像的MOS,数据库的具体信息如表1所示,其中,Evaluation为组建该数据库时进行的主观实验次数,GAM为组建该数据库时运用到的色域映射算法的个数。

表 1. 色域映射图像质量评价数据库

Table 1. Gamut mapping image quality evaluation databases

Database	Referenceimage	Distortedimage	Evaluation	GAM
BS	97	1067	5199	11
IG	65	520	3698	8
LC	72	576	5209	8

查看所有表

用4个性能参数作为实验的评价指标,包括皮尔森线性相关系数(PLCC)、斯皮尔曼相关系数(SRCC)、肯德尔系数(KRCC)和均方根误差(RMSE)。PLCC和RMSE描述客观算法预测值与MOS之间的相关性,衡量客观算法的预测准确性;SRCC和KRCC衡量客观算法预测的单调一致性。PLCC、SRCC和KRCC越大,RMSE越小,表示该算法的评价性能越好。

1) 皮尔森线性相关系数

X_{PLCC} = \frac{\overset{N}{\sum_{i = 1}} (s_{i} - \bar{s}) (f_{i} - \bar{f})}{\sqrt[]{\overset{N}{\sum_{i = 1}} {(s_{i} - \bar{s})}^{2}} \sqrt[]{\overset{N}{\sum_{i = 1}} {(f_{i} - \bar{f})}^{2}}}, (18)

式中,s_i为每幅图像的MOS, $\bar{s}$ 为所有图像MOS的均值,f_i为每幅图像的客观分数, $\bar{f}$ 为所有图像客观分数的均值。

2) 斯皮尔曼相关系数

X_{SRCC} = 1 - \frac{6 \overset{N}{\sum_{i = 1}} (r_{si} - r_{xi})^{2}}{N (N^{2} - 1)}, (19)

式中,r_si和r_xi分别为s_i和x_i在各自数据序列中的排序位置,N为实验图像的数量。

3) 肯德尔等级相关系数

X_{KRCC} = \frac{2 N_{c} - N_{d}}{N (N - 1)}, (20)

式中,N_c为数据序列中序号对一致的个数,N_d为序号对不一致的个数。

4) 均方根误差

X_{RMSE} = \sqrt[]{\frac{1}{N} \overset{N}{\sum_{i = 1}} (s_{i} - f_{i})^{2}}, (21)

式中,s_i为每幅图像的MOS,f_i为每幅图像的客观分数。

由于各类评价算法的客观质量的取值范围与MOS的取值范围不一致,因此采用单调逻辑拟合函数将图像的客观质量值映射到与MOS相同的尺度空间上。

f (y) = a_{1} \{\frac{1}{2} - \frac{1}{\exp [(y - a_{3}) a_{2}]}\} + a_{4} y + a_{5}, (22)

式中,y为MOS,f(y)为拟合后的分数,其中α_i{i=1,2,3,4,5}为拟合回归参数。

3.2 性能比较

将本算法与常用的9个无参考质量评价算法进行比较,包括BRISQUE^[22]、盲图像质量指标(BIQI)^[36]、DESIQUE^[23]、基于真实性和完整性的图像质量评价算法(DIIVINE) ^[37]、NFERM^[24]、基于离散余弦变换的盲图像完整性指标(BLLINDS-II)^[38]、自然图像质量评价模型(NIQE) ^[39]、基于局部统计的自然图像质量评价算法(IL_NIQE) ^[40]、IDEAL^[27]。其中IDEAL和IL_NIQE两种算法考虑了颜色信息,其余算法都是基于灰度信息的,除NIQE和IL_NIQE算法外,其余算法都是基于训练的算法。将数据库中的图像分成不重叠的两部分,一部分包含80%的图像作为训练集,剩余20%的图像作为测试集。为了保证结果的准确性,重复1000次实验,取4个性能指标结果的中值,结果如表2所示。

表 2. 不同算法在三个数据库中的性能对比

Table 2. Performance comparison of different algorithms in three databases

Algorithm	BS				IG				LC
Algorithm	PLCC	SRCC	KRCC	RMSE	PLCC	SRCC	KRCC	RMSE	PLCC	SRCC	KRCC	RMSE
BRISQUE	0.7633	0.5678	0.4126	0.4386	0.5153	0.4654	0.3345	0.4739	0.5026	0.5274	0.3802	0.4229
BIQI	0.6188	0.4422	0.3135	0.5335	0.3680	0.3078	0.2227	0.5115	0.3777	0.3521	0.2486	0.4516
DESIQUE	0.8213	0.5941	0.4354	0.3878	0.5987	0.5666	0.4211	0.4440	0.5692	0.5973	0.4429	0.4367
DIIVINE	0.7339	0.5457	0.3949	0.4603	0.4289	0.3694	0.2694	0.4986	0.4210	0.4111	0.2920	0.4441
NFERM	0.7441	0.5556	0.4072	0.4539	0.4399	0.4150	0.2968	0.4942	0.4934	0.4985	0.3617	0.4263
BLIINDS_II	0.7081	0.5499	0.4031	0.4777	0.3646	0.3102	0.2184	0.5127	0.4274	0.3323	0.2370	0.4449
IDEAL	0.7859	0.6652	0.4994	0.4173	0.6195	0.6139	0.4550	0.4327	0.5780	0.5989	0.4417	0.3977
IL_NIQE	0.5545	0.4849	0.3937	0.4923	0.3560	0.3416	0.2808	0.4019	0.4748	0.3459	0.3439	0.3842
NIQE	0.5840	0.4479	0.3840	0.5132	0.3724	0.3667	0.2936	0.4675	0.4748	0.3247	0.2418	0.3458
Ours	0.8170	0.6774	0.5100	0.3918	0.7369	0.7086	0.5526	0.3773	0.6256	0.6154	0.4630	0.3849

查看所有表

从表2中可以发现,本算法的预测单调性和准确性都是最优的。虽然在BS数据库中,本算法的准确性略低于DESIQUE算法,但预测单调性明显高于DESIQUE算法;在其他两个数据库中本算法的所有性能均是最优的。这证明了本算法在评价色域映射图像方面的优越性和有效性。其次,性能排名第二的是考虑了颜色信息的IDEAL算法,这也证明了颜色失真在色域映射图像中是不可忽视的,颜色信息对于预测色域映射图像质量是十分重要的。

3.3 颜色特征对色域映射图像的重要性

本算法主要包含两组特征,一组是基于传统灰度域提取的灰度特征,一组是基于彩度和色调提取的颜色特征。为了验证颜色特征对本算法性能的提升,将两组特征分别用于模型训练和质量预测,结果如图8所示。可以明显看出,结合灰度特征和颜色特征可以有效提升算法的性能,特别是在IG和LC两个数据库中。这证明了颜色特征和灰度特征的结合对于色域映射图像质量评价是合理有效的。

图 8. 灰度特征和颜色特征的性能对比。(a) BS数据库;(b)IG数据库;(c) LC数据库

Fig. 8. Performance comparison of grayscale features and color features. (a) BS database; (b) IG database; (c) LC database

下载图片查看所有图片

3.4 颜色分量峰值特征对色域映射图像的重要性

本算法在提取颜色特征时将彩度和色调分量相邻差值系数的统计峰值作为特征。为验证峰值特征对算法性能的提升,去掉本算法使用的特征矢量中16个峰值特征,对剩余的88维特征矢量进行模型训练和质量预测。再将预测结果与原算法预测结果进行对比,结果如图9所示。可以明显发现,彩度和色调分量的峰值特征对本算法预测的准确性和单调一致性都有一定的提升,可有效提升本算法的预测性能。

图 9. 峰值特征对算法性能的影响。(a) BS数据库;(b) IG数据库;(c) LC数据库

Fig. 9. Influence of peak value features on algorithm performance. (a) BS database; (b) IG database; (c) LC database

下载图片查看所有图片

3.5 质量预测实例

为了直观地展示本算法对色域映射图像的预测效果,给出了4幅不同失真程度的色域映射图像,如图10所示。用本算法和DESIQUE、BRISQUE、IL_NIQE、IDEAL四种算法分别预测图10中4幅图像的质量,结果如表3所示。可以看出,本算法预测的质量分数与MOS的单调性一致,而其他算法的预测结果就单调性来看与MOS不完全一致,进一步表明本算法的有效性和实用性。

图 10. 色域映射图像实例。(a) MOS为0.6268;(b) MOS为0.5972;(c) MOS为0.2927;(d) MOS为0.1341

Fig. 10. Example of gamut mapping images. (a) MOS is 0.6268; (b) MOS is 0.5972; (c) MOS is 0.2927; (d) MOS is 0.1341

下载图片查看所有图片

表 3. 不同算法的预测结果

Table 3. Predicted results by different algorithms

Image	MOS	DESIQUE	BRISQUE	IL_NIQE	IDEAL	Ours
Fig.10(a)	0.6268	21.2382	18.4999	20.5977	4.6353	0.6736
Fig.10(b)	0.5927	21.4467	20.2568	22.5301	4.7215	0.6213
Fig.10(c)	0.2927	22.1088	20.7486	22.2513	4.3958	0.3042
Fig.10(d)	0.1341	20.5985	26.2595	22.3621	4.1315	0.1556

查看所有表

4 结论

分析了色域映射图像的失真特点及其HVS的多尺度特性,提取亮度分量的频域统计信息和颜色分量的空间域统计信息构成特征矢量。结合特征矢量与MOS,利用AdaBoosting BPNN算法训练色域映射图像无参考质量评价模型。利用亮度分量的频域矩和熵表征对比度失真,利用亮度分量的频域统计分布表征全局结构失真,结合颜色分量的空间域统计信息表征图像的颜色失真。实验结果表明,本算法在评价色域映射图像质量方面是有效的。

参考文献

[1] Dugay F, Farup I, Hardeberg J Y. Perceptual evaluation of color gamut mapping algorithms[J]. Color Research and Application, 2008, 33(6): 470-476.

[2] KolasO, FarupI. Efficient hue-preserving and edge-preserving spatial color gamut mapping[C]// 15th Color Imaging Conference, November, 5-9, 2007, Albuquerque, NM, USA. New York: IEEE, 2007, 978: 207- 212.

[3] Farup I, Gatta C, Rizzi A. A multiscale framework for spatial gamut mapping[J]. IEEE Transactions on Image Processing, 2007, 16(10): 2423-2435.

[4] Zhou Y, Li L D, Wu J J, et al. Blind quality index for multiply distorted images using biorder structure degradation and nonlocal statistics[J]. IEEE Transactions on Multimedia, 2018, 20(11): 3019-3032.

[5] Zhou Y, Li L D, Wang S Q, et al. No-reference quality assessment for view synthesis using DoG-based edge statistics and texture naturalness[J]. IEEE Transactions on Image Processing, 2019, 28(9): 4566-4579.

[6] Chandler D M. Seven challenges in image quality assessment: past, present, and future research[J]. ISRN Signal Processing, 2013, 2013: 1-53.

[7] 薛小波, 郁梅, 何美伶. 基于仿视觉细胞模型的立体图像质量评价方法[J]. 激光与光电子学进展, 2016, 53(4): 041004.

Xue X B, Yu M, He M L. Stereoscopic image-quality-assessment method based on visual cell model[J]. Laser & Optoelectronics Progress, 2016, 53(4): 041004.

[8] 张勇, 金伟其. 小波域结构相似度融合图像质量评价方法[J]. 中国激光, 2012, 39(6): 0109007.

Zhang Y, Jin W Q. Assessment method of fusion image quality in wavelet domain structural similarity[J]. Chinese Journal of Lasers, 2012, 39(6): 0109007.

[9] 熊义明, 邵枫, 孟祥超. 基于稀疏表示的失真卫星立体图像全参考质量评价[J]. 光学学报, 2018, 38(12): 1210002.

Xiong Y M, Shao F, Meng X C. Sparse representation-based full-reference quality assessment of distorted satellite stereo images[J]. Acta Optica Sinica, 2018, 38(12): 1210002.

[10] Zhang L, Zhang L, Mou X Q, et al. FSIM: a feature similarity index for image quality assessment[J]. IEEE Transactions on Image Processing, 2011, 20(8): 2378-2386.

[11] Xue W F, Zhang L, Mou X Q, et al. Gradient magnitude similarity deviation: a highly efficient perceptual image quality index[J]. IEEE Transactions on Image Processing, 2014, 23(2): 684-695.

[12] Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

[13] 薛松, 张思雨, 刘永峰. 高光谱超分图像质量评价[J]. 激光与光电子学进展, 2019, 56(4): 041001.

Xue S, Zhang S Y, Liu Y F. Quality assessment of hyperspectral super-resolution images[J]. Laser & Optoelectronics Progress, 2019, 56(4): 041001.

[14] 黄姝钰, 桑庆兵. 基于图像融合的无参考立体图像质量评价[J]. 激光与光电子学进展, 2019, 56(7): 071004.

Huang S Y, Sang Q B. No-reference stereo image quality assessment based on image fusion[J]. Laser & Optoelectronics Progress, 2019, 56(7): 071004.

[15] 朱晓玲, 许妙忠, 丛铭. 基于支持向量机的无参考遥感图像质量评价方法[J]. 航天返回与遥感, 2014, 35(6): 83-90.

Zhu X L, Xu M Z, Cong M. Assessment method for no-reference remote sensing image quality based on support vector machine[J]. Spacecraft Recovery & Remote Sensing, 2014, 35(6): 83-90.

[16] 李一凡, 李朝锋, 桑庆兵. 四元数小波变换优化单目图的无参考立体图像质量评价[J]. 激光与光电子学进展, 2019, 56(18): 181006.

Li Y F, Li C F, Sang Q B. No-reference stereo image quality assessment of cyclopean images optimized using quaternion wavelet transform[J]. Laser & Optoelectronics Progress, 2019, 56(18): 181006.

[17] Li L D, Lin W S, Wang X S, et al. No-reference image blur assessment based on discrete orthogonal moments[J]. IEEE Transactions on Cybernetics, 2016, 46(1): 39-50.

[18] Li L D, Wu D, Wu J J, et al. Image sharpness assessment by sparse representation[J]. IEEE Transactions on Multimedia, 2016, 18(6): 1085-1097.

[19] Li L D, Zhou Y, Gu K, et al. Quality assessment of DIBR-synthesized images by measuring local geometric distortions and global sharpness[J]. IEEE Transactions on Multimedia, 2018, 20(4): 914-926.

[20] Zhou Y, Li L D, Wang S Q, et al. No-reference quality assessment of DIBR-synthesized videos by measuring temporal flickering[J]. Journal of Visual Communication and Image Representation, 2018, 55: 30-39.

[21] Zhou Y, Li L D, Zhu H C, et al. No-reference quality assessment for contrast-distorted images based on multifaceted statistical representation of structure[J]. Journal of Visual Communication and Image Representation, 2019, 60: 158-169.

[22] Mittal A, Moorthy A K, Bovik A C. No-reference image quality assessment in the spatial domain[J]. IEEE Transactions on Image Processing, 2012, 21(12): 4695-4708.

[23] Zhang Y, Chandler D M. No-reference image quality assessment based on log-derivative statistics of natural scenes[J]. Journal of Electronic Imaging, 2013, 22(4): 043025.

[24] Gu K, Zhai G T, Yang X K, et al. Using free energy principle for blind image quality assessment[J]. IEEE Transactions on Multimedia, 2015, 17(1): 50-63.

[25] Lissner I, Preiss J, Urban P, et al. Image-difference prediction: from grayscale to color[J]. IEEE Transactions on Image Processing, 2013, 22(2): 435-446.

[26] Lee D, Plataniotis K N. Towards a full-reference quality assessment for color images using directional statistics[J]. IEEE Transactions on Image Processing, 2015, 24(11): 3950-3965.

[27] Lee D, Plataniotis K N. Toward a No-reference image quality assessment using statistics of perceptual color descriptors[J]. IEEE Transactions on Image Processing, 2016, 25(8): 3875-3889.

[28] Liu L X, Hua Y, Zhao Q J, et al. Blind image quality assessment by relative gradient statistics and adaboosting neural network[J]. Signal Processing: Image Communication, 2016, 40: 1-15.

[29] Zhang X, Wandell B A. A spatial extension of CIELAB for digital color-image reproduction[J]. Journal of the Society for Information Display, 1997, 5(1): 61-63.

[30] Wu J J, Lin W S, Shi G M, et al. Visual orientation selectivity based structure description[J]. IEEE Transactions on Image Processing, 2015, 24(11): 4602-4613.

[31] Marĉelja S. Mathematical description of the responses of simple cortical cells[J]. Journal of the Optical Society of America, 1980, 70(11): 1297-1300.

[32] Fang Y M, Ma K D, Wang Z, et al. No-reference quality assessment of contrast-distorted images based on natural scene statistics[J]. IEEE Signal Processing Letters, 2015, 22(7): 838-842.

[33] Jupp P E, Batschelet E. Circular statistics in biology[J]. Biometrics, 1982, 38(3): 870.

[34] Bara czuk Z, Zolliker P, Giesen J. Image-individualized gamut mapping algorithms[J]. Journal of Imaging Science and Technology, 2010, 54(3): 030201.

[35] Thurstone L L. A law of comparative judgment[J]. Psychological Review, 1927, 34(4): 273-286.

[36] Moorthy A K, Bovik A C. A two-step framework for constructing blind image quality indices[J]. IEEE Signal Processing Letters, 2010, 17(5): 513-516.

[37] Moorthy A K, Bovik A C. Blind image quality assessment: from natural scene statistics to perceptual quality[J]. IEEE Transactions on Image Processing, 2011, 20(12): 3350-3364.

[38] Saad M A, Bovik A C, Charrier C. Blind image quality assessment: a natural scene statistics approach in the DCT domain[J]. IEEE Transactions on Image Processing, 2012, 21(8): 3339-3352.

[39] Mittal A, Soundararajan R, Bovik A C. Making a “completely blind” image quality analyzer[J]. IEEE Signal Processing Letters, 2013, 20(3): 209-212.

[40] Zhang L, Zhang L, Bovik A C. A feature-enriched completely blind image quality evaluator[J]. IEEE Transactions on Image Processing, 2015, 24(8): 2579-2591.

3.4 颜色分量峰值特征对色域映射图像的重要性

3.5 质量预测实例

4 结论

余伟, 徐晶晶, 刘玉英, 张俊升, 李腾腾. 基于自然场景统计的色域映射图像无参考质量评价[J]. 激光与光电子学进展, 2020, 57(14): 141006. Wei Yu, Jingjing Xu, Yuying Liu, Junsheng Zhang, Tengteng Li. No-Reference Quality Evaluation for Gamut Mapping Images Based on Natural Scene Statistics[J]. Laser & Optoelectronics Progress, 2020, 57(14): 141006.

基于自然场景统计的色域映射图像无参考质量评价 下载： 888次

1 引言

2 基于NSS的色域映射图像质量评价算法

2.1 颜色空间转换

图 1. 本算法框架图

Fig. 1. Framework of our algorithm

图 2. 原始图像和质量逐渐降低的色域映射图像。(a)原始图像;(b)色域映射图像1;(c)色域映射图像2; (d)色域映射图像3

Fig. 2. Original image and gamut mapping images with decreasing quality. (a) Original image; (b) gamut mapping image1; (c) gamut mapping image2; (d) gamut mapping image3

2.2 特征提取

图 3. 图像频域矩和熵随频率的变化。(a)图像频域熵随频率的变化;(b)图像频域均值随频率的变化;(c)图像频域标准差随频率的变化

Fig. 3. Changes in the frequency domain moment and entropy of the image with frequency. (a) Change of image frequency domain entropy with frequency; (b) change of image frequency domain mean with frequency; (c) change of image frequency domain standard deviation with frequency

图 4. 相对彩度经验直方图

Fig. 4. Empirical histograms of relative chroma

图 5. 相对色调经验直方图

Fig. 5. Empirical histograms of relative hue

图 6. 相对色调和相对彩度的经验直方图

Fig. 6. Empirical histogram of relative hue and chroma

2.3 模型训练

图 7. AdaBoosting BPNN的结构。(a) AdaBoosting算法的结构;(b) BPNN的结构

Fig. 7. Structure of the AdaBoosting BPNN; (a) Structure of the AdaBoosting algorithm; (b) structure of BPNN

3 实验结果和分析

3.1 实验设置

表 1. 色域映射图像质量评价数据库

Table 1. Gamut mapping image quality evaluation databases

3.2 性能比较

表 2. 不同算法在三个数据库中的性能对比

Table 2. Performance comparison of different algorithms in three databases

3.3 颜色特征对色域映射图像的重要性

图 8. 灰度特征和颜色特征的性能对比。(a) BS数据库;(b)IG数据库;(c) LC数据库

Fig. 8. Performance comparison of grayscale features and color features. (a) BS database; (b) IG database; (c) LC database

3.4 颜色分量峰值特征对色域映射图像的重要性

图 9. 峰值特征对算法性能的影响。(a) BS数据库;(b) IG数据库;(c) LC数据库

Fig. 9. Influence of peak value features on algorithm performance. (a) BS database; (b) IG database; (c) LC database

3.5 质量预测实例

图 10. 色域映射图像实例。(a) MOS为0.6268;(b) MOS为0.5972;(c) MOS为0.2927;(d) MOS为0.1341

Fig. 10. Example of gamut mapping images. (a) MOS is 0.6268; (b) MOS is 0.5972; (c) MOS is 0.2927; (d) MOS is 0.1341

表 3. 不同算法的预测结果

Table 3. Predicted results by different algorithms

4 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于自然场景统计的色域映射图像无参考质量评价下载： 888次