激光与光电子学进展, 2020, 57 (10): 101004, 网络出版: 2020-05-08   

基于模糊检测概率变化的模糊图像质量评价算法 下载: 1168次已撤稿

Blur Image Quality Assessment Method Based on Blur Detection Probability Variation
作者单位
1 内蒙古智能煤炭有限责任公司, 内蒙古 鄂尔多斯 017100
2 中国矿业大学信息与控制工程学院, 江苏 徐州 221116
摘要

为了解决无参考模糊图像质量评价中缺少人眼视觉特性的问题,提出了一种基于模糊检测概率变化的模糊图像质量评价算法,该算法首先对图像进行预处理,利用改进的自适应算法计算模糊图像的特定显著阈值,并通过显著阈值对图像进行二值化,得到图像的最终显著区域。然后,通过再模糊后两幅图像显著区域的模糊检测概率的变化情况描述图像质量。变化越大,表示图像质量越清晰。实验结果表明,该算法在LIVE数据集中取得了较好的实验效果,并与现有算法相比,具有更好的评价性能。同时,该算法也可以用于“智能煤矿”等领域。

Abstract

To solve the problem of lack of human visual characteristics in the non-reference blur image quality assessment. This paper proposes a blur image quality assessment method based on blur detection probability variation. This algorithm firstly preprocesses the image, uses the improved adaptive method to calculate the specific salient threshold of blurred image and binarizes the image with a specific threshold to obtain the final salient region of the image. Then, the image quality is described by the blur detection probability variation of the salient regions of the two images after re-blurring. The larger the change, the clearer the image quality. Experimental results show that the proposed algorithm achieves better experimental results in the LIVE data set and has better evaluation performance than the existing traditional algorithms. At the same time, the proposed algorithm can also be used in the field of wisdom mine and so on.

1 引言

随着计算机科学的高速发展,信息技术在人类生活中逐渐占据重要地位,随之而来的是图像、视频的大量涌现,图像在压缩和传输的过程中会产生不同程度的失真,其中模糊是导致图像失真的重要原因,所以对模糊图像进行质量评价显得尤为重要。图像边缘的模糊是人眼对模糊图像最明显的视觉感知,而且模糊会导致图像的边缘向周围扩展,造成图像边缘信息发生变化,因此,边缘的变化情况也能够作为模糊程度的评价指标。这类质量评价方法也是目前较为普遍的质量评价算法之一,如文献[ 1-5]。Ferzli等[6]将图像分为边缘块和平坦块,并通过计算边缘块的模糊概率总和来衡量图像质量。该算法具有很好的评价效果,但同时忽略了人眼视觉特性中的重要一点,当模糊概率低于最小可见模糊(JNB)概率时,人眼将无法识别该模糊。上述缺陷导致该算法的最终图像清晰度偏小。Narvekar等[7]对上述方法进行改进,排除了低于最小可见模糊的边缘点的干扰,提出了模糊检测累加概率(CPBD)算法。CPBD算法同样对图像进行边缘检测,并通过边缘块中低于最小可见模糊的边缘点的概率密度分布函数来评价图像模糊程度,概率密度越大,说明图像越清晰。该算法的评价效果得到了进一步提高,但未考虑像素点的模糊检测概率大小对评价结果的影响,即像素点的模糊检测概率越大,说明该像素被人眼感知时,越模糊。该算法使所有高于最小可见模糊的边缘点在算法结果中占有相同的评价作用,降低了算法的准确性。

针对上述问题,本文在排除了低于最小可见模糊的像素点的基础上,对CPBD算法进行改进,通过再模糊后两幅图像的模糊检测概率变化情况来描述图像模糊度的变化。Crete等[8]提出:图像模糊后,高频信息减少,对其进行再模糊时,由于高频信息有限,导致图像模糊度变化不大。所以,再模糊后,两幅图像的模糊检测概率变化越小,表示待评价图像越模糊。同时,将反映人眼视觉关注特性的图像显著性引入评价算法,以此排除模糊背景对评价结果的影响,提高算法结果与主观评价结果的一致性。

2 本文算法

2.1 算法原理

首先对待评价图像进行预处理,其中包括显著性的计算,并利用自适应阈值R对显著图进行二值化,提取图像显著区域。同时,对待评价图像进行再模糊处理,并分别计算两幅图像在相同显著区域的模糊检测概率。最后,利用二者的相似度来描述模糊检测概率的变化情况,得到待评价图像的最终质量。原理框图如图1所示。

图 1. 原理框图

Fig. 1. Functional block diagram

下载图片 查看所有图片

2.2 模糊检测概率

最小感知差异(JND)是观察者在一系列对比度变化下能感受到的最小差异,即观察者能够感知的对比度阈值。而JNB则是在给定的高于JND的边缘上,人眼能感受到的最小模糊,与对比度是一一对应的关系。文献[ 6]通过选择适当数量的个体并根据指定的标准和条件询问他们对于测试图像的意见,以此计算测试图像质量,并通过该实验结果获得了对比度与人眼JNB的关系。实验内容如下所示:选择矩形形状来分析在自然图像中常见的水平边缘周围的模糊效果。随后,利用高斯低通滤波器(大小为7×7,标准差σ在0.1到0.95之间变化)对图像进行处理。通过增加高斯滤波标准差控制图像模糊度直到检测出标记为JNB的最小可见模糊。σJNB表示在给定对比度下,最小可见模糊阈值对应的高斯低通滤波器的标准差。最后,利用心理函数对实验结果进行建模得到像素点ei的模糊概率PBLUR(ei)与对比度的关系,表示为

PBLUR(ei)=1-exp-w(ei)wJNB(ei)β,(1)wJNB=5,C503,C51,(2)

式中:w(ei)是边缘点ei的边缘宽度;wJNB(ei)是边缘像素点的最小可见模糊宽度,其主要取决于该边缘点周围的对比度C,并且在不同对比度下被建模为(2)式。β是通过最小二乘拟合获得的参数,其值介于3.4和3.8之间,文献[ 6]取中间值3.6。根据(1)式可得,当w(ei)=wJNB(ei)时,PJNB=63%,即当边缘点的模糊概率PBLUR(ei)>63%时,该像素点的模糊恰好可以被人眼感知。

2.3 图像预处理

在评价图像质量前,首先对待评价图像进行预处理。该过程包括:1)计算待评价图像显著值;2)利用自适应方法计算图像的特定显著阈值R;3)根据该阈值对图像进行二值化,提取图像显著区域。

2.3.1 图像显著值计算

研究发现当观察一幅图像时,人眼能够对图像中的重要信息进行提取并分析,其中包括提取图像中的重要区域,这种机制就是视觉关注,而通过视觉关注提取的区域称之为显著区域。随着研究的不断深入,越来越多的显著区域提取算法被提出[9-12]。其中,Zhang等[9]提出的融合先验条件的显著区域提取算法(SDSP)结构简单且计算速度较快。在该算法中,结合了以下三个特征:1)带通滤波器可以很好地模拟人类视觉系统对显著区域的检测行为;2)人眼更容易关注图像的中心位置;3)暖色比冷色更加吸引人。最后对这三种特征进行融合得到最终显著值公式,

SSDSP(x)=SF(x)×SD(x)×SC(x),(3)

式中:SD(x)为像素点的位置显著值,越接近图像中心位置越容易吸引人眼注意;SC(x)为颜色显著值。通过带通滤波器建模得到像素x的频域显著值SF(x),表示为

SF(x)=[(fL*g)2+(fa*g)2+(fb*g)2]12,(4)

式中:fLfafb分别是CIELab空间中的三个分量;g为带通滤波函数。因为显著值只与像素点位置有关,所以可建模一个高斯映射,

SC(x)=1-exp-fan2(x)+fbn2xσC2,(5)SD(x)=exp-x-c22σD2,(6)

式中:fan(x)表示点x中绿色-红色的程度;fbn(x)代表x中蓝色-黄色的程度,若像素点具有很高的fanfbn值,说明该像素属于暖色,反之,属于冷色调。c为图像中心;σCσD参数的选择在文献[ 5-6]中有详细介绍;σC为参数。

图 2. 显著效果图对比。(a)(b)原图;(c)(d) SDSP模型提取后的效果图

Fig. 2. Comparison of significant effect diagrams.(a)(b) Original images; (c)(d) effect images after SDSP model extraction

下载图片 查看所有图片

图 3. 显著图的二值化。(a)原图;(b)显著图像;(c)显著图像的二值化

Fig. 3. Binarization of salient maps. (a) Original image; (b) salient map; (c) binarization of salient map

下载图片 查看所有图片

SDSP模型的显著效果图如图2所示。其中,图2(a)的显著区域为蝴蝶,图2(b)的显著区域为远处的树木和云。从图2(c)和(d)可以看出,SDSP模型能够准确地提取两幅图像的显著区域。所以,本文利用SDSP模型计算图像显著值,同时对其改进,利用自适应特定显著阈值R将显著图二值化,如下式所示,最终提取出待评价图像的显著区域。

SSDSP(x)=1,SSDSP(x)>R0,SSDSP(x)<R(7)

其过程如图3所示,图3(a)为一幅海岛图像,该图像经过SDSP模型得到显著图[图3(b)],随后利用二值化公式计算得到二值化显著图[图3(c)]。可以看出,经过预处理操作,该算法能够准确提取出待评价图像的显著区域,为后续评价过程奠定基础。

2.3.2 阈值的选取

对于不同内容的图像,若固定显著阈值大小,则计算得到的显著区域可能产生偏差,如两幅场景相同的图像AB,颜色不同,其中A图像的颜色偏暖色,而B图像的颜色偏冷色,如果采用相同阈值计算两幅图像的显著区域,可能导致A图像的背景也被标记出来,或者B图像的部分显著区域被遗漏。所以本文提出改进的自适应方法设定阈值,即根据图像特征来确定阈值大小。步骤如下:

1) 将图像中所有像素点的显著值均值作为初始阈值,记为R0

R0=xSSDSPxM,(8)

式中:M为图像像素个数。

2) 利用阈值R0对所有像素点进行标记,将其分为两类S1S2

S1={SSDSP(x)|SSDSP(x)>R0},(9)S2={SSDSP(x)|SSDSP(x)<R0}(10)

3) 分别计算S1S2像素显著值的均值得到μ1μ2。并将R1设置为新的阈值。

R1=12(μ1+μ2)(11)

4) 若R1R0相等或R1-R0<0.2,则将图像显著值的阈值设定为R1,否则设置R0=R1,重复步骤2)~3)。将最后阈值设为R

经过实验验证,一般自适应迭代一次就能够得到理想的结果,所以该阈值设定的方法不仅简单,而且能够根据图像内容和场景的不同,设置不同的显著阈值,精确定位图像显著区域。

2.4 算法指标

从2.2节介绍可知,模糊检测概率是用于衡量人眼对图像模糊度的感知指标,本文在预处理的基础上,对图像进行再模糊,得到参考图像,并分别计算两幅图像显著区域的模糊检测概率相似度来评价图像质量。相似度越高,说明图像包含的高频信息越丰富,图像越清晰。为了排除低于最小可见模糊的像素点的影响,将待评价图像中低于最小可见模糊像素点的模糊检测概率置为0,

P'(ei)=1-exp-w(ei)wJNB(ei)b0,P(ei)<63%,P(ei)63%(12)

随后,利用图像X显著区域的模糊检测概率之和δx与参考图像Y在对应显著区域的模糊检测概率之和δy的相似度来计算两幅图像的模糊度变化情况,以判断图像的最终质量Q'

δx=iP(xi)·SSDSP(xi),(13)δy=iP(yi)·SSDSP(xi),(14)Q'=2δx·δy+c2δx2+δy2+c2,(15)

式中:P(xi)为像素点的模糊检测概率;SSDSP(xi)是像素点的显著值大小;c2为保证分母不为零的参数值。

3 实验数据分析

首先选取三幅复杂程度不同的图像,并利用预处理过程分别提取三幅图像的显著区域,根据所提效果图判断本文方法的有效性。同时,本文算法主要针对模糊图像进行研究,且LIVE数据库[13]中的JPEG2000压缩图像的失真本质主要为模糊失真。所以,将LIVE数据库中的175幅清晰度不同的高斯模糊图像和228幅JPEG2000压缩图像作为实验样本。最后,根据实验结果拟合得到的性能指标来判断本文算法的评价效果。

3.1 显著图提取效果

本文提出的基于模糊检测概率变化的评价算法通过计算再模糊后得到的参考图像与待评价图像在显著区域的模糊检测概率相似度来衡量图像质量。所以,显著区域的准确定位决定了算法的性能优劣。若错误得将背景标记为显著区域,可能导致评价结果与人眼感知效果相去甚远。所以,本文算法利用有效的SDSP模型计算图像显著性,并对其进行改进,利用自适应阈值对图像进行二值化,将背景与显著区域完全区分。为了更加直观地体现本文显著区域提取方法的提取效果,图4给出了内容不同的三幅图像,其中包括显著区域为塔和房子的lighthouse图像、显著区域为船和岛的sailing图像以及显著区域为车和人的bikes图像。同时展示了本文算法对上述三幅图像进行实验得到显著区域的效果图。可以看出,无论是内容简单的sailing图像还是较为复杂的bikes图像,预处理后都能够准确地排除图像背景,得到人眼视觉关注区域。

图 4. 显著区域二值化效果图。(a)~(c)原图像;(d)~(f)显著图

Fig. 4. Effect maps of significant area binarization. (a)-(c) Original images; (d)-(f) salient maps

下载图片 查看所有图片

3.2 算法性能

本文利用LIVE数据库中的JPEG2000压缩图像与高斯模糊图像来评价算法性能。并通过客观评价数据与主观结果的拟合,得到了衡量不同特征的性能指标[14-16]。其中包括:描述算法准确性的皮尔逊线性相关系数(PLCC)、描述算法单调性的斯皮尔曼秩相关系数(SROCC)和描述算法一致性的离出率(OR)。为了更加直观地显示算法改进的评价效果,本文同时与基于目标感知的无参考图像模糊度评价方法(JNBM)、CPBD、文献[ 8]算法进行对比。其中,文献[ 8]算法利用模糊图像的像素点与周围像素的灰度差值得到了一种新的评价算法,该算法首先对图像进行再模糊,然后利用待评价图像和参考图像的邻域像素变化强度来量化图像质量。其对比结果如表1所示。

可以看出,无论是针对高斯模糊失真还是JPEG2000压缩失真,本文算法与CPBD算法的PLCC值都相近,代表了两种算法模型具有相同的准确性。而本文算法的SROCC和OR相对于其他三种算法来说都有明显的提升,这是因为本文算法在计算过程中引入改进的图像自适应显著性,并将

表 1. 实验结果对比

Table 1. Comparison of experimental results

AnamorphosetypeAlgorithmPLCCSROCCOR
GaussianBlurJNBM0.8390.83680.2471
CPBD0.91070.91240.1909
Ref. [8]0.90300.89270.2041
Proposed0.9130.92310.138
JPEG2000compressionJNBM0.7190.72550.5022
CPBD0.88350.78620.326
Ref. [8]0.75410.80960.5231
Proposed0.89320.88410.2681

查看所有表

再模糊前后的模糊检测概率变化情况作为图像的衡量标准的过程,使得客观评价结果与主观质量评价结果具有更高的一致性,且误差减小。除此之外,本文算法对高斯模糊的评价效果都要明显优于JPEG2000压缩图像,说明本文算法具有一定的针对性,对只包含模糊失真的图像更加有效。

4 结论

本文提出了一种基于模糊检测概率变化的模糊图像质量评价算法。该算法通过预处理将图像显著性引入评价算法中,并对其进行改进,然后利用自适应阈值算法,根据图像场景自适应提取图像显著区域,从而排除了图像模糊背景的影响,使评价结果更加符合人眼视觉特性。随后,利用模糊检测概率相似度直观地反映再模糊后两幅图像的模糊程度变化情况,并将其作为衡量最终图像质量的评价指标,使算法结构更加简单和有效。为衡量算法性能,利用LIVE数据库中的高斯模糊图像与JPEG2000压缩图像进行实验。从实验结果可以看出,本文方法能够准确地排除图像背景,为图像质量评价奠定基础。对比实验表明,本文算法相对于其他算法来说,评价效果得到了进一步的提升。同时,研究还表明,该算法可以用于“智能煤矿”检测等领域,能够保证作业质量,实现煤炭工业的高质量发展。但是,本文算法还存在待改进的地方,如算法对图像显著区域二值化,在某种程度上弱化了图像显著性使用的意义,如果采用“显著性程度”代替“显著性区域”,相信在实验结果上会有更大的提升。随后的研究中将使用这种方法对算法做进一步改进。

参考文献

[1] OngE, LinW, LuZ, et al. A no-reference quality metric for measuring image blur[C]∥Seventh International Symposium on Signal Processing and Its Applications, 2003. Proceedings. , July 4, 2003. Paris, France. IEEE, 2003: 469- 472.

[2] DijkJ, van GinkelM, Van Asselt RJ, et al. A new sharpness measure based on Gaussian lines and edges[C]∥ International Conference on Computer Analysis of Images and Patterns, 2003: 149- 156.

[3] Chung YC, Wang JM, Bailey RR, et al. A non-parametric blur measureflased on edge analysis for image processing applications[C]∥IEEE Conference on Cybernetics and Intelligent Systems, 2004. Singapore. IEEE, 2004: 356- 360.

[4] Wu SQ, Lin WS, Jiang LJ, et al. An objective out-of-focus blur measurement[C]∥2005 5th International Conference on Information Communications & Signal Processing, Bangkok, Thailand. IEEE, 2005: 334- 338.

[5] Zhong SH, LiuY, LiuY, et al. A semantic no-reference image sharpness metric based on top-down and bottom-up saliency map modeling[C]∥2010 IEEE International Conference on Image Processing, September 26-29, 2010. Hong Kong, China. IEEE, 2010: 1553- 1556.

[6] Ferzli R, Karam L J. A No-reference objective image sharpness metric based on the notion of just noticeable blur (JNB)[J]. IEEE Transactions on Image Processing, 2009, 18(4): 717-728.

[7] Narvekar N D, Karam L J. A No-reference image blur metric based on the cumulative probability of blur detection (CPBD)[J]. IEEE Transactions on Image Processing, 2011, 20(9): 2678-2683.

[8] CreteF, DolmiereT, LadretP, et al. The blur effect: perception and estimation with a new no-reference perceptual blur metric[C]∥Proc SPIE 6492, Human Vision and Electronic Imaging XII, 2007: 64920I.

[9] ZhangL, Gu ZY, Li HY. SDSP: a novel saliency detection method by combining simple priors[C]∥2013 IEEE International Conference on Image Processing, September 15-18, 2013. Melbourne, Australia. IEEE, 2013: 171- 175.

[10] Itti L, Koch C, Niebur E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(11): 1254-1259.

[11] Hou XD, Zhang LQ. Saliency detection: a spectral residual approach[C]∥2007 IEEE Conference on Computer Vision and Pattern Recognition, June 17-22, 2007. Minneapolis, MN, USA. IEEE, 2007: 1- 8.

[12] 夏振平, 程成. 基于视觉显著性的立体显示图像深度调整[J]. 光学学报, 2017, 37(1): 0133001.

    Xia Z P, Cheng C. Stereoscopic display image depth adjustment based on visual saliency[J]. Acta Optica Sinica, 2017, 37(1): 0133001.

[13] Sheikh HR, WangZ, CormackL, et al. 2003[EB/OL]. [ 2019-08-20]. http: ∥live. ece. utexas. edu/research/quality.

[14] GuoC, MaQ, ZhangL. Spatio-temporal saliency detection using phase spectrum of quaternion fourier transform[C]∥ 2008 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2008), 2008: 24- 26.

[15] Wu S, Lin W, Xie S, et al. Blind blur assessment for vision-based applications[J]. Journal of Visual Communication and Image Representation, 2009, 20(4): 231-241.

[16] Eden A. No-reference estimation of the coding PSNR for H. 264-coded sequences[J]. IEEE Transactions on Consumer Electronics, 2007, 53(2): 667-674.

周圆, 王凯, 张皓翔, 许文强, 李龙. 基于模糊检测概率变化的模糊图像质量评价算法[J]. 激光与光电子学进展, 2020, 57(10): 101004. Yuan Zhou, Kai Wang, Haoxiang Zhang, Wenqiang Xu, Long Li. Blur Image Quality Assessment Method Based on Blur Detection Probability Variation[J]. Laser & Optoelectronics Progress, 2020, 57(10): 101004.

本文已被 1 篇论文引用
被引统计数据来源于中国光学期刊网

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!