四元数小波变换优化单目图的无参考立体图像质量评价 下载: 956次
1 引言
图像质量评价是现代图像处理领域的一个重要方向,在日常生活中的应用日益增多。随着现代科学技术的高速发展,人们越来越离不开智能手机和个人计算机,如何评价经压缩、传输后失真的图像质量显得尤为重要,图像质量评价也因此有了非常重要的现实意义。
图像质量评价总体分为三种类型:全参考图像质量评价、半参考图像质量评价、无参考图像质量评价[1]。其中,全参考图像质量评价发展最早,发展时间最长,需要原始图像作参考,通过与失真图像对比得出质量得分;半参考图像质量评价需要部分原始图像信息;无参考图像质量评价完全不需要原始图像信息,通过各种手段直接得出图像质量得分,因此研究意义最大,是最应该投入关注的研究方向[2]。
立体图像与平面二维(2D)图像的不同之处在于:立体图像有左右两幅视图;平面2D图像质量评价算法可以用于立体图像,分别计算其左右视图得分,再综合其得分得到最终分数,但是这种方法并没有考虑到双眼之间的相互作用,只是简单的加权计算。随着越来越多的学者将目光投放至立体图像质量评价领域,专门的立体图像质量评价算法应运而生。Chen等[3-4]在提取立体视差图的基础上把2D图像质量评价方法应用到三维(3D)图像质量评价上,并同时考虑2D和3D特征来进行3D图像评估。Shao等[5]将图像分为不同的区域,并独立地评估每个区域,最后整合得分。Su等[6]利用左右视差合成单目图,并提取自然场景统计特征来预测图像质量。Appina等[7]用双变量广义高斯分布模型拟合亮度和视差系数,设计出算法StereoQUE。Zhang等[8]提出了一种基于卷积神经网络的立体图像质量评价方法,并设计了两个卷积神经网络用来学习不同的局部结构。Zhou等[9]模拟双眼视觉机制训练原始多变量高斯模型,用马氏距离测算图像质量。薛小波等[10]提出了一种仿视觉细胞模型的立体图像质量评价方法。总体而言,相比于平面图像领域的研究热潮,针对立体图像的算法研究更少一些,该算法在公开立体图像库上的实验结果,以及对立体图像质量的预测结果的准确度要低一些。由立体图像的左右视图生成单目图是常见的处理方法,但合成单目图的方法多种多样,有的算法运行需要消耗较长的时间,从而影响评价算法整体的性能。
本文提出了一种四元数小波变换优化单目图的立体图像质量评价方法。幅值和相位是重要的图像特征,而四元数小波变换能够提供不同尺度、不同方向的幅值相位信息。首先,将立体图像的左右视图进行四元数小波分解,获取幅值相位信息,并利用人眼视觉特性原理,获得符合人眼视觉特性的单目图,归一化左视图、右视图和单目图的局部亮度系数;然后,用广义高斯分布(GGD)模型拟合局部亮度归一化系数,用非对称广义高斯分布(AGGD)模型拟合四方向邻域的局部亮度归一化系数乘积,提取统计参数特征,包括联合峰度、偏度、标准偏差和能量,组成特征向量,经支持向量回归模型训练后预测图像分数。
2 四元数小波变换简介
四元数小波变换(QWT)是一种结合了四元数代数[11]、二维希尔伯特变换和小波变换的新型图像分析工具。四元数小波变换的每个子带可以用幅值和相位表示,幅值具有近似的平移不变性,并且比小波变换能更好地反映图像的轮廓,两个相位可以表示局部图像偏移,第三个相位可以捕获图像纹理信息[12]。其多尺度、多方向的幅值、相位信息已应用在许多图像处理领域,包括图像配准[12]、纹理表示[13]、纹理分类[14]和图像融合[15]。和小波变换相比,四元数小波变换具有近似平移不变性和丰富的相位信息。
四元数小波变换包括4个标准正交基组,因此形成4倍冗余的紧框架, 4个正交基可以用矩阵形式表示为
式中:
式中:
3 四元数小波变换优化单目图的无参考立体图像质量评价
3.1 单目图像的产生方法
人类的双目感知通常可分为三种模式:双目融合、双目竞争和双目抑制,其中,由于人类左右眼观察到的图像通常是极相似的,双目融合的特性更应当被考虑。自然场景的幅值和相位被认为是重要的特征。Oppenheim等[16]使用一幅图像的幅值和另一幅图像的相位合成的图像看起来与使用相位信息的图像更相似,证明了图像外观的主要贡献者为相位。文献[ 17-18]等证明幅值同样也是影响图像外观的重要因素,并且可以在仅有相位或仅有幅值的情况下重建信号,表明幅值和相位之间存在依赖性。本研究考虑左右视图的相似性,以及四元数小波变换提供的多尺度多方向的幅值相位信息,提出将图像分解成四元数小波域,计算图像各尺度各方向之间的幅值相位相似度,并利用人眼视觉特性生成单目图。
具体的做法是:首先对立体图像的左、右视图分别作一级四元数小波分解,分解后将会得到一个低频子带LL,三个高频子带LH、HL、HH;每个子带有一个幅值
图 1. 一级四元数小波变换分解Lena图像
Fig. 1. Decomposition of image Lena by first-level quaternion wavelet transform
由
式中:
式中:
在计算出低频子带的单目视觉矩阵之后,采用同样的方法计算出另外三个高频子带的单目视觉矩阵。考虑到四元数的每个子带都提供了不同尺度的视觉信息,将4个子带的矩阵相加求平均值,最终得出融合左右视图信息的单目图,即
式中:
图 2. 本文方法生成的单目图。(a)左视图;(b)右视图;(c)单目图
Fig. 2. Cyclopean images produced by proposed method. (a) Left view; (b) right view; (c) cyclopean image
3.2 视觉质量感知特征生成
亮度去均值对比度归一化(MSCN)系数[19]是一种常用的图像亮度衡量指标。MSCN系数的计算公式为
式中:
式中:
Mittal等[19]对MSCN系数的邻域空间进行了研究,将相邻空间的系数相乘,得到水平、垂直、主对角线和副对角线四个方向的系数乘积。但是MSCN的四方向系数乘积直方图左右并不对称,存在较明显的右拖尾。这种情况下,对称的GGD模型不能很好地拟合MSCN四方向系数乘积,于是采用非对称广义高斯分布(AGGD)模型来代替GGD模型进行拟合。
式中:
偏度和峰度是一对检测数据正态性的指标,其中偏度反映数据的非对称分布程度,峰度反映数据的陡缓程度。上文已经指出,MSCN系数和MSCN四方向邻域系数乘积具有近似高斯分布特性,所以本研究将偏度和峰度也作为图像质量感知特征。标准偏差用于衡量数据的离散程度,亮度均匀的图像标准偏差小,反之标准偏差则大。能量通常反映图像的锐利度,图像能量的大小可以显示出图像包含的信息的丰富程度。用标准偏差和能量作为图像特征,丰富了特征的多样性。
在图像质量评价方法中,多尺度的处理很常见。本研究对图像进行二级下采样处理,再次提取特征。通过对图像多尺度、多方向的特征提取,可以较好地反映图像的原有信息,增强特征矩阵描述原图的有效性。
3.3 所提无参考立体图像质量评价算法流程
近年来,XGBoost模型[20]在数据科学竞赛和工业界中的表现优秀。XGBoost是一个可用于分类和回归问题的集成学习算法,是一种提升树模型,即将许多树模型集成在一起,形成一个很强的分类器。XGBoost使用许多策略防止过拟合,利用损失函数关于待求函数的二阶导数优化目标函数,并且支持并行化,训练速度快。
使用回归树基学习器进行实验。回归树通过数据的不同特征属性,对属性进行决策分配到叶子节点,每一个叶子节点都对应一个预测分数。模型的参数设置如下:学习率取0.1,树的总数量取500,其他参数取默认值,其中树的最大深度、最小叶子分裂值、样本采样、属性列采样参数等采用Sciki-learn包里面的网格搜索GridSearchCV函数进行XGBoost参数的寻优。
本文算法流程图如
4 结果与讨论
4.1 LIVE3D Phase I图像库
LIVE3D图像库是常用的3D图像算法评价库,由德克萨斯大学奥斯汀分校于2012年创建。Phase I库由20幅原始图像和365幅失真图像组成。其中,JP2K、JPEG、WN和FF四种类型的失真图像各80幅,Blur类型的失真图像45幅。Phase I库的图像失真全部为对称失真。
由于LIVE3D Phase I库一共有20对参考图像,所以选择16对参考图像对应的失真图像进行训练,剩下的4对参考图像对应的失真图像用来测试,以保证训练数据和测试数据互不重叠。为了保证实验结果的准确性,进行了1000次迭代实验,选择1000次实验结果的中值作为最终的结果。
与每一幅不同类型、不同程度的失真图像相对应的是图像的差分平均主观得分(DMOS)。参考真实的深度信息对失真图像进行质量评估,得到图像的DMOS。DMOS为失真图像与原始图像的之间的差异,所以,DMOS越大,图像的质量越差。
在图像质量评价领域,通常用Spearman等级相关系数
式中:
表 1. LIVE3D Phase I的PLCC实验结果对比
Table 1. Comparison of PLCC on LIVE3D Phase I
|
表 2. LIVE3D Phase I的SROCC实验结果对比
Table 2. Comparison of SROCC on LIVE3D Phase I
|
表 3. LIVE3D Phase I的RMSE实验结果对比
Table 3. Comparison of RMSE on LIVE3D Phase I
|
4.2 LIVE Phase II图像库
LIVE3D Phase II库由8幅原始图像和360幅失真图像组成。LIVE3D Phase II库同样有JP2K、JPEG、WN、Blur和FF五种失真类型,每种失真类型包含9幅不同程度的失真图像。与Phase I库不同的是,Phase II库既包含了对称失真图像,也包含了非对称失真图像。每幅原始图像拥有3幅对称失真图像和6幅非对称失真图像。
LIVE3D Phase II库一共有8对参考图像,所以本研究选择6对参考图像及其对应的失真图像进行训练,剩下的2对参考图像及其对应的失真图像用来测试。
由
表 4. LIVE3D Phase II 的PLCC实验结果对比
Table 4. Comparison of PLCC on LIVE3D Phase II
|
表 5. LIVE3D Phase II SROCC实验结果对比
Table 5. Comparison of SROCC on LIVE3D Phase II
|
表 6. LIVE3D Phase II RMSE实验结果对比
Table 6. Comparison of RMSE on LIVE3D Phase II
|
4.3 算法运行时间
除了算法的
为了计算模型测试一对立体图像需要的时间,本研究从LIVE3D Phase I图像库中随机选择73对立体图像作为测试数据,每幅图片的尺寸为640 pixel×360 pixel,将平均时间作为模型预测一对立体图像分数的运行时间。实验在Win7下的Matlab R2015a中完成,使用的设备为Intel Core i5-2450 CPU,内存为4G。
对比个算法的运行时间,本文所提出的算法在测试一对立体图像时花费的时间最短,运行的速度最快,见
表 7. 各算法的运行时间
Table 7. Running time of different algorithms
|
5 结论
在科学技术快速发展,图像信息快速传输的今天,越来越多的学者开始研究立体图像质量评价方法。立体图像区别于平面图像之处为拥有左右两幅视图,因此在评价立体图像时,应当考虑左右视图之间的区别与联系。所提出的单目图产生方法联合了左右视图信息,并采用了人眼视觉特性原理优化生成单目图,多尺度、多方向的特征选择也更能反映图像的原始信息。结果表明,所提出的无参考立体图像质量评价算法在LIVE 3D图像库上的实验结果较好,其运行速度也得到了大幅提高。
[1] 赵文哲, 秦世引. 图像质量评价的研究进展和若干问题的解决途径[J]. 激光与光电子学进展, 2010, 47(4): 041002.
[2] 侯春萍, 林洪湖. 基于小波变换与结构特征的立体图像质量评价[J]. 激光与光电子学进展, 2018, 55(6): 061005.
[3] Chen M J, Su C C, Kwon D K, et al. Full-reference quality assessment of stereopairs accounting for rivalry[J]. Signal Processing: Image Communication, 2013, 28(9): 1143-1155.
[6] Su C C, Cormack L K, Bovik A C. Oriented correlation models of distorted natural images with application to natural stereopair quality evaluation[J]. IEEE Transactions on Image Processing, 2015, 24(5): 1685-1699.
[7] Appina B, Khan S, Channappayya S S. No-reference stereoscopic image quality assessment using natural scene statistics[J]. Signal Processing: Image Communication, 2016, 43: 1-14.
[8] Zhang W, Qu C F, Ma L, et al. Learning structure of stereoscopic image for no-reference quality assessment with convolutional neural network[J]. Pattern Recognition, 2016, 59: 176-187.
[9] Zhou W J, Yu L, Qiu W W, et al. Utilizing binocular vision to facilitate completely blind 3D image quality measurement[J]. Signal Processing, 2016, 129: 130-136.
[10] 薛小波, 郁梅, 何美伶. 基于仿视觉细胞模型的立体图像质量评价方法[J]. 激光与光电子学进展, 2016, 53(4): 041004.
[11] 岳靖, 刘国军, 付浩. 四元数谱余量彩色图像质量评价[J]. 激光与光电子学进展, 2019, 56(3): 031009.
[12] Chan W L, Choi H, Baraniuk R G. Coherent multiscale image processing using dual-tree quaternion wavelets[J]. IEEE Transactions on Image Processing, 2008, 17(7): 1069-1082.
[14] Gai S, Yang G W, Zhang S. Multiscale texture classification using reduced quaternion wavelet transform[J]. AEU-International Journal of Electronics and Communications, 2013, 67(3): 233-241.
[15] Chai P F, Luo X Q, Zhang Z C. Image fusion using quaternion wavelet transform and multiple features[J]. IEEE Access, 2017, 5: 6724-6734.
[16] Oppenheim A V, Lim J S. The importance of phase in signals[J]. Proceedings of the IEEE, 1981, 69(5): 529-541.
[17] Hayes M, Lim J, Oppenheim A. Signal reconstruction from phase or magnitude[J]. IEEE Transactions on Acoustics, Speech, and Signal Processing, 1980, 28(6): 672-680.
[18] Vilankar K P, Vasu L, Chandler D M. On the perception of band-limited phase distortion in natural scenes[J]. Proceedings of SPIE, 2011, 7865: 78650C.
[20] Chen TQ, GuestrinC. XGBoost: a scalable tree boosting system[C]∥KDD 2016: 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, August 13-17, 2016, San Francisco, California, USA. New York: ACM, 2016: 785- 794.
Article Outline
李一凡, 李朝锋, 桑庆兵. 四元数小波变换优化单目图的无参考立体图像质量评价[J]. 激光与光电子学进展, 2019, 56(18): 181006. Yifan Li, Chaofeng Li, Qingbing Sang. No-Reference Stereo Image Quality Assessment of Cyclopean Images Optimized Using Quaternion Wavelet Transform[J]. Laser & Optoelectronics Progress, 2019, 56(18): 181006.