1 江南大学物联网工程学院, 江苏 无锡 214166
2 上海海事大学物流科学与工程研究院, 上海 200135
通过四元数小波变换分解立体图像的左右视图,获取不同尺度不同方向的幅值相位信息,并结合人眼视觉特性生成单目图;对左右视图和单目图作亮度去均值对比度归一化(MSCN)处理,获取MSCN系数图,采用广义高斯分布模型拟合MSCN系数和MSCN四方向邻域系数乘积,提取统计参数特征(联合峰度、偏度、标准偏差和能量),组成特征向量,通过XGBoost模型预测图像质量感知得分。结果表明,所提立体图像质量评价算法在LIVE3D图像库上优于其他方法,并且运行速度得到大幅度提高。
图像处理 立体图像质量评价 四元数小波变换 单目图 去均值对比度归一化 XGBoost 激光与光电子学进展
2019, 56(18): 181006
江南大学物联网工程学院江苏省模式识别与计算智能工程实验室, 江苏 无锡 214122
提出了一种基于图像融合的无参考立体图像质量评价算法。该算法利用小波变换分解重构立体图像的左右视图并融合在一幅图像中,归一化处理融合图像的亮度系数,均衡各部分亮度并保留融合图像的结构信息,使用卷积神经网络进行特征提取和回归预测。实验结果表明,所提方法的预测得分与人类主观评价得分具有很好的一致性。
图像处理 立体图像质量评价 图像融合 小波变换 亮度系数归一化 卷积神经网络 激光与光电子学进展
2019, 56(7): 071004
天津大学电气自动化与信息工程学院, 天津 300072
立体图像失真会影响图像边缘、结构和深度等低层次结构特征,为此,基于人眼对图像低层次结构的理解提出一种无参考立体图像质量评价方法。首先,对输入左右视图、合成图和视差图进行双树复小波变换;其次,提取左右视图、合成图和视差图小波子带的相位幅度特征,以及左右视图和合成图小波子带的梯度特征;最后,将所得特征输入支持向量回归(SVR)中训练,获得特征到质量分数的映射关系模型,预测立体图像质量。分别在LIVE3 DIQD Phase 1数据库和LIVE3 DIQD Phase 2数据库中测试本文算法性能,实验结果表明,本文算法与人眼视觉特性保持很高的一致性,且优于目前大多数主流算法。
图像处理 无参考立体图像质量评价 双树复小波变换 相位幅度特征 支持向量回归 激光与光电子学进展
2018, 55(6): 061005
江南大学 物联网工程与技术学院, 江苏 无锡 214000
提出了一种基于图像融合的立体图像质量评价方法。通过对立体图像的左右视图进行图像融合生成一幅彩色图像, 融合算法采用主成分分析(PCA), 使用归一化互相关(NCC)视差图算法, 生成了对应的视差图; 对融合图像和视差图分别进行归一化亮度系数和谱能量参数的提取, 作为支持向量回归(SVR)的输入数据, 在经过充分的训练后对立体图像的质量评分进行预测。在LIVE 3D立体图像数据库上的实验结果表明, 提出的算法优于最新的无参考立体图像质量评价方法, 与人类的主观评价具有较好的一致性。
立体图像质量评价 无参考 主成份分析 视差图 归一化亮度系数 支持向量回归 stereoscopic image quality assessment no reference principal component analysis(PCA) parallax image(NCC) normalized luminance coefficient(MSCN) support vector regression(SVR)
江南大学 物联网工程学院, 江苏 无锡 214122
立体图像的景物生动逼真, 给人一种身临其境的全新视觉享受, 但在制作、存储和传输过程中往往会产生失真。为了评价立体图像的质量优劣, 提出了一种基于轮廓波(Contourlet)变换的无参考立体图像质量评价算法。通过对失真的左、右图像分别进行主成分分析(PCA)融合来生成新的融合图像, 并使用基于SSIM(Structural Similarity)立体匹配算法生成视差图和匹配差值图, 然后对上述三张图片进行Contourlet变换, 再然后使用自定义的高频能量指标并结合边缘强度和信息熵, 最后将得到的特征输入支持向量回归(Support Vector Regression,SVR)模型中学习, 得出质量评价分数。该方法在德克萨斯大学公布的立体图像库中进行了验证, 线性相关系数和斯皮尔曼相关系数在Phase I库中可高达0.957和0.947, 在Phase II库中也可高达0.944和0.934, 与主观评价吻合度很高, 优于最新的一些评价方法。
SSIM立体匹配 Contourlet 变换 无参考立体图像质量评价 支持向量回归 主成分分析图像融合 stereo matching of SSIM Contourlet transform no-reference quality assessment for stereoscopic i support vector regression(SVR) principal component analysis(PCA) image fusion
宁波大学信息科学与工程学院, 浙江 宁波 315211
在观看立体图像时,人类视觉系统(HVS)以人眼视网膜细胞为媒介接收、传输和理解双目信息,基于此提出了一种仿视觉细胞模型的立体图像质量评价(SIQA)方法。以视网膜细胞特性为基础,模仿HVS 对简单细胞和复杂细胞进行建模;双目信息经简单-复杂细胞模型处理得到双目融合视点图(BFVM)和双目细胞差异图(BCDM),采用多尺度结构相似度(MSSIM)算法分别对原始、失真立体图像的BFVM 和BCDM 进行双目融合评价(BFQA)和双目立体感评价(BSPA);对BFQA 和BSPA 的评价值进行加权融合得到最终评价值。实验结果表明,该方法的Pearson 线性相关系数在0.94 以上,Spearman 秩相关系数在0.93 以上,该模型符合人眼视觉特性,能够较好地预测立体图像质量。
图像处理 立体图像质量评价 人类视觉系统 视觉细胞模型 双目融合 简单-复杂细胞 激光与光电子学进展
2016, 53(4): 041004
1 宁波大学 信息科学与工程学院, 浙江 宁波 315211
2 南京大学 计算机软件新技术国家重点实验室, 南京 210093
根据小波变换的高频分量包含边缘及纹理等人眼比较关注的细节信息, 提出了一种基于小波变换的高频重构的立体图像质量评价方法, 包括左右视点质量评价和立体感评价两部分。通过模拟人类视觉系统处理原始和失真的左右视点图像, 利用结构相似度算法得到左右视点质量评价值; 用加权处理后的小波高频分量经过重构得到人眼关注的细节信息图, 分别计算原始和失真的左右视点细节信息图的绝对差值图, 利用结构相似度算法对两幅绝对差值图评价得到立体感质量评价值。将两种质量评价值进行加权融合得到最终的立体图像质量评价值。整体实验结果的Pearson线性相关系数在0.94以上, Spearman秩相关系数值在0.93以上, 均方根误差值接近5.5, 能较好地符合人眼视觉特性。
立体图像质量评价 人类视觉系统 小波变换 立体感 stereo images quality human visual system wavelet transform stereo perception
宁波大学信息科学与工程学院, 浙江 宁波 315211
本文从感知特征图与立体图像质量的关系出发, 提出了一种立体图像感知特征图失真程度预测立体图像质量的评价模型。首先, 从人类视觉系统对图像的理解方式出发, 提取立体图像的视觉感知特性相关的特征图像;然后, 计算感知特征图的失真程度, 构成感知特征集并作为立体图像的特征参数;最后, 用随机森林分类算法进行特征融合, 建立立体图像质量评价模型。实验结果表明, 本文模型符合人眼视觉特性, 能够较好地预测立体图像质量。
立体图像质量评价 人类视觉系统 感知特征集 随机森林 stereo image quality assessment human visual system perception characteristic sets random forest
宁波大学 信息科学与工程学院, 浙江 宁波 315211
根据人类视觉系统(Human Visual System, HVS)中双目视觉信息处理的过程, 结合一系列图像特征, 提出一种基于双目信息融合的立体图像质量评价模型。该模型通过复小波变换模拟HVS对立体图像的融合过程。提取结构活跃度(Structural Activity, SA)以及相位一致性(Phase Congruency, PC)作为图像特征。最后通过度量融合图像特征的改变程度获得立体图像客观质量。采用本文所提出的客观评价模型对立体图像数据库进行评价, 其线性相关系数值在0.92以上, 均方根误差值接近6, 异常值比率值为0%。实验结果表明, 该模型符合人眼视觉特性, 能够很好地预测立体图像质量。
立体图像质量评价 人类视觉系统 双目信息融合 结构活跃度 stereo image quality metric human visual system binocular fusion structural activity引言
宁波大学信息科学与工程学院, 浙江 宁波 315211
立体图像质量评价是评价立体视频系统性能的有效途径, 而如何对立体图像质量进行有效的客观评价是目前的研究难点。本文提出了一种基于感知重要性的立体图像质量评价方法。该评价方法通过分析视觉显著和失真对感知质量的影响, 建立立体图像视觉感知重要性模型, 将立体图像分为四类区域: 显著失真区域、显著非失真区域、非显著失真区域和非显著非失真区域, 然后对各个区域分别进行评价, 最后通过对各个区域赋予不同的权值从而预测得到最终的客观评价值。实验结果表明, 该方法与主观评价结果有较好的相关性, 符合人眼视觉系统。
立体图像质量评价 感知重要性 立体显著图 失真图 stereoscopic image quality assessment perceptual significance stereoscopic saliency map distortion map