江南大学人工智能与计算机学院，江苏 无锡 214122
为了能够在图像质量评价领域实现自监督学习，提出一种基于半监督学习的双分支网络训练的无参考图像质量评价算法。它是具有两个分支的训练过程，其中在一个分支使用少量手工标记数据样本来进行有监督学习，在另一个分支进行自监督学习来辅助前者训练同一个特征提取器，自监督学习部分采用几种传统的全参考方法联合为训练样本打上软标签。在6个公开的图像数据库中进行大量实验，结果表明所提算法不仅在合成失真图像数据集上优于目前大多数方法，而且在真实失真图像数据集上具有良好的泛化性能，预测结果与人类主观感知表现一致。
图像质量评价 特征提取 自监督学习 无参考 联合训练 激光与光电子学进展
2023, 60(4): 0410023
1 江南大学物联网工程学院, 江苏 无锡 214122
2 江苏省模式识别与计算智能工程实验室, 江苏 无锡 214122
随着视频技术的飞速发展,越来越多的视频应用逐步进入人们的生活中,因此对视频质量的研究很有意义。基于卷积神经网络和循环神经网络强大的特征提取能力并结合注意力机制,提出一种无参考视频质量评价算法。该算法首先利用VGG(Visual Geometry Group)网络提取失真视频的空域特征,然后利用循环神经网络提取失真视频的时域特征,引入注意力机制对视频的空时特征进行重要度计算,根据重要度得到视频的整体特征,最后通过全连接层回归得到视频质量的评价分数。在3个公开视频数据库上的实验结果表明,预测结果与人类主观质量评分具有较好的一致性,与最新的视频质量评价算法相比具有更好的性能。
机器视觉 视频质量评价 卷积神经网络 循环神经网络 注意力机制 激光与光电子学进展
2020, 57(18): 181509
1 江南大学物联网工程学院, 江苏 无锡 214166
2 上海海事大学物流科学与工程研究院, 上海 200135
通过四元数小波变换分解立体图像的左右视图,获取不同尺度不同方向的幅值相位信息,并结合人眼视觉特性生成单目图;对左右视图和单目图作亮度去均值对比度归一化(MSCN)处理,获取MSCN系数图,采用广义高斯分布模型拟合MSCN系数和MSCN四方向邻域系数乘积,提取统计参数特征(联合峰度、偏度、标准偏差和能量),组成特征向量,通过XGBoost模型预测图像质量感知得分。结果表明,所提立体图像质量评价算法在LIVE3D图像库上优于其他方法,并且运行速度得到大幅度提高。
图像处理 立体图像质量评价 四元数小波变换 单目图 去均值对比度归一化 XGBoost 激光与光电子学进展
2019, 56(18): 181006
江南大学物联网工程学院江苏省模式识别与计算智能工程实验室, 江苏 无锡 214122
提出了一种基于图像融合的无参考立体图像质量评价算法。该算法利用小波变换分解重构立体图像的左右视图并融合在一幅图像中,归一化处理融合图像的亮度系数,均衡各部分亮度并保留融合图像的结构信息,使用卷积神经网络进行特征提取和回归预测。实验结果表明,所提方法的预测得分与人类主观评价得分具有很好的一致性。
图像处理 立体图像质量评价 图像融合 小波变换 亮度系数归一化 卷积神经网络 激光与光电子学进展
2019, 56(7): 071004
1 江南大学物联网工程学院, 江苏省模式识别与计算智能工程实验室, 江苏 无锡 214122
2 上海海事大学物流科学与工程研究院, 上海 200135
提出了一种基于Log-Gabor滤波的纹理和深度图融合优化的立体图像显著性检测模型,利用平面图像的显著性结合纹理与深度特征检测立体图像的显著性。通过改进的基于图的流行排序算法计算左视点的显著图;提取左视点图像的纹理特征图以及立体图像的深度特征图,利用Log-Gabor滤波器分别计算深度显著图和纹理显著图;再利用线性加权融合方法将上述3个显著图融合为立体(3D)显著图;最后利用中心偏爱和视觉敏锐度增强3D显著图。实验利用公开的眼动跟踪数据库进行测试,结果表明,所提算法具有很好的检测效果,优于文献报道的其他3D显著性模型。
图像处理 立体显著性检测 流行排序 Log-Gabor滤波器 纹理 深度 激光与光电子学进展
2019, 56(8): 081003
1 江南大学物联网工程学院, 江苏 无锡 214122
2 上海海事大学物流科学与工程研究院, 上海 200135
提出了一种新的卷积神经网络与深度回归森林结合的无参考图像质量评价方法。该方法对原始图像进行局部对比度归一化处理,采用卷积神经网络提取图像质量的判别特征,最后利用深度回归森林预测图像质量。该方法无须手工设计图像特征,简化了图像的预处理过程。较少的卷积层数有利于减少网络的训练时间。使用深度策略对回归森林进行集成,提高了单一森林的预测精度。基于LIVE数据库与TID2008数据库的实验结果表明,该方法能很好地预测图像质量,并具有良好的泛化性能与较高的准确率,尤其在JPEG2000压缩、高斯模糊和白噪声等3种失真类型上均表现出了良好的性能。
图像处理 无参考图像质量评价 卷积神经网络 回归森林 局部对比度归一化 激光与光电子学进展
2019, 56(11): 111003
江南大学 物联网工程学院, 江苏 无锡 214122
大多数现有的客观图像质量评价算法往往针对单一失真类型设计, 对混合多失真图像质量评价效果欠佳, 而且大都是运用传统机器学习方法, 很少用到深度学习方法, 为此, 提出一种基于相位一致变换和卷积神经网络的无参考图像质量评价方法, 用来评价混合失真图像。对输入图像进行分块和相位一致变换, 使用卷积网络训练、预测图像质量得分, 其中卷积网络结构包括4层卷积层、3层最大池化层和2层全连接层。在Live混合失真质量评价数据库上的实验结果表明, 所提方法预测的图像质量分和主观质量评分达到了很好的一致性。
无参考 图像质量评价 卷积神经网络 相位一致性 深度学习 no reference image quality evaluation convolution neural networks phase congruency deep learning
江南大学物联网工程学院, 江苏 无锡 214122
视频质量评价主要采用传统的手动提取特征, 再利用机器学习预测视频质量分数, 导致结果不理想。VGG-16网络在特征提取方面具有非常好的稳健性, 借鉴其网络模型, 迁移参数构造出用于端到端的视频质量评价网络。LIVE视频数据库的实验结果表明, 该方法预测的评价分数与主观评价分数具有较高的一致性。其评价指标斯皮尔曼等级相关系数和皮尔逊线性相关系数分别达到了0.867和0.843, 性能优于目前基于手动提取特征进行视频质量评价的大部分算法。
成像系统 视频处理 迁移学习 神经网络 视频质量评价 激光与光电子学进展
2018, 55(9): 091101
1 江南大学物联网工程学院,轻工过程先进控制教育部重点实验室, 江苏 无锡 214122
2 安徽省明光市第三中学, 安徽 明光 239400
基于最小能量误差得到左右视图的视差图,分别对左、右视图和视差图进行4尺度、12个方向的可控金字塔分解,每一幅图像可得到1条高频子 带和48条方向子带。对左、右视图分解后相对应的48对方向子带进行二元广义高斯分布拟合,提取其形状参数和尺度参数,并提取所有方向子带的跨 尺度相关性、空间相关性等特征信息,将这些特征输入支持向量回归(SVR)训练预测得到立体图像质量评分。结果表明该质量评价模型在LIVE 3D数 据库上的性能指标斯皮尔曼等级相关系数(SROCC)、线性皮尔逊相关系数(CC)均在0.93以上,与人类的主观评价具有较好的一致性。
图像处理 可控金字塔分解 最小能量误差 二元广义高斯分布 支持向量回归 image processing controlled pyramid decomposition minimum energy error bivariate generalized Gaussian distribution support vector regression
江南大学 物联网工程与技术学院, 江苏 无锡 214000
提出了一种基于图像融合的立体图像质量评价方法。通过对立体图像的左右视图进行图像融合生成一幅彩色图像, 融合算法采用主成分分析（PCA）, 使用归一化互相关（NCC）视差图算法, 生成了对应的视差图; 对融合图像和视差图分别进行归一化亮度系数和谱能量参数的提取, 作为支持向量回归（SVR）的输入数据, 在经过充分的训练后对立体图像的质量评分进行预测。在LIVE 3D立体图像数据库上的实验结果表明, 提出的算法优于最新的无参考立体图像质量评价方法, 与人类的主观评价具有较好的一致性。
立体图像质量评价 无参考 主成份分析 视差图 归一化亮度系数 支持向量回归 stereoscopic image quality assessment no reference principal component analysis(PCA) parallax image(NCC) normalized luminance coefficient(MSCN) support vector regression(SVR)
