1 南京工程学院 计算机工程学院江苏南京267
2 西安交通大学 信息与通信工程学院陕西西安710049
通过分析和研究视频内容特征、编解码失真特征和传输时延特征对视频质量评价的影响，结合人眼视觉特性及其数学模型，提出了一种综合考虑传输和编解码失真的基于内容感知的无参考视频质量评价方法，并构建其数学模型。在该方法中，首先采用视频帧图像纹理复杂性特征、图像的局部对比度、时域信息及其视觉感知来描述视频内容，构建其内容感知模型，并以此探讨视频内容及其视觉感知对视频质量的影响；然后，探讨比特率与视频质量之间的关系，构建其模型，研究视频比特率对其质量的影响；接着，结合视频传输时延特征，构建了由于传输时延失真而产生的视频质量下降的质量评价模型；最后，采用凸优化方法综合3个方面的模型，提出了一种综合考虑视频内容、编解码失真、传输时延失真和视觉特性的无参考视频质量评价模型。并采用多个建立的视频数据库和开源数据库中的数据和视频进行了测试验证，并与17种现有视频质量评价模型进行了性能对比；结果表明，所提模型的精度Pearson相关系数和Spearman秩序相关系数值最小分别能够达到0.877 3和0.833 6，最大可以实现0.938 3和0.943 8，表现出了较好的泛化性能，且复杂度比较低。综合模型精度、泛化性能、复杂性3个方面的性能参数表明，所提模型是一个性能比较优异的视频质量评价模型。
视频质量评价 人类视觉特性 视频内容 亮度和色度 传输时延 Video Quality Assessment（VQA） human visual system characteristics video contents luminance and chrominance transmission delay 光学 精密工程
2022, 30(22): 2923
1 上海海洋大学信息学院，上海 201306
2 上海电力大学，上海 201306
3 中国科学院深海科学与工程研究所，海南 三亚 572000
目前光学成像技术已经在深海探测中发挥重要的作用，但仍缺少深海视频质量主观评价研究，尤其是缺少公开的深海视频质量评价数据集。为此，构建了一个公开的、带有主观质量标签的深海视频质量评价数据集，该数据集包括5类代表性的真实深海场景视频。为了实现数据增广，使用基于深度学习和基于融合的水下图像增强方法进行视频质量增强，使用高斯模糊和高斯噪声进行视频质量退化；采用单激励绝对等级主观质量评价方法对深海视频进行视频质量评价，主观评价实验人数为20，得到总数量为142的深海视频质量评价数据集。在该数据集上验证了8种图像/视频质量客观评价模型的性能，结果显示当前视频质量客观评价模型用于深海视频质量评价还需提升性能。数据集公开在http：//ieee-dataport.org/documents/deep-sea-video-quality-dataset，有助于深海视频质量客观评价和增强技术的优化和改进。
视觉 深海视频数据集 视频质量主观评价 数据增广 视频质量客观评价模型 激光与光电子学进展
2022, 59(17): 1733001
1 江南大学物联网工程学院, 江苏 无锡 214122
2 江苏省模式识别与计算智能工程实验室, 江苏 无锡 214122
随着视频技术的飞速发展,越来越多的视频应用逐步进入人们的生活中,因此对视频质量的研究很有意义。基于卷积神经网络和循环神经网络强大的特征提取能力并结合注意力机制,提出一种无参考视频质量评价算法。该算法首先利用VGG(Visual Geometry Group)网络提取失真视频的空域特征,然后利用循环神经网络提取失真视频的时域特征,引入注意力机制对视频的空时特征进行重要度计算,根据重要度得到视频的整体特征,最后通过全连接层回归得到视频质量的评价分数。在3个公开视频数据库上的实验结果表明,预测结果与人类主观质量评分具有较好的一致性,与最新的视频质量评价算法相比具有更好的性能。
机器视觉 视频质量评价 卷积神经网络 循环神经网络 注意力机制 激光与光电子学进展
2020, 57(18): 181509
江南大学物联网工程学院, 江苏 无锡 214122
视频质量评价主要采用传统的手动提取特征, 再利用机器学习预测视频质量分数, 导致结果不理想。VGG-16网络在特征提取方面具有非常好的稳健性, 借鉴其网络模型, 迁移参数构造出用于端到端的视频质量评价网络。LIVE视频数据库的实验结果表明, 该方法预测的评价分数与主观评价分数具有较高的一致性。其评价指标斯皮尔曼等级相关系数和皮尔逊线性相关系数分别达到了0.867和0.843, 性能优于目前基于手动提取特征进行视频质量评价的大部分算法。
成像系统 视频处理 迁移学习 神经网络 视频质量评价 激光与光电子学进展
2018, 55(9): 091101
1 中国矿业大学信息与控制工程学院, 江苏 徐州 221008
2 河南应用技术职业学院信息工程学院, 河南 开封 475000
结合人眼对显著物体及运动目标的感知特性，提出了一种基于时域加权处理的视频质量客观评价方法。首先利用经典的结构相似性算法得出单帧图像质量分数，然后依据视频中图像组(GoP)不同类型帧失真对视频质量的影响程度对每一帧图像质量进行加权得到每个图像组的质量分数，最后分别利用显著性和时间感知信息对所有的图像组进行时域加权处理，并均衡二者的权重得出最终的视频质量客观评价值。在LIVE视频数据库上进行性能测试，实验结果表明，该方法与主观评价结果有较好的一致性，评价效果优于现有的典型模型。
图像处理 视频质量评价 显著性 时间感知信息 图像组 激光与光电子学进展
2018, 55(8): 081011
天津大学电气自动化与信息工程学院， 天津 300072
为了在不借助参考视频的条件下准确评价失真视频质量，提出一种应用三维卷积神经网络提取失真视频时空域特征的通用型无参考视频质量评价算法。在视频质量库上训练卷积神经网络模型3D ConvNets，使3D ConvNets学习到与视频失真程度相关的特征；应用3D ConvNets对输入的失真视频进行特征提取，对提取得到的质量特征先后进行L2范数规则化和主成分分析以防止过拟合并去除冗余特征；使用线性支持向量回归根据视频质量特征预测失真视频的质量分数。实验结果表明，本文算法能够较为准确地评价多种视频失真类型，并且在更换测试视频库后依然保持较高的评价准确度，同时算法评价视频质量的计算复杂度极低。
成像系统 视频质量评价 无参考 三维卷积神经网络 时空域特征 线性支持向量回归 激光与光电子学进展
2018, 55(7): 071101
宁波大学 信息科学与工程学院, 浙江 宁波 315211
考虑到人眼视觉关注特性在视频质量评价(VQA)中所具有的重要作用, 提出了一种结合人眼视觉关注特性的视频质量评价方法。首先利用三维Sobel算子以及恰可察觉失真模型得到全局显著图, 对全局显著图的每个显著像素点构建结构张量来求取一帧的全局质量; 然后利用视频运动信息以及人眼中心关注特性求得局部显著图来进行感知加权, 得到一帧的局部质量; 最后均衡局部与全局质量得到视频中一帧的质量,并采用机器学习的方法获得时域加权模型, 对视频帧进行加权, 从而得到客观视频质量评价值。在LIVE视频数据库上进行性能测试, 得到PLCC(Pearson Linear Correlation Coefficient)为0.827, SROCC(Spearman Rank Order Correlation Coefficient)为0.802, 与已有相关算法相比, 所提出的VQA方法的评价结果更接近人眼的主观感知。
视频质量评价 人眼感知特性 恰可察觉失真模型 显著图 结构张量 机器学习 video quality assessment human visual characteristics just-noticeable-difference model saliency map structure tensor machine learning
1 宁波大学 信息科学与工程学院，浙江 宁波 315211
2 南京大学 计算机软件新技术国家重点实验室，南京 210093
如何准确有效的评价立体视频质量对于视频通信系统的发展有着重要的作用。本文着重于从单视点相邻帧中提取的结构信息相关性提出了一种立体视频质量评估方法。空域梯度对空域失真和时域局部失真同样敏感，对于立体视频的左右视点，首先结合时空域梯度特征和对图像质量评价有显著影响的颜色特征，得到单视点视频的时空域结构相似度。在时空域质量融合阶段，时空域局部质量首先通过空域融合得到单视点帧级质量值，然后再利用左右视点能量比率图加权的方法将同一时刻左右视点之间的质量值融合为立体视频单帧质量值。最后考虑人眼不对称追踪效应进行单帧质量融合得到最终的立体视频质量。在NAMA3DS1-COSPAD1 数据库上的实验表明该方法可以准确预测立体视频质量且时间复杂度非常低。
视频质量评价 时空域信息 质量融合 时域效应 stereoscopic video quality assessment spatial-temporal information quality fusion temporal effects
1 西安交通大学 电子与信息工程学院, 陕西 西安 710049
2 陕西理工学院 物理与电信工程学院, 陕西 汉中 723000
结合人眼对亮度、色度、对比度以及运动目标的感知特性, 提出了一种基于人眼对视频内容感知的视频质量客观评价方法。该方法将视频分为空域和时域信息分别描述, 并利用人眼感知特性, 从视频的亮度、色度、对比度以及目标运动4个方面提取特征, 计算其强度。然后以人眼对比度敏感值作为强度的权重因子求和, 构建人眼感知视频内容模型。最后,分别以此模型模拟人眼感知源视频和失真后的视频, 计算每对应单元的所有像素之间和运动矢量之间的强度差; 以强度差作为视频质量评价的分数, 构建视频质量客观评价模型。采用LIVE数据库中的6个源视频和48个测试视频进行了质量评价实验, 并与视频质量专家组(VQEG)推荐的5个较好的视频质量客观评价模型进行了对比分析。结果表明：提出模型的视频质量评价结果与主观评价结果之间的线性相关性系数达到0.8705, 显示了较好的一致性, 评价效果优于5个典型的模型。
人眼视觉特性 视频质量评价 亮度 色度 对比度 相关系数 human visual system characteristics video quality assessment brightness chroma contrast correlation coefficients
1 解放军理工大学 通信工程学院, 南京 210007
2 光电控制技术重点实验室, 河南 洛阳 417009
有效地反映人眼视觉系统对视频的感知是客观视频质量评估的关键。提出了一种全参考视频质量评估算法。首先抽取基于结构相似度量的空间域特征和基于光流的时间域特征, 然后通过将时间域特征与空间域特征进行加权, 以此构造视频的空时视频质量评估指标。实验结果表明, 全参考视频质量评估算法不但具有快速的计算能力, 而且能够准确地反映人眼视觉系统的视觉感知效果, 具有良好的视频评估效果。
视频质量评估 光流 结构相似度量 特征提取 人眼视觉系统 video quality assessment(VQA) optical flow structural similarity(SSIM) feature extraction human visual system(HVS)
