1 宁波大学 信息科学与工程学院，浙江宁波352
2 宁波大学 科学技术学院 信息工程学院，浙江宁波3151
沉浸式的虚拟现实体验中视觉诱发晕动症（Visually Induced Motion Sickness， VIMS）是影响虚拟现实系统发展与应用的一个重要问题。现有的基于视觉内容的评价方案大多考虑的要素不够全面，对运动信息的提取较为简单，且少有考虑时域上的突变对晕动症的影响。针对上述问题，提出了虚拟现实中视觉诱发晕动症时空多特征评价模型；基于立体全景视频中空域、时域信息来设计视觉诱发晕动症评价模型，采用更符合人眼感知的加权运动特征，并考虑了立体全景视频时域的突变信息设计了特征提取方式。所提出模型分为预处理模块、特征提取模块及时域聚合与回归模块。预处理模块用于视口提取和光流图、视差图、显著图的估计。特征提取模块包含前背景加权运动特征提取、基于变换域的视差特征提取、空间特征提取及时域突变特征提取。时域聚合后通过支持向量回归得到VIMS评价分数。实验结果表明，该模型在立体全景视频数据库SPVCD上的预测结果与平均主观意见分的皮尔逊线性相关系数为0.821、斯皮尔曼相关系数为0.790、均方根误差为0.489。该模型取得了优良的预测性能，验证了所提出特征提取模块的有效性。
虚拟现实 立体全景视频 晕动症 运动感知 突变特征 virtual reality stereoscopic panoramic video motion sickness motion perception abrupt change feature
1 西安邮电大学通信与信息工程学院, 陕西 西安 710121
2 延安大学物理与电子信息学院, 陕西 延安 716000
3 哈德斯菲尔德大学计算机与工程学院, Huddersfield HD1 3DH, 英国
在全景视频目标跟踪过程中,由于光照条件变化复杂和目标相对镜头运动时尺度变化剧烈,目标跟踪算法存在精度低和适用性差等问题。为了解决这个问题,提出了一种基于改进SiameseRPN的全景视频目标跟踪算法。首先采用MobileNetV3中的网络结构提取深度特征,使算法对全景视频序列中出现的场景缺陷有更好的适应性,并利用Squeeze and Excite模块增加网络对特征选择的敏感度。提出并构建了一种基于双线性插值的特征融合模块,运用双线性插值的方法使输出的后三层深度特征具有相同尺度,并融合这三层特征以用于网络预测。最后利用分类分支预测出当前序列中的正负样本,利用回归分支预测当前输出目标的位置信息和尺度信息,最终输出目标的位置信息。实验结果表明:所提算法可以有效地解决全景数据中的局部图像质量欠佳和尺度变化的问题,在保持实时跟踪性能的同时,具有较高的跟踪精度,对目标跟踪中出现的小目标、目标遮挡及多目标交叉运动等情况表现出良好的适应性,具有良好的视觉效果和较高的跟踪得分。
图像处理 目标跟踪 深度学习 全景视频 MobileNetV3 SiameseRPN 激光与光电子学进展
2020, 57(24): 241008
西安电子科技大学 综合业务网理论及关键技术国家重点实验室, 陕西 西安 710071
针对3DOF+视频搭建了一套基于视角方向的全景视频虚拟视图合成系统, 利用极少视点位置的视频信息即可准确渲染任意视点位置的视频内容, 从而为用户提供真实的观看体验。将所合成的新视点位置视图与相机采集的真实视图进行比较。实验结果表明, 所合成的虚拟视图平均客观指标PSNR为23 dB左右, 主观质量良好, 较为真实且能够提供良好的交互性与视觉体验。
虚拟现实 全景视频 虚拟视点合成 视觉体验 virtual reality panoramic video view synthesis visual experience
西安电子科技大学 综合业务网理论及关键技术国家重点实验室，陕西 西安 710071
随着虚拟现实和多媒体通信技术的快速发展，全景视频作为一种新兴的数字媒体，凭借其良好的临场感和沉浸感在影视娱乐、教育教学、工业仿真、医学研究等众多领域取得广泛应用。为了更好地开展全景视频的相关研究，建立交互式的全景视频显示系统成为了优化和完善全景视频业务的重要前提。本文基于OpenGL渲染技术，结合用户对于全景视频交互操作的需求，搭建了交互式全景视频显示系统，并在该系统上通过实验分析了本系统的交互时延和视频分辨率、帧率的关系。实验结果表明，交互产生的时延和视频分辨率、帧率的大小呈正相关关系。在本平台的设置下，交互产生的时延不超过0.02 s，为用户提供了良好的交互性和视觉体验，为全景视频的相关研究与应用开发提供了稳定的平台。
全景视频 交互式渲染 显示系统 视觉体验 Omnidirectional video interactive rendering display system visual experience openGL OpenGL
西安电子科技大学 综合业务网理论及关键技术国家重点实验室, 陕西 西安 710071
近年来, 科技界掀起一场“虚拟现实”风暴, 给人们带来了前所未有的视听体验。全景视频作为虚拟现实的主要构造方式之一, 凭借其良好的用户体验与人机交互性被广泛应用于医疗、娱乐、教育以及工业设计等诸多领域, 在一定程度上改变了原有的生产设计方式。与此同时, 用户对于全景视频视觉体验的要求也日益增长, 如何为用户提供良好的全景视频视觉体验已成为近年来相关领域的研究热点。本文以HTC Vive平台为基础, 结合虚拟现实技术相关指标以及用户对于全景视频视觉体验的要求, 搭建了全景视频显示系统, 并在此平台上通过主观实验分析了渲染全景视频时的球体网格面片数与全景视频主观质量之间的关系。实验结果表明, 对于分辨率为720 P、1 080 P以及4K的视频, 当面片数小于64时, 视频的主观质量与面片数量成正相关关系; 当面片数超过64后, 视频主观质量方可由其自身参数所决定。本文中所搭建的全景视频显示系统以及文中相关结论可为后续有关全景视频的研究与应用开发提供有效的建议。
虚拟现实 全景视频 显示系统 视觉体验 质量评估 virtual reality panoramic video display system visual experience quality assessment
全景视频由于具有 360°的视角, 非常适合用于智能视频监控中的多目标检测。首先介绍了以 DSP处理器为核心的系统处理平台；接着介绍了全景图像的展开算法和 MHOEI多目标检测算法；然后针对全景展开设计了适合 DSP平台的分块查表展开方法, 针对 MHOEI设计了降分辨率处理方法；最后在 DSP处理器上进行了优化实现。实验表明, 在所选的 DM6437处理器上, 将 720×576大小的全景图像展开为 896×180大小的目标图像, 展开帧率可达 120帧每秒；再经过多目标检测后能达到平均 35帧每秒, 满足实时要求, 同时能有效检测出全景视频中的运动和静止目标。
全景视频 多目标检测 panoramic video multi-object detection DSP DSP MHOEI MHOEI
