1 宁波大学 信息科学与工程学院，浙江宁波352
2 宁波大学 科学技术学院 信息工程学院，浙江宁波3151
沉浸式的虚拟现实体验中视觉诱发晕动症（Visually Induced Motion Sickness， VIMS）是影响虚拟现实系统发展与应用的一个重要问题。现有的基于视觉内容的评价方案大多考虑的要素不够全面，对运动信息的提取较为简单，且少有考虑时域上的突变对晕动症的影响。针对上述问题，提出了虚拟现实中视觉诱发晕动症时空多特征评价模型；基于立体全景视频中空域、时域信息来设计视觉诱发晕动症评价模型，采用更符合人眼感知的加权运动特征，并考虑了立体全景视频时域的突变信息设计了特征提取方式。所提出模型分为预处理模块、特征提取模块及时域聚合与回归模块。预处理模块用于视口提取和光流图、视差图、显著图的估计。特征提取模块包含前背景加权运动特征提取、基于变换域的视差特征提取、空间特征提取及时域突变特征提取。时域聚合后通过支持向量回归得到VIMS评价分数。实验结果表明，该模型在立体全景视频数据库SPVCD上的预测结果与平均主观意见分的皮尔逊线性相关系数为0.821、斯皮尔曼相关系数为0.790、均方根误差为0.489。该模型取得了优良的预测性能，验证了所提出特征提取模块的有效性。
虚拟现实 立体全景视频 晕动症 运动感知 突变特征 virtual reality stereoscopic panoramic video motion sickness motion perception abrupt change feature
宁波大学信息科学与工程学院, 浙江 宁波 315211
针对水下图像存在颜色失真和视觉模糊等问题,提出基于光衰减先验和背景光融合的水下图像复原算法。首先通过最大强度先验计算背景光一,基于图像四叉树的方法估计背景光二,根据水下图像光照的亮暗情况对两个局部背景光进行融合,确定全局背景光;其次根据光衰减先验估计场景的相对深度,进而计算三个通道的透射率;然后逆求解水下光学成像模型以消除后向散射;最后结合限制对比度自适应直方图均衡算法以更好地校正水下图像的颜色畸变,最终得到复原后的水下图像。与4种具有代表性的水下图像复原方法进行主客观评价对比实验。实验结果表明,所提算法可以有效去除水下图像的视觉模糊,视觉效果更接近自然场景中的图像。
图像处理 水下图像复原 场景深度估计 透射率估计 背景光融合 激光与光电子学进展
2021, 58(8): 0810013
1 宁波大学信息科学与工程学院, 浙江 宁波 315211
2 南京大学计算机软件新技术国家重点实验室, 江苏 南京 210093
随着三维网格在数字游戏、影视动画、虚拟现实等领域的广泛应用,针对三维网格的处理方法也越来越多,包括压缩、简化、嵌入水印和去噪等,这些处理技术均不可避免地导致三维网格的失真。如何更好地评估三维网格的视觉质量成为目前亟需解决的问题。回顾了近20年来发展起来的三维网格的客观质量评价方法。介绍了这一领域常用评价方法的技术指标以及常用的数据库;对现有的典型三维网格的质量评价方法进行了分类并介绍了其各自的特点;在常用的数据库上对所介绍的典型算法进行性能测试和比较;对三维网格客观质量评价方法进行了总结与展望。
图像处理 三维网格 失真 视觉质量 数据库 质量评价 激光与光电子学进展
2021, 58(2): 0200003
1 宁波大学信息科学与工程学院, 浙江 宁波 315211
2 南京大学计算机软件新技术国家重点实验室, 江苏 南京 210093
3 浙江工商职业技术学院智能家电宁波市重点实验室, 浙江 宁波 315012
针对多曝光图像融合中存在细节丢失和颜色失真等问题, 本文提出了一种基于张量分解和卷积稀疏表示的多曝光图像融合方法。张量分解作为一种对高维数据低秩逼近的方式, 在多曝光图像特征提取方面有较大的潜力, 而卷积稀疏表示是对整幅图像进行稀疏优化, 能最大程度地保留图像的细节信息。同时, 为了避免融合图像出现颜色失真, 本文采取亮度与色度分别融合的方式。首先通过张量分解得到源图像的核心张量; 然后在包含信息最多的第一子带上提取边缘特征; 接着对边缘特征图进行卷积稀疏分解, 继而利用分解系数的L1范数来得到每个像素的活跃水平; 最后用“赢者取全”策略生成权重图, 从而加权得到融合后的亮度分量。与亮度融合不同的是, 色度分量则采用简单的高斯加权方式进行融合, 在一定程度上解决了融合图像的颜色失真问题。实验结果表明, 所提出的方法具有良好的细节保留能力。
张量分解 卷积稀疏表示 字典学习 多曝光融合 tensor decomposition convolution sparse representation dictionary learning multi-exposure fusion
1 宁波大学信息科学与工程学院，浙江 宁波 315211
2 宁波大学科学技术学院，浙江 宁波 315212
3 浙江科技学院信息与电子工程学院，浙江 杭州 310023
针对立体图像版权保护问题，提出了一种基于左右视点相关性的立体图像鲁棒水印方法。由于张量分解能够较好保存图像的主要能量，因此，首先利用彩色视点中RGB 三通道之间的相关性，对左右视点分别进行张量分解。每一个视点分解出三个特征图，其中每个视点的第一特征图保留了每个视点中较强的三通道关系。其次，结合左右视点之间的相关性，联合左右视点的第一特征图进行张量分解，得到立体图像的主要能量特征图。最后，将主要能量特征图进行奇异值分解，并嵌入水印从而提高鲁棒性。实验结果表明，该方法具有较高的鲁棒性和不可见性，并且实现了水印的盲提取。
立体图像 鲁棒水印 张量分解 相关性 盲提取 stereo image robust watermarking tucker decomposition correlation blind extraction
1 宁波大学信息科学与工程学院, 浙江 宁波 315211
2 南京大学计算机软件新技术国家重点实验室, 江苏 南京 210093
针对360°全景视频在等矩形投影面中编码时存在冗余像素较多且较少考虑感兴趣区域(ROI)画面质量的问题,提出一种基于ROI的360°全景视频编码算法。该算法利用当前帧编码残差信息求取ROI并指导下一帧编码;利用球面到等矩形投影面的映射函数求出各纬度处像素的冗余程度,将其作为非ROI量化参数的调节因子,并与ROI量化参数调节因子共同决定每帧画面最大编码单元级别的编码参数设置。实验结果表明,在使用加权球面峰值信噪比和球面峰值信噪比全景视频客观评价方法评价编码效果时,与HEVC编码器参考软件相比,本文方法码率最高可节省4.98%,平均码率可节省2.46%,相同码率下视频质量平均提高0.145 dB。与相关代表性方法相比,ROI内容质量明显提升。
图像处理 360°全景编码; 等矩形投影 感兴趣区域 量化参数 加权球面峰值信噪比 激光与光电子学进展
2018, 55(6): 061013
1 宁波大学信息科学与工程学院，浙江 宁波 315211
2 南京大学计算机软件新技术国家重点实验室，江苏 南京 210093
高动态范围成像通常需要利用多个不同曝光时间的低动态范围图像来合成高动态范围图像。在合成后图像噪声会进一步放大，可能导致最终的高动态范围图像视觉质量严重降低。针对合成图像需要保留低曝光图像中高亮区域的细节信息以及高曝光图像中低暗区域的细节信息，且图像噪声与亮度有关这一问题，本文提出一种基于亮度分区、噪声水平估计的高动态范围图像融合过程中的噪声抑制算法。首先，根据图像的亮度信息，确定低动态范围图像的不同亮度区域；然后对图像不同亮度区域，利用重叠块估计噪声水平，根据得到的噪声水平，指导图像的稀疏去噪；最后，对处理后的低动态范围图像，采用融合方法合成高动态范围图像。实验结果表明，所提出的算法能有效地抑制图像噪声，合成的高动态范围图像具有更好的视觉质量。
高动态范围图像 多曝光图像 亮度分区 噪声水平 稀疏去噪 high dynamic range image multiple exposure images luminance partition noise level sparse denoising
1 宁波大学信息科学与工程学院，浙江 宁波315211
2 南京大学计算机软件新技术国家重点实验室，江苏 南京 210093
3 浙江工商职业技术学院智能家电宁波市重点实验室，浙江 宁波 315012
针对高动态范围(HDR) 视频较之于传统低动态范围(LDR) 视频所需存储资源和传输带宽急剧增加的问题，本文提出了一种基于视觉感知特性的HDR 视频编码的动态率失真优化算法，以提高高效视频编码(HEVC) Main 10 编码HDR 视频的性能。本文通过引入视觉选择性关注信息，对不同区域采取非均等的失真权重分配策略，优化常规的失真计算方法；同时，为了进一步去除视频中的感知冗余，融合视频内容的纹理特性自适应调节拉格朗日乘子，并应用于编码量化器动态调节量化参数，实现编码比特和失真感知权衡。实验结果表明：与HEVC Main 10 相比，在相同HDR-VDP 和PSNR DE 质量指标下，所提算法平均节省7.46% 和6.53% 码率，最大分别节省18.52% 和11.49%，所提算法在保持视觉质量的前提下能够有效降低码率。
高动态范围视频编码 率失真优化 人类视觉系统 视觉显著 high dynamic range video coding rate distortion optimization human visual system visual saliency
1 宁波大学信息科学与工程学院，浙江 宁波 315211
2 南京大学计算机软件新技术国家重点实验室，南京 210023
高动态范围图像合成中容易出现鬼影现象，而传统的矩阵完成算法没有考虑多曝光图像序列的运动特征，导致高动态范围图像中的鬼影未能完全去除。针对这一问题，本文提出一种基于低动态范围图像内容自适应矩阵完成算法以去除高动态范围图像中的鬼影。首先，根据图像的亮度和色度信息，确定低动态范围图像的运动区域；然后根据这一运动先验信息，调整矩阵完成算法过程中的正则化约束强度，从而得到每幅低动态范围图像的背景信息；最后，考虑到不同曝光度的图像在每一区域所包含的细节不同，采用与曝光相关的融合策略合成去鬼影的高动态范围图像。实验分别采用简单背景图像序列和复杂背景图像序列，结果表明，所提出的算法相比于奇异值部分和最小化矩阵完成算法，能取得更好的合成效果，适用于复杂背景下的高动态范围图像合成。
高动态范围成像 运动先验知识 矩阵完成 曝光相关 high dynamic range imaging prior knowledge of motion matrix completion related to exposure
