基于感兴趣区域的360°全景视频编码

吴志强; 郁梅; 姜浩; 陈芬; 蒋刚毅

doi:doi:10.3788/LOP55.061013

激光与光电子学进展, 2018, 55 (6): 061013, 网络出版: 2018-09-11

基于感兴趣区域的360°全景视频编码下载： 1676次

360° Panoramic Video Coding Based on Region of Interest

论文大纲

吴志强 ¹郁梅 ^{1,2,1; 2;}姜浩 ¹陈芬 ¹蒋刚毅 ^1,2

作者单位

¹ 宁波大学信息科学与工程学院, 浙江宁波 315211

² 南京大学计算机软件新技术国家重点实验室, 江苏南京 210093

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

针对360°全景视频在等矩形投影面中编码时存在冗余像素较多且较少考虑感兴趣区域(ROI)画面质量的问题,提出一种基于ROI的360°全景视频编码算法。该算法利用当前帧编码残差信息求取ROI并指导下一帧编码;利用球面到等矩形投影面的映射函数求出各纬度处像素的冗余程度,将其作为非ROI量化参数的调节因子,并与ROI量化参数调节因子共同决定每帧画面最大编码单元级别的编码参数设置。实验结果表明,在使用加权球面峰值信噪比和球面峰值信噪比全景视频客观评价方法评价编码效果时,与HEVC编码器参考软件相比,本文方法码率最高可节省4.98%,平均码率可节省2.46%,相同码率下视频质量平均提高0.145 dB。与相关代表性方法相比,ROI内容质量明显提升。

Abstract

In order to solve the problem that more redundant pixels and less consideration of picture quality of the region of interest (ROI) when the 360° panoramic video is encoded in an equirectangualr projection plane. A new ROI-based 360° panoramic video coding method is proposed, which uses the current coding residual frame information to get and guide the next frame coding. The pixel redundancy at each latitude is calculated by the mapping function from the sphere to the projection plane, which is used as the adjustment factor of quantization parameters of non-ROI. The quantization parameters of ROI and non-ROI are utilized to determine each frame's encoding parameters in largest coding unit level. The experimental results show that, compared with the HEVC encoder, for the same weighted spherical peak signal-to-noise ratio and spherical peak signal-to-noise ratio, the proposed approach can achieve an average rate reduction of about 2.46% and the most of 4.98%, for the same coding rate, it can achieve an average video quality increased 0.145 dB. The content of ROI improves obviously compared with the related representative methods.

1 引言

近年来,360°全景视频以其高分辨率、沉浸式特点引起了人们的广泛关注^[1],其覆盖水平360°和垂直180°拍摄范围,可称之为虚拟现实(VR)或球面全景^[2]。球面全景视频通常是使用多个相机拍摄周围场景后应用视频拼接技术得到一幅具有大视场、高分辨率和沉浸式特点的视频^[3-5]。该视频普遍采用4 K或8 K的分辨率和支持10 bit以上的高动态显示范围^[6],如此高分辨率和像素深度给编码传输带来了新的挑战。

目前针对全景视频的压缩主要分两类:1) 针对用户观看时的视口进行高效压缩;2) 针对等矩形投影面的高效压缩,如对等矩形投影视频^[7]、立方体投影视频^[8]进行压缩。Zare等^[9-10]提出了针对视口的编码方案,根据视口观看位置分别编码传输该位置所对应的Tile块数据,避免了因传输整幅图像而占用过多带宽的问题,但由于对图像中部区域分配较大的码率而上下两部分区域采用较低的码流,会导致观看上下两部分时出现画面质量较差的情况。Budagavi等^[11]提出将等矩形格式视频基于不同区域采用不同尺度的高斯滤波后再进行编码,其采用的低通滤波会造成画面模糊,对于图像细节部分损伤较大。Li等^[12]提出将等矩形格式视频按照高度分成三部分,中间部分保持原始宽度,将等矩形投影上下两部分内容分别压缩成两个圆形。Lee等^[13]提出将等矩形投影中的像素基于纬度下采样后重新密集排布以减少原等矩形投影存在的冗余像素过多问题,然而,后两种方法都是通过降低等矩形投影面中冗余像素面积以达到提高编码性能的目的,但没有考虑图像压缩过程对人眼较为关注区域画面质量造成的影响。

对全景视频的研究目前大都局限于上述两个方向,却鲜有利用视觉感知特性进行360°全景视频编码的研究。考虑到大部分全景视频存在相机固定拍摄,画面内容和场景的背景较简单这一特点,本文提出一种基于感兴趣区域(ROI)的360°全景视频编码方法,该方法使用编码残差信息提取ROI,利用从球面投影到等矩形平面后不同纬度处存在不同程度的像素冗余作为非ROI量化参数的调节因子,使用360°全景视频质量评价方法--加权球面峰值信噪比(WS-PSNR)^[14]、球面峰值信噪比(S-PSNR)^[15]以及基于结构相似性的结构相似性(SSIM)^[16]进行客观质量评价。结果显示,本文方法能够实现视频数据进一步压缩,同时能够显著提高ROI画面质量。

2 基于ROI的360°全景视频编码方法

针对目前全景视频编码过程较少考虑保护ROI区域质量的问题,提出一种基于ROI的360°全景视频编码方法,其算法框架如图1所示,主要包括三部分,即利用上一帧编码残差信息提取ROI以及对ROI和非ROI的量化参数(QP)分配策略。首先利用前一帧编码残差信息提取ROI指导当前帧编码,对提取的ROI采用较小的QP;对非ROI,利用球面投影到等矩形平面的映射函数作为该区域的QP分配因子。

图 1. 基于ROI的360°全景视频编码框架

Fig. 1. Framework of 360 ° panoramic video coding based on ROI

下载图片查看所有图片

2.1 360°全景视频中ROI提取

现有的全景视频拍摄主要分为相机位置固定和可移动两类。如图2所示,如果是室外拍摄,视频顶部是天空,视频底部是地面。在building序列中,观看者主要关注靠近赤道区域的房屋以及下部移动的人物;在glacier序列中,山顶、雪的反光区域和脚印比较具有吸引力。相对于非ROI,观看者对ROI的失真更敏感,若能在编码过程中分配更多的码率给ROI,同时适当降低非ROI的码率,则能够在整幅图像基本码率不增加的情况下,获得主观质量更好的图像^[17]。

图 2. 360°全景图展示[18]。(a) Building序列(相机固定);(b) glacier序列(相机可移动);(c) jump序列(相机固定);(d) balloning序列(相机可移动)

Fig. 2. 360° image sequences. (a) Building sequence for camera fixed; (b) glacier sequence for camera not fixed; (c) jump sequence for camera fixed; (d) ballooning sequence for camera not fixed

下载图片查看所有图片

全景视频画面中大部分区域是天空、地面这些纹理比较简单的区域,相比之下人眼更关注,纹理较复杂的区域。针对全景视频具有如此特点的ROI,首先求取一帧原始图像的灰度图O_gray与其经过HM平台编码后得到的灰度图R_gray的残差图像R_gray,考虑到高效率视频编码(HEVC)是以64 pixel×64 pixel的最大编码单元(LCU)为单位对视频编码,所以将R_gray以64 pixel×64 pixel大小进行分块。若 $\begin{matrix} E_{64 \times 64}^{n} \end{matrix}$ >w,则标记该块为ROI块,其中 $\begin{matrix} E_{64 \times 64}^{n} \end{matrix}$ 表示R_gray中第n块的均值,w为预先设定的阈值。遍历所有块后得到整幅图像的ROI块。图3给出了图2中全景视频序列提取ROI后的效果图,其中,图3(a)提取房屋、人以及远处的火山等区域;图3(b)提取人、雪地中反光区域和脚印区域以及远处雪山等较引起关注的区域。由图3可知,该算法可以有效提取全景图中的ROI。

图 3. ROI提取效果。(a) Building序列;(b) glacier序列

Fig. 3. Extracting results of ROI. (a) Building sequence; (b) glacier sequence

下载图片查看所有图片

2.2 ROI的QP分配策略

由于编码参数QP的调整直接影响重建视频的质量,所以ROI应该分配更多的码流以保证画面质量。ROI设置统一的QP值,容易导致ROI块与非ROI块之间出现明显的块效应,并且ROI内部也应该具有不同的感兴趣程度。基于该思路,本文方法采用ROI区域Q_offset分配策略:

\begin{matrix} Q_{offsetn} = \{\begin{matrix} - 2, & E_{64 \times 64}^{n} \geq w_{3} \\ - 1, & w_{2} \leq E_{64 \times 64}^{n} < w_{3} \\ 0, & w_{1} \leq E_{64 \times 64}^{n} < w_{2} \end{matrix}, (1) \end{matrix}

式中Q_offset_n为第n个块对应的QP偏移值,w₁、w₂和w₃分别为3个级别的阈值,w₁<w₂<w₃。比较当前块 $\begin{matrix} E_{64 \times 64}^{n} \end{matrix}$ 值与阈值w_i的大小,然后分配该ROI块对应的Q_offset_n值,通过设置多个级别的阈值w_i提取多个层次的ROI,并对不同层次的ROI块分别分配差别较小的QP值,以避免不同级别的ROI块之间以及ROI块与非ROI块之间出现明显的块效应。

2.3 非ROI的QP分配策略

球面投影到等矩形平面后,由于各个纬度采用不同程度像素采样,等矩形平面中不同区域存在不同像素冗余,等矩形投影中不同高度处像素冗余程度可以用1/cosθ衡量^[14,19],θ∈[-π/2,π/2],表示图像区域范围,上下部分分别对应±π/2。低纬度处1/cosθ较小,代表像素冗余较小,对应分配较小的量化步长;高纬度处1/cosθ较大,代表像素冗余较大,则设置较大的量化步长。所以量化步长Q_step为关于1/cosθ的函数,调节Q_step需要间接调节QP,若通过配置文件设置一个全局QP后,不同纬度相对赤道处存在一个QP偏移值(Q_offset),设置该Q_offset即可保证各个纬度处具有相似的量化失真。HEVC中两者的关系及其变换形式分别为

\begin{matrix} \begin{matrix} Q_{step} = 2^{\frac{Q_{P} - 4}{6}}, (2) \\ Q_{QP} = 4 + 6 lo g_{2} (Q_{step}) 。 (3) \end{matrix} \end{matrix}

仿照(3)式,设Q_offset为关于1/cosθ的对数函数,有

\begin{matrix} Q_{offset} = 2 lo g_{2} [\cos (θ)] 。 (4) \end{matrix}

为了与提取ROI一致,只求取每个块左上角处的Q_offset,则有

\begin{matrix} Q_{offset} = \{\begin{matrix} around \{2 lo g_{2} [\cos (nπ)]\}, & if 2 lo g_{2} [\cos (nπ)] < 12 \\ 12, & ot h ers \end{matrix}, (5) \end{matrix}

式中n=h/H,h为每个块左上角的纵坐标值,H为图像高度,设图像中间处h=0,图像上半部分h>0,下半部分h<0,nπ∈[-π/2,π/2],around(·)表示四舍五入。设置图像中每个块的Q_offset时,考虑到设置过大的Q_offset会严重影响主观质量,所以限制Q_offset取值不超过12。根据(3)式绘制图像,结果如图4所示,蓝色线段为各个纬度处的Q_offset,赤道处Q_offset=0,赤道处QP的编码通过配置文件设置。至此完成了非ROI的QP分配。

3 实验结果与分析

为了验证算法的有效性,分别实现HM15.0标准测试平台编码和经本文方法改进的HM15.0平台,全帧内编码模式下以原HM15.0标准测试平台实现的结果作为比较。QP依次设置为22、27、32和37,使用图2所示的4个来自GoPro提供的具有代表性的全景视频序列^[18]进行测试,4个序列分别包含“镜头固定”和“镜头可移动”两类特征,每个序列编码100帧。表1给出了实验所用序列的详细信息。

图 4. 分辨率为3840 pixel×1920 pixel的图像QP偏移值

Fig. 4. Distribution of QP offset for image with resolution of 3840 pixel×1920 pixel

下载图片查看所有图片

表 1. 全景视频序列信息[18]

Table 1. Panoramic video sequence information

Sequence	Sequencename	Resolution /(pixel×pixel)	Framerate	Bit-deep	Does thecamera move?
Building	timelapse_building_vr_25p_3840×1920.yuv	3840×1920	25	8	No
Jump	timelapse_basejump_vr_25p_3840×1920.yuv	3840×1920	25	8	No
Glacier	glacier_vr_24p_3840×1920.yuv	3840×1920	24	8	Yes
Balloning	ballooning_vr_25p_3840×2160.yuv	3840×2160	25	8	Yes

查看所有表

每个序列第一帧使用HM15.0标准测试模型编码,从第二帧开始使用所提算法进行编码。首先提取ROI并分配对应级别ROI的相应Q_offset。一般纹理复杂区域即为人眼ROI,该区域存在较多高频分量,经编码后高频分量损失严重,从而导致该区域编码残差较大。本文利用ROI编码后残差较大的特点提取ROI,经大量实验发现,w设置为1.7倍整幅残差图像均值时能较好地提取全景视频中的ROI;而w取值过小时,提取的ROI面积过大,进而导致包含的非ROI面积增大影响编码效果。设置提取不同级别ROI的阈值,w₁、w₂和w₃分别等于1.7倍、1.9倍和2.1倍整幅残差图像均值,3个等级阈值提取出的对应ROI面积依次变小,其实质是所提取ROI区域对应的残差越来越大,残差越大说明对应的纹理越复杂,纹理复杂的区域在编码过程中应该使用较小的QP来保护其高频分量,所以3个阈值给ROI中不同纹理复杂区域分配不同的QP,可以进一步提高编码效率。

接着基于纬度调整非ROI的Q_offset,至此ROI和非ROI的QP分配结束。然后对ROI与非ROI进行编码,解码得到当前帧,重建后利用编码残差信息指导下一帧ROI提取。

本文编码方案目标是保证视频感知质量不下降的情况下,降低视频编码的码率。表2给出了本文方法与原始HM15.0平台的对比结果,分别使用峰值信噪比(PSNR)、WS-PSNR和S-PSNR等客观评价方法验证算法的有效性,采用类似BDBR评价方法分别在PSNR、WS-PSNR和S-PSNR下比较其率失真性能。其中,BD-PSNR表示相同码率的情况下,本文方法比HM15.0平台提升的质量,该值越大,表示质量提升越多;BD-rate表示相同PSNR下,本文方法比HM15.0所节省的码率,绝对值越大,说明本文方法相同PSNR下节省的码率越多。WS-PSNR和S-PSNR下的评价方法类似于PSNR。

表 2. 本文方法和原始HM15.0平台的对比结果

Table 2. Comparison results of proposed method and original HM15.0

Sequence	PSNR		WS-PSNR		S-PSNR
Sequence	BD-PSNR /dB	BD-rate /%	BD-WS-PSNR /dB	BD-rate /%	BD-S-PSNR /dB	BD-rate /%
Building	-0.1788	4.0026	0.0735	-1.5160	0.0648	-1.2634
Glacier	0.1044	-1.6704	0.3222	-4.9822	0.3388	-4.9103
Jump	-0.2040	5.3328	0.0875	-2.1715	0.0807	-1.8890
Ballooning	-0.3383	5.3488	0.0993	-1.5317	0.0947	-1.3998
Average	-0.1542	3.2534	0.1456	-2.5504	0.1448	-2.3656

查看所有表

S-PSNR是针对360°全景视频提出的一种客观质量评价方法,使用S-PSNR进行评价时,首先从球面上选取655362个均匀分布的采样点,利用采样点计算S-PSNR,对于球面上的采样点s,分别找到在原投影面和经编码后投影面所对应的g点和q点,然后计算像素值后求取差值,对所有采样点重复上述操作,即可求得S-PSNR。如果采样点s映射到g或q不是整像素对应关系,则要引入两次插值算法。WS-PSNR也是针对360°全景视频提出的一种客观质量评价方法,S-PSNR使用有限个像素点和需要使用两次插值,而WS-PSNR根据球面投影到等矩形平面的过程中各个纬度存在的像素冗余程度和物体形变,赋予等矩形平面不同高度像素以不同的权重值,这样不同像素就具有不同的权重。

从表2可以看出,使用WS-PSNR和S-PSNR进行编码质量衡量时,相同的客观质量条件下,本文方法比原始编码平台能够实现最多4.98%和4.91%的码率节省,以及平均2.55%和2.37%的码率节省,客观质量平均提高0.145 dB;使用PSNR衡量球面视频编码性能时,出现了相同客观质量条件下平均3.25%的码率上升和0.15 dB的质量下降。由于全景视频在观看时并不是直接在二维等矩形投影面,而是需要将二维等矩形投影面反向投影至球面,所以使用原始二维投影视频与编码重构二维投影视频计算得到的PSNR并不能反映球面视频编码质量,这也说明传统PSNR已不适应评价360°球面全景视频编码性能。而S-PSNR和WS-PSNR直接或间接计算编码重构视频在球面上的质量,所以更加适合作为球面视频的客观评价方法。另外,从表2可以看出,本文算法对相机固定拍摄类的视频和相机移动拍摄类的视频均具有较好的编码性能。

为了检验算法对视频的感知质量的提升效果,对比本文方法与文献[ 20]方法,结果如表3所示。可见,无论是利用WS-PSNR还是S-PSNR来衡量编码质量,本文方法都能取得更好的编码效果。引入基于SSIM进行比较,SSIM作为一种评价结构失真的视频质量客观评价方法,计算公式为

\begin{matrix} S_{SIM} = l (x, y) \times c (x, y) \times s (x, y) = (\frac{2 μ_{x} μ_{y}}{μ_{x}^{2} μ_{y}^{2} + c_{1}}) (\frac{2 σ_{xy} + c_{2}}{σ_{x}^{2} + σ_{y}^{2} + c_{2}}), (6) \end{matrix}

式中x和y分别为原始图像块和编码重建图像块,l(x,y)、c(x,y)和s(x,y)分别表示亮度、对比度和结构信息,μ_x和σ_x、μ_y和σ_y分别为原始图像块、编码重建图像块的均值和方差,σ_xy为原始图像块和编码图像块的协方差,c₁和c₂为调节常数。SSIM取值越接近于1,表示两幅图像在主观质量上越相似。分别计算本文方法、文献[ 20]算法的解码视频与原视频序列的SSIM值,并利用BDBR方法进行比较。

表 3. 本文方法和文献[ 20]方法的对比结果

Table 3. Comparison results of proposed method and Ref. [20]%

Sequence	WS-PSNR	S-PSNR	SSIM
Sequence	BD-rate	BD-rate	BD-rate
Building	-0.1760	-0.3264	-5.5388
Glacier	-0.4900	-0.5380	-6.4314
Jump	-0.6295	-0.6870	-1.1770
Balloning	-0.8787	-0.8943	-1.6454
Average	-0.5436	-0.6114	-3.6982

查看所有表

由表3可知,在相同SSIM值的情况下,本文方法最高实现了6.4%的码率节省,平均节省3.7%的码率,说明在相对原视频序列具有相同结构相似度的条件下,本文方法比文献[ 20]算法更有效地节省了编码码率。充分证明本文方法能够有效实现码率节省,同时也验证了在降低码率的同时能够更好地保持视频中结构相似性。

图 5. 部分序列率失真性能。(a) Glacier序列;(b) building序列

Fig. 5. BD-rate performance of glacier and building sequences. (a) Glacier sequence; (b) building sequence

下载图片查看所有图片

图 6. Glacier序列第8帧原始图及ROI局部放大图。(a)原始视频;(b)局部视口放大图;(c) HM15.0重建帧;(d)本文算法重建帧

Fig. 6. Local enlarged drawing of ROI and original 8th frame of glacier sequence. (a) Original frame; (b) enlarged drawing of local viewport; (c) reconstructed frame using HM15.0; (d) reconstructed frame using proposed method

下载图片查看所有图片

图5所示为glacier序列和building序列在本文方法与HM15.0以及本文方法与文献[ 20]算法下的率失真性能。可见,本文算法的率失真性能优于HM15.0,利用SSIM进行客观评价时,本文方法的率失真性能也优于文献[ 20]算法。

图6为glacier序列第8帧原始图及ROI局部放大图。图6(c)为HM15.0重建帧,其中QP为22,码率为2554.8 kbits,WS-PSNR为46.209 dB,局部视口PSNR为44.114 dB;图6(d)为本文算法重建帧,其中QP为22,码率为2483.7 kbits,WS-PSNR为46.318 dB,局部视口PSNR为44.223 dB。由图6(c)、(d)可知,本文方法能够在更低码率下实现更高的客观质量,同时对局部ROI细节区域保护更好,验证了本文方法不仅能够有效提取ROI,并且能够对ROI更好地进行细节保护。综上,本文方法实现了节省码率,同时有效保证了视频感知质量不下降。

4 结论

提出了一种基于ROI提取的全景视频编码方法,该方法使用当前帧编码残差信息提取ROI,利用等矩形投影不同纬度存在的像素冗余指导非ROI的QP分配,结合ROI与非ROI的QP分配策略对全景视频进行编码,实现了更好地保护ROI质量的目的。实验结果表明,本文方法有效降低了码率,同时更好地保持了图像的感知质量。

本文算法是在等矩形平面内基于LCU级别的,然而等矩形投影存在较多冗余像素限制了编码效率的进一步提升。后续研究可以使用如立方体投影或八面体投影等冗余像素少的投影面,进行基于整幅图像的ROI提取编码。

参考文献

[1] JärvinenA. Virtual reality as trend contextualising an emerging consumer technology into trend analysis[C]. IEEE Future Technologies Conference, 2016: 1065- 1070.

[2] 陈继华, 郭文松. 基于摄影经纬仪的全景图像拼接方法[J]. 激光与光电子学进展, 2016, 53(5): 051001.

Chen J H, Guo W S. Method of panoramic image stitching for theodolite-camera system[J]. Laser & Optoelectronics Progress, 2016, 53(5): 051001.

[3] 蒋欣兰, 王胜春, 罗四维, 等. 车载前向运动视频的实时全景成像方法[J]. 光学学报, 2017, 37(5): 0515003.

Jiang X L, Wang S C, Luo S W, et al. Real-time panoramic imaging method for train-borne forward motion video[J]. Acta Optica Sinica, 2017, 37(5): 0515003.

[4] 张春萍, 王庆. 光场相机成像模型及参数标定方法综述[J]. 中国激光, 2016, 43(6): 0609004.

Zhang C P, Wang Q. Survey on imaging model and calibration of light field camera[J]. Chinese Journal of Lasers, 2016, 43(6): 0609004.

[5] 肖朝, 陈锋, 钟敏, 等. 基于鱼眼相机的全景显示系统几何校正方法[J]. 激光与光电子学进展, 2017, 54(2): 021501.

Xiao C, Chen F, Zhou M, et al. Panoramic display system geometric calibration method based on fisheye camera[J]. Laser & Optoelectronics Progress, 2017, 54(2): 021501.

[6] See ZS, BillinghurstM, Cheok AD. Augmented reality using high fidelity spherical panorama with HDRI[C]∥SIGGRAPH Asia 2015 Mobile Graphics and Interactive Applications, 2015: 14.

[7] NakazawaM, KoikeH. Synthesizing fixed point of views from a spinning omnidirectional ball camera[C]∥Proceedings of the 8 th Augmented Human International Conference , 2017: 32.

[8] YeY, AlshinaElena, BoyceJill. Algorithm descriptions of projection format conversion and video quality metrics in 360Lib[C]. Joint Video Exploration Team of ITU-T SG, 2017, 16.

[9] ZareA, AminlouA, Hannuksela MM, et al. HEVC-compliant tile-based streaming of panoramic video for virtual reality applications[C]∥Proceedings of the 2016 ACM on Multimedia Conference, 2016: 601- 605.

[10] ZareA, Sreedhar KK, Vadakital V K M, et al. HEVC-compliant viewport-adaptive streaming of stereoscopic panoramic video[C]. IEEE Picture Coding Symposium (PCS), 2016: 1- 5.

[11] BudagaviM, FurtonJ, JinG, et al. 360 degrees video coding using region adaptive smoothing[C]. IEEE International Conference on Image Processing, 2015: 750- 754.

[12] LiJ, WenZ, LiS, et al. Novel tile segmentation scheme for omnidirectional video[C]. 2016 IEEE International Conference on Image Processing, 2016: 370- 374.

[13] Lee S H, Kim S T, Yip E, et al. Omnidirectional video coding using latitude adaptive down-sampling and pixel rearrangement[J]. Electronics Letters, 2017, 53(10): 655-657.

[14] ZakharchenkoV, Choi KP, Park JH. Quality metric for spherical panoramic video[C]. SPIE, 2016, 9970: 99700C.

[15] YuM, LakshmanH, GirodB. A framework to evaluate omnidirectional video coding schemes[C]. 2015 IEEE International Symposium on Mixed and Augmented Reality, 2015: 31- 36.

[16] 薛小波, 郁梅, 何美伶. 基于仿视觉细胞模型的立体图像质量评价方法[J]. 激光与光电子学进展, 2016, 53(4): 041004.

Xue X B, Yu M, He M L. Stereoscopic image-quality-assessment method based on visual cell model[J]. Laser & Optoelectronics Progress, 2016, 53(4): 041004.

[17] 蒋刚毅, 朱亚培, 郁梅, 等. 基于感知的视频编码方法综述[J]. 电子与信息学报, 2013, 35(2): 474-483.

Jiang G Y, Zhu Y P, Yu M, et al. Perceptual video coding: a survey[J]. Journal of Electronics & Information Technology, 2013, 35(2): 474-483.

[18] AbbasA. GoPro test sequences for virtual reality video coding[C]. Joint Video Exploration Team (JVET) of ITU-T VCEG and ISO/IEC MPEG, Geneva, 2016.

[19] Simone FD, FrossardP, WilkinsP, et al. Geometry-driven quantization for omnidirectional image coding[C]. IEEE Picture Coding Symposium (PCS), 2016: 1- 5.

[20] RacapéF, GalpinF, RathG, et al. AHG8: adaptive QP for 360 video coding[C]. Joint Video Exploration Team (JVET) JVET-F0038, m40327, 2017.

吴志强, 郁梅, 姜浩, 陈芬, 蒋刚毅. 基于感兴趣区域的360°全景视频编码[J]. 激光与光电子学进展, 2018, 55(6): 061013. Zhiqiang Wu, Mei Yu, Hao Jiang, Fen Chen, Gangyi Jiang. 360° Panoramic Video Coding Based on Region of Interest[J]. Laser & Optoelectronics Progress, 2018, 55(6): 061013.

基于感兴趣区域的360°全景视频编码下载： 1676次

1 引言

2 基于ROI的360°全景视频编码方法

图 1. 基于ROI的360°全景视频编码框架

Fig. 1. Framework of 360 ° panoramic video coding based on ROI

图 2. 360°全景图展示[18]。(a) Building序列(相机固定);(b) glacier序列(相机可移动);(c) jump序列(相机固定);(d) balloning序列(相机可移动)

Fig. 2. 360° image sequences. (a) Building sequence for camera fixed; (b) glacier sequence for camera not fixed; (c) jump sequence for camera fixed; (d) ballooning sequence for camera not fixed

图 3. ROI提取效果。(a) Building序列;(b) glacier序列

Fig. 3. Extracting results of ROI. (a) Building sequence; (b) glacier sequence

2.2 ROI的QP分配策略

2.3 非ROI的QP分配策略

3 实验结果与分析

图 4. 分辨率为3840 pixel×1920 pixel的图像QP偏移值

Fig. 4. Distribution of QP offset for image with resolution of 3840 pixel×1920 pixel

表 1. 全景视频序列信息[18]

Table 1. Panoramic video sequence information

表 2. 本文方法和原始HM15.0平台的对比结果

Table 2. Comparison results of proposed method and original HM15.0

表 3. 本文方法和文献[ 20]方法的对比结果

Table 3. Comparison results of proposed method and Ref. [20]%

图 5. 部分序列率失真性能。(a) Glacier序列;(b) building序列

Fig. 5. BD-rate performance of glacier and building sequences. (a) Glacier sequence; (b) building sequence

图 6. Glacier序列第8帧原始图及ROI局部放大图。(a)原始视频;(b)局部视口放大图;(c) HM15.0重建帧;(d)本文算法重建帧

Fig. 6. Local enlarged drawing of ROI and original 8th frame of glacier sequence. (a) Original frame; (b) enlarged drawing of local viewport; (c) reconstructed frame using HM15.0; (d) reconstructed frame using proposed method

4 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于感兴趣区域的360°全景视频编码 下载： 1676次

1 引言

2 基于ROI的360°全景视频编码方法

图 1. 基于ROI的360°全景视频编码框架

Fig. 1. Framework of 360 ° panoramic video coding based on ROI

图 2. 360°全景图展示[18]。(a) Building序列(相机固定);(b) glacier序列(相机可移动);(c) jump序列(相机固定);(d) balloning序列(相机可移动)

Fig. 2. 360° image sequences. (a) Building sequence for camera fixed; (b) glacier sequence for camera not fixed; (c) jump sequence for camera fixed; (d) ballooning sequence for camera not fixed

图 3. ROI提取效果。(a) Building序列;(b) glacier序列

Fig. 3. Extracting results of ROI. (a) Building sequence; (b) glacier sequence

2.2 ROI的QP分配策略

2.3 非ROI的QP分配策略

3 实验结果与分析

图 4. 分辨率为3840 pixel×1920 pixel的图像QP偏移值

Fig. 4. Distribution of QP offset for image with resolution of 3840 pixel×1920 pixel

表 1. 全景视频序列信息[18]

Table 1. Panoramic video sequence information

表 2. 本文方法和原始HM15.0平台的对比结果

Table 2. Comparison results of proposed method and original HM15.0

表 3. 本文方法和文献[ 20]方法的对比结果

Table 3. Comparison results of proposed method and Ref. [20]%

图 5. 部分序列率失真性能。(a) Glacier序列;(b) building序列

Fig. 5. BD-rate performance of glacier and building sequences. (a) Glacier sequence; (b) building sequence

图 6. Glacier序列第8帧原始图及ROI局部放大图。(a)原始视频;(b)局部视口放大图;(c) HM15.0重建帧;(d)本文算法重建帧

Fig. 6. Local enlarged drawing of ROI and original 8th frame of glacier sequence. (a) Original frame; (b) enlarged drawing of local viewport; (c) reconstructed frame using HM15.0; (d) reconstructed frame using proposed method

4 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于感兴趣区域的360°全景视频编码下载： 1676次