视频流分片编码的无人机视频传输方法

李亮亮; 吕志刚; 郭锦; 李晓艳; 杨永侠

doi:doi:10.3788/LOP57.241021

激光与光电子学进展, 2020, 57 (24): 241021, 网络出版: 2020-12-02

视频流分片编码的无人机视频传输方法下载： 1201次

UAV Video Transmission Method Based on Video Stream Slicing and Coding

论文大纲

李亮亮吕志刚 ^*郭锦李晓艳杨永侠

作者单位

西安工业大学电子信息工程学院, 陕西西安 710021

AI 词云图 AI语音精读 AI语音超短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

为了解决消费级无人机(UAV)视频图像在传输过程中出现的高时延、低可靠性等问题,提出一种适用于消费级无人机的视频传输算法。发送图像时,对视频流进行分帧分片,采用分量变换,对Y,Cr,Cb三分量进行三级离散小波正变换、位平面分解、组织编码、并行传输处理。接收过程与发送过程相逆,将接收的完整图像存入二级缓存区以进行后续处理。小波变换保证了图像传输的可靠性,图像编码减轻了图像传输的负荷,图像并发及二级缓存接收进一步提高了图像的实时性。在传输距离为20m的WIFI环境下,对分辨率为640×480、1280×720图像分别进行测试。640×480图像下,接收帧率均值为47.7frame/s,时延均值为35.7ms,结构相似性(SSIM)均值为0.984,方均根误差(RMSE)均值为1.61;1280×720图像下,指标依次为28.8frame/s、45.9ms、0.978、2.68。实验结果表明,当消费级无人机在超低空拍摄时,所提算法能够满足高清视频流实时可靠传输的要求,也可应用在其他图像传输领域。

Abstract

To solve the problems of high-time delay and low reliability of consumer UAV video images during the transmission process, this paper proposes a video transmission algorithm suitable for consumer UAVs. With the proposed algorithm, the frames of a received real-time video image are sliced while transmitting images. Color component transform is employed to obtain Y, Cr, and Cb components, which are processed by third-level forward discrete wavelet transformation, bit plane decomposition, image coding, and parallel transmission. Additionally, the receiving process is inversed compared to the sending process. The restored complete image is stored in second-level cache, which is performed by other functions. Wavelet transform ensures image transmission reliability, image coding reduces image transmission load, and image concurrency and secondary buffer reception improve the real-time performance of images. In a WIFI environment with a communication distance of 20m, two common images (resolutions are 640×480 and 1280×720) are tested. The former's average receiving frame ratio, time delay, structural similarity (SSIM), and root mean square error (RMSE) are 47.7frame/s, 35.7ms, 0.984, and 1.61, respectively, and the latter's values are 28.8frame/s, 45.9ms, 0.978, and 2.68, respectively. The experimental results demonstrate that when a consumer UAV is shooting at ultra-low altitude, the proposed algorithm can satisfy the real-time and reliable transmission requirements of a high-definition video stream. Additionally, the proposed algorithm can be applied to other image transmission fields.

1 引言

近年来,消费级无人机(UAV)以价格低、操作简单等优势,成为年轻和入门级消费群体的首选,在航拍、超低空自拍等领域得到了广泛应用。然而,受通信带宽的限制,消费级无人机在传输高清图像、实时视频时存在实时性差、可靠性低等问题,限制了其进一步的应用。如何在现有带宽的条件下提高图像传输的实时性和可靠性,成为该领域的热点问题。

文献[ 1]设计的一种编码正交频分复用(COFDM)无线视频传输系统具有传输速率快、频谱利用率高、绕射能力强等显著特点,虽然能够满足市场上的部分需求,但是由于在实际工作中无线衰落信道的不确定性,容易引起多普勒频移效应。文献[ 2]提出一种基于传输控制协议(TCP)的网络视频传输系统,该系统能够保证传输数据的可靠性,但是由于TCP对失败数据的重发机制,传输数据在传输中附加了校验数据,增加了网络的负担。文献[ 3]提出一种基于JPEG2000(joint photographic experts group 2000)压缩标准的无线图像传输方案,该方案对原始图像进行分块分解,对各分量进行小波变换、量化并组成矩形编码块,后续对编码块的系数进行位平面编码,进而得到可传输的压缩码流。该方案在传输低分辨率图像时能够保证很好的实时性,但是传输高分辨图像时有一定的时延性且不能保证实时性。文献[ 4-5]提出一种基于改进量化表的JPEG图像压缩算法,该算法很好地改善了压缩比和编解码速度,更有利于图像传输,其中量化表的设定比较复杂,资源消耗较大。文献[ 6]将JPEG2000图像压缩算法应用在Android平台,在网络传输方面,JPEG2000更具有优势。文献[ 7-8]在GPU上对JPEG2000图像压缩算法进行加速处理,实验表明像素为1024×720的高清图像进行离散小波变换(DWT)的时间为6ms左右,压缩后的图像更适合于高清图像传输。

网络时延、传输帧率、视觉可观性等指标在高清图像传输中极为重要,是影响无人机高清视频传输质量的重要因素。在图像传输过程中,常用的都是基于像素级的传输,传输字节数为图像的分辨率乘以通道数,对于普通摄像头拍摄到的图像(尺寸为640×480×3),基于像素访问的图像传输需要传输921600字节,这对于网络资源的消耗很大,同时也无法保证图像数据的可靠性,容易造成视频卡顿。

2 所提算法

针对现有方法在消费级无人机视频传输中存在时延较大和可靠性低的问题,本文研究消费级无人机高清图像传输,提出一种视频流分帧分片、基于JPEG2000压缩编码的高并发的视频传输算法^[3]。旨在实现低时延的图像传输,采用基于用户数据协议(UDP)的图像传输机制传输图像数据,以解决TCP重发机制中的传输中断。在不影响视频质量的前提下采用略有压缩的编码算法,以降低图像在网络传输中的负荷。对网络传输模型进行相应改动,实现低时延、高速率的图像多并发传输。

图1为系统整体实现图,通过摄像头实时采集视频流数据。直接处理视频流数据对板载无人机的微控制单元(MCU)而言无疑是一个庞大的工程,计算复杂度高。通过对采集的原始RGB图像进行空间变换,再在YCrCb空间进行压缩处理,可以得到更少的数据量,以降低计算复杂度。在接收端对数据流进行解码复原。

图 1. 系统整体实现图

Fig. 1. Overall implementation diagram of system

下载图片查看所有图片

在发送端中,颜色转换模块(color transform)用来提取输入图像的YCrCb分量;三级离散小波正变换模块(third-level FDWT)用来对输入分量的三级小波进行分解^[9];量化模块(quantization)对小波分解的样本值进行整数量化处理,结果经位平面分解模块(bit plane decomposition)处理后得到三维二进制矩阵;数据流编码模块(code stream)负责组织码流,通过并行发送模块(concurrent send)传输数据。接收端与发送端过程相逆,数据缓存模块(buffer pool)负责缓存接收图像;图像质量评价模块(quality evaluation)负责对输入图像和输出图像进行质量评估。

3 可靠性传输方案设计

3.1 构建传输模型

目前网络传输协议主要有TCP和UDP。庞大的视频流数据传输时容易造成传输网络的严重瘫痪。选择基于图片流的形式,每秒传输多帧图像,从而形成连续的视频流。UDP具有资源消耗小、处理速度快、无需建立握手环节等特点,更适用于视频图像流的传输,相对TCP更具有优势,因此采用UDP进行图像数据传输。但是UDP传输层无法保证数据的可靠性,为了保证视频的可靠性传输,通过基于UDP的应用层来保证数据的可靠性传输,实现确认机制、重传机制、窗口确认机制。发送流程包括包分片编号、包确认、包重发;接收流程包括顺序调包、包序号确认。通过抓包和发包有请求的方式实现可靠性传输。

为保证接收端视频流数据的流畅稳定,采用队列方式实现数据码流的接收,接收端信号经解码反量化复原处理后存入缓存区中,等待后续操作。在数据传输端对图像数据流进行分片处理、并行传输,提高了传输效率,减小了传输时延^[10-11]。图2为设计的图像传输模型,发送队列与接收队列编号必须保持一致,通过在接收端进行队列序号的确认,来确保UDP的可靠性传输。

图 2. 图像传输模型

Fig. 2. Image transmission model

下载图片查看所有图片

3.2 图像压缩编码

对分块数据进行处理,采用帧间数据压缩技术实现视频流数据的压缩。选用DWT,将图像数据从空间域变换到频率域,所构成的基向量与图像内容无关,对于图像的噪声也具有一定的抑制作用。图像经过DWT,其频率系数主要集中分布在比较小的范围内,且主要分布在低频部分^[12]。将频谱中能量较小的部分舍弃,尽可能地保留主频率分量,提高数据压缩比^[12-14]。图3为编码解码流程图。

图 3. 编解码流程

Fig. 3. Flowchart of encoding and decoding

下载图片查看所有图片

1)图像偏移及归一化

图像像素值均为0~255,包含较大的直流分量。为使图像数据动态范围关于0对称,设n位无符号整数分量的样本值 $I_{(i, j)},$ 0 $\leq I_{(i, j)} < 2^{n}$ 。首先进行直流分量电平平移,即 $I'_{(i, j)} = I_{(i, j)} - 2^{n - 1}, - 2^{n - 1} \leq I'_{(i, j)} < 2^{n - 1}$ ,采用实数型DWT有损压缩方法对偏移后的数据进行归一化处理,即 $I″_{(i, j)} = \frac{I'_{(i, j)}}{2^{n}}, - \frac{1}{2} \leq I″_{(i, j)} < \frac{1}{2} 。$ 在解码处理中,需要利用反归一化和数据平移对数据进行复原,即 $I'_{(i, j)} = I″_{(i, j)} \times 2^{n}, - 2^{n - 1} \leq I'_{(i, j)} < 2^{n - 1}, I_{(i, j)} = I'_{(i, j)} + 2^{n - 1}, 0 \leq I'_{(i, j)} < 2^{n} 。$

将每个像素值均减去128,保证小波变换系数动态范围的稳定,这更利于编码。采用实数型DWT将图像数据除以128,实现数据的归一化。

2)分量变换

目前常用的图像色彩是RGB三通道,人眼对RGB三通道的视觉敏感程度不是独立的。在YCbCr颜色空间中,Y代表亮度,Cb和Cr分别代表蓝色分量和红色分量,两者合称为色彩分量。YCbCr颜色空间具有将色度与亮度分离的特点。对比RGB和YCbCr,当光强发生变化时,RGB空间中R,G,B分量会同时发生变化,而在YCbCr空间中,色彩分量受光强度影响不大。为了去除三通道之间的相关性,对其进行线性变换,表达式为

$[\begin{array}{l} x_{Y} [n] \\ x_{Cb} [n] \\ x_{Cr} [n] \end{array}]$ = $[\begin{array}{l} 0.25 & 0.5 & 0.25 \\ 0 & - 1.0 & 1.0 \\ 1.0 & - 1.0 & 0 \end{array}]$ · $[\begin{array}{l} x_{R} [n] \\ x_{G} [n] \\ x_{B} [n] \end{array}], (1)$

式中: $x_{Y} [n]$ 为输入图像的亮度分量矩阵。得到Y,Cr,Cb后,再进行逆变换,表达式为

$[\begin{array}{l} x_{R} [n] \\ x_{G} [n] \\ x_{B} [n] \end{array}]$ = $[\begin{array}{l} 1.0 & - 0.25 & 0.75 \\ 1.0 & - 0.25 & - 0.25 \\ 1.0 & 0.75 & - 0.25 \end{array}]$ · $[\begin{array}{l} x_{Y} [n] \\ x_{Cb} [n] \\ x_{Cr} [n] \end{array}] 。 (2)$

3) 离散小波正变换(FDWT)和离散小波逆变换(IDWT)

对采集到的一帧图像进行小波离散分解,输出结果如图4所示。

图 4. 小波分解细节图。(a)详细信息;(b)水平细节; (c)垂直细节;(d)对角细节

Fig. 4. Wavelet decomposition detail diagram. (a) Detailed information; (b) horizontal detail; (c) vertical detail; (d) diagonal detail

下载图片查看所有图片

从图4可以明显看出,原始图像的绝大部分信息集中在低频小波系数图中,如图4(a)所示,在对角系数图中几乎为0,如图4(d)所示。图5为采用Haar小波对Y分量进行三级分解的示意图。三级小波分解详细信息LL3子带图像与输入图像Y分量基本保持一致,只是尺寸变小,包含了原图的绝大部分能量,对恢复图像的质量影响较大,其余高频子带的小波系数大多非常小,因此选择LL3进行传输。在同一层,由于水平细节信息(LH)及垂直细节信息(HL)子图表示的边缘子图像的小波系数和方差比对角细节信息(HH)子图要大,因此在重构图像时,HH子图可以忽略不计。

图 5. 三级小波变换示意图

Fig. 5. Diagram of third-order wavelet transform

下载图片查看所有图片

小波变换可以生成大量0或者近似0的变换系数,当小波系数低于阈值时,将小波系数设置为0, 故而可以得到较高的压缩率。在高清视频流传输时,保证视觉不受影响的前提下,将稀疏化地处理高频,直接传输处理后的低频分量LL3,得到有损压缩的视频流数据。

图6为三级小波分解流程图。对输入图像进行线性变换得到Y,Cr,Cb,对三分量分别进行三级小波变换,设Y分量矩阵为 $x_{Y} [n]$ ,则近似分量的表达式为

c_{k} (i, j) = \sum_{e} \sum_{f} c_{k - 1} (e, f) h_{2 e - i} h_{2 f - j}, (3)

式中: $h$ 为低通滤波器; $c_{k} (i, j) 为第 (i, j)$ 的近似子带系数; $c_{k - 1} (e, f) 为第 (e, f)$ 的近似子带系数。将一级低频近似分量 $x_{YLL 1} [n]$ 作为输入进行下一次变换,依据此,进而得到三级低频近似分量 $x_{YLL 3} [n] 、 x_{CrLL 3} [n] 、 x_{CbLL 3} [n] 。$

图 6. 三级小波分解流程

Fig. 6. Flowchart of three-level wavelet decomposition

下载图片查看所有图片

4)量化与反量化

有损压缩中样本值均为实数,为了在传输系统中进行传输,需将其量化为整数,以便使用有限个符号表示。量化可以减小非零系数的幅度值和增加0值系数的数目,在一定主观保真的前提下,可以丢弃对视觉效果影响不大的信息。量化是图像质量下降的主要原因^[15]。假设子带b中的系数为 $a_{b} (u, v),$ 采用量化规则进行量化,表达式为

q_b(u,v)=sign $[a_{b} (u, v)]$ · $[\frac{|a_{b} (u, v)|}{Δ_{b}}], (4)$

式中: $Δ_{b}$ 为子带b的量化步长;sign(·)为符号函数。(4)式所示的量化过程被称为具有死区的量化,量化区间 $(- Δ_{b}, Δ_{b})$ 之间的系数量化为0,量化后的系数为 $q_{b} (u, v) 。$

5)平面分解与码流组织

将具有256个灰度级的图像分解为8个位平面,所谓位平面就是依次取出每个像素点的数值组成一个位平面。每个像素点的灰度值可由8个二进制位来表示。对一幅用多个比特表示灰度值的图像来说,每个比特可看作1个二值的平面即位面。

由于编码解码过程中消耗大量的时间及资源,编解码的复杂度对高清视频流数据的实时传递具有极大的影响,现有方法为了提高压缩比,增大了编码空间复杂度,不适用于无人机视频传输。因此本文弱化编码解码的过程,直接采用小波变换,对得到的 $x_{YLL 3} [n] 、 x_{CrLL 3} [n] 、 x_{CbLL 3} [n]$ 三个分量进行量化,将量化后的整数数组转换成二进制平面,得到 $x_{Y_bitplane} [n] 、 x_{Cb_bitplane} [n] 、 x_{Cr_bitplane} [n] 。$ 为了传输视频图像数据,将得到的二维二值系数整数型矩阵变换为三维二进制矩阵,并将其作为数据流进行网络并行传输。

4 实验结果与分析

借鉴JPEG2000图像编码压缩思想,采用设计的实时视频传输系统对原始图像的三分量进行三级FDWT分解、量化、位平面分解,以简化编解码的过程,降低算法复杂度,进而提高传输的效率。在局域网WIFI环境,视频采集端与接收端距离20m,两台Window10 操作系统、Intel(R) Core(TM) CPU i7-8700HQ 3.20GHz 8G内存电脑平台上采用Python3软件进行仿真实验,一台负责实时采集视频,一台负责实时视频的接收。摄像头采用通用串行总线(USB)摄像头,输出640×480和1280×720两种分辨率。

4.1 收发传输实验

1)采集端

表 5. 采集图像和接收图像的各参数统计结果

Table 5. Statistical results of each parameter of collected and received images

Imageresolution	Acquisitiontime/ms	Coding Time/ms	Decodingtime/ms	Displaytime/ms	Total receivingtime/ms	Speed/(frame·s^-1)
640×480	8.046150	21.657586	19.525346	0.291347	24	40
640×480	4.781484	20.752239	19.510056	0.461578	45	36
640×480	6.237983	20.955538	19.324789	0.262260	37	43
640×480	9.234905	20.955729	19.425044	0.368356	33	42
640×480	7.363080	21.958112	19.622812	0.220060	30	55
640×480	7.099151	21.256327	19.625601	0.759601	27	52
640×480	7.047653	20.955729	19.725832	0.778436	21	40
640×480	8.022308	20.958542	19.826087	0.518560	53	59
640×480	7.053852	20.855641	19.725904	0.508308	50	57
640×480	6.074666	21.256828	19.725952	0.229358	37	53
1280×720	11.811349	43.198490	43.415474	1.002645	45	29
1280×720	13.190103	42.543315	43.315148	1.002550	45	30
1280×720	12.003826	41.543960	42.813849	1.003265	48	29
1280×720	10.649919	41.941475	43.205571	1.034021	46	31
1280×720	11.999368	42.145586	43.214893	1.002073	43	30
1280×720	11.032342	42.546129	43.115067	1.503229	45	29
1280×720	13.033390	42.744135	42.716670	2.005577	60	27
1280×720	12.539241	42.746853	42.763590	1.006126	44	29
1280×720	12.816667	42.021489	43.096685	1.005411	43	28
1280×720	12.212991	43.448495	42.987799	2.009392	40	26

查看所有表

表 2. 尺寸为640×480图像质量的定量描述

Table 2. Quantitative description of 640×480 image quality

$x$	$y$	SSIM	RMSE
Srcimage 1	Recimage 1	0.985544	1.615866
Srcimage 2	Recimage 2	0.985799	1.634215
Srcimage 3	Recimage 3	0.985878	1.587972
Srcimage 4	Recimage 4	0.985326	1.613286
Srcimage 5	Recimage 5	0.984940	1.664491
Srcimage 6	Recimage 6	0.985986	1.572247
Srcimage 7	Recimage 7	0.984756	1.613159
Srcimage 8	Recimage 8	0.975412	1.632571
Srcimage 9	Recimage 9	0.984568	1.571135
Srcimage 10	Recimage 10	0.985979	1.564518

查看所有表

图7为原始图像。图8为原始图像的三级FDWT输出结果,分析得知,原始图像携带的主要信息分布在低频部分,也就是左上角三级小波变换的输出图像。

表 1. 传输过程中指标对比

Table 1. Comparison of indicators in transmission process

Image	$x$	$y$	SSIM	RMSE
FDWT&IDWT	FDWT1	IDWT1	0.986780
	FDWT2	IDWT2	0.986678
	FDWT3	IDWT3	0.987841
Q&IQ	Q_Y	IQ_Y	0.987745
	Q_Cr	IQ_Cr	0.989623
	Q_Cb	IQ_Cb	0.980875
Image comparison	Srcimage	Recimage	0.987928	1.633673

查看所有表

表 4. 不同算法的性能对比

Table 4. Performance comparison of different algorithms

Algorithm	Image resolution	SSIM	RMSE	Total receivingtime/ms	Speed/(frame·s^-1)
JPEG(P=80, R=0)	640×480	0.935073	4.359058	25	45
JPEG(P=80, R=0)	1280×720
JPEG(P=60, R=10)	640×480	0.915425	5.187605	29	43
JPEG(P=60, R=10)	1280×720	0.907840	5.147938	45	38
JPEG2000	640×480	0.963516	3.124578	30	38
JPEG2000	1280×720	0.954521	3.061465	47	36
SVD(S=40, R=10)	640×480	0.937214	4.183163	24	48
SVD(S=40, R=10)	1280×720	0.934430	4.025180	46	32
SVD(S=50, R=10)	640×480	0.955571	3.217802	35	37
SVD(S=50, R=10)	1280×720	0.954312	3.118540	48	33
Proposed algorithm(R=10)	640×480	0.985472	1.650121	26	42
Proposed algorithm(R=10)	1280×720	0.972370	2.674558	43	28

查看所有表

表 3. 尺寸为1280×720图像质量的定量描述

Table 3. Quantitative description of 1280×720 image quality

$x$	$y$	SSIM	RMSE	$x$	$y$	SSIM	RMSE
Srcimage 1	Recimage 1	0.977228	2.680730	Srcimage 6	Recimage 6	0.975578	2.678446
Srcimage 2	Recimage 2	0.975794	2.689732	Srcimage 7	Recimage 7	0.974850	2.674558
Srcimage 3	Recimage 3	0.975895	2.687534	Srcimage 8	Recimage 8	0.978012	2.685717
Srcimage 4	Recimage 4	0.978647	2.683296	Srcimage 9	Recimage 9	0.984051	2.678637
Srcimage 5	Recimage 5	0.986541	2.667825	Srcimage 10	Recimage 10	0.981211	2.684916

查看所有表

图 7. 原图像

Fig. 7. Original image

下载图片查看所有图片

图 8. 三级小波变换输出图像

Fig. 8. Output image obtained by three-level wavelet transformation

下载图片查看所有图片

图9为采集端三分量分解量化输出图,图9第1行为采集端对原始图像进行分量变换得到的图像,图9第2行为经离散小波正变换得到的图像,图9第3行为量化输出图像,图9中(a)~(c)分别为Y、Cr、Cb分量的分解量化输出图。

图 9. 采集端三分量分解量化输出图。 (a) Y; (b) Cr; (c) Cb

Fig. 9. Three-component decomposition quantization output images at acquisition end. (a) Y; (b) Cr; (c) Cb

下载图片查看所有图片

2)接收端

图10为接收端三分量复原输出图,图10第1行为接收端对分量图像进行反量化恢复得到的图像,图10第2行为经离散小波逆变换得到的图像,图10第3行为原始图像的分量输出,通过图10第3行图像直接恢复接收到的图像数据。

图 10. 接收端三分量复原输出图。 (a) Y; (b) Cr; (c) Cb

Fig. 10. Three-component restoration output images at receiving end. (a) Y; (b) Cr; (c) Cb

下载图片查看所有图片

4.2 传输图像质量评价

采用定量和定性两种描述方法对所设计的传输系统进行验证与分析。

1)定性描述

对比4.1节收发实验中采集端和接收端的图像,在视觉效果上差异不大。如图11所示,采集图像和接收图像在视觉效果上差异不大。

图 11. 图像。(a)采集图像;(b)接收图像

Fig. 11. Images. (a) Collected image; (b) received image

下载图片查看所有图片

2)定量描述

结构相似性(SSIM)是一种衡量两幅图片相似度的指标,从亮度、对比度及结构角度对图像质量进行评价。SSIM的输入为待评价相似性的两张图像^[16]。假设输入的两张图像分别是 $x$ 和 $y,$ 则

\begin{array}{l} S_{SIM} (x, y) = {[l (x, y)]}^{α} {[c (x, y)]}^{β} {[s (x, y)]}^{γ} \\ (α > 0, β > 0, γ > 0), \end{array} (5)

其中

l (x, y) = \frac{2 μ_{x} μ_{y} + c_{1}}{μ_{x}^{2} + μ_{y}^{2} + c_{1}}, (6)

c (x, y) = \frac{2 σ_{xy} + c_{2}}{σ_{x}^{2} + σ_{y}^{2} + c_{2}}, (7)

s (x, y) = \frac{σ_{xy} + c_{3}}{σ_{xy} + c_{3}}, (8)

式中: $l (x, y)$ 为亮度; $c (x, y)$ 为对比度; $s (x, y)$ 为结构; $μ_{x} 和 μ_{y}$ 分别为 $x 和 y$ 的灰度平均值; $σ_{x} 和 σ_{y}$ 分别为 $x 和 y$ 的标准差; $σ_{xy} 为 x 和 y$ 的协方差; $c_{1} 、 c_{2} 、 c_{3}$ 均为常数。为了简化表达式,设定 $α = 1 、 β = 1 、 γ = 1, c_{3} = \frac{c_{2}}{2},$ 因此有

S_SIM(x,y)= $\frac{(2 μ_{x} μ_{y} + c_{1}) (σ_{xy} + c_{2})}{(μ_{x}^{2} + μ_{y}^{2} + c_{1}) (σ_{x}^{2} + σ_{y}^{2} + c_{2})} 。 (9)$

SSIM具有对称性,即 $S_{SIM} (x, y) = S_{SIM} (y, x) 。$ SSIM范围为0~1,SSIM越大表示图像 $x 和 y$ 之间的差距越小,即图像质量越好,若两幅图像一样,则SSIM为1。根据(9)式,对输入图像 $x 和 y$ 的差异程度进行评价。方均根误差(RMSE)越小,表示输入图像 $x 和 y$ 之间差异越小^[17-18]。

R_{MSE} = \sqrt[]{\frac{1}{mn} \overset{m - 1}{\sum_{i = 0}} \overset{n - 1}{\sum_{j = 0}} {|x (i, j) - y (i, j)|}^{2}}, (10)

式中: $m 和 n$ 分别为输入图像 $x 和 y$ 的样本总数; $x (i, j) 和 y (i, j)$ 分别为第 $(i, j)$ 对应的 $x 和 y$ 样本灰度值^[19]。

表1为传输过程中指标对比表,FDWT和IDWT分别表示离散小波正变换和离散小波逆变换输出图像,Q和IQ分别表示量化和反量化输出图像,Srcimage和Recimage分别表示传输前和接收到的图像。

SSIM越接近于1,RMSE越小,图像之间的差异就越小,相似程度就越高。表2为10张不同时间段下实时采集图像与接收图像质量的评价。从主观角度来说,接收到的图像与实时采集的图像在视觉上差异不大。从SSIM输出结果来看,基本均在0.98以上,RMSE基本在1.6左右,表明接收到的图像与实时采集的图像之间的差异不是很大,可认为图像 $x 和 y$ 的相似程度基本保持一致。

表3为高清视频720P实时传输过程中图像质量的定量描述。SSIM的结果表明:在亮度、对比度及结构上,接收到的图像与实时采集的图像之间差异不大;相比于640×480数据,RMSE变大,表明接收到的图像与实时采集的图像之间的差异会随分辨率的提高而增大。结果表明,采集图像与接收图像能够保证视觉上无明显差异。

4.3 图像传输算法性能对比分析

通过传输实验和图像质量分析,初步验证了所提传输算法的可行性。在设计的传输系统上搭建不同传输算法进行性能对比分析。表4为每10帧图像各指标的平均值。

采用Opencv软件中二进制编解码函数(imencode/imdecode)实现JPEG格式的图像压缩,在压缩率P为80、分片参数R为0时,只能实现640×480图像的压缩传输。JPEG2000和所提算法相比,JPEG2000图像失真更为明显,时延也有所增加,这主要是因为JPEG2000量化熵编码过程中的损失^[20]。奇异值分解(SVD)中的奇异值S越大,图像质量越好,相应的时延会变大^[21]。所提算法直接传输的是经位平面分解得到的三维二进制矩阵,避免了JPEG2000熵编解码消耗时间,同时提高了接收端图像质量,但是接收端时延增大、帧率降低。所提算法能较大程度地保证图像的传输质量,同时图像分片编码的思想能够最大程度地发挥硬件设备优势,保证在载荷范围内充分利用板载资源进行图像传输。综上所述,所提算法能够满足消费级无人机视频传输需求,具备一定的实际可行性。

4.4 实时视频传输测试

消费级无人机实时视频的传输过程中主要关注三个指标,即时延、帧率、分辨率,其中传输时延影响显示帧率,分辨率影响视频像素。主要针对640×480和1280×720两种分辨率,在10分片下进行实时视频传输指标测试。对于网络时延和视频帧率,采用每10帧图像的各指标平均值进行一次数据的统计,传输网络时延和显示频率以10帧时间为间隔。表5为10次图像采集和接收下各参数统计结果。

从表5可以看出:采集分辨率为640×480时,接收帧率基本为33frame/s左右,人正常稳定可接收的帧率为24frame/s及以上,所以基本上不影响视觉观感;相反,在采集分辨率为1280×720的情况下,接收端的时延为45ms,采集帧率为29frame/s左右,从接收端实时接收的视频流画面来看,基本上不影响视觉效果,没有卡顿感,但是随着传输时间变长,会有短暂的卡顿感。

4.5 低时延可靠性分析

为验证设计的基于视频流分片编码的无人机视频传输算法的实际可行性,针对640×480和1280×720两种分辨率,在10分片下对接收端进行疲劳测试,依旧采用10帧为时间间隔,横坐标表示连续采集90×10帧图像数,纵坐标表示接收帧率,对接收时延和接收帧率绘制连续变化曲线,分别如图12、13所示。

图 12. 接收时延的变化趋势

Fig. 12. Trend of receiving time delay

下载图片查看所有图片

图 13. 接收帧率的变化趋势

Fig. 13. Trend of receiving frame rate

下载图片查看所有图片

从图12、13可知:在采集分辨率为640×480时,多次采集后,接收端时延基本保持在30ms左右,接收帧率也在30frame/s以上;在采集分辨率为1280×720时,接收端时延基本保持为30~50ms,接收平均帧率为28frame/s。当有运动物体出现时,接收帧率会有短暂的下降,帧率低于24frame/s的次数不超过15,由于接收端的图像的二级缓存,因此可保证从缓存区取出的图像均是完整的;当帧率在24frame/s以下时,会有短暂的卡顿感,基本不影响人的视觉感观效果。

5 结论

为了保证消费级无人机视频的低时延可靠性传输,提出一种基于分片编码多并发的低时延无人机视频传输算法。采用各分量压缩编码的方式,在图像发送时,首先对视频图像进行分帧分片,采用分量变换得到Y,Cr,Cb;对各分量的低频系数进行FDWT,保证压缩后的图像能量更为集中;然后采用位平面分解得到三维二进制矩阵,对压缩后的数据流进行协议编码;最后采用多线程并行传输图像数据。图像接收时,首先利用接收图像数据,并采用图像解码、三级离散小波逆变换、组帧等方式实现图像还原,然后将完整数据存入二级缓存区等待后续处理。实验结果表明,所提算法能够保证视频在视觉效果上基本不受影响,能够满足消费级无人机在超低空拍摄时高清视频流传输的要求,具有一定的实际可行性。

参考文献

[1] 李德伟. 应急领域中基于COFDM的无线传输系统研究和应用[J]. 无线电工程, 2019, 49(8): 695-698.

Li D W. Research and application analysis of wireless transmission system based on COFDM in emergency field[J]. Radio Engineering, 2019, 49(8): 695-698.

[2] 郭志涛, 韩海净, 孔江浩, 等. 基于Android移动终端的多功能视频监控系统设计[J]. 现代电子技术, 2018, 41(16): 96-99, 103.

Guo Z T, Han H J, Kong J H, et al. Design of multifunctional video surveillance system based on Android mobile terminal[J]. Modern Electronics Technique, 2018, 41(16): 96-99, 103.

[3] 刘锦杨, 戚飞虎. 一种基于JPEG2000的无线图像传输方法[J]. 计算机工程, 2004, 30(13): 140-142.

Liu J Y, Qi F H. A new wireless image transmission technique based on JPEG2000[J]. Computer Engineering, 2004, 30(13): 140-142.

[4] 饶哲宇, 王进华. 基于人眼视觉系统的JPEG压缩算法[J]. 广东化工, 2018, 45(1): 22-23, 31.

Rao Z Y, Wang J H. An algorithm of JPEG image compression based on human visual system[J]. Guangdong Chemical Industry, 2018, 45(1): 22-23, 31.

[5] 张雅媛, 孔令罔. 一种基于改进量化表的JPEG图像压缩算法[J]. 包装工程, 2016, 37(13): 189-194.

Zhang Y Y, Kong L W. A JPEG image compression algorithm based on improved quantization table[J]. Packaging Engineering, 2016, 37(13): 189-194.

[6] 季通明, 鲍胜利. JPEG2000图像压缩算法在Android平台的应用[J]. 计算机应用, 2017, 37(S2): 203-206.

Ji T M, Bao S L. Application of JPEG2000 image compression algorithm in Android platform[J]. Journal of Computer Applications, 2017, 37(S2): 203-206.

[7] 李玉峰, 吴蔚, 王恺, 等. 基于GPGPU的JPEG2000图像压缩方法[J]. 电子器件, 2013, 36(2): 163-168.

Li Y F, Wu W, Wang K, et al. JPEG2000 image compression method based on GPGPU[J]. Chinese Journal of Electron Devices, 2013, 36(2): 163-168.

[8] 张敏华, 张剑贤, 裘雪红, 等. 基于OpenCL的JPEG压缩算法并行化设计与实现[J]. 计算机工程与科学, 2017, 39(5): 855-860.

Zhang M H, Zhang J X, Qiu X H, et al. Parallel design and implementation of JPEG compression algorithm based on OpenCL[J]. Computer Engineering & Science, 2017, 39(5): 855-860.

[9] 张盼, 张为. 多级离散小波变换的高效超大规模集成架构[J]. 光学学报, 2019, 39(4): 0412004.

Zhang P, Zhang W. Efficient very large scale integration architecture of multi-level discrete wavelet transform[J]. Acta Optica Sinica, 2019, 39(4): 0412004.

[10] 李其虎, 文运丰, 贾瑞才, 等. 无人飞行器超低延时高速并行图像压缩系统[J]. 光学精密工程, 2013, 21(11): 2914-2921.

Li Q H, Wen Y F, Jia R C, et al. Rapid and parallel image compression system with ultra-low delay for unmanned aerial vehicles[J]. Optics and Precision Engineering, 2013, 21(11): 2914-2921.

[11] 穆晓芳, 邓红霞, 郭虎升, 等. 基于彩色可见光的大数据视频流并行编码与传输算法[J]. 重庆理工大学学报(自然科学), 2019, 33(6): 158-164.

Mu X F, Deng H X, Guo H S, et al. Parallel coding and transmission algorithm for big data video streaming based on color visible light[J]. Journal of Chongqing University of Technology (Natural Science), 2019, 33(6): 158-164.

[12] 李旭东. 抗JPEG压缩攻击的DWT域图像量化水印算法[J]. 光电子·激光, 2012, 23(2): 342-348.

Li X D. JPEG-compression-attack resistant image quantization watermarking algorithm in DWT domain[J]. Journal of Optoelectronics·Laser, 2012, 23(2): 342-348.

[13] 王云会, 杨明华, 谭励, 等. 一种基于帧内压缩的视频实时传输方法[J]. 计算机应用研究, 2014, 31(9): 2824-2827, 2831.

Wang Y H, Yang M H, Tan L, et al. Method on real-time video transmission based on intra-frame compression[J]. Application Research of Computers, 2014, 31(9): 2824-2827, 2831.

[14] 惠巧娟, 李洪安, 陆焱. 一种基于小波变换和人类视觉系统的图像压缩算法[J]. 电子测量与仪器学报, 2016, 30(12): 1838-1844.

Hui Q J, Li H A, Lu Y. Image compression algorithm based on wavelet transform and HVS[J]. Journal of Electronic Measurement and Instrumentation, 2016, 30(12): 1838-1844.

[15] 姚军财, 刘贵忠. 一种基于人眼对比度敏感视觉特性的图像自适应量化方法[J]. 电子与信息学报, 2016, 38(5): 1202-1210.

Yao J C, Liu G Z. An adaptive quantization method of image based on the contrast sensitive characteristics of human visual system[J]. Journal of Electronics & Information Technology, 2016, 38(5): 1202-1210.

[16] Wang J X, Jun E. VLSI design of a high throughput JPEG2000 9/7 discrete wavelet transform[J]. Journal of Southeast University (English Edition), 2015, 31(1): 19-24.

[17] 朱新山, 姚思如, 孙彪, 等. 图像质量评价: 融合视觉特性与结构相似性指标[J]. 哈尔滨工业大学学报, 2018, 50(5): 121-128.

Zhu X S, Yao S R, Sun B, et al. Image quality evaluation: fusion of visual characteristics and structural similarity index[J]. Journal of Harbin Institute of Technology, 2018, 50(5): 121-128.

[18] Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

[19] 李一凡, 李朝锋, 桑庆兵. 四元数小波变换优化单目图的无参考立体图像质量评价[J]. 激光与光电子学进展, 2019, 56(18): 181006.

Li Y F, Li C F, Sang Q B. Quality evaluation of unreferenced stereo images for quaternion wavelet transform optimized monocular graphs[J]. Laser & Optoelectronics Progress, 2019, 56(18): 181006.

[20] 孔繁锵, 周永波, 沈秋, 等. 基于卷积神经网络的端到端多光谱图像压缩方法[J]. 中国激光, 2019, 46(10): 1009001.

Kong F Q, Zhou Y B, Shen Q, et al. An end-to-end multi-spectral image compression method based on convolutional neural network[J]. Chinese Journal of Lasers, 2019, 46(10): 1009001.

[21] 蔡剑华, 肖永良, 黎小琴. 基于广义S变换和奇异值分解的近红外光谱去噪[J]. 光学学报, 2018, 38(4): 0430005.

Cai J H, Xiao Y L, Li X Q. Near infrared spectral denoising based on generalized S transform and singular value decomposition[J]. Acta Optica Sinica, 2018, 38(4): 0430005.

李亮亮, 吕志刚, 郭锦, 李晓艳, 杨永侠. 视频流分片编码的无人机视频传输方法[J]. 激光与光电子学进展, 2020, 57(24): 241021. Liangliang Li, Zhigang Lü, Jin Guo, Xiaoyan Li, Yongxia Yang. UAV Video Transmission Method Based on Video Stream Slicing and Coding[J]. Laser & Optoelectronics Progress, 2020, 57(24): 241021.

视频流分片编码的无人机视频传输方法 下载： 1201次

1 引言

2 所提算法

图 1. 系统整体实现图

Fig. 1. Overall implementation diagram of system

3 可靠性传输方案设计

3.1 构建传输模型

图 2. 图像传输模型

Fig. 2. Image transmission model

3.2 图像压缩编码

图 3. 编解码流程

Fig. 3. Flowchart of encoding and decoding

图 4. 小波分解细节图。(a)详细信息;(b)水平细节; (c)垂直细节;(d)对角细节

Fig. 4. Wavelet decomposition detail diagram. (a) Detailed information; (b) horizontal detail; (c) vertical detail; (d) diagonal detail

图 5. 三级小波变换示意图

Fig. 5. Diagram of third-order wavelet transform

图 6. 三级小波分解流程

Fig. 6. Flowchart of three-level wavelet decomposition

4 实验结果与分析

表 5. 采集图像和接收图像的各参数统计结果

Table 5. Statistical results of each parameter of collected and received images

表 2. 尺寸为640×480图像质量的定量描述

Table 2. Quantitative description of 640×480 image quality

表 1. 传输过程中指标对比

Table 1. Comparison of indicators in transmission process

表 4. 不同算法的性能对比

Table 4. Performance comparison of different algorithms

表 3. 尺寸为1280×720图像质量的定量描述

Table 3. Quantitative description of 1280×720 image quality

图 7. 原图像

Fig. 7. Original image

图 8. 三级小波变换输出图像

Fig. 8. Output image obtained by three-level wavelet transformation

图 9. 采集端三分量分解量化输出图。 (a) Y; (b) Cr; (c) Cb

Fig. 9. Three-component decomposition quantization output images at acquisition end. (a) Y; (b) Cr; (c) Cb

图 10. 接收端三分量复原输出图。 (a) Y; (b) Cr; (c) Cb

Fig. 10. Three-component restoration output images at receiving end. (a) Y; (b) Cr; (c) Cb

图 11. 图像。(a)采集图像;(b)接收图像

Fig. 11. Images. (a) Collected image; (b) received image

图 12. 接收时延的变化趋势

Fig. 12. Trend of receiving time delay

图 13. 接收帧率的变化趋势

Fig. 13. Trend of receiving frame rate

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

视频流分片编码的无人机视频传输方法下载： 1201次