1 引言

英伟达TensorRT是一种高性能神经网络推理（Inference）引擎，是一个标准C++库。TensorRT只能用来做Inference（推理），不能用来进行训练，用于在生产环境中部署深度学习应用程序^[1]。应用领域包括图像分类、分割和目标检测等，可提供最大的推理吞吐量和效率。TensorRT需要CUDA（compute unified device architecture）的支持，包含一个为优化生产环境中部署的深度学习模型而创建的库，可获取经过训练的神经网络（通常使用32位或16位数据），并针对降低精度的INT8运算来优化这些网络。借助CUDA的可编程性，TensorRT将能够应对深度神经网络日益多样化、复杂化的趋势。TensorRT在不断的改进过程中，在保证软件精度的同时，自动优化训练过的神经网络，不断提高速度。TensorRT能够支持Caffe等主流深度学习框架^[2-3]。

本文实现了一个利用TensorRT执行智能视频分析的典型应用，演示了使用片上解码器进行解码，使用片上转换器进行视频缩放，利用TensorRT执行对象标识，利用OpenGL2和XWindow-11进行渲染，并在标识的对象周围生成包围框。此外，还使用视频转换器函数进行各种格式转换。使用EGLImage来演示缓冲区共享和图像显示。图1展示了使用TensorRT的流程细节^[4-5]。

图 1. TensorRT processing flow

Fig. 1. TensorRT processing flow

下载图片 查看所有图片

1 定义视频处理结构体

本文例程将本地存储的H.264视频文件进行解码、格式转换和渲染，为了使流程清晰，便于管控，定义context_t结构管理视频处理全部资源。如表1所示成员主要包括一个解码器类、一个转换器类、一个渲染器类、一个数据指针。解码器类NvVideoDecoder封装了用于视频解码的多媒体API函数，用于从H.264视频文件解码压缩的视频。转换器类NvVideoConverter封装了视频转换的相关函数，包括色彩空间变换、尺度变换以及软硬件缓存空间的变换。渲染器类NvEglRenderer类封装了图像渲染的相关函数以及XWindow-11以及OpenGL2的部分函数，使用EGL和OpenGL ES 2.0进行呈现。渲染器需要缓冲区的文件描述符（FD）作为输入，创建自己的X窗口。渲染速率（以帧/s为单位），窗口的宽度、高度、水平偏移量和垂直偏移量都是可配置的。所有EGL调用只能通过一个线程进行。该类在内部创建一个线程，该线程执行所有EGL/GL初始化，从FD获取EGLImage对象，然后反初始化所有EGL/GL结构^[6-9]。

2 利用TRT_Context类进行加速推理

英伟达提供的TRT_Context类包含一系列接口来加载Caffe模型并执行推理。表2描述了本示例中使用的关键TRT_Context成员。本文中使用buildTrtContext实现Caffe模型到TensorRT模型转换，它的输入参数包括caffe网络结构文件和模型参数文件。实际上也可借助转换工具实现Caffe模型到gie模型的转换。TRT_Context:: getNumTrtInstances用于获取加速上下文的实例。TRT_Context::doInference用转换好的模型利用TensorRT进行加速推理。此外，TRT_Context还实现了一些模型控制和剪裁的一些函数接口^[10-13]。

3 主进程

主进程调用以上定义的类和结构实现整个处理流程，主要代码如下：

TRT_Context g_trt_context;

main(int argc, char *argv[])

{

　//程序入口参数处理

　context_t ctx[CHANNEL_NUM];

　global_cfg cfg;

　char **argp;

　set_globalcfg_default(&cfg);

　argp = argv;

　parse_global(&cfg, argc, &argp);

　parse_csv_args(&ctx[0], &g_trt_context, argc-cfg.channel_num-1, argp)；

　//设置g_trt_context参数

　g_trt_context.setModelIndex(TRT_MODEL);

　g_trt_context.buildTrtContext(cfg.deployfile, cfg.modelfile, true);

　pthread_create(&TRT_Thread_handle, NULL, trt_thread, NULL);

　// 获取EGL默认值

　egl_display = eglGetDisplay(EGL_DEFAULT_DISPLAY);

　// EGL 初始化

　eglInitialize(egl_display, NULL, NULL)

　for (iterator = 0; iterator < cfg.channel_num; iterator++)

　{

　　int ret = 0;

　　sem_init(&(ctx[iterator].dec_run_sem), 0, 0);

　　set_defaults(&ctx[iterator]);

　　char decname[512];

　　sprintf(decname, "dec%d", iterator);

　　ctx[iterator].channel = iterator;

　　ctx[iterator].in_file_path = cfg.in_file_path[iterator];

　　ctx[iterator].nvosd_context = nvosd_create_context();

　　//创建解码器

　　ctx[iterator].dec = NvVideoDecoder::createVideoDecoder(decname);

　　　　//设置输出面板格式

　　ctx[iterator].dec->setOutputPlaneFormat(ctx[iterator].decoder_pixfmt, CHUNK_SIZE);

　　//映射输出面板缓存

　　ctx[iterator].dec->output_plane.setupPlane(V4L2_MEMORY_MMAP, 10, true, false);

　　//创建渲染线程

　　pthread_create(&ctx[iterator].render_feed_handle, NULL, render_thread, &ctx[iterator]);

　　char convname[512];

　　// 创建BL到 PL转换器

　　ctx[iterator].conv = NvVideoConverter::createVideoConverter(convname);

ctx[iterator].conv->output_plane.setDQThreadCallback(conv_output_dqbuf_thread_callback);

ctx[iterator].conv->capture_plane.setDQThreadCallback(conv_capture_dqbuf_thread_callback);

　　if (ctx[iterator].cpu_occupation_option!= PARSER)

　　pthread_create(&ctx[iterator].dec_capture_loop, NULL, dec_capture_loop_fcn, &ctx[iterator]);

　　pthread_create(&ctx[iterator].dec_feed_handle, NULL, dec_feed_loop_fcn, &ctx[iterator]);

　　//等待解码器获取EOS

　　sem_wait(&(ctx[iterator].dec_run_sem));

　　//向渲染器发送命令

　　ctx[iterator].stop_render = 1;

　　pthread_cond_broadcast(&ctx[iterator].render_cond);

　　pthread_join(ctx[iterator].render_feed_handle, NULL);

　　}

}

4 测试与分析

在这个示例中，对象检测仅限于在960×540分辨率的视频流中识别汽车。该网络基于GoogleNet。推理是在逐帧的基础上进行的，不涉及任何对象跟踪，展示了如何使用TensorRT快速构建计算管道。示例使用训练过的GoogleNet网络，它是用NVIDIA深度学习GPU训练系统（DIGITS）训练的。训练是大约3 000帧从1.5 m（5英尺）~3 m（10英尺）的高度拍摄的。根据输入的视频样本，预计会有不同程度的检测精度。运行程序对H.264本地视频进行测试，TensorRT能够成功运行，实时识别目标图像^[14-15]，测试效果如图2所示。

其运行性能如下：

FP32 run:400 batches of size 100 starting at 100

........................................

Top1: 0.9904, Top5: 1

Processing 40000 images averaged 0.00157702 ms/image and 0.157702 ms/batch.

FP16 run:400 batches of size 100 starting at 100

Engine could not be created at this precision

INT8 run:400 batches of size 100 starting at 100

........................................

Top1: 0.9908, Top5: 1

Processing 40000 images averaged 0.00122583 ms/image and 0.122583 ms/batch.

图 2. Program test effect

Fig. 2. Program test effect

下载图片 查看所有图片

可以看到这个例子中采用int8量化时，提速可以达到20%以上，对于大计算量的应用，提速效果更好。推理（Inference）可以使用低精度的技术，训练的时候因为要保证前后向传播，每次梯度的更新是很微小的，这个时候需要相对较高的精度，一般来说需要float型，如FP32，32位的浮点型来处理数据。但是在推理的时候，对精度的要求没有那么高，很多研究表明可以用低精度，如半长（16字节）的FP16，也可以用8位的整型INT8来做推理，结果没有特别大的精度损失。低精度计算的好处是一方面可以减少计算量，原来计算32位的单元处理FP16的时候，理论上可以达到2倍的速度，处理INT8的时候理论上可以达到4倍的速度。另一方面是模型需要的空间减少，不管是权值的存储还是中间值的存储，应用更低的精度，模型大小会相应减小。

TensorRT的运行效果与GPU的硬件性能和采用的网络结构直接相关，量化标准仅仅是其中一个影响因素，不同的硬件和网络结构也会带来不同程度的速度提升。为了对比上述例子的加速性能，图3展示了采用GPU卡V100对ResNet网络进行TensorRT加速的实际效果。

图 3. Effect of TensorRT reasoning in V100 card+ResNet network

Fig. 3. Effect of TensorRT reasoning in V100 card+ResNet network

下载图片 查看所有图片

这是一个比较极端的例子，该例中使用的是先进的GPU卡V100，V100添加了专门针对深度学习优化的TensorCore，TensorCore可以完成4×4矩阵的半精度乘法，也就是可以完成一个4×4的FP16矩阵和另外一个4×4的FP16矩阵相乘，当然可以再加一个矩阵（FP16 或FP32），得到一个FP32或者FP16的矩阵的过程。TensorCore在V100上理论峰值可以达到120 Tflops。如果只是用CPU来做推理，首先它的吞吐只能达到140，也就是说每秒只能处理140张图片，同时整个处理过程需要有14 ms的延迟，也就是说用户提交请求后，推理阶段最快需要14 ms才能返回结果；如果使用V100，在TensorFlow中去做推理，大概是6.67 ms的延时，但是吞吐只能达到305；如果使用V100加TensorRT，在保证延迟不变的情况下，吞吐可以提高15倍，高达5 700张图片帧/s。可以看到随着GPU性能的提升，以及网络结构的复杂化，TensorRT对推理速度的提升非常明显，对于大数据应用是一个很好的选择。目标英伟达公司已经将TensorRT项目部分开源，这势必会使TensorRT得到更好的推广应用。