共享型轻量级卷积神经网络实现车辆外观识别 下载: 1039次
1 引言
车辆是交通系统中重要的研究对象,在计算机视觉研究领域引起了极大的关注,例如车辆识别[1-9]、车辆跟踪[10-11]及车辆检测[12-14]等,车辆识别往往在车辆视觉研究中具有基础的区分作用。车辆的识别任务主要是识别目标车辆的型号、颜色及车牌。对于车辆外观的识别不仅可以获取车辆的基本信息,在车辆重识别等任务中还可以起到缩小搜索范围的作用。
近年来,基于视觉的卷积神经网络(CNN)方法被深入发掘,在各项计算机视觉任务中具有强的鲁棒性和高的分类准确率。但是现有的CNN方法通常仅针对车辆的一种属性(颜色[4,8]或类型[1-3,5-7,9])进行研究。颜色和型号通常是车辆识别任务的两个关键属性,在获取车辆信息时往往是同时需要的。因此,本文提出一种单输入双输出的CNN框架,以同时实现对车辆颜色和型号的高准确率识别。
虽然目前CNN方法在识别准确率和泛化能力方面表现优秀,但传统的CNN结构仍然受到效率问题的困扰。效率问题主要是模型的存储问题和模型进行预测的速度问题。对于存储问题,数百层网络具有大量的权重参数,大量的权重参数需要存储在具有高存储条件的设备上。例如,要识别像素为224×224大小的图像,使用AlexNet作为识别网络时需要7.25亿个具有232 MB存储空间的浮点运算,VGG16需要153亿个具有527 MB存储空间的浮点运算,新提出的ResNet18仍涉及18亿个浮点运算,其存储容量为44.6 MB[15]。其次,对于速度问题,在实际应用中,模型的预测过程通常需要毫秒级的反应时间才能确保实时性。因此,很难将这些复杂的CNN方法部署在资源有限的设备上,例如现场可编程门阵列(FPGA)和移动终端系统。只有解决了CNN的效率问题,CNN才能在嵌入式设备中得到更广泛的应用。因此,本文对超轻量级网络结构SqueezeNet进行改进和探索,并将该结构作为基础网络来构建多属性分类网络。
2 车辆多属性识别模型的建立
2.1 轻量级卷积神经网络SqueezeNet
近几年来,许多轻量级网络结构已经被提出。有代表性的轻量级网络包括SqueezeNet[16-19]、MobileNet[20]、ShuffleNet[21]及Xception[22]。在这些轻量级网络中,具有最简单的结构和最强大的参数压缩能力的是SqueezeNet,将它应用于大型可视化数据库ImageNet上进行实验时,以1/50的参数量就达到了AlexNet级别的精度。此外,SqueezeNet由一个个紧凑的单元组成,可以轻松转换并组合成新的网络。因此,在本研究中,将使用SqueezeNet作为基础网络来构建模型。
SqueezeNet由加州大学伯克利分校和斯坦福大学的研究人员于2016年提出,提出该网络结构的初衷旨在减少CNN模型的参数量。SqueezeNet主要采用3个策略来减少参数量,1)用1×1卷积核替换3×3卷积核,1×1卷积核参数量比3×3卷积核参数量少1/9;2)减少3×3卷积核的输入通道数,Fire模块使用Squeeze层,以减少3×3卷积核的输入通道数量;3)在网络中后期进行采样,以便卷积层具有较大的特征图,较大的特征图会保留更多有用信息,并可以提供更高的分类精度。策略1)和2)是在尝试保持分类准确性的同时,有选择性地减少CNN结构中的参数量。策略3)则是在有限的参数预算上最大化准确率。
对于常规网络,大多数网络参数都位于全连接层(FC)中,而计算量则由卷积层(Conv)控制。而SqueezeNet使用两个关键结构来减少参数量和优化计算,即Fire模块和全局平均池化(GAP)。Fire模块用来压缩参数;而GAP用来取代FC,以改善大量的网络权重参数,从而实现高效的计算。
Fire模块主要由Squeeze层和Expand层两部分组成,如
传统的CNN结构通常会在网络末端添加FC,通过FC的作用将特征图转换为矢量。但是,FC非常容易出现过度拟合的现象,从而妨碍整个网络的泛化能力。因此提出GAP以取代传统CNN中的FC。不同于FC,GAP是取每个特征图的平均值,并将结果矢量直接输入到分类层中,GAP在特征图和类别之间建立对应关系,对于卷积结构而言更为原生。FC在训练过程中携带大量参数,参数更新计算时需要占据足够的空间和需要具有强大的计算力。而GAP在训练过程中没有需要优化的参数,因此在使用过程中,避免了过拟合,且节省了大量时间和空间。此外,GAP可以汇总空间信息,对输入数据进行空间转换的性能更加稳健。
2.2 车辆多属性识别模型的建立
把输入图像统一为64×64像素的小图片再进行车辆外观识别,因为考虑到对车辆颜色和车型进行识别分类实现起来比较容易,不需要大像素的支持;另外使用小图片进行外观粗识别可以大大简化计算量,占用更小的存储空间。统一成同一大小的数据可以简化网络结构,实现更加快速的识别。原始SqueezeNet适用于尺寸为224×224像素的图片,包含8个Fire模块。在这8个Fire模块中,Expand层中3×3卷积核的数量和1×1卷积核的数量相同,即n2=n3。n1和n2的组合为16和64,32和128,48和192,64和256。
对于64×64像素的小图片,在原始的SqueezeNet上进行三种不同程度的“瘦身”,并建立三个改进的SqueezeNet,命名为Squeeze1,Squeeze2,Squeeze3。将SqueezeNet每一层的卷积核数量减少到原始网络的1/2,1/4,1/8。
表 1. 三种不同“瘦身”程度的SqueezeNet结构
Table 1. Three “slimming” SqueezeNet structures
|
为了通过输入一张图片就可以实现对该车辆颜色和型号的识别,构建了三种多任务分类网络,分别是无共享形式、部分共享形式及完全共享形式。
图 3. 网络结构。(a)无共享型;(b)部分共享型;(c)完全共享型
Fig. 3. Structure of networks. (a) No-shared; (b) partly-shared; (c) fully-shared
在基础网络完全相同的情况下,完全共享型网络仅使用了一组网络结构便完成了对车型、外观两种属性的分类,相比无共享型网络和部分共享型网络,具有更少的参数量。结合三种不同“瘦身”程度的SqueezeNet,列出9个组合网络的参数量明细,如
表 2. 9种网络结构的参数量对比
Table 2. Comparison of number of parameters in nine network structures
|
3 实验数据与结果分析
3.1 实验数据集和实验环境
使用开放数据集Opendata_VRID[23],该数据集由广东省智能交通系统重点实验室提出的OpenITS计划网络平台提供。车辆重识别数据是由326个高清摄像头进行14天拍摄得到的珠海市城市卡口图像。图像数据清晰度高,分辨率分布在400×424到990×1134之间。图像样例如
图 5. 数据集分布情况。(a)车辆型号;(b)车辆颜色
Fig. 5. Dataset distribution. (a) Vehicle type; (b) vehicle color
3.2 车辆识别的性能评价指标
为了客观比较车辆外观识别方法的结果,将准确率、交叉熵损失用作车辆识别性能的指标。
1) 准确率,指正确分类的样本数与所有样本总数之比,计算公式为
式中:Nc为正确分类的样本数;Na为已分类样本的总数。
2) 交叉熵损失,是一个凸函数,表征预测值和真实值之间的差异。
式中:yi为第i个分类样本的网络输出;Yi为第i个分类标签;n为分类样本的总数。
3.3 单一分类任务的效果评估
对于车辆的单一属性分类(颜色或型号),比较三种不同“瘦身”程度的SqueezeNet的识别性能,如
图 6. 不同“瘦身”程度SqueezeNet的结果对比。(a)颜色分类的训练损失;(b)颜色分类的验证准确率;(c)车型分类的训练损失;(d)车型分类的验证准确率
Fig. 6. Result comparison between different “slimming” SqueezeNet. (a) Training loss of color recognition; (b) validation accuracy of color recognition; (c) training loss of vehicle type recognition; (d) validation accuracy of vehicle type recognition
从网络结构来看,不同“瘦身”程度的SqueezeNet在车辆单属性分类任务中表现出明显的差异。SqueezeNet的“瘦身”程度越小,分类性能越好。但是,“瘦身”程度与分类性能之间的负相关性在达到一定程度时受到限制。实验结果中,Squeeze1和Squeeze2的曲线非常接近,在车型分类任务中,这一现象极为明显。
3.4 多属性分类的效果评估
车辆外观识别网络是输入一幅图片同时实现颜色和车型两个属性分类的网络。在训练过程中,对三组网络识别车辆外观的性能进行对比。
图 7. 车型识别结果对比。(a)训练损失;(b)验证准确率
Fig. 7. Result comparison for vehicle type recognition. (a) Training loss; (b) validation accuracy
图 8. 车辆颜色识别结果对比。(a)训练损失;(b)验证准确率
Fig. 8. Result comparison for vehicle color recognition. (a) Training loss; (b) validation accuracy
尽管训练过程存在显著差异,但是在无共享型网络、部分共享型网络、完全共享型网络之间,识别准确性存在相似的趋势。换句话说,使用完全共享型网络只需要较少的训练时间就可以实现较高的识别精度,并且具有较少参数量。因此,基于轻量级CNN的完全共享型网络可以在确保高识别精度的同时,大大减轻硬件环境的负担。另外,如果将训练后的模型部署在嵌入式系统中,可以大大节省识别时间和空间,且实时效果明显。
除此之外,对比单属性识别结果和多属性识别结果发现,无论是车辆型号还是车辆颜色,多属性识别网络对这两个属性的最终分类准确率都没有降低,依然保持着单属性识别的精度水平。因此,共享型多属性识别网络是完全可取的,不仅不影响单一分类的准确率,而且大大减少了训练参数量。
3.5 测试结果与分析
表 3. 不同网络的结果对比
Table 3. Result comparison between different networks
|
4 结论
为解决车辆外观识别属性单一问题和传统CNN识别方法的时空复杂性问题,研究共享型轻量级CNN对车辆外观的识别情况。首先,探讨不同“瘦身”程度的SqueezeNet对车辆型号和颜色识别的情况;接下来,将改进的SqueezeNet用作基础网络,对比具有不同共享程度的多属性分类网络的性能。以图片为输入,实现两种外观属性的车辆识别。将轻量级CNN与共享型结构相结合,以实现能够区分颜色和型号特征的车辆外观识别模型。实验结果表明,共享型轻量级CNN以更少的参数量实现了无共享级别的准确性。共享型轻量级CNN大大减少了时间和空间成本,更有利于在资源有限的环境中进行部署,具有扩展性和多功能性。在未来的工作中,可以继续探索更多属性特征提取网络的共享形式,比如可以将车辆的角度考虑进来,搭建颜色、型号、朝向三属性共享型网络来实现车辆的多属性识别。
[4] Zhang Q, Zhuo L, Li J F, et al. Vehicle color recognition using multiple-layer feature representations of lightweight convolutional neural network[J]. Signal Processing, 2018, 147: 146-153.
[5] Chen L C, Hsieh J W, Yan Y L, et al. Vehicle make and model recognition using sparse representation and symmetrical SURFs[J]. Pattern Recognition, 2015, 48(6): 1979-1998.
[6] Al-Maadeed S, Boubezari R, Kunhoth S, et al. Robust feature point detectors for car make recognition[J]. Computers in Industry, 2018, 100: 129-136.
[7] Psyllos A, Anagnostopoulos C N, Kayafas E. Vehicle model recognition from frontal view image measurements[J]. Computer Standards & Interfaces, 2011, 33(2): 142-151.
[8] Hu C P, Bai X, Qi L, et al. Vehicle color recognition with spatial pyramid deep learning[J]. IEEE Transactions on Intelligent Transportation Systems, 2015, 16(5): 2925-2934.
[9] 张洁, 赵红东, 李宇海, 等. 复杂背景下车型识别分类器[J]. 激光与光电子学进展, 2019, 56(4): 041501.
[11] Battiato S, Farinella G M, Furnari A, et al. An integrated system for vehicle tracking and classification[J]. Expert Systems with Applications, 2015, 42(21): 7263-7275.
[12] 李珣, 时斌斌, 刘洋, 等. 基于改进YOLOv2模型的多目标识别方法[J]. 激光与光电子学进展, 2020, 57(10): 101010.
[13] Hao W. Optimized CNN based image recognition through target region selection[J]. Optik, 2018, 156: 772-777.
[14] Dai X R. HybridNet: a fast vehicle detection system for autonomous driving[J]. Signal Processing: Image Communication, 2019, 70: 79-88.
[15] Xu T B, Yang P P, Zhang X Y, et al. LightweightNet: toward fast and lightweight convolutional neural networks via architecture distillation[J]. Pattern Recognition, 2019, 88: 272-284.
[16] PradeepK, KamalavasanK, NatheesanR, et al.EdgeNet: SqueezeNet like convolution neural network on embedded FPGA[C]∥2018 25th IEEE International Conference on Electronics, Circuits and Systems (ICECS), December 9-12, 2018, Bordeaux, France. New York: IEEE Press, 2018: 81- 84.
[17] GholamiA, KwonK, Wu BC, et al.SqueezeNext: hardware-aware neural network design[C]∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), June 18-22, 2018, Salt Lake City, UT, USA. New York: IEEE Press, 2018: 1719- 1728.
[18] Iandola FN, Moskewicz MW, AshrafK, et al. and <0.5 MB modelsize[EB/OL]. ( 2016-11-04)[2020-06-29]. https:∥arxiv.org/abs/1602. 07360.
[19] 刘祥楼, 李天昊, 张明. 基于融合梯度特征的轻量级神经网络的人脸识别[J]. 激光与光电子学进展, 2020, 57(16): 161005.
[20] Biswas D, Su H B, Wang C Y, et al. An automatic traffic density estimation usingsingle shot detection (SSD) and MobileNet-SSD[J]. Physics and Chemistry of the Earth, 2019, 110: 176-184.
[21] Zhang XY, Zhou XY, Lin MX, et al.ShuffleNet: an extremely efficient convolutional neural network for mobile devices[C]∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, June 18-23, 2018, Salt Lake City, UT, USA. New York: IEEE Press, 2018: 6848- 6856.
[22] CholletF. Xception: deep learning with depthwise separable convolutions[C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 21-26, 2017, Honolulu, HI, USA. New York: IEEE Press, 2017: 1800- 1807.
[23] 李熙莹. OpenData V11.0-车辆重识别数据集VRID[EB/OL].[2020-06-29]. http:∥www.openits.cn/opendata4/748.jhtml.
Li XY. OpenData V11.0-vehicle re-identification dataset VRID[EB/OL].[2020-06-29]. http:∥www.openits.cn/opendata4/748.jhtml.
Article Outline
康晴, 赵红东, 杨东旭. 共享型轻量级卷积神经网络实现车辆外观识别[J]. 激光与光电子学进展, 2021, 58(2): 0210013. Qing Kang, Hongdong Zhao, Dongxu Yang. Vehicle Appearance Recognition Using Shared Lightweight Convolutional Neural Networks[J]. Laser & Optoelectronics Progress, 2021, 58(2): 0210013.