基于改进神经网络的交通标志识别

童英; 杨会成

doi:doi:10.3788/LOP56.191002

激光与光电子学进展, 2019, 56 (19): 191002, 网络出版: 2019-10-12

基于改进神经网络的交通标志识别下载： 1106次

Traffic Sign Recognition Based on Improved Neural Networks

论文大纲

童英 ^*杨会成

作者单位

安徽工程大学电气工程学院, 安徽芜湖 241000

图像处理神经网络交通标志识别 YOLOv2 损失函数 image proceedings neural network traffic sign recognition YOLOv2 loss function

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

交通标志识别在驾驶辅助系统和交通安全方面发挥着重要作用。卷积神经网络在计算机视觉任务上取得了重大的突破,并在交通标志检测与识别方面取得了巨大的成功。然而,现有的识别方法通常达不到实时识别的效果。因此,提出一种改进卷积神经网络交通标志识别方法,通过加入初始模块,扩展网络结构和提出新的损失函数等多种方法来解决原始模型不擅于检测小目标的问题。在德国交通标志数据集上的仿真结果表明,与现有技术相比,提出的方法能够获得更高的检测速率,每张图片的处理时间仅为0.015 s。

Abstract

Traffic sign recognition plays an important role in driver assistance systems for traffic safety. Convolutional neural networks (CNNs) have made a significant breakthrough in computer vision tasks and achieved considerable success in traffic sign detection and recognition. However, existing methods typically fail at achieving real-time recognition. Therefore, this study proposes a modified traffic sign recognition method based on a CNN, wherein inception modules are added, the network structure is extended, and a new loss function is used to overcome the original model's difficulty in detecting small targets. German traffic sign datasets are used to simulate the effectiveness of the proposed method. Simulation results show that the proposed method can obtain higher detection rates than those of existing methods at the processing time of only 0.015 s for each image.

1 引言

交通标志是道路上的重要安全设施,在规范交通行为、保障道路安全、引导车辆和行人顺利通行等方面起到重要作用。作为智能化的一部分,交通标志的检测对高级辅助驾驶系统、交通标志维修和自动驾驶等应用具有重要意义。从80年代中期起,交通标志检测与识别的方法不断被拓展,在过去十年的时间里,该研究引起了各国学者的广泛重视,在理论研究和实际应用方面均取得了一定的成就^[1-4]。

目前,深度学习理论被广泛应用于图像识别和目标检测领域,这使得目标检测更加快速准确。卷积神经网络(CNN)可以在不进行预处理的情况下从大量样本中学习特征,不仅避免了手工制作特征的设计难度,而且可以训练更多的特征。因此,基于深度学习的交通标志检测与分类方法具有检测速度快、识别精度高和成本低等优势,是机器视觉领域的重点研究方向。但是,自然道路下的交通标志识别算法依旧存在检测速率慢、漏检错检率高和识别精度低等问题。在现有的方法中,YOLOv2(You Only Look Once version2)算法的检测效果最好^[1]。该模型能够通过单个神经网络在一次训练过程中进行预测和分类任务。然而 YOLOv2也有不足之处,例如,YOLOv2不擅长检测小目标。所以,本文将针对这个问题展开研究。

本文提出一种新的网络NYOLOv2 (New You Only Look Once version2),为了提高YOLOv2对小目标检测的性能,提出新的损失函数定义。使用边界框宽度和高度差的归一化策略取代直接使用目标宽度和高度的方法,目的是有效减小小交通标志检测的误差。在YOLOv2结构的第一层和第二层之间插入1个1×1×64的卷积层,以便获得平滑变化的提取特征。用初始模块替换掉YOLOv2的第三层和第四层,以进一步拓宽网络结构,减少参数数量。

为了评估交通标志检测的相关方法,采用现有的被广泛使用的公共数据集:德国交通标志检测基准(GTSDB)和德国交通标志识别基准(GTSRB)。GTSDB将交通标志分为三大类,包含指示标志(蓝色和圆形)、警告标志(红色和三角形)和禁止标志(红色和圆形)。在GTSDB中有900张大小为1360 pixel×800 pixel的图像(600个用于培训,300个用于测试)。GTSRB数据集包含39209张训练图像和12630张测试图像。这些标志同样被分为三类,其中包括德国交通标志的43个小类,大小从15 pixel×15 pixel到250 pixel×250 pixel。本文选用GTSDB进行训练,选用GTSRB进行测试,并与其他方法的结果进行比较。实验结果显示改进后的YOLOv2模型比原始模型以及其他解决方案具有更好的检测性能。

2 相关工作

交通标志检测方法大致可分为两大类。一类是基于传统的目标检测算法,该方法结合了交通标志的特征。另一类是基于深度学习的方法,具有自我学习不同特征的能力。传统的检测方法主要依赖于颜色和形状的特征提取算法。关于颜色特征,文献[ 5]中提出了基于Ohta空间的颜色概率模型,用于计算交通标志的每种颜色的概率。关于形状特征,交通标志通常是圆形、三角形、矩形或多边形。文献[ 6]中提出了一种新的椭圆检测方法,用于检测由外力或拍摄角度而变形的圆形交通标志。文献[ 7]为每个类别的交通标志设计了一组形状匹配模板。文献[ 8]采用了定向梯度直方图(HOG)特征和支持向量机分类器来检测交通标志并取得了很好的成绩。文献[ 9]结合了布尔卷积神经网络和HOG特征来检测GTSDB上的交通标志,证明特征提取算法在线性特征上比在非线性特征上更有效。然而,当出现如背光、标志破损和褪色等极端情况时,基于颜色特征提取的交通标志识别方法会出现不稳定的现象,导致漏检或错检。基于形状特征的交通标志识别方法可以用于处理图像中的遮挡问题,但是对于图像倾斜扭曲等问题不能得出高质量的识别效果。

基于深度学习的方法按照其区域提取策略的不同被分为两类。一类是基于区域选择的目标检测算法。基于区域的卷积神经网络(R-CNN)明显提高了平均检测精度^[10]。R-CNN首先通过选择性搜索方法生成2k个感兴趣区域,再分别通过CNN提取特征,最后使用支持向量机分类器来预测对象的类别。为了获得更好的性能,它还采用线性回归的方式微调检测框的位置和大小。由于R-CNN的图像识别和定位效果良好,后续产生了很多改进CNN的方法,如空间金字塔汇集网络^[11]、Fast R-CNN^[12]和Faster R-CNN ^[13] 。上述方法使得识别精度和速度迅速提高,最快帧速可达15 frame/s。另一类方法是基于回归的方法,回归方法是采用无分类器的端到端学习模型。文献[ 1]和[14]先后提出了YOLO和YOLOv2算法,并将对象检测和分类整合到同一个CNN中以提高识别速度。随后,文献[ 15]中提出了基于默认框和多尺度特征映射层的单发多盒检测器以提高精度。交通标志检测方法研究的重点一部分集中于图像的颜色、纹理、轮廓等特征,另一部分集中于图像的语义分析特征^[16-17]。文献[ 18]中基于交通视频中半监督特征的选择框架采集交通标志的相关性特征。

基于区域方法的交通标志识别方法在识别精度和定位精度方面具有优势。但是,其计算效率低,并且该过程需要大量计算资源。而YOLOv2算法相对简单,且检测效果好。YOLOv2算法只需要进行一轮预备和分类工作,并且每个图像只需要检测一次,因此,它能够以45 frame/s的速度运行检测,同时保证极高的准确性^[19]。

3 本文方法

由于R-CNN系列算法均需要生成建议框,故在建议框上进行分类与回归,但建议框之间有重叠,这会带来很多重复工作。YOLOv2算法改进了R-CNN系列候选区域检测框架,把物体检测问题处理成回归问题,用一个卷积神经网络结构实现端到端的目标检测。

如图1所示,受回归思想的启发,YOLOv2 算法模型将输入图片划分为 S×S 的网格(grid cell),其中,S为划分网格数,每个格子中心负责该格子内的目标检测,一次性预测所有格子所含目标的边界框(bounding boxes)、定位置信度(confidence),以及所有类别概率向量(class probability map),最后对图像进行目标分类,通过不断训练,调整权值参数,最终在图像上显示出检测到的目标边框。其结构如图2所示。

图 1. YOLOv2算法流程图

Fig. 1. Flow chart of YOLOv2 algorithm

下载图片查看所有图片

图 2. YOLOv2网络结构图

Fig. 2. YOLOv2 network structure

下载图片查看所有图片

然而,YOLOv2算法存在以下两个不足点:1)在尺度上的泛化能力较差。由于网格单元是固定的正方形,当同一类物体出现新的、不常见的长宽比时,预测的框线对尺度的变化比较敏感^[20]。 2)小尺寸目标难以识别。由于实际中大尺寸和小尺寸的损失值不同,YOLOv2的损失函数对小尺寸的检测和大尺寸的检测并未分开计算,小尺寸物体损失的一部分检测精度可能会导致检测失败。针对这两个不足点,本文提出两个改进措施:1)在YOLOv2结构中加入1个1×1×64卷积层,以便获得所提取特征的平滑变化。并且加入两个初始模块,以进一步拓宽网络结构,减少参数数量,以此增加网络的泛化能力,使之能够进行多尺度图像训练。2)改进原网络的损失函数,使网络适用于小目标检测。

3.1 网络设计

初始模块是由GoogleNet首先引入的,研究人员发现其密集组件是逼近和覆盖卷积网络的关键,且他们注意到初始模块非常适用于目标定位和检测^[13],所以,本文开发了两种初始模型,如图3所示。除此之外,初始模块在不消耗额外计算的前提下拓宽了网络深度和宽度。基于这一事实,将初始模块添加到网络中,将模块A加入网络第三层,将模块B加入第四层,且在第一层和第二层之间插入1个尺寸为1×1×64卷积层,如图4所示。

3.2 损失函数的优化

原始损失函数表示为

\begin{matrix} \begin{matrix} U (L_{oss}) = θ_{coord} \overset{S 2}{\sum_{i = 1}} \overset{α}{\sum_{j = 1}} I_{ij}^{obj} [{(x_{i} - x'_{i})}^{2} - {(y_{i} - y'_{i})}^{2}] + \\ θ_{coord} \overset{S 2}{\sum_{i = 1}} \overset{α}{\sum_{j = 1}} I_{ij}^{obj} [{(\sqrt[]{w_{i}} - \sqrt[]{w'_{i}})}^{2} - {(\sqrt[]{h_{i}} - \sqrt[]{h'_{i}})}^{2}] + \\ \overset{S 2}{\sum_{i = 1}} \overset{α}{\sum_{j = 1}} I_{ij}^{obj} {(c_{i} - c'_{i})}^{2} + θ_{noobj} \overset{S 2}{\sum_{i = 1}} \overset{α}{\sum_{j = 1}} I_{ij}^{noobj} {(c_{i} - c'_{i})}^{2} + \overset{S 2}{\sum_{i = 1}} I_{i}^{obj} \sum_{c} [p_{i} (c) - p'_{i} {(c)]}^{2}, (1) \end{matrix} \end{matrix}

图 3. 初始模块。(a)模块A;(b)模块B

Fig. 3. Inception modules. (a) Module A; (b) module B

下载图片查看所有图片

图 4. NYOLOv2结构图

Fig. 4. NYOLOv2 structural diagram

下载图片查看所有图片

式中:U(L_oss)为损失函数;i^obj表示交通标志是否出现在区域i中;θ_noobj和θ_coord表示两个协调参数; $\begin{matrix} I_{ij}^{obj} \end{matrix}$ 表示需要通过第j个边界框中的预测器来检测的区域i中的所有潜在目标的信号; $\begin{matrix} I_{ij}^{noobj} \end{matrix}$ 表示不需要通过第j个边界框中的预测器来检测的区域i中的所有潜在目标的信号;x_i和y_i表示潜在目标的当前位置;x'_i和y'_i代表目标的实际位置;w和h分别为边界框的宽度和高度;S为网格数;α为边界框个数;c_i和c'_i分别表示预测和实际分类数;p_i(c)表示预测为分类c的概率;p'_i(c)为实际分类概率。如果标志很小(即边界框也很小),则边界框无法捕获目标,损失函数的输出也会非常小。这可能会对检测精度产生不利影响。

在原始损失函数中,YOLOv2算法利用平方差( $\begin{matrix} \sqrt[]{w_{i}} \end{matrix}$ - $\begin{matrix} \sqrt[]{w'_{i}} \end{matrix}$ )²-( $\begin{matrix} \sqrt[]{h_{i}} \end{matrix}$ - $\begin{matrix} \sqrt[]{h'_{i}} \end{matrix}$ )²存在一个问题,即大的对象通常可以对损失产生更大的影响,而小的对象基本被忽略^[14]。因此,本文的思想是确保小目标和大目标都可以对损失产生同等影响并帮助优化检测结果。

当对象的宽度与高度的比例很小时,边界框宽度的重要性很容易被低估。归一化是消除不同尺寸物体之间竞争的有效方法,而且在检测任务中发挥着积极作用。通过使用归一化,可以更有效地捕捉到边界框^[15]。改进后的损失函数定义为

\begin{matrix} \begin{matrix} U (L_{oss}) = θ_{coord} \overset{S 2}{\sum_{i = 1}} \overset{α}{\sum_{j = 1}} I_{ij}^{obj} [{(x_{i} - x'_{i})}^{2} - {(y_{i} - y'_{i})}^{2}] + \\ θ_{coord} \overset{S 2}{\sum_{i = 1}} \overset{α}{\sum_{j = 1}} I_{ij}^{obj} {[{(\frac{w_{i} - w'_{i}}{w'_{i}})}^{2} - {(\frac{h_{i} - h'_{i}}{h'_{i}})}^{2}]}^{2} + \\ \overset{S 2}{\sum_{i = 1}} \overset{α}{\sum_{j = 1}} I_{ij}^{obj} {(c_{i} - c'_{i})}^{2} + θ_{noobj} \overset{S 2}{\sum_{i = 1}} \overset{α}{\sum_{j = 1}} I_{ij}^{noobj} {(c_{i} - c'_{i})}^{2} + \overset{S 2}{\sum_{i = 1}} I_{i}^{obj} \sum_{c} [p_{i} (c) - p'_{i} {(c)]}^{2} 。 (2) \end{matrix} \end{matrix}

4 仿真设置及结果分析

将不同的模型使用同一数据集^[12]进行训练和测试,并使用YOLOv2软件包来训练本文的模型,数据集中标志的三个分类如图5所示。本文的培训率是0.01,实验训练超过50000次迭代且提到的所有模型都将遵循相同的训练参数。

图 5. 交通标志的三个超分类示例。(a)指示;(b)禁止;(c)警告

Fig. 5. Three super classification examples of traffic signs. (a) Mandatory; (b) prohibitory; (c) danger

下载图片查看所有图片

4.1 训练过程

使用YOLOv2模型及GTSDB数据集预训练本文的检测网络,预训练模型可以明显缩短训练时间。考虑到YOLO算法所需输入的大小固定,本文将不同尺度的图像调整为608 pixel×608 pixel的均匀尺寸。在损失函数中,GTSDB有三个标记类,所以c=3。本文设置边界框数α=5,网格数S=19。最后,得到了19×19×40张量的预测值。c类的索引应该从0开始到2,否则在训练期间会出现非数字的问题。在训练过程中,学习率的初始值为0.0001。观察损失的下降趋势,如果发现损失稳定在大于1的值,则将学习率改变为0.001。表1显示了本文方法的精度和召回的数值。随着识别时间t的增加,精确度越高,召回率越低。当t=0.4或t=0.5时,模型的整体性能更高效且更稳健。

表 1. 不同时间阈值下的精确度和召回率数值

Table 1. Precisions and recall rate values at different time thresholds

Threshold t	0.10	0.20	0.40	0.50	0.60	0.65
Precision	0.7554	0.8699	0.9543	0.9648	09874	1.000
Recall	0.9568	0.9396	0.9102	0.8650	0.7959	0.6203

查看所有表

4.2 构架分析

为了进一步了解初始模块的效用,对提出的方法进行计算能力的评估。除非另有说明,否则严格遵循先前的参数设置。本文方法在数据集上联合训练有初始模型和没有初始模型的YOLOv2模型(网络的其余部分是一致的),利用平均精度均值(mAP)和每秒帧数(FPS)进行定量和定性评估,这些指标被广泛应用于计算机视觉领域,以评估算法的优异程度。表2显示了数据集上两种模型的mAP和FPS。显然,具有初始模型的NYOLOv2方法比原始YOLOv2方法执行结果更好,并且NYOLOv2方法也具有更大的FPS。因为初始结构本身具有加深和扩展网络的能力,且减少了参数的数量,故包含它的网络具有更强大的提取图像特征的能力,并且提取的特征更加丰富。换句话说,初始模块使得网络在更新参数和计算时花费的时间更少,这就是本文在YOLOv2模型中加入初始模块的原因。

表 2. 不同构架性能比较

Table 2. Comparison of different architecture performances

Method	mAP	FPS
YOLOv2	76.8	40.0
NYOLOv2	83.2	55.0

查看所有表

4.3 损失函数结果分析

本文的目标是找出改进后的损失函数和YOLOv2的损失函数产生的结果之间的差异。本文的方法训练了具有改进后的损失函数的模型和具有原始YOLOv2损失函数的模型(网络的其余部分一致)。然后使用相同的训练数据集来训练两个模型并对其进行测试。如图6显示,与原始YOLOv2损失函数相比,本文的方法可以缩短收敛时间。必须指出的是,在这个实验中,模型统一使用NYOLOv2网络结构,除损失函数结构不同,其他设置均一样。由此可以得出修正后的损失函数在检测时优于原始函数。如图7和图8所示,与具有YOLOv2损失函数的模型相比,本文的方法在检测小物体方面具有更好的性能。本文使网络能够考虑图像中对象的大小而分别给出相应的权重,从而优化了模型结构。

图 6. 损失函数曲线的对比

Fig. 6. Comparison of loss function curves

下载图片查看所有图片

图 7. 使用YOLOv2的损失函数检测示例

Fig. 7. Examples of detecting the loss function using YOLOv2

下载图片查看所有图片

图 8. 使用NYOLOv2的损失函数检测示例

Fig. 8. Examples of detecting the loss function using NYOLOv2

下载图片查看所有图片

4.4 评估结果对比分析

为了分析测试结果,设置了识别时间阈值t。当交通标志的置信度低于阈值t时,过滤掉那些候选区域。设置t=0.5以确保高精度的检测。表3显示了三种模型的精度和召回率。图9显示了三个超类别的精确召回(PR)曲线。精确度是真阳性与真阳性和假阳性之和的比率。召回是真阳性与真阳性和假阴性之和的比率^[21-22]。时间是每个处理图像的平均运行时间。线下区域 (AUC)是精确度和召回曲线下的区域。

表 3. 三种方法分类结果比较

Table 3. Comparison of classification results of three methods

Method	Prohibitory		Mandatory		Danger		Time /s
Method	Precision /%	Recall /%		Precision /%	Recall /%	Precision /%	Recall /%
YOLO	98.55	92.15	96.68	70.56	90.89	78.11	0.221
YOLOv2	99.06	87.64	98.24	69.06	97.65	75.03	0.154
NYOLOv2	99.13	91.23	99.12	72.66	98.00	80.21	0.015

查看所有表

图 9. 三个超分类的PR曲线图。(a) 指示;(b)禁止;(c)警告

Fig. 9. PR curves of three super categories. (a) Mandatory; (b) prohibitory; (c) danger

下载图片查看所有图片

从表3和图9中可以看出,当t=0.5时,NYOLOv2的精确度最高,预测的指示标志和警告标志的召回率最好,达到了72.66%和80.21%,且可以看出改进的模型NYOLOv2比YOLO和YOLOv2更快,YOLO模型识别每张图片需0.221 s;YOLOv2模型识别每张图片需0.154 s;而NYOLOv2模型识别每张图片只需0.015 s,远远低于前两种模型。并且,AUC值表明模型NYOLOv2更强大。NYOLOv2 和YOLOv2两种模型关于指示和禁止标志的AUC值均高于YOLO模型,虽然模型YOLOv2中指示标志和禁止标志的AUC值与模型NYOLOv2中的相当且高于YOLO,但警告标志的AUC值明显低于NYOLOv2模型。实验结果表明,改进的模型可以提高检测率并减少时间消耗。

表 4. 不同方法的处理时间及性能对比

Table 4. Comparison of processing time and performance of different methods

Method	Precision /%	Recall /%	Time /s
Ref. [1]	89.17	92.15	0.280
Ref. [19]	91.00	94.00	0.190
NYOLOv2 (t=0.4)	95.43	91.02	0.015
NYOLOv2 (t=0.5)	96.48	92.50	0.015

查看所有表

表4显示了NYOLOv2算法和其他方法之间的比较。文献[ 1,19]的研究方法是基于CNN。可以看出,文献[ 1]的准确率和召回率分别为89.17%和92.15%,每张图片识别时间为0.28 s;文献[ 19]的准确率和召回率分别为91%和94%,每张图片识别时间为0.19 s;当t=0.4或t=0.5时,本文平均精确率最高,达到95.43%或96.48%,召回率达到91.02%或92.50%,且本文方法处理时间短,平均时间达到0.015 s,最接近于实时检测。

表 5. 不同方法的AUC值和处理时间

Table 5. AUC values and processing time for different methods

Method	Prohibitory /%	Mandatory /%	Danger /%	Time /s
Ref. [11]	95.46	93.45	91.12	0.300
Ref. [13]	95.41	92.00	91.85	0.400-1.000
Ref. [14]	100.00	100.00	99.91	3.533
NYOLOv2	96.21	97.96	92.44	0.015

查看所有表

表5显示了三种超类别交通标志的和运行时间和AUC值,文献[ 11,13-14]的方法是基于传统的检测算法。研究显示,传统方法在检测速率方面普遍偏低,且算法运行时间过长,达不到实时效果,前两种方法运行时间需要0.300 s和0.400~1.000 s。本文方法在AUC数值上显示出优越性,三种标志的AUC值分别达到96.21%、97.96%和92.44%。虽低于方法[14]的100%、100%和99.91%,但文献[ 14]牺牲了检测速度,其运行时间需要3.533 s,而本文方法只需0.015 s,就可以达到实时检测的效果。

5 结论

本文提出了YOLOv2的扩展网络模型,以提高交通标志检测的性能。为了更有效地检测小目标,改进了YOLOv2的原始损失函数,并使用了标准化的边界框宽度和高度。在网络体系结构,使用初始模块来替换YOLOv2中的某些卷积层,并在第一层和第二层之间添加1×1×64的卷积层。在测试数据集上测试了所提出的模型,仿真结果表明,该模型优于其他预测检测算法,包括R-CNN、Fast R-CNN和YOLOv2。但是,所提算法仍有一些改进空间,该算法可实现精确实时的交通标志检测与识别,但没有采用跟踪算法,合适有效的跟踪算法能够有效减少系统的运行时间。接下来计划引入跟踪算法进行识别。并且,该方法仅限于德国交通标志识别研究,而国内交通标志与欧洲交通标志的特征存在明显差异,今后计划针对国内交通标志进行研究。

参考文献

[1] RedmonJ,[\s]{1}DivvalaS,[\s]{1}GirshickR,[\s]{1}et[\s]{1}al.[\s]{1}You[\s]{1}only[\s]{1}look[\s]{1}once:[\s]{1}unified,[\s]{1}real-time[\s]{1}object[\s]{1}detection[C]∥2016[\s]{1}IEEE[\s]{1}Conference[\s]{1}on[\s]{1}Computer[\s]{1}Vision[\s]{1}and[\s]{1}Pattern[\s]{1}Recognition(CVPR),[\s]{1}June[\s]{1}27-30,[\s]{1}2016,[\s]{1}Las[\s]{1}Vegas.[\s]{1}New[\s]{1}York:[\s]{1}IEEE,[\s]{1}2015:[\s]{1}779-[\s]{1}788.[\s]{1}

[2] 刘华平, 李建民, 胡晓林, 等. 动态场景下的交通标识检测与识别研究进展[J]. 中国图象图形学报, 2013, 18(5): 493-503.

Liu H P, Li J M, Hu X L, et al. Recent progress in detection and recognition of the traffic signs in dynamic scenes[J]. Journal of Image and Graphics, 2013, 18(5): 493-503.

[3] 高东东, 徐晓婷, 李博. 红外/白光混合补光系统在智能交通中的应用研究[J]. 红外与激光工程, 2018, 47(9): 0918006.

Gao D D, Xu X T, Li B. Research on application of infrared and white light mixed supplemental lighting system in intelligent transportation[J]. Infrared and Laser Engineering, 2018, 47(9): 0918006.

[4] 徐岩, 韦镇余. 一种改进的交通标志图像识别算法[J]. 激光与光电子学进展, 2017, 54(2): 021001.

Xu Y, Wei Z Y. An improved traffic sign image recognition algorithm[J]. Laser & Optoelectronics Progress, 2017, 54(2): 021001.

[5] YangY,[\s]{1}Wu[\s]{1}FC.[\s]{1}Real-time[\s]{1}traffic[\s]{1}sign[\s]{1}detection[\s]{1}via[\s]{1}color[\s]{1}probability[\s]{1}model[\s]{1}and[\s]{1}integral[\s]{1}channel[\s]{1}features[M][\s]{1}∥Li[\s]{1}S,[\s]{1}Liu[\s]{1}C,[\s]{1}Wang[\s]{1}Y.[\s]{1}Pattern[\s]{1}recognition.[\s]{1}CCPR[\s]{1}2014.[\s]{1}Communications[\s]{1}in[\s]{1}computer[\s]{1}and[\s]{1}information[\s]{1}science.[\s]{1}Berlin,[\s]{1}Heidelberg:[\s]{1}Springer,[\s]{1}2014,[\s]{1}484:[\s]{1}545-[\s]{1}554.[\s]{1}

[6] Wang G Y, Ren G H, Wu Z L, et al. A fast and robust ellipse-detection method based on sorted merging[J]. The Scientific World Journal, 2014, 2014: 481312.

[7] LiangM,[\s]{1}Yuan[\s]{1}MY,[\s]{1}Hu[\s]{1}XL,[\s]{1}et[\s]{1}al.[\s]{1}Traffic[\s]{1}sign[\s]{1}detection[\s]{1}by[\s]{1}ROI[\s]{1}extraction[\s]{1}and[\s]{1}histogram[\s]{1}features-based[\s]{1}recognition[C]∥The[\s]{1}2013[\s]{1}International[\s]{1}Joint[\s]{1}Conference[\s]{1}on[\s]{1}Neural[\s]{1}Networks[\s]{1}(IJCNN),[\s]{1}August[\s]{1}4-9,[\s]{1}2013,[\s]{1}Dallas,[\s]{1}TX,[\s]{1}USA.[\s]{1}New[\s]{1}York:[\s]{1}IEEE,[\s]{1}2013:[\s]{1}6706810.[\s]{1}

[8] Wang[\s]{1}GY,[\s]{1}Ren[\s]{1}GH,[\s]{1}Wu[\s]{1}ZL,[\s]{1}et[\s]{1}al.[\s]{1}A[\s]{1}hierarchical[\s]{1}method[\s]{1}for[\s]{1}traffic[\s]{1}sign[\s]{1}classification[\s]{1}with[\s]{1}support[\s]{1}vector[\s]{1}machines[C]∥The[\s]{1}2013[\s]{1}International[\s]{1}Joint[\s]{1}Conference[\s]{1}on[\s]{1}Neural[\s]{1}Networks[\s]{1}(IJCNN),[\s]{1}August[\s]{1}4-9,[\s]{1}2013,[\s]{1}Dallas,[\s]{1}TX,[\s]{1}USA.[\s]{1}New[\s]{1}York:[\s]{1}IEEE,[\s]{1}2013:[\s]{1}6706803.[\s]{1}

[9] Xiao[\s]{1}ZT,[\s]{1}Yang[\s]{1}ZJ,[\s]{1}GengL,[\s]{1}et[\s]{1}al.[\s]{1}Traffic[\s]{1}sign[\s]{1}detection[\s]{1}based[\s]{1}on[\s]{1}histograms[\s]{1}of[\s]{1}oriented[\s]{1}gradients[\s]{1}and[\s]{1}boolean[\s]{1}convolutional[\s]{1}neural[\s]{1}networks[C]∥2017[\s]{1}International[\s]{1}Conference[\s]{1}on[\s]{1}Machine[\s]{1}Vision[\s]{1}and[\s]{1}Information[\s]{1}Technology[\s]{1}(CMVIT),[\s]{1}February[\s]{1}17-19,[\s]{1}2017,[\s]{1}Singapore.[\s]{1}New[\s]{1}York:[\s]{1}IEEE,[\s]{1}2017:[\s]{1}111-[\s]{1}115.[\s]{1}

[10] GirshickR,[\s]{1}DonahueJ,[\s]{1}DarrellT,[\s]{1}et[\s]{1}al.[\s]{1}Rich[\s]{1}feature[\s]{1}hierarchies[\s]{1}for[\s]{1}accurate[\s]{1}object[\s]{1}detection[\s]{1}and[\s]{1}semantic[\s]{1}segmentation[C]∥2014[\s]{1}IEEE[\s]{1}Conference[\s]{1}on[\s]{1}Computer[\s]{1}Vision[\s]{1}and[\s]{1}Pattern[\s]{1}Recognition,[\s]{1}June[\s]{1}23-28,[\s]{1}2014,[\s]{1}Columbus,[\s]{1}OH,[\s]{1}USA.[\s]{1}New[\s]{1}York:[\s]{1}IEEE,[\s]{1}2014:[\s]{1}580-[\s]{1}587.[\s]{1}

[11] He K M, Zhang X Y, Ren S Q, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904-1916.

[12] GirshickR.[\s]{1}Fast[\s]{1}R-CNN[C]∥2015[\s]{1}IEEE[\s]{1}International[\s]{1}Conference[\s]{1}on[\s]{1}Computer[\s]{1}Vision[\s]{1}(ICCV),[\s]{1}December[\s]{1}7-13,[\s]{1}2015,[\s]{1}Santiago,[\s]{1}Chile.[\s]{1}New[\s]{1}York:[\s]{1}IEEE,[\s]{1}2015:[\s]{1}1440-[\s]{1}1448.[\s]{1}

[13] Ren S Q, He K M, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.

[14] RedmonJ,[\s]{1}FarhadiA.[\s]{1}YOLO9000:[\s]{1}better,[\s]{1}faster,[\s]{1}stronger[C]∥2017[\s]{1}IEEE[\s]{1}Conference[\s]{1}on[\s]{1}Computer[\s]{1}Vision[\s]{1}and[\s]{1}Pattern[\s]{1}Recognition[\s]{1}(CVPR),[\s]{1}July[\s]{1}21-26,[\s]{1}2017,[\s]{1}Honolulu,[\s]{1}HI,[\s]{1}USA.[\s]{1}New[\s]{1}York:[\s]{1}IEEE,[\s]{1}2017:[\s]{1}17355115.[\s]{1}

[15] LiuW,[\s]{1}AnguelovD,[\s]{1}ErhanD,[\s]{1}et[\s]{1}al.[\s]{1}SSD:[\s]{1}single[\s]{1}shot[\s]{1}MultiBox[\s]{1}detector[M][\s]{1}∥Leibe[\s]{1}B,[\s]{1}Matas[\s]{1}J,[\s]{1}Sebe[\s]{1}N,[\s]{1}et[\s]{1}al.[\s]{1}Computer[\s]{1}vision-ECCV[\s]{1}2016.[\s]{1}Lecture[\s]{1}notes[\s]{1}in[\s]{1}computer[\s]{1}science.[\s]{1}Cham:[\s]{1}Springer,[\s]{1}2016,[\s]{1}9905:[\s]{1}21-[\s]{1}37.[\s]{1}

[16] Chang X J, Ma Z G, Yang Y, et al. Bi-level semantic representation analysis for multimedia event detection[J]. IEEE Transactions on Cybernetics, 2017, 47(5): 1180-1197.

[17] Chang X J, Yu Y L, Yang Y, et al. Semantic pooling for complex event analysis in untrimmed videos[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(8): 1617-1632.

[18] Chang X J, Yang Y. Semisupervised feature analysis by mining correlations among multiple tasks[J]. IEEE Transactions on Neural Networks and Learning Systems, 2017, 28(10): 2294-2305.

[19] Kuang P, Ma T S, Li F, et al. Real-time pedestrian detection using convolutional neural networks[J]. International Journal of Pattern Recognition and Artificial Intelligence, 2018, 32(11): 1856014.

[20] 谢一德.[\s]{1}基于深度卷积神经网络和图像传感器的道路多目标检测研究[D].[\s]{1}北京:[\s]{1}北京交通大学,[\s]{1}2018:[\s]{1}72-[\s]{1}85.[\s]{1}

Xie[\s]{1}YD.[\s]{1}Study[\s]{1}on[\s]{1}multi-target[\s]{1}detection[\s]{1}based[\s]{1}on[\s]{1}deep[\s]{1}convolution[\s]{1}neural[\s]{1}network[\s]{1}and[\s]{1}image[\s]{1}sensor[D].[\s]{1}Beijing:[\s]{1}Beijing[\s]{1}Jiaotong[\s]{1}University,[\s]{1}2018:[\s]{1}72-[\s]{1}85

[21] 张淑芳, 朱彤. 一种基于HDR技术的交通标志牌检测和识别方法[J]. 激光与光电子学进展, 2018, 55(9): 091006.

Zhang S F, Zhu T. A method of traffic sign detection and recognition based on HDR technology[J]. Laser & Optoelectronics Progress, 2018, 55(9): 091006.

[22] 马永杰, 李雪燕, 宋晓凤. 基于改进深度卷积神经网络的交通标志识别[J]. 激光与光电子学进展, 2018, 55(12): 121009.

Ma Y J, Li X Y, Song X F. Traffic sign recognition based on improved deep convolution neural network[J]. Laser & Optoelectronics Progress, 2018, 55(12): 121009.

童英, 杨会成. 基于改进神经网络的交通标志识别[J]. 激光与光电子学进展, 2019, 56(19): 191002. Ying Tong, Huicheng Yang. Traffic Sign Recognition Based on Improved Neural Networks[J]. Laser & Optoelectronics Progress, 2019, 56(19): 191002.

基于改进神经网络的交通标志识别 下载： 1106次

1 引言

2 相关工作

3 本文方法

图 1. YOLOv2算法流程图

Fig. 1. Flow chart of YOLOv2 algorithm

图 2. YOLOv2网络结构图

Fig. 2. YOLOv2 network structure

3.1 网络设计

3.2 损失函数的优化

图 3. 初始模块。(a)模块A;(b)模块B

Fig. 3. Inception modules. (a) Module A; (b) module B

图 4. NYOLOv2结构图

Fig. 4. NYOLOv2 structural diagram

4 仿真设置及结果分析

图 5. 交通标志的三个超分类示例。(a)指示;(b)禁止;(c)警告

Fig. 5. Three super classification examples of traffic signs. (a) Mandatory; (b) prohibitory; (c) danger

4.1 训练过程

表 1. 不同时间阈值下的精确度和召回率数值

Table 1. Precisions and recall rate values at different time thresholds

4.2 构架分析

表 2. 不同构架性能比较

Table 2. Comparison of different architecture performances

4.3 损失函数结果分析

图 6. 损失函数曲线的对比

Fig. 6. Comparison of loss function curves

图 7. 使用YOLOv2的损失函数检测示例

Fig. 7. Examples of detecting the loss function using YOLOv2

图 8. 使用NYOLOv2的损失函数检测示例

Fig. 8. Examples of detecting the loss function using NYOLOv2

4.4 评估结果对比分析

表 3. 三种方法分类结果比较

Table 3. Comparison of classification results of three methods

图 9. 三个超分类的PR曲线图。(a) 指示;(b)禁止;(c)警告

Fig. 9. PR curves of three super categories. (a) Mandatory; (b) prohibitory; (c) danger

表 4. 不同方法的处理时间及性能对比

Table 4. Comparison of processing time and performance of different methods

表 5. 不同方法的AUC值和处理时间

Table 5. AUC values and processing time for different methods

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于改进神经网络的交通标志识别下载： 1106次