飞机目标分类的深度卷积神经网络设计优化

马俊成; 赵红东; 杨东旭; 康晴

doi:doi:10.3788/LOP56.231006

激光与光电子学进展, 2019, 56 (23): 231006, 网络出版: 2019-11-27

飞机目标分类的深度卷积神经网络设计优化下载： 1185次

Design and Optimization of Deep Convolutional Neural Network for Aircraft Target Classification

论文大纲

马俊成赵红东 ^*杨东旭康晴

作者单位

河北工业大学电子信息工程学院, 天津 300401

AI 词云图 AI语音精读 AI语音超短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

针对使用传统方法和神经网络对飞机目标分类时遇到的准确率低、分类种类少等问题,研究了深度卷积神经网络(DCNN)在飞机目标分类中的可行性。为了匹配模型容量、避免过拟合、提高分类性能等,设计了9层DCNN模型,并使用随机梯度下降优化器进行优化。在数据集中选用6类具有代表性的飞机类型进行实验,提出两种正则化级联方式以防止过拟合并加快模型收敛,最终实现了99.1%的飞机分类准确率,由此说明该DCNN模型在飞机目标分类中的有效性。通过归一化混淆矩阵分析分类结果,给出了每类飞机自分类的准确率。此外,设计了一组对比实验,用经典的AlexNet在同一数据集上进行测试,结果表明,所设计的DCNN的准确率高于AlexNet分类算法95.5%。该模型有效地解决了飞机目标分类精度低的问题,在**和民航飞机目标的分类研究中具有一定的参考价值和应用前景。

Abstract

Aim

ing at the problems of low classification accuracy and less classification types in the classification for aircraft targets by using conventional methods and neural networks, the feasibility of deep convolutional neural network (DCNN) models is studied. To match model capacity, avoid overfitting, and improve classification performance, a nine-layer DCNN model is designed and optimized with stochastic gradient descent optimizer. Six representative types of aircrafts are selected in the dataset, and two regularization cascade methods are proposed to prevent overfitting and speed up the model convergence. Finally, an aircraft classification accuracy of 99.1% is achieved, which demonstrates the effectiveness of the DCNN model in aircraft target classification. By analyzing the classification results of the normalized confusion matrix, the accuracy of the self-classification of each type of aircraft is given. In addition, a group of comparative experiments are designed to test the same dataset with the classic AlexNet. The results show that the proposed DCNN model is superior to the AlexNet classification algorithm with an accuracy improvement of 95.5%. This model effectively solves the problem of low accuracy in aircraft target classification at present and proves that the DCNN model has certain reference values and application prospects in the classification research of military and civil aviation aircraft targets.

1 引言

飞机分类作为目标分类^[1]的重要部分,在现代化高技术战争的空中侦察和区分敌我身份等方面都有着重要的应用。特别是随着图像处理和人工智能^[2-3]的迅速发展,飞机分类系统成为未来**化系统的重要组成部分,而飞机分类的准确率一直是影响该技术应用的重要因素。因此,如何充分利用已有信息设计出更加精准的飞机分类系统,实现较高的飞机分类准确率,是当前该领域的重点研究方向^[4-5]。

目前应用于飞机目标的分类方法,大多数都基于传统机器学习和经典卷积神经网络^[6],极少使用深度卷积神经网络(DCNN)。常见的支持向量机(SVM)^[7]目标分类算法的飞机识别准确率达91.29%^[8],后向传播(BP)神经网络^[9]的识别准确率为87.6%^[8]。有研究将传统神经网络与人工神经网络(ANN)分类器相结合,在对5类飞机进行分类时,精度达到94.17%^[10]。此外,使用经典卷积神经网络LeNet-5实现的飞机识别精度为88.7%^[11],使用DCNN可将285张飞机图片分成3类,精度达到94.39%^[12],但分类类别较少,且分类性能也有待提高。

针对目前飞机分类算法的研究现状,本文自行设计了一种DCNN模型,对6类具有广泛代表性的飞机目标进行分类研究。通过设计DCNN模型,分析了不同模型结构对飞机目标分类效果的影响,并选取最优的结构搭建模型。通过设置神经网络结构、调整网络参数,对6种类型的飞机目标样本集进行分类实验,验证了所设计的DCNN网络在飞机目标分类中的可行性。实验中较高的准确率和较快的收敛速度表明,所设计的DCNN飞机分类模型能准确识别样本库中的机型,在未来的**研究中有一定的参考价值和应用前景。

2 深度卷积神经网络

DCNN涉及的结构和方法非常多,但不同的结构设计和方法选择会影响飞机目标分类的效果,因此着重介绍所涉及的方法和结构。

2.1 卷积神经网络基本原理

卷积的作用是进行特征提取,每个卷积核都能与输入图像进行卷积运算^[13],产生新的特征图。卷积层的数目决定了模型的容量,需要适当的设计才能有效地避免过拟合或者欠拟合。卷积计算可以表示为

\begin{matrix} m (i, j) = \sum_{u} \sum_{v} I (i - u, j - v) \times K (u, v), (1) \end{matrix}

式中:m是卷积输出特征图;K是卷积核;I是输入图像。

池化层^[14]相当于对图像进行下采样,能够减少数据空间,同时不改变重要特征的相对位置,使特征具有旋转、平移不变性。相应的池化方式有两种:最大值池化和平均值池化。其中:最大值池化是把n×n区域内的最大值作为输出,表达式为

\begin{matrix} o = \max_{i, j \in [1, n]} [m (i, j)]; (2) \end{matrix}

平均值池化是取n×n区域内的平均值作为输出,表达式为

\begin{matrix} o = \frac{1}{n \times n} \overset{n}{\sum_{i = 1}} \overset{n}{\sum_{j = 1}} [m (i, j)] 。 (3) \end{matrix}

全连接层将学习的特征图映射到样本空间进行特征组合与推断,并将多次卷积操作后的特征进行整合归一化,最后传入分类器中,以利于特征分类^[15]。

分类器是分类识别的一个关键因素。Softmax分类器是logistic回归模型在多分类问题上的推广,实质上是将一个n维的任意实数向量压缩(映射)成另一个n维的实数向量,表达式为

\begin{matrix} σ (z_{j}) = \frac{\exp z_{j}}{\overset{K}{\sum_{k = 1}} \exp z_{k}}, (4) \end{matrix}

式中:K为类别数;z_j为K维向量的第j维分量。

2.2 激活函数

实验中选取修正线性单元ReLU作为神经元的激活函数^[16-17],它定义了该神经元在线性变换Y=ω^TX+b之后的非线性输出结果,计算公式为

\begin{matrix} ReLU (x) = \{\begin{matrix} x, & ifx > 0 \\ 0, & ifx \leq 0 \end{matrix} 。 (5) \end{matrix}

ReLU层对输入内容的所有值都应用了函数f(x)=max(0,x),把所有负激活都变为0,正值不变。与其他激活函数相比,这种单侧抑制的特性使得神经网络中的神经元具有稀疏激活性,使得模型的收敛速度能够维持在一个稳定状态,故选用ReLU作为各种DCNN网络的激活函数。

2.3 Batch Normalization层

常见的归一化方法会影响上层网络所学习到的特征,Batch Normalization(BN)层在归一化的基础上对数据进行了变换重构,重构公式为

\begin{matrix} o_{i} = γ_{i} \cdot {\hat{x}}_{i} + β_{i}, (6) \end{matrix}

式中:γ和β是每一个神经元x_i都有的一对可学习重构参数; $\begin{matrix} \hat{x} \end{matrix}$ 可表示为

\begin{matrix} \hat{x} = \frac{x_{i} - μ}{\sqrt[]{σ^{2} + ε}}, (7) \end{matrix}

其中ε是一个无穷小数,用来防止数据计算中的非法操作;μ、σ₂分别是x_i的数学期望和方差,表达式为

\begin{matrix} \begin{matrix} μ = \frac{1}{n} \overset{n}{\sum_{i = 1}} x_{i}, (8) \\ σ^{2} = \frac{1}{n} \overset{n}{\sum_{i = 1}} (x_{i} {- μ)}^{2} 。 (9) \end{matrix} \end{matrix}

BN层作为正则化的一种形式,具有提高网络泛化能力的特性,减少了对初始化的依赖,可以把训练数据彻底打乱,而且不需要使用局部响应归一化层。

3 数据集

3.1 数据集简介

实验样本选取公用数据集FGVC-Aircraft中的RGB图像,包含民航客机Boeing系列、通用飞机Cessna172、战斗机F/A18、武装直升机AH-64、运输机C-130、无人机MQ-9,这6类飞机中包含了民用、军用和通用飞机,涉及的飞机用途广泛,兼容性强。此外,图像样本既包含了空中处于飞行状态的飞机图像,又包含了地面处于停泊状态的飞机图像,具有一定的推广性和实用价值,图像样本如图1所示。

为了保证实验结果的可靠性,根据实验的需要,按飞机型号建立标签,并使用爬虫技术从网络上爬取图片以扩充数据集。各型号飞机的真实尺寸如表1所示。对所有图像均进行归一化操作,使得每一类飞机图像的尺寸均为224 pixel×224 pixel。

图 1. 使用的6种类型的飞机目标。(a) Boeing;(b) Cessna172;(c) F/A18;(d) AH-64;(e) C-130;(f) MQ-9

Fig. 1. Six types of aircraft targets are used. (a) Boeing; (b) Cessna172; (c) F/A18; (d) AH-64; (e) C-130; (f) MQ-9

下载图片查看所有图片

表 1. 飞机型号参数列表

Table 1. List of aircraft model parameters

Aircraft type	Length /m	Height /m	Wing span range /m
Boeing	46.61	12.92	44.42
Cessna172	8.28	2.72	11.00
F/A18	17.10	4.70	11.43
AH-64	17.73	3.87	14.63
C-130	29.79	11.66	40.41
MQ-9	11.00	3.80	20.00

查看所有表

图 2. 飞机镜像操作效果图

Fig. 2. Effect of aircraft mirroring operation

下载图片查看所有图片

3.2 数据集扩增

由于每类飞机的初始样本数据量较少,因此选择镜像变换和旋转等操作对样本进行扩充。因为每一张飞机图片经过归一化操作后的尺寸相同,所以对图像进行上述扩增操作时,都是对RGB三个颜色通道中的二维图像进行相同操作,故先对每幅图分别进行左右镜像操作,效果图如图2所示,再对每一张RGB飞机图片进行45°和315°的旋转操作来扩充数据集,效果图如图3所示。

图 3. 飞机旋转操作效果图

Fig. 3. Effect of aircraft rotation operation

下载图片查看所有图片

4 实验过程与结果

4.1 模型设计及搭建

实验中网络模型的设计及参数选择均是在Window 10系统下通过搭建Keras框架来进行训练的,利用NVIDIA GeForce GTX 1060加速训练网络。

实验中,首先对卷积层数进行选取。在卷积层、池化层、全连接层堆叠的模型中分别搭建了卷积核为5×5的不同卷积层数(4,5,6,7层)的网络结构,并对基于不同卷积层数的网络进行了三组(No.1~No.3)实验,实验结果的分类性能和损失性能如表2所示。

从表2可知,在4层卷积层下,模型的容量小,拟合数据的能力不够,容易发生欠拟合;在6、7层卷积层下,模型容量较大,容易发生过拟合;当建立5层卷积层时,模型容量对数据的拟合程度最好,得到的准确率最高。因此,后续的结构设计均是在5层卷积层的基础上进行设计和优化的。

表 2. 不同卷积层数网络的分类性能和损失性能

Table 2. Classification and loss performances of networks with different number of convolutional layers

Number ofconvolutional layers	Classification accuracy			Loss
Number ofconvolutional layers	No. 1	No. 2	No. 3	No. 1	No. 2	No. 3
Four	0.889	0.891	0.910	0.49	0.80	0.55
Five	0.893	0.895	0.915	0.51	0.66	0.58
Six	0.877	0.869	0.884	0.83	0.84	0.82
Seven	0.858	0.859	0.870	1.38	1.84	1.30

查看所有表

在5层卷积层的基础上,分别用最大值池化方式和平均值池化方式搭建网络,以选取最佳的池化方式。实验结果中不同池化方式的分类性能和损失性能如表3所示。

表 3. 不同池化方式的分类性能和损失性能

Table 3. Classification and loss performances for different pooling methods

Method of pooling	Classification accuracy	Loss
Max-pooling	0.907	0.65
Average-pooling	0.843	1.25

查看所有表

从表3可以看出,采用最大值池化的分类准确率为90.7%,效果明显优于采用平均值池化的方式。因此,池化层选用最大值池化方式。

全连接层将池化层下采样获得的特征图映射到样本空间,将具有类别区分性的局部信息组合分类,在这一层后,神经元被压平,最终形成13824个神经元。在全连接层中,隐藏层的层数分别设置为两层或三层,每层中包含的神经元数量选取512个或1024个,分别进行实验,以选取最佳的隐藏层数和神经元数量。如表4所示,具有三层隐藏层且神经元数分别为1024,1024,512的网络结构实现的准确率最高,为97.8%。

表 4. 全连接层中神经元数量和隐藏层数的分类性能和损失性能

Table 4. Classification and loss performances for the numbers of neurons and hidden layers in fully connected layer

Numbers of hiddenlayers and neurons	Classificationaccuracy	Loss
Two (1024+1024)	0.965	0.15
Two (1024+512)	0.941	0.24
Three (1024+1024+1024)	0.972	0.12
Three (1024+1024+512)	0.978	0.15

查看所有表

综上所述,所设计的深度卷积神经网络结构如图4所示。

图 4. 所设计的深度卷积神经网络结构图

Fig. 4. Structure of proposed deep convolutional neural network

下载图片查看所有图片

4.2 参数选择与优化

对Softmax分类器中损失函数的选择进行探究,分别将交叉熵损失函数(cross-entropy-loss)、均方误差损失函数(mean-square-error-loss)和铰链损失函数(hinge-loss)应用于DCNN模型,各网络的性能如图5所示。

图 5. 采用不同损失函数的DCNN性能随训练变化的曲线。(a)训练准确率;(b)验证准确率;(c)训练损失;(d)验证损失

Fig. 5. Curves of DCNN training performance by adopting different loss functions. (a) Train accuracy; (b) verification accuracy; (c) train loss; (d) verification loss

下载图片查看所有图片

由图5可以看出,使用铰链损失函数的模型准确率和损失值均差于另外两种损失函数;使用交叉熵损失函数的模型在验证集中损失值的变化曲线出现了明显的反复和波动,模型的性能低于使用均方误差损失函数的模型;使用均方误差损失函数的DCNN模型数据拟合良好。基于均方误差损失函数的DCNN模型的最高测试精度为97.1%,比基于交叉熵和铰链损失函数的模型分别提高了3.1%和5.2%,且模型损失稳定在0.01~0.02,说明均方误差损失函数能够提高DCNN模型的拟合效果和准确性。

为了能够在复杂环境背景干扰下改善飞机类型的分类识别效果,接着进行了优化器的选择。如表5所示,模型分别选用4种优化器,即SGD、Adadelta、RMSprop和Adam。可以看出,基于SGD分类器的分类准确率最高,为97.8%,远高于其余三种分类器。因此,选用SGD作为模型的优化器。

表 5. 采用不同优化器的分类性能

Table 5. Classification performances of different optimizers

Optimizer	Classification accuracy
SGD	0.978
Adadelta	0.594
RMSprop	0.349
Adam	0.173

查看所有表

神经网络搭建过程经常会出现对图像特征的过度“学习”现象,即过拟合问题。常见的避免过拟合的方式是采用单一的正则化方式,如dropout、batch normalization等。为了更好地避免模型出现过拟合现象,将不同的正则化方式进行对比(图6),最终采用两种正则化级联的方式进行改善。

从图6的训练损失值和验证损失值的差值可以看出,单独使用任意一种正则化方式均不能很好地解决模型过拟合的问题。使用两种正则化级联的方式既减小了由数据量不足导致的过拟合,又加快了模型的收敛速度。从表6可以看出,采用级联方式减少过拟合的方法所实现的分类性能最优,分类准确率达到了99.1%。

图 6. 训练集损失和验证集损失对比。(a)添加BN层;(b) dropout为0.5;(c) dropout为0.5,并添加BN层

Fig. 6. Comparison between train_loss and val_loss. (a) Adding BN layers; (b) dropout is 0.5; (c) dropout is 0.5, and BN layers are added

下载图片查看所有图片

由提出的DCNN方法得到的测试数据的归一化混淆矩阵如图7所示,该图可以说明每类飞机的分类结果。横、纵坐标分别是6类飞机:AH-64、Boeing、C-130、Cessna 172、F/A18、MQ-9,每个数值表示对应类别飞机的分类准确率。从归一化混淆矩阵可以看出,Boeing和MQ-9的分类准确率达到100%,即分类全部正确,而AH-64的自分类准确率为98%,有1%被误分为C-130,1%被误分为F/A18;C-130和Cessna 172的自分类准确率为99%,1%被误分为Boeing。模型中的主要错误分类是F/A18,有2%的概率被误认为是Boeing。这是可以理解的,因为这两类飞机的机身形状极其相似。总的来看,所设计的DCNN模型在整体准确率达到99.1%的同时,对每种机型的自分类准确率也较高。

表 6. 三种减少过拟合方法的分类性能

Table 6. Classification performances of three methods to reduce overfitting

Method	Classification accuracy
BN layer	0.936
Dropout is 0.5	0.912
BN layer,and dropout is 0.5	0.991

查看所有表

图 7. 飞机分类DCNN结构的归一化混淆矩阵

Fig. 7. Normalized confusion matrix of the proposed DCNN architecture for aircraft classification

下载图片查看所有图片

此外,又进行了一组对比实验,将2012年提出的经典DCNN模型——AlexNet应用在同一批数据集上,最终获得了95.5%的准确率,该模型稍逊于所搭建的深度卷积神经网络,二者的对比结果如表7所示。

表 7. 不同方法的识别效果对比

Table 7. Comparison of different methods

Method	Classification accuracy
AlexNet	0.955
Proposed DCNN	0.991

查看所有表

AlexNet适用于识别ImageNet大规模数据集,神经元数量过多,参数量庞大,其网络结构在飞机目标分类问题研究中效果欠佳。而所提出的DCNN模型是在详细搭建网络结构并逐步改进网络参数和优化网络效果基础上设计的,因此能够实现较高的准确率。

5 结论

主要研究了基于深度卷积神经网络的飞机目标分类算法,实现了较高的分类精度。通过设计网络模型、优化参数等方法,设计了一种针对飞机目标的分类模型,并进行了一系列研究:1)根据图像数据的大小匹配出最佳的模型容量,通过比较发现搭建5层的卷积层能最优地提取图像特征,获得最优的分类性能;2)对比了不同池化方式对分类性能的影响,发现最大值池化方式在分类准确率和损失率上均优于平均值池化方式;3)探究了全连接层中隐藏层数和神经元数对分类性能的影响,在前述结构的基础上,分别搭建两层或三层隐藏层,每层中神经元数量选取512或1024来进行对比实验,发现具有三层隐藏层且神经元数分别为1024,1024,512的模型最优;4)分析了不同的损失函数和优化器对模型性能的影响,确定均方误差损失函数和SGD优化器实现的分类效果最优;5)研究了三种减少过拟合方法的性能,发现采用两种正则化级联的方式,即BN layer和Dropout为0.5的级联方式,既防止了过拟合又加快了模型收敛速度。最终,基于上述过程搭建的飞机分类模型准确率达到了99.1%。此外,采用归一化混淆矩阵分析了分类结果,并为下一步减小错误率提出了合理建议。

在上述研究基础上,还进行了一组对比实验,将所运用的数据集输入到经典卷积神经网络AlexNet中,获得的准确率为95.5%,低于所建模型99.1%的分类准确率。由此可见,所搭建的9层DCNN分类模型在飞机目标分类方面具有可行性,且效果尚佳,识别的飞机用途广泛且兼容性强,既包括空中处于飞行状态的飞机,又包括地面处于停泊状态的飞机,而且实现的分类精度也较高,有效地提升了飞机目标的分类能力,对以后研究飞机目标分类问题具有一定的参考价值。如何在更多飞机分类的情况下保持模型较高的分类精度是下一步的研究方向。

参考文献

[1] 陈洋, 范荣双, 王竞雪, 等. 基于深度学习的资源三号卫星遥感影像云检测方法[J]. 光学学报, 2018, 38(1): 0128005.

Chen Y, Fan R S, Wang J X, et al. Cloud detection of ZY-3 satellite remote sensing images based on deep learning[J]. Acta Optica Sinica, 2018, 38(1): 0128005.

[2] 闫苗, 赵红东, 李宇海, 等. 基于卷积神经网络的高光谱遥感地物多分类识别[J]. 激光与光电子学进展, 2019, 56(2): 021702.

Yan M, Zhao H D, Li Y H, et al. Multi-classification and recognition of hyperspectral remote sensing objects based on convolutional neural network[J]. Laser & Optoelectronics Progress, 2019, 56(2): 021702.

[3] 何少林, 徐京华, 张帅毅. 面向对象的多尺度无人机影像土地利用信息提取[J]. 国土资源遥感, 2013, 25(2): 107-112.

He S L, Xu J H, Zhang S Y. Land use classification of object-oriented multi-scale by UAV image[J]. Remote Sensing for Land & Resources, 2013, 25(2): 107-112.

[4] 张洁, 赵红东, 李宇海, 等. 复杂背景下车型识别分类器[J]. 激光与光电子学进展, 2019, 56(4): 041501.

Zhang J, Zhao H D, Li Y H, et al. Classifier for recognition of fine-grained vehicle models under complex background[J]. Laser & Optoelectronics Progress, 2019, 56(4): 041501.

[5] 李佳妮, 张宝华. 特征匹配融合结合改进卷积神经网络的人脸识别[J]. 激光与光电子学进展, 2018, 55(10): 101504.

Li J N, Zhang B H. Face recognition by feature matching fusion combined with improved convolutional neural network[J]. Laser & Optoelectronics Progress, 2018, 55(10): 101504.

[6] Rumelhart D E, Hinton G E, Williams R J. Learning representations by back-propagating errors[J]. Nature, 1986, 323(6088): 533-536.

[7] 战国科, 夏哲雷. 基于支持向量机的飞机图像识别算法[J]. 现代电子技术, 2007, 30(21): 127-129.

Zhan G K, Xia Z L. Plane image recognition based on support vector machine[J]. Modern Electronics Technique, 2007, 30(21): 127-129.

[8] 田瑞娟, 杨帆. 基于空中目标识别的特征提取与选择[J]. 兵工自动化, 2014, 33(3): 80-83.

Tian R J, Yang F. Features extraction and selection of air target recognitions[J]. Ordnance Industry Automation, 2014, 33(3): 80-83.

[9] Yao HQ, Jiang Y L. Based on the genetic algorithm to optimize the BP neural network in the degree of concrete creep prediction model[J]. Applied Mechanics and Materials, 2014, 584/585/586: 1346- 1350.

[10] 唐小佩, 杨小冈, 刘云峰, 等. 基于深度卷积神经网络的飞机识别研究[J]. 电光与控制, 2018, 25(5): 68-72.

Tang X P, Yang X G, Liu Y F, et al. Aircraft recognition based on deep convolutional neural network[J]. Electronics Optics & Control, 2018, 25(5): 68-72.

[11] LeCun Y, Bottou L, Bengio Y, et al. . Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.

[12] 欧阳瑞麒, 雍杨, 王兵学. 卷积神经网络在飞机类型识别中的应用[J]. 兵工自动化, 2017, 36(12): 71-75.

Ouyang R Q, Yong Y, Wang B X. Application of convolution neural network in aircraft type recognition[J]. Ordnance Industry Automation, 2017, 36(12): 71-75.

[13] 袁丽莎, 娄梦莹, 刘娅琴, 等. 结合深度神经网络和随机森林的手掌静脉分类[J]. 激光与光电子学进展, 2019, 56(10): 101010.

Yuan L S, Lou M Y, Liu Y Q, et al. Palm vein classification based on deep neural network and random forest[J]. Laser & Optoelectronics Progress, 2019, 56(10): 101010.

[14] LeCun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436-444.

[15] Schmidhuber J. Deep learning in neural networks: an overview[J]. Neural Networks, 2015, 61: 85-117.

[16] 郑泽宇, 顾思宇. TensorFlow: 实战Google深度学习框架[M]. 北京: 电子工业出版社, 2017.

Zheng ZY, Gu SY. TensorFlow: Google deep learning framework in action[M]. Beijing: Publishing House of Electronics Industry, 2017.

[17] 刘庆, 唐贤伦, 张娜. 基于非监督预训练的结构优化卷积神经网络[J]. 工程科学与技术, 2017, 49(s2): 210-215.

Liu Q, Tang X L, Zhang N. Structure optimized convolutional neural network based on unsupervised pre-training[J]. Advanced Engineering Sciences, 2017, 49(s2): 210-215.

2.3 Batch Normalization层

马俊成, 赵红东, 杨东旭, 康晴. 飞机目标分类的深度卷积神经网络设计优化[J]. 激光与光电子学进展, 2019, 56(23): 231006. Juncheng Ma, Hongdong Zhao, Dongxu Yang, Qing Kang. Design and Optimization of Deep Convolutional Neural Network for Aircraft Target Classification[J]. Laser & Optoelectronics Progress, 2019, 56(23): 231006.

飞机目标分类的深度卷积神经网络设计优化 下载： 1185次

1 引言

2 深度卷积神经网络

2.1 卷积神经网络基本原理

2.2 激活函数

2.3 Batch Normalization层

3 数据集

3.1 数据集简介

图 1. 使用的6种类型的飞机目标。(a) Boeing;(b) Cessna172;(c) F/A18;(d) AH-64;(e) C-130;(f) MQ-9

Fig. 1. Six types of aircraft targets are used. (a) Boeing; (b) Cessna172; (c) F/A18; (d) AH-64; (e) C-130; (f) MQ-9

表 1. 飞机型号参数列表

Table 1. List of aircraft model parameters

图 2. 飞机镜像操作效果图

Fig. 2. Effect of aircraft mirroring operation

3.2 数据集扩增

图 3. 飞机旋转操作效果图

Fig. 3. Effect of aircraft rotation operation

4 实验过程与结果

4.1 模型设计及搭建

表 2. 不同卷积层数网络的分类性能和损失性能

Table 2. Classification and loss performances of networks with different number of convolutional layers

表 3. 不同池化方式的分类性能和损失性能

Table 3. Classification and loss performances for different pooling methods

表 4. 全连接层中神经元数量和隐藏层数的分类性能和损失性能

Table 4. Classification and loss performances for the numbers of neurons and hidden layers in fully connected layer

图 4. 所设计的深度卷积神经网络结构图

Fig. 4. Structure of proposed deep convolutional neural network

4.2 参数选择与优化

图 5. 采用不同损失函数的DCNN性能随训练变化的曲线。(a)训练准确率;(b)验证准确率;(c)训练损失;(d)验证损失

Fig. 5. Curves of DCNN training performance by adopting different loss functions. (a) Train accuracy; (b) verification accuracy; (c) train loss; (d) verification loss

表 5. 采用不同优化器的分类性能

Table 5. Classification performances of different optimizers

图 6. 训练集损失和验证集损失对比。(a)添加BN层;(b) dropout为0.5;(c) dropout为0.5,并添加BN层

Fig. 6. Comparison between train_loss and val_loss. (a) Adding BN layers; (b) dropout is 0.5; (c) dropout is 0.5, and BN layers are added

表 6. 三种减少过拟合方法的分类性能

Table 6. Classification performances of three methods to reduce overfitting

图 7. 飞机分类DCNN结构的归一化混淆矩阵

Fig. 7. Normalized confusion matrix of the proposed DCNN architecture for aircraft classification

表 7. 不同方法的识别效果对比

Table 7. Comparison of different methods

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

飞机目标分类的深度卷积神经网络设计优化下载： 1185次