基于多尺度卷积特征融合的台风等级分类模型 下载: 909次
1 引言
近年来,在以全球变暖为主要特征的气候变化背景下,极端气象灾害的发生频次和破坏程度明显上升,其中台风对我国沿海地区构成的威胁尤为明显。红外卫星云图作为近年来台风研究的主要数据来源,可通过提取重要特征来实现台风等级的快速分类。卫星云图在台风发生、发展、成熟、消亡的过程中表现出多种特征,如纹理、形状等,因此云图分类过程中存在着类间间距相对较小、类内间距相对较大、涡旋结构变化细微以及噪声干扰等问题。然而,传统的特征提取过程繁琐且特征深度不够,不能较好地为分类提供高层语义特征。
近期,深度学习在图像识别、音频识别等计算机应用领域得到广泛应用[1-3]。卷积神经网络(CNN)作为一种典型的深度学习算法,能够以端到端的学习方式逐层对输入的图像进行高层次、抽象化的特征提取,在图像分类上取得了不错的效果[4-5]。但对于复杂且需要感知局部细微变化的数据集,网络提取的单一尺度特征不能表征图像的多尺度特征[6-7]。文献[ 8]中利用两个卷积层增加模型的非线性表征能力,并使用大小不同的滤波器提取不同区域的图像特征,实验结果表明该方法具有良好的表现性和稳健性。Cui等[9]使用卷积网络集成的方式进行人脸表情识别,利用脸部关键点剪裁不同区域的图片作为各个网络的输入样本,并将结果融合得到最终的识别结果。
基于此,本文在卷积神经网络的基础上提出一种基于多尺度特征融合的分类模型MS-TyCNN并运用在台风云图数据集上。MS-TyCNN利用不同层的卷积特征建立多尺度感知层,对台风图像进行多尺度表征,并将尺度不变性指标[10]与交叉熵函数结合,构成模型的损失函数,以此来有效增强图像特征的尺度不变性。实验证明,该模型能有效提高台风云图局部区域的感知能力,从而提高台风等级分类性能并在手写字体库MNIST数据集、CIFAR-10数据集上验证了该模型的泛化能力。
2 卷积神经网络
在卷积神经网络中,卷积层和池化层通过激活函数对图像进行非线性特征提取;全连接层对提取的特征进行降维整合,再利用Softmax函数得到每类标签的概率值,预测图像的类别。在输出最终预测值之前,网络通过层间信号传输对比前向传播的预测值与真实值。在此过程中,隐含层利用损失函数来最小化两者的误差,最终得到图像的分类结果。
2.1 卷积和池化层
卷积神经网络通过卷积层和池化层交替学习图像特征。卷积层通过滑窗以步长的方式选取局部图像区域,并对其进行加权求和,得到的局部线性特征再通过激活函数对特征作非线性变换;池化层选择最大池化方式缩减空间维度,以降低卷积特征的网络空间分辨率,消除冗余干扰特征,提高位移不变性[11]。因此,为保证提取特征的丰富性,使用卷积特征作为融合对象。
将通过预处理归一化得到的样本
式中:
式中:
式中:
2.2 损失函数
损失函数的作用是在反向传播时更新网络权重并判定模型的分类性能。卷积神经网络通常采用Softmax层作为网络的分类器,其作用是多个神经元的输出映射到(0,1)之间且和为1。设
式中:
经过Softmax层的预测标签后,卷积神经网络根据损失函数反馈来更新网络的权重,使得预测标签无限接近真实标签。对于一个训练集(
式中:
3 MS-TyCNN模型
卷积神经网络的隐含层所提取的特征具有层次性[12-13]。将卷积层中滤波器提取的多通道特征进行叠加并进行可视化处理,得到的特征如
因此,采用特征融合的方式对传统卷积神经网络进行改进。在传统卷积神经网络中添加多尺度感知层,提取粗细不同尺度的特征,提高网络对图像特征提取的尺度不变性。改进后的分类模型MS-TyCNN主要分为两个部分:图像预处理阶段和图像分类阶段,其流程图如
3.1 数据预处理阶段
红外卫星台风云图在传输过程中对周围环境十分敏感,容易产生各种噪声。因此在进行特征提取之前,需要采用适当的方法进行降噪处理。实验中采用台风云图,原数据大小为512×512,为方便后续操作,采用双线性插值法将图像缩放至227×227,再通过3×3窗口的中值滤波器对台风云图进行噪声抑制,图像预处理过程如
3.2 图像分类阶段
3.2.1 网络结构
为了能有效地提取台风云图不同尺度的特征,在AlexNet网络结构的基础上提出MS-TyCNN分类模型,其结构如
首先,利用AlexNet网络对预处理后的图像进行特征提取,然后通过多尺度感知层对提取的特征进行尺度归一化,并将得到的多尺度特征进行级联。由于每条特征对图像的贡献程度不同,不同特征对分类结果的影响不同,故使用全连接层将级联后的特征进行加权求和,聚合成新的全连接特征。最后,使用全连接特征训练Sofmax分类器进行台风等级分类。在卷积神经网络训练过程中,不同层的卷积核能够感知图像的不同区域和尺度,因此建立多尺度感知层将这些特征进行融合,从而可以学习到强判别力的表征形式。
3.2.2 多尺度感知层
多个卷积特征直接通过全连接层容易造成计算负担并且破坏特征的空间不变性,因此,本文通过空间金字塔池化层[16](SPP)对卷积特征进行多尺度降维,并提取出不同尺度的特征,然后将生成的特征聚合成一维特征,从而提高特征的空间尺度不变性。
本模型的空间金字塔池化层结构如
3.2.3 尺度不变性损失函数
为更好地在反向传播中修正滤波器的权重,从而获得具有辨别力的多尺度特征,本文在卷积神经网络的损失函数
式中:
式中:1[·]表明满足条件取值为1;
4 实验结果与分析
仿真实验的主要硬件环境为16 GB RAM,Intel Corei7-6700 CPU,NVIDIA GeForce GTX 1060 GPU。其软件环境是基于python语言搭建的深度学习框架TensorFlow。
4.1 台风云图数据集
自1977年以来,日本相继发射的“Himawari”系列地球同步气象卫星位于约东经140°的地球静止转移轨道上,可观测云图通道16个,全盘图观测频率可达到10 min/次。本文选用“Himawari”系列卫星观测西北太平洋的红外通道云图及其强度信息作为实验数据,数据来源于日本国立情报学研究所(NII)网站所提供的年鉴资料,其中云图信息每间隔1 h记录一次。数据集包含1978~2016年约1000多个台风过程,并根据日本气象台提供的台风等级标准制定5类台风强度等级标签,如
表 1. 台风等级分类标准
Table 1. Typhoon classification standard
|
根据台风等级分类标准,将多个台风过程制成相应等级标签的台风强度数据。该数据集共10000张,训练集7500张,测试集2500张,原始分辨率为512×512,部分红外卫星云图数据集如
4.2 仿真实验
本文提出的MS-TyCNN是在AlexNet网络模型的基础上针对台风云图数据集进行微调,实验批尺度为100,模型迭代300次,并设置总尺度变换系数为
4.2.1 实验结果分析
将本文提出的多尺度特征融合模型MS-TyCNN与不同网络结构做对比实验,其训练和测试的准确率如
从
表 2. 不同模型在台风数据集上的准确率
Table 2. Accuracies of different models on typhoon datasets
|
图 7. 台风云图数据集分类结果对比。(a)验证集精度曲线;(b)验证集损失曲线
Fig. 7. Comparison of classification results of typhoon cloud map datasets. (a) Accuracy of test set; (b) loss of validation set
4.2.2 泛化性实验
为了验证MS-TyCNN的泛化性,本文使用两种通用数据集(MNIST、CIFAR-10)对该方法进行泛化能力对比验证。MNIST数据集包含有0~9的手写字体图片,共52000张;CIFAR-10包含10类相互独立的自然图片60000张。两种数据集在实验中的训练样本和测试样本设计如
表 3. 数据集的分布
Table 3. Distribution of datasets
|
MNIST数据集输入大小为28×28,CIFAR-10图片输入大小为32×32,网络结构参数以同比例的方式进行微调。实验迭代300次,MS-TyCNN模型的实验结果如
表 4. MS-TyCNN模型的泛化能力
Table 4. Generalization of MS-TyCNN model
|
5 结论
红外卫星台风云图具有结构复杂、信息分布不均的特点,而传统的卷积神经网络模型在感知图像的尺度不变性方面较弱,对台风云图的分类效果不佳。为此,提出了一种基于多尺度卷积融合的图像分类模型MS-TyCNN,用以提高模型的尺度不变性,并将其运用到台风云图的特征提取中。一方面,模型通过添加多尺度感知层实现特征上的尺度不变性;另一方面,在目标函数中添加多尺度正则化项,使得改进后的网络在逐层筛选特征的过程中保持尺度不变性。通过台风等级分类实验证明,MS-TyCNN模型在执行复杂图像分类任务时,其多尺度感知能力在一定程度上优于目前主流的分类模型。相应的泛化实验结果表明,本文模型对简单图像数据库分类时也能取得较好的效果。
[1] 黄双萍, 俞龙, 冯子勇. 基于超级向量编码的图像分类系统研究[J]. 电子技术与软件工程, 2013( 4): 32- 37.
Huang SP, YuL, Feng ZY. A survey on image categorization using supervector coding[J]. Electronic Technology & Software Engineering, 2013( 4): 32- 37.
[2] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6): 84-90.
[3] 黄鸿, 何凯, 郑新磊, 等. 基于深度学习的高光谱图像空-谱联合特征提取[J]. 激光与光电子学进展, 2017, 54(10): 101001.
[4] LeCun Y, Bottou L, Bengio Y, et al. . Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.
[5] Zeiler MD, FergusR. Visualizing and understanding convolutional networks[M] ∥ Fleet D, Pajdla T, Schiele B, et al. Computer vision-ECCV 2014. Lecture notes in computer science. Cham:Springer, 2014, 8689: 818- 833.
[6] 罗建豪, 吴建鑫. 基于深度卷积特征的细粒度图像分类研究综述[J]. 自动化学报, 2017, 43(8): 1306-1318.
Luo J H, Wu J X. A survey on fine-grained image categorization using deep convolutional features[J]. Acta Automatica Sinica, 2017, 43(8): 1306-1318.
[7] 王琳琳, 刘敬浩, 付晓梅. 融合局部特征与深度置信网络的人脸表情识别[J]. 激光与光电子学进展, 2018, 55(1): 011002.
[8] 牛连强, 陈向震, 张胜男, 等. 深度连续卷积神经网络模型构建与性能分析[J]. 沈阳工业大学学报, 2016, 38(6): 662-666.
Niu L Q, Chen X Z, Zhang S N, et al. Model construction and performance analysis for deep consecutive convolutional neural network[J]. Journal of Shenyang University of Technology, 2016, 38(6): 662-666.
[9] Cui RX, Liu MY, Liu MH. Facial expression recognition based on ensemble of mulitple CNNs[M] ∥ You Z S, Zhou J, Wang Y H, et al. Biometric recognition. Lecture notes in computer science. Cham: Springer, 2016, 9967: 511- 518.
[10] Goodfellow IJ, Le QV, Saxe AM, et al. Measuring invariances in deep networks[C]∥Proceedings of the 22nd International Conference on Neural Information Processing Systems, December 7-10, 2009, Vancouver, British Columbia, Canada. USA: Curran Associates Inc., 2009: 646- 654.
[11] Gu J X, Wang Z H, Kuen J, et al. Recent advances in convolutional neural networks[J]. Pattern Recognition, 2018, 77: 354-377.
[12] Zeiler MD, KrishnanD, Taylor GW,et al. Deconvolutional networks[C]∥2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, June 13-18, 2010, San Francisco, CA, USA. New York: IEEE, 2010: 2528- 2535.
[13] 王民, 郝静, 要趁红, 等. 基于优化全卷积神经网络的手语语义识别[J]. 激光与光电子学进展, 2018, 55(11): 111010.
[14] IvanovskyL, KhryashchevV, LebedevA,et al. Facial expression recognition algorithm based on deep convolution neural network[C]∥2017 21st Conference of Open Innovations Association (FRUCT), November 6-10, 2017, Helsinki,Finland. New York: IEEE, 2018: 141- 147.
[15] 陈幻杰, 王琦琦, 杨国威, 等. 多尺度卷积特征融合的SSD目标检测算法[J]. 计算机科学与探索, 2019, 13(6): 1049-1061.
Chen H J, Wang Q Q, Yang G W, et al. SSD object detection algorithm with multi-scale convolution feature fusion[J]. Journal of Frontiers of Computer Science and Technology, 2019, 13(6): 1049-1061.
[17] Lee S H, Chan C S, Mayo S J, et al. How deep learning extracts and learns leaf features for plant classification[J]. Pattern Recognition, 2017, 71: 1-13.
[18] Iwahori Y, Takada Y, Shiina T, et al. Defect classification of electronic board using dense SIFT and CNN[J]. Procedia Computer Science, 2018, 126: 1673-1682.
Article Outline
卢鹏, 邹佩岐, 邹国良. 基于多尺度卷积特征融合的台风等级分类模型[J]. 激光与光电子学进展, 2019, 56(16): 160101. Peng Lu, Peiqi Zou, Guoliang Zou. Typhoon Classification Model Based on Multi-Scale Convolution Feature Fusion[J]. Laser & Optoelectronics Progress, 2019, 56(16): 160101.