基于深度学习的光学遥感图像飞机检测算法 
下载： 1276次
1 引言
近年来,遥感技术的进步及其在**和民用方面广阔的应用前景,引起了国内外研究人员对基于遥感图像的目标检测技术的广泛关注,但由于遥感图像经常受光照、复杂背景等因素的影响,传统目标检测算法在检测包含复杂背景的遥感图像方面效果不佳。例如:Haar+Adaboost检测方法可以快速抛弃没有目标的平滑窗,大大提高了检测效率,但该方法有一个很大的缺点,它使用了很弱的特征,用它进行分类的检测器也是弱分类器,分类结果仅比随机猜测的结果好一些;可形变部件模型(DPM)是目标检测方面较好的人工特征方法,该方法对方向梯度直方图(HOG)[1]特征进行了改进,并利用全局和局部两个模型,大幅提高人工特征在目标检测上的精度,DPM方法存在的缺点是特征相对复杂、计算速度慢、对于旋转或拉伸的物体检测效果不好。总之,传统算法存在泛化性能、旋转不变性较差等缺陷,因此在图像检测领域的表现并不理想。
随着深度学习的飞速发展,基于卷积神经网络的检测方法在越来越多的领域中得到了应用[2],其在遥感方面的应用也较多。例如:朱明明等[3]利用深度学习对机场进行识别;魏湧明等[4]利用YOLO(You Only Look Once)网络进行图像定位;宋明珠等[5]提出海面弱小舰船检测方法。这些深度学习算法的检测精度相对于传统检测算法有很大的提高,但对于小目标的检测效果不佳。随着目标检测技术的不断进步,一些新的检测算法,如掩码区域提案网络(Mask-RCNN)[6],因在图像分类与识别领域出色的表现引起了学者们的广泛关注,掩码区域提案网络为在快速区域提案网络(Faster-RCNN)[7-8]基础上改进的端到端检测算法,其在小目标检测方面相对于以往提出的算法表现更出色[9],如在针对COCO数据集的检测任务上,掩码区域提案网络相对于快速区域提案网络在平均检测精度方面提高了约5%,但掩码区域提案网络是针对自然图像提出的。本文针对遥感图像背景复杂、目标小、飞机尺寸不固定等特点[10-12],对掩码区域提案网络的特征提取阶段进行改进,增加候选框的种类和比例[13],提出了针对遥感图像的小物体掩码区域提案网络(SMask-RCNN)。
2 Mask-RCNN检测方法
He等[6]于2017年提出了掩码区域提案网络,并获得了ICCV 2017的最佳论文。掩码区域提案网络的基本结构与快速区域提案网络相似,都采用了两步法(
第一个关键点中特征提取网络ResNet50+FPN的核心构架如
第二个关键点是将以往目标监测框架中感兴趣区域池化替换为感兴趣区域空间对称化。以往监测框架采用的感兴趣区域池化存在两次量化的过程:1)将候选框边界量化为整数;2)将量化后的边界区域平均分割成K×K个单元,对每一个单元的边界进行量化。经过上述两次量化,候选框与最开始回归处理后位置有了一定的偏差,这个偏差会影响检测或者分割的准确度,这个问题在小目标检测方面更为突出[14]。感兴趣区域空间对称化的思路是取消量化操作,如
3 SMask-RCNN目标检测框架
遥感图像与掩码区域提案网络处理的自然图像不同:1)自然图像尺寸往往比较小且包含的待检测物体数量少、目标尺寸相对较大、分辨率高;而遥感图像尺寸较大、背景复杂、包含的目标尺寸小,且分辨率一般较低;2)遥感图像中的飞机尺寸并不固定,既包含尺寸较小的战斗机、支线客机,也包含尺寸较大的预警机、加油机、轰炸机和执行洲际航线的大型干线客机等。因此设计的改进网络要兼顾不同尺寸的飞机。考虑到以上问题与挑战,本文根据遥感图像的特点提出基于掩码区域提案网络的小物体掩码区域提案网络。
3.1 多层特征融合
在掩码区域提案网络目标检测算法中,特征提取网络ResNet50分为C1,C2,C3,C4,C5五层,ResNet50的使用可以有效减少随着网络加深目标检测精度下降的问题。但在训练过程中,由于大部分参数作用范围有限,每一个模块处理后的特征直接被下一个模块调用,使得浅层模块的特征在深层没有被很好地利用,且在传递过程中浅层语义特征丢失严重。而遥感图像目标检测不同于自然图像检测,浅层语义的细节纹理信息对于小目标检测至关重要,故本文在ResNet50网络的基础上进一步增加特征融合,使浅层语义信息能够得到充分利用。
图 4. ResNet50的特征提取网络结构。(a)原始结构;(b)改进结构
Fig. 4. Network structures of feature extraction for ResNet50. (a) Original structure; (b) improved structure
3.2 设计更加适合遥感图像的候选框
由于掩码区域提案网络目标检测算法是针对自然图像提出的,而自然图像的特点是图片中目标尺寸相对较大,所以掩码区域提案网络区域候选框使用的基准并不适合用在遥感图像目标检测上,本文根据数据集所包含的飞机类型,针对不同飞机的尺度特征设计了一组更加适合遥感图像飞机检测的候选框长宽比,数据集中所包含的不同型号飞机的真实尺寸如
表 1. 不同型号飞机真实尺寸
Table 1. Real size table of different models of aircrafts
|
由
4 实验与结果
4.1 数据集与训练参数
由于掩码区域提案网络较新,且原有数据集的标注信息及格式无法直接运用在该算法上,故本文实验中所用到的数据集为实验小组自己制作。数据集中共有1200张图像,分别为通过谷歌地图在美国、加拿大、澳大利亚、英国、日本、韩国、中国各地机场截取的包含飞机目标的机场遥感图像,其中包含的飞机样式较多,涵盖支线客机、干线客机、预警机、加油机、战斗机等多种尺寸和不同比例的飞机,具体涵盖的飞机类型可以参考
4.2 实验结果与分析
4.2.1 目标检测的评价标准在遥感图像目标检测中,平均精度mAP(XmAP)是一个常用的检测标准。平均精度的计算与召回率(recall, R)和精确率(precision, P)有关,召回率和精确率是二分类问题中常用的评价指标,通常以关注的类为正类,其他类为负类,具体含义如下: XTP表示对象本来为正例,网络识别为正例;XTN表示对象本来为负例,网络识别为负例;XFP表示对象本来为负例,网络识别为正例;XFN表示对象本来为正例,网络识别为负例。精确率P为在识别出的所有正例中,识别正确的正例所占的比例,表示为
表 2. 不同IOU(Iou)值下不同模型mAP值对比
Table 2. Comparison of mAP values of different models at different IOU values%
| |||||||||||||||||||||||
4.2.3 检测结果展示
实验结果展示分为两组,第一组为
第二组的检测目标为不常见的战斗机,
图 6. 第一组对比图片。(a)原始图片;(b) Mask-RCNN检测过的图片;(c) SMask-RCNN检测过的图片
Fig. 6. First set of contrast pictures. (a) Original picture; (b) picture detected by Mask-RCNN; (c) picture detected by SMask-RCNN
图 7. 第二组对比图片。(a)原始图片;(b) Mask-RCNN检测过的图片;(c) SMask-RCNN检测过的图片
Fig. 7. Second set of contrast pictures. (a) Original picture; (b) picture detected by Mask-RCNN; (c) picture detected by SMask-RCNN
5 结论
提出了一种基于深度学习的高精度遥感图像飞机检测网络,该网络以原始掩码区域提案网络为基础,针对遥感影像中图像尺寸较大、检测目标较小和尺寸多样化的特点,提出了一种更加适合在遥感图像上应用的小物体掩码区域提案网络。从实验结果可以看出,改进后的小物体掩码区域提案网络与传统的快速区域提案网络相比,检测精度有较大的提高,在遥感图像飞机检测中有很好的应用前景。
[1] ShaoW, YangW, LiuG, et al. Car detection from high-resolution aerial imagery using multiple features[C]∥2012 IEEE International Geoscience and Remote Sensing Symposium, July 22-27, 2012, Munich, Germany. New York: IEEE, 2012: 4379- 4382.
[2] 孙熊伟, 徐青山, 蔡熠, 等. 基于边缘相位编码的复杂背景下海天线检测[J]. 光学学报, 2017, 37(11): 1110002.
[3] 朱明明, 许悦雷, 马时平, 等. 改进区域卷积神经网络的机场检测方法[J]. 光学学报, 2018, 38(7): 0728001.
[4] 魏湧明, 全吉成, 侯宇青阳. 基于YOLO v2的无人机航拍图像定位研究[J]. 激光与光电子学进展, 2017, 54(11): 111002.
[5] 宋明珠, 曲宏松, 金光. 含噪光学遥感图像海面弱小舰船目标检测[J]. 光学学报, 2017, 37(10): 1011004.
[6] He KM, GkioxariG, DollárP, et al. Mask R-CNN[C]∥2017 IEEE International Conference on Computer Vision (ICCV), October 22-29, 2017, Venice, Italy. New York: IEEE, 2017: 2980- 2988.
[7] Ren SQ, He KM, GirshickR, et al. Faster R-CNN: towards real-time object detection with region proposal networks[C]∥Advances in Neural Information Processing Systems, December 7-12, 2015, Montreal, Quebec, Canada. Canada: NIPS, 2015: 91- 99.
[8] Cheng G, Zhou P C, Han J W. Learning rotation-invariant convolutional neural networks for object detection in VHR optical remote sensing images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(12): 7405-7415.
[9] SzegedyC, IoffeS, VanhouckeV, et al. Inception-v4, inception-ResNet and the impact of residual connections on learning[C]∥Thirty-First AAAI Conference on Artificial Intelligence, February 4-9, 2017, San Francisco, California, USA. Palo Alto: AAAI, 2017: 4278- 4284.
[10] Abdullahi HS, Sheriff RE, MahieddineF. Convolution neural network in precision agriculture for plant image recognition and classification[C]∥2017 Seventh International Conference on Innovative Computing Technology (INTECH), August 16-18, 2017, Luton, UK. New York: IEEE, 2017: 17354082.
[11] Li W M, Liu H Y, Wang Y, et al. Deep learning-based classification methods for remote sensing images in urban built-up areas[J]. IEEE Access, 2019, 7: 36274-36284.
[12] CozzolinoD, di MartinoG, PoggiG, et al. A fully convolutional neural network for low-complexity single-stage ship detection in Sentinel-1 SAR images[C]∥2017 IEEE International Geoscience and Remote Sensing Symposium (IGARSS), July 23-28, 2017, Fort Worth, TX, USA. New York: IEEE, 2017: 886- 889.
[13] Zhang S, He G H, Chen H B, et al. Scale adaptive proposal network for object detection in remote sensing images[J]. IEEE Geoscience and Remote Sensing Letters, 2019, 16(6): 864-868.
[14] XianX, HongL, Yang RF, et al. Oil tank extraction in high-resolution remote sensing images based on deep learning[C]∥2018 26th International Conference on Geoinformatics, June 28-30, 2018, Kunming, China. New York: IEEE, 2018: 18293574.
Article Outline
董永峰, 仉长涛, 汪鹏, 冯哲. 基于深度学习的光学遥感图像飞机检测算法[J]. 激光与光电子学进展, 2020, 57(4): 041007. Yongfeng Dong, Changtao Zhang, Peng Wang, Zhe Feng. Airplane Detection of Optical Remote Sensing Images Based on Deep Learning[J]. Laser & Optoelectronics Progress, 2020, 57(4): 041007.
PDF全文
