CLP Researching 中国光学期刊网 光电汇 爱光学
激光与光电子学进展, 2019, 56 (16): 162803, 网络出版: 2019-08-05   

基于改进R-FCN的遥感图像舰船检测 下载： 1258次

Remote Sensing Image Ship Detection Based on Improved R-FCN
Get PDF
Full Text
图表
论文大纲
Metrics
More
王健林 1吕晓琪 1,2,*张明 1李菁 1
作者单位
1 内蒙古科技大学信息工程学院内蒙古自治区模式识别与智能图像处理重点实验室, 内蒙古 包头 014010
2 内蒙古工业大学信息工程学院, 内蒙古 呼和浩特 010051
遥感 舰船检测 区域全卷积网络 ResNet 合成孔径雷达图像 remote sensing ship detection region-based fully convolutional network ResNet synthetic aperture radar images 
摘要
针对传统舰船检测算法难以适应复杂多变的海洋杂波环境,无法实现智能舰船检测的问题,提出了一种改进的基于区域全卷积网络(R-FCN)的检测方法。针对合成孔径雷达(SAR)图像的特点,对R-FCN中的特征提取网络ResNet进行混合尺度卷积核处理,使特征提取网络能够抑制相干斑噪声的影响,有效提取舰船特征。选取高分辨率GF-3与低分辨Sentinel-1卫星SAR图像进行测试,均取得了良好的检测效果,证明了本文算法的有效性。
Abstract
The traditional ship detection algorithm is difficult to adapt in the complex and varied sea clutter environment, and intelligent ship detection is impossible to realize. This study proposes an improved region-based fully convolutional network (R-FCN) detection method. Aiming at the characteristics of synthetic aperture radar (SAR), the feature extraction network ResNet in R-FCN uses a mixed-scale convolution kernel. The feature extraction network can suppress the influence of the speckle noise and effectively extract the ship features. High-resolution GF-3 and low-resolution Sentinel-1 satellite SAR images are selected for the test. Consequently, good results are obtained, proving the effectiveness of the proposed algorithm.

1 引言

近年来,合成孔径雷达(SAR)发展迅速,因其具有全天时、全天候、不受光照和云雾的影响的独特优势,被广泛应用于**和民用的各个领域中[1]。利用SAR图像实现对海上舰船的快速检测,是目前的研究热点。在传统舰船检测算法中,恒虚警(CFAR)检测算法应用最广泛,其核心是拟合背景杂波分布。文献[ 1-4]皆是研究CFAR的改进算法。CFAR在背景杂波分布均匀的情况下,检测性能较好,但在复杂场景下,检测性能相对较差。

卷积神经网络[5-8](CNN)通过对图像进行一系列的卷积计算,能够有效提取目标特征,实现对目标的平移不变分类,被广泛应用于图像分类中。2014年,Girshick等[9]将CNN应用于目标检测,提出了R-CNN。随后在R-CNN的基础提出了Fast R-CNN[10]、Faster R-CNN[11]和基于区域的全卷积网络(R-FCN)[12]等目标检测框架,在光学图像中取得了良好的检测效果。与此同时,CNN检测算法开始被应用到SAR图像中。杜兰等[13]在样本不足的情况下,充分利用数据集的多种特征信息,提高了Faster-RCNN在SAR图像中的目标检测效果。Kang等[14]将Faster R-CNN与CFAR相结合,利用CFAR检测Faster R-CNN检测结果中分数较低的候选框,提高了舰船检测的准确率。李健伟等[15]构建多样舰船目标数据集SSDD,对Faster R-CNN的特征提取、损失函数和其他应用细节进行了改进。

本文将R-FCN目标检测引入SAR图像舰船检测,与Faster R-CNN相比,R-FCN以ResNet作为特征提取网络,取消全连接层,在检测器中共享CNN,检测速度更快,检测效果更好。针对SAR图像中相干斑噪声强、舰船目标弱的特点,对R-FCN中特征提取网络ResNet进行改进,显著地提高了舰船的检测效果。

2 基本原理

2.1 R-FCN

R-FCN由全卷积网络(FCN)[16]、区域生成网络(RPN)[11]和感兴趣区域(RoI)子网组成。FCN用于提取特征,RPN根据这些特征生成RoI,RoI子网根据FCN提取特征与RPN输出的RoI进行目标区域的定位与分类[17]。R-FCN的网络结构如图1所示。其流程如下。

1) 对待检测图片进行全卷积,生成特征图;

2) 利用RPN提取RoIs,并共享到整个R-FCN中;

3) 对各RoI针对各类别建立k2个位置敏感得分图,对相对空间位置信息进行编码;

4) 利用position-sensitive RoI pool操作,为各类别计算k2个得分图;

5) 对k2个得分图进行投票,生成(C+1)维向量,其中C为目标类别,文中C=1,利用softmax计算各类别的概率。

在计算k2个得分图时,假设每个RoI大小为w×h,则每个小区域(bin)大小为 wk· hk。在实验中,k=3时RoI示意图如图2所示。

图 1. R-FCN网络结构图

Fig. 1. Diagram of R-FCN network structure

下载图片 查看所有图片

图 2. RoI示意图

Fig. 2. Diagram of RoI

下载图片 查看所有图片

利用下式可计算每个bin的得分,即

rc(i,j|Θ)=1n∑(x,y)∈bbin(i,j)zi,j,c(x+x0,y+y0|Θ),(1)

式中:c为某目标类别,文中仅表示舰船类;zi,j,c为k2(C+1)个得分图中的其中一个;Θ为网络参数;x0和y0为RoI左上角的坐标;bbin(x,y)为RoI第(i,j)个空间位置(0≤i,j≤k-1);(x,y)为该空间位置点的坐标;n为该空间位置内的点数[17]。

为确保RoI标注准确,在FCN后串联另外一个维度为4k2的得分图,与位置敏感得分图并行,用于修正候选框,设置位置参数为{x,y,w,h},其中(x,y)记录候选框左上角坐标,(w,h)记录候选框区域的长与宽。

2.2 残差网络

对于卷积神经网络,网络深度的设计尤为重要,网络准确度随着网络深度的增加而增加,但会出现梯度衰减和权重减小等问题。当网络准确度达到一定程度时,增加网络深度,网络准确度反而迅速降低。针对该问题,2015年He[16]等提出了ResNet,更好地解决了网络深度增加时出现的上述问题。图3为残差结构图。

图 3. 残差结构图

Fig. 3. Residual structure

下载图片 查看所有图片

假设潜在映射为H(x),结构中的非线性层拟合残差F(x)=H(x)-x,relu为激活函数。与直接拟合H(x)相比,残差在训练过程中,忽略共性特征,着重学习差异性,所以更容易找到残差的最优结果。更重要的是,在提高网络性能的同时训练网络所需的时间会减少。

3 本文算法

3.1 特征提取网络改进

R-FCN设计的初衷是对光学图像进行目标检测,光学图像灰度变化平滑且目标明显,原R-FCN特征提取网络能有效提取图像中的目标特征。SAR的成像机制不同于光学图像,在SAR图像中存在大量相干斑噪声,且舰船目标较小,这将导致原特征提取网络无法对舰船进行有效的特征提取。在设计特征提取网络时,必须充分考虑SAR图像与光学图像的差异性。

卷积神经网络输出的特征图的信息量与卷积过程中卷积核的大小和卷积步长有关,卷积核越大,特征图信息量越大。并且增大卷积核能有效抑制相干斑噪声的影响。

R-FCN采用的特征提取网络为ResNet-50,是由图3中的残差块构成的50层网络,共包含16个残差块(2a,2b,2c,3a,3b,3c,3d,4a,4b,4c,4d,4e,4f,5a,5b,5c),每个残差块包含一个卷积核大小为3×3的卷积层。本文在ResNet-50基础上,将部分卷积层的卷积核大小设定为5×5。如图4所示。

图 4. 改进残差块结构

Fig. 4. Improved residual block structure

下载图片 查看所有图片

增大卷积核会增加训练参数,并且实验发现,修改卷积层数目会影响特征提取效果。本文将4个残差块(2b,3c,4c,5a)的卷积核由3×3修改为5×5,具有良好的检测效果,修改后的残差结构如图4所示。

3.2 图像分块

由于舰船检测是对星载SAR图像的海域部分进行检测,海域辽阔,反映在SAR图像中,图像非常大,即便是选取感兴趣区域,图像也相对较大。如果直接检测如此大的图像,不仅检测效率不高,还会出现大量漏检的情况。

针对这种情况,在R-FCN前加入图像分割流程,将待检测的SAR图像分割成小块图像,再将小块图像送入R-FCN中,检测后,将输出的小块图像合并成原图像。为了避免在分割过程中出现将目标船只分割的情况,本文采取如下步骤进行分割:

1) 设置分割后的图像大小;

2) 程序计算出图像的预分割线;

3) 检测分割线中是否包含相邻的高亮像素;

4) 如果包含相邻的高亮像素,分割线下移/右移;

5) 无高亮像素相邻,则进行图像分割。

分割示意图如图5所示。为了确定待检测图像尺寸,本文对一幅1500 pixel×1500 pixel的图像进行实验,将该图像分割成不同尺寸的小图像,并进行检测,统计最终检测结果如表1所示,Image Size为待检测图像尺寸;Ndetection为最终舰船检测数目;Nmiss为漏检总目;Atime为每幅小图像的平均检测时间。

图 5. 分割示意图

Fig. 5. Splitting diagrams

下载图片 查看所有图片

表 1. 不同尺寸图像的舰船检测结果统计表

Table 1. Statistic table of ship detection results of images with different sizes

ParameterValue
Image size /(pixel×pixel)156×156256×256500×500800×8001000×10001200×12001500×1500
Ndetection29292929282625
Nmiss0000134
Atime /s0.090.090.110.110.130.140.16

查看所有表

从表1可以看出,不同尺寸的图像检测时间相差不大,但原图像分割后的图像尺寸越小,待检测的图像数目越多,原图像检测总耗时成倍增长。当检测图片尺寸约为1000 pixel×1000 pixel时,检测效果好,且检测总耗时较少。

4 实验与结果分析

4.1 实验

实验所采用的数据集包括样本集、验证集和测试集。样本集包括正样本和负样本,正样本是各种形态的舰船。利用公开的Sentinel-1卫星数据,获取20景世界各主要港口、航道的卫星数据,从中截取舰船样本2126个,从opensar官网上多位专家上传的Sentinel-1舰船样本中选取5000只舰船样本,二者共同组成数据集。样本图像统一尺寸为156 pixel×156 pixel,并对图像中的目标用矩形框进行标注。

实验过程中,先利用ImageNet初始化网络参数,再利用制作好的样本集进行训练。训练时设置初始学习率为0.005,权重衰减率为0.0005,动量设置为0.9,迭代次数为20000。由于舰船目标小,将R-FCN中目标候选框规模修改为[2,4,8,16,32],以更适合舰船目标尺寸。设置候选框阈值为0.8,将评分大于0.8的候选框保留,作为输出结果。

待检测图片从未制作成数据集的图像中选取,由于舰船密集区域检测难度更大,实验着重测试舰船集中的图像。共选取图像16幅,包括10幅Sentinel-1图像和6幅GF-3图像,图像尺寸为1000 pixel×1000 pixel。

实验一,用本文算法、原R-FCN算法和文献[ 15]中的Faster R-CNN算法对Sentinel-1图像进行检测,部分检测结果如图6所示。

图 6. Sentinel-1图像舰船检测结果图。(a)待检测图片一;(b)待检测图片二;(c)待检测图片三;(d)原R-FCN对图6(a)检测结果;(e)原R-FCN对图6(b)检测结果;(f)原R-FCN对图6(c)检测结果;(g)改进Faster R-CNN对图6(a)检测结果;(h)改进Faster R-CNN对图6(b)检测结果;(i)改进Faster R-CNN对图6(c)检测结果;(j)改进R-FCN对图6(a)检测结果;(k)改进R-FCN对图6(b)检测结果;(l)改进R-FCN对图6(c)检测结果

Fig. 6. Ship detection results of Sentinel-1 images. (a) Picture 1 to be tested; (b) picture 2 to be tested; (c) picture 3 to be tested; (d) original R-FCN detection result of Fig. 6(a); (e) original R-FCN detection result of Fig. 6(b); (f) original R-FCN detection results of Fig. 6(c); (g) detection result of improved Faster R-FCN for Fig. 6(a); (h) detection result of improved Faster R-FCN for Fig. 6(b); (i) detection result of improved Faster R-FCN for Fig. 6(c); (j) detection result of improved R-FC

下载图片 查看所有图片

根据表1可知,缩小待检测图像尺寸能减少漏检数目。实验二,针对图6(c)右侧强噪声图像出现较多漏检情况,为了减少图像总耗时,实验截取图像大小为500 pixel×500 pixel。为了测试算法,实验二仅对漏检船只较多的区域进行检测,检测结果如图7所示。

图 7. 检测结果

Fig. 7. Test results

下载图片 查看所有图片

实验三,由于算法训练样本仅采用了Sentinel-1卫星图像,为检测算法对其他卫星图像的检测效果,实验对GF-3卫星图像进行检测,部分检测结果如图8所示,图8(a)为待检测图像,图8(b)为改进R-FCN检测结果。

图 8. GF-3图像舰船舰船检测结果图。(a)待检测图片一;(b)待检测图片二;(c)待检测图片三;(d)改进R-FCN对图8(a)检测结果;(e)改进R-FCN对图8(b)检测结果;(f)改进R-FCN对图8(c)检测结果

Fig. 8. Ship detection results of GF-3 image. (a) Picture 1 to be tested; (b) picture 2 to be tested; (c) picture 3 to be tested; (d) detection result of improved R-FCN for Fig. 8(a); (e) detection result of improved R-FCN for Fig. 8(b); (f) detection result of improved R-FCN for Fig. 8(c)

下载图片 查看所有图片

4.2 结果分析

上述实验检测结果如表2所示,其中Ntarget为真实目标数;Ndetection为算法检测到的目标数;Nfalse为检测虚警数;Nmiss为漏检数;PPrecise为算法检测精度;RRecall为算法检测召回率。

从表2可以看出,原R-FCN对舰船检测结果较差,存在大量漏检情况,召回率仅为20.16%,同时,存在较多的虚警情况,精确率为78.12;改进的R-FCN更适用于SAR图像舰船检测,检测效果大为提升,舰船漏检总数从99降为9,召回率提高到92.74%,检测虚警从7降为3,精确率提高到97.46%。此外,从表2可以看出,本文算法的准确率和召回率均高于文献[ 15]中的Faster R-CNN算法。

从图7可以看出,在强噪声环境下,将图像尺寸缩小为500 pixel×500 pixel,漏检数目降为1,但原图像可分为4个500 pixel×500 pixel的图像,相对于整幅图像,所耗时间成倍增长。从图8和表2可以看出,尽管在训练中没有GF-3图像样本,但本文算法对GF-3卫星图像仍有97.37%精确率和90.24%的召回率,证明本文算法具有一定的普适性。

表 2. 舰船检测结果统计表

Table 2. Statistical table of ship detection results

MethodImageNtargetNdetectionNfalseNmissPPrecise /%RRecall /%
R-FCNSentinel-11243279978.1220.16
GF-3822796466.6721.95
Faster-RCNNSentinel-112410641296.2382.25
GF-3827641094.7487.80
Improved R-FCNSentinel-11241183997.4692.74
GF-382762897.3790.24

查看所有表

5 结论

针对SAR图像舰船检测问题,提出了一种改进的R-FCN检测算法。该方法在原R-FCN的基础上,对特征提取网络ResNet进行混合尺度卷积核处理,并在算法细节上进行改进。实验结果表明,改进后的R-FCN大幅提升了舰船的检测效果。本文算法基于深度学习技术,通过学习舰船特征检测舰船,避免了传统算法中的预处理、背景杂波拟合等复杂过程,具有稳健性和普适性强等特点。故用深度学习技术对SAR图像舰船进行检测具有广阔的应用前景。

参考文献

[1] Xing XW, Chen ZL, Zou HX, et al. A fast algorithm based on two-stage CFAR for detecting ships in SAR images[C]∥2009 2nd Asian-Pacific Conference on Synthetic Aperture Radar, October 26-30, 2009, Xi’an, Shaanxi, China. New York: IEEE, 2010: 56- 59.

[2] Leng X G, Ji K F, Yang K, et al. A bilateral CFAR algorithm for ship detection in SAR images[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(7): 1536-1540.

[3] Qin X X, Zhou S L, Zou H X, et al. A CFAR detection algorithm for generalized gamma distributed background in high-resolution SAR images[J]. IEEE Geoscience and Remote Sensing Letters, 2013, 10(4): 806-810.

[4] Ji Y G, Zhang J, Meng J M, et al. A new CFAR ship target detection method in SAR imagery[J]. Acta Oceanologica Sinica, 2010, 29(1): 12-16.

[5] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6): 84-90.

[6] SzegedyC, LiuW, Jia YQ, et al. Going deeper with convolutions[C]∥2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR),June 7-12, 2015, Boston, MA, USA. New York: IEEE, 2015: 15523970.

[7] Zhang XY, Zou JH, MingX, et al. Efficient and accurate approximations of nonlinear convolutional networks[C]∥2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 7-12, 2015, Boston, MA, USA. New York: IEEE, 2015: 1984- 1992.

[8] He KM, Zhang XY, Ren SQ, et al. Deep residual learning for image recognition[C]∥2016 IEEE Conferenceon Computer Vision and Pattern Recognition (CVPR), June 27-30, 2016, Las Vegas, NV, USA. New York: IEEE, 2016: 770- 778.

[9] GirshickR, DonahueJ, DarrellT, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]∥2014 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 23-28, 2014, Columbus, OH,USA. New York: IEEE, 2014: 580- 587.

[10] GirshickR. Fast R-CNN[C]∥2015 IEEE International Conference on Computer Vision (ICCV), December 7-13, 2015, Santiago, Chile. New York: IEEE, 2016: 1440- 1448.

[11] Ren S Q, He K M, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.

[12] Dai JF, LiY, He KM, et al. R-FCN: object detection via region-based fully convolutional networks[C]∥Proceedings of the 30th International Conference on Neural Information Processing Systems, December 5-10, 2016, Barcelona, Spain. USA: Curran Associates Inc., 2016: 379- 387.

[13] 杜兰, 刘彬, 王燕, 等. 基于卷积神经网络的SAR图像目标检测算法[J]. 电子与信息学报, 2016, 38(12): 3018-3025.

    Du L, Liu B, Wang Y, et al. Target detection method based on convolutional neural network for SAR image[J]. Journal of Electronics & Information Technology, 2016, 38(12): 3018-3025.

[14] KangM, Leng XG, LinZ, et al. A modified faster R-CNN based on CFAR algorithm for SAR ship detection[C]∥2017 International Workshop on Remote Sensing with Intelligent Processing (RSIP), May 18-21, 2017, Shanghai, China. New York: IEEE, 2017: 16981074.

[15] 李健伟, 曲长文, 彭书娟, 等. 基于卷积神经网络的SAR图像舰船目标检测[J]. 系统工程与电子技术, 2018, 40(9): 1953-1959.

    Li J W, Qu C W, Peng S J, et al. Ship detection in SAR images based on convolutional neural network[J]. Systems Engineering and Electronics, 2018, 40(9): 1953-1959.

[16] He KM, Zhang XY, Ren SQ, et al. Deep residual learning for image recognition[C]∥2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 27-30, 2016, Las Vegas, NV, USA. New York: IEEE, 2015: 16541111.

[17] 桑农, 倪子涵. 复杂场景下基于R-FCN的手势识别[J]. 华中科技大学学报(自然科学版), 2017, 45(10): 54-58.

    Sang N, Ni Z H. Gesture recognition based on R-FCN in complex scenes[J]. Journal of Huazhong University of Science and Technology(Natural Science Edition), 2017, 45(10): 54-58.

王健林, 吕晓琪, 张明, 李菁. 基于改进R-FCN的遥感图像舰船检测[J]. 激光与光电子学进展, 2019, 56(16): 162803. Jianlin Wang, Xiaoqi Lü, Ming Zhang, Jing Li. Remote Sensing Image Ship Detection Based on Improved R-FCN[J]. Laser & Optoelectronics Progress, 2019, 56(16): 162803.

点击上图查看本文图集
论文摘要 Full Text  图 & 表 补充材料 基本信息 知识挖掘 Metrics PDF全文参考文献 & 引文
本文已被 3 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文： TXT   |   EndNote

被引通知
PDF全文

相关论文

加载中...

相关资讯

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务，点击此处了解我们的隐私策略。 如您需继续使用本网站，请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!
快速查询 高级查询
最近搜索：
大家在搜： 人工智能     图像处理     光子 
热门搜索： 机器视觉     光通信     光纤传感器