1 引言

目前,最为常见的船只目标检测识别方法主要应用于可见光和合成孔径雷达(SAR)方面^[1],利用SAR图像对海上舰船进行检测是SAR图像应用领域的一个研究热点。He等^[2]将卷积神经网络(CNN)应用于目标检测,提出了R-CNN(Region-CNN)^[3]。相关研究人员在此基础上提出了Fast R-CNN^[4]和Faster R-CNN^[5]等目标检测模型,均取得了良好的检测效果。杜兰等^[6]充分利用数据集的多种特征信息,在样本不足的情况下,对于SAR图像中的目标检测效果提升显著。Kang等^[7]利用CFAR(Constant False-Alarm Rate)对Faster R-CNN检测结果中分数较低的候选框进行检测,提高了舰船检测的准确率。

对李健伟等^[8]建立的SAR舰船目标检测数据集(SSDD)开展实验,分析并总结该数据集与目标检测算法存在的问题:1)数据集中尺寸不一和角度不同的舰船为检测和识别带来很大困难;2)标准的Faster R-CNN检测算法由于后几层的感受野较大,空间信息损失严重,无法有效提取特征,从而出现漏检小目标的现象^[9];3)SAR图像中舰船目标较为稀疏,目标与背景的准确分类在一定程度上影响目标检测精度。

针对上述问题,本文利用小目标数据增强(SDA)算法对数据进行预处理,在此基础上,利用深度特征金字塔(DFP)网络替换原特征提取网络,提取图像目标区域的语义成分与形状-空间关系特征,保留目标区域的空间信息,同时保护其他特征不丢失,为小尺寸目标的类别判定和边框定位奠定良好基础。SAR图像中舰船目标较为稀疏,级联结构(CS)具有更大优势,实验对原Faster R-CNN结构进行扩展并与多任务联合优化,使得目标检测的准确度得到较明显的提升。

2 算法原理

2.1 小目标数据增强

近年来,小目标检测领域的检测算法精度较差的原因之一是训练数据中缺少对小目标的再现。SAR图像中目标尺寸普遍较小,实验中发现真实目标(Ground-Truth object)与预测锚点(anchor)的重叠区域远远小于期望的IoU(Intersection-over-Union)值。无论从图像本身还是从像素的角度,训练的检测模型都无法学习到足够的小目标特征信息,原因在于:1)数据集中小目标的样本数量较少,检测模型无法学习到足够的特征信息;2)图像中小目标所在区域较小,且位置缺乏多样性。

针对第一个问题,对包含小目标的样本进行过采样促使模型更加关注小目标。实验中依次改变过采样率,分别为2、3和4,通过改变过采样率解决只有少部分样本包含小目标的问题,该方法最能直接缓解数据集样本不足并能够有效改善检测模型的性能。

针对第二个问题,对包含小目标的样本进行多次复制粘贴小目标来解决。粘贴前,将目标尺寸在±20%范围内进行缩放,在±15°范围内进行旋转,与图像边界保持至少5 pixel的距离且不与现有目标重叠。该方法增加了小目标位置的多样性,同时保证新的小目标出现在图像中合适区域。

先在训练过程中对包含小目标的图像进行过采样,再使用复制粘贴方法有效提高了小目标位置的多样性,检测模型的准确度得到了1.39%的提升,平衡了检测器在小目标与大目标中的表现。

2.2 Faster R-CNN的基本原理

基于CNN的目标检测框架先从待检测图像中生成尽可能多的目标区域,即候选区域的提取,在训练好的CNN中提取候选区域特征,最后利用这些特征对候选区域进行分类和边框回归,即位置微调。Faster R-CNN的基本思想:提出生成候选区域的区域推荐网络(RPN),将RPN和Fast R-CNN整合为一个可以端到端学习的网络,在不损失精度的前提下提升速度^[10]。

Faster R-CNN检测框架如图1所示,可以看到Faster R-CNN被分为两个阶段,二者共用一个特征提取模块(feature extraction),Fast R-CNN对候选区域进行分类和边框回归。其中a为利用锚点机制生成大量候选区域;b为利用Softmax将候选区域分为目标和背景两类;c为在全连接(FC)层映射得到候选区域位置,该步骤属于RPN阶段;d为在最后一层卷积特征图上找到候选区域的映射,再将RPN结果传递给Fast R-CNN;e为在感兴趣区域(ROI)池化层将不同尺寸候选区域的特征图映射规范到同一大小;f为利用Softmax计算ROI池化特征得到候选区域属于各类别的概率;g为在FC层实现边框回归,对候选区域位置进行微调。

图 1. Faster R-CNN检测框架

Fig. 1. Faster R-CNN detection framework

下载图片 查看所有图片

2.3 深度特征金字塔提取网络

Faster R-CNN在PASCAL VOC数据集上的检测效果显著,却不适用于检测SAR图像中舰船目标,主要原因如下。

1) 舰船在图像中包含的像元数目较少,经采样后得到特征图的空间信息损失严重,难以预测小尺寸物体类别及边框^[11]。

2) 从光学图像数据集学习到的特征不适用于SAR图像,因此Faster R-CNN的大部分特征仍需从SSDD数据集中去学习,才会有更好的检测效果。

针对上述两个问题,将Faster R-CNN的特征提取网络替换成DFP网络,如图2所示。相比于光学图像,SAR图像的彩色纹理特征无法体现目标的全部信息,Chen等^[12]证实特征图能够表示对象特定的语义信息,但对于SAR图像,语义信息无法表达空间结构信息。因此,使用两个DFP网络学习图像对的语义成分(Semantic Image Representation)和形状-空间关系特征(Shape-Spatial Relationship Image Representation)的相关性,并输出对应得分,最后利用两个FC层融合对应得分,并利用Softmax来计算最终决策。

图 2. DFP提取网络

Fig. 2. DFP extraction network

下载图片 查看所有图片

该网络结构使用两个参数共享的网络来提取目标图像的语义信息。卷积层的低层响应描绘了特定的组成成分,高层响应看似抽象,但仍保持目标与背景的对应关系,这些成分对物体变化和背景变化具有很强的鲁棒性。卷积网络定义为f_CNN(X;θ),其中X为输入,θ为参数,语义成分的表达式为

RAsc,RBsc=fCNN(IA;θsc1),fCNN(IB;θsc1),(1)

式中: RscA和 RscB分别为输入图像I^A和I^B的语义图像信息; θsc1为语义成分共享参数。

SAR图像中目标普遍较小且位置多变,颜色与纹理特征不明显,提取目标的颜色、纹理特征显然不可行,所以使用另外一个金字塔匹配网络学习图像中目标的形状-空间关系特征,确定目标间的相对位置及形状大小。形状-空间关系特征表达式为

RAssr,RBssr=fCNN(IA;θssr1),fCNN(IB;θssr1),(2)

式中: RssrA和 RssrB分别为I^A和I^B的形状-空间关系特征信息; θssr1为形状-空间关系特征的共享参数。

2.4 级联检测器

Faster R-CNN用于目标检测所面临的问题:选择前景、背景作为正、负样本时,IoU的阈值不同会对结果产生较大影响,阈值太小会造成正样本(前景)中存在很多负样本(背景),阈值太大会造成正样本数量太少,加剧正负样本数量的不均衡。级联检测器将几个级联的卷积层中前几层的输出作为后几层的输入,界定正负样本的IoU阈值不断增加,逐层优化预测结果。目的是高准确率和高实时性地检测目标,VGG16(Visual Geometry Group 16)^[13]因其拓展性强、泛化性好,被广泛应用在很多领域,以VGG16为例介绍级联的设计原理。

图3为级联检测器的内部网络结构,该网络主要由两层级联的全CNN组成^[14],此时利用全局平均池化(GAP)层代替FC层,因其能够强化特征图与类别的关系,且没有参数需要优化,使训练更快并减轻过拟合。第一阶段将特征候选区域输入到前三层进行训练,由于网络较浅,特征提取与表达能力较差,因此在最大池化层后添加一个分类器,设定得分阈值为0.4(阈值是多次实验得到的最优参数),将得分超过0.4的特征图送到下一层卷积层中继续提取特征,小于0.4直接丢弃。第二阶段将第一阶段得到的候选区域经过另外5层的CNN提取特征并进行分类,过程与第一阶段类似。最后对剩余候选区域继续卷积,提取更好的特征,并进行非极大值抑制(NMS)以抑制冗余框,再执行分类、回归和定位任务,最终输出目标边框及类别。

图 3. 级联检测器

Fig. 3. Cascade detector

下载图片 查看所有图片

3 实验结果与分析

实验环境:利用Pytorch框架在SSDD数据集上训练检测器,操作系统为Ubuntu 16.04,计算机处理器为IntelR Xeon (R) CPU E5-1650v4@3.60 GHz和两块NVIDIA GTX1080ti GPU(12 G内存),利用CUDA9.0和CuDNN7.0加速。

在数据集SSDD上进行5种方法的实验,方法有Faster R-CNN、经过SDA改进的Faster R-CNN、基于DFP改进后的Faster R-CNN、基于CS改进的Faster R-CNN及结合上述方法改进后的检测模型。上述方法的检测结果如表1所示,其中N_target表示真实目标数,N_detection表示算法检测到的目标数,N_false表示检测虚警数,N_miss表示漏检数,Precision表示算法检测精度,Recall表示算法检测召回率。

从表1可以看到,对于标准的Faster R-CNN,在未经过任何改进的情况下,检测结果较为可观,算法的检测精度为95.83%,召回率为82.31%,但由于特征提取不充分,存在不少漏检的舰船。经SDA后,虽漏检的舰船和检测的虚警数未得到较大改善,但由于算法学习到更多特征,检测精度在一定程度上得到提升。利用DFP替换特征提取网络后,算法的检测精度相比于Faster R-CNN提高了0.91个百分点,提升效果并不显著,但召回率提升了1.52个百分点,反映目标被检测到的概率在增加,同时也说明这项改进对该算法模型有效。通过CS对检测网络改进后,与DFP替换特征提取网络类似,检测到的目标数、检测精度及召回率的提升并不明显,但有小幅度的增长就说明该方法行之有效。相比上述某一项的改进,实验将上述方法进行整合,经SDA及对整个Faster R-CNN进行微调后,有效提升了检测到的目标数,漏检数由17降到4,虚警数由9降到2,整体检测精度提升了2.69个百分点,检测召回率提升了2.28个百分点,达到了98.52%和84.59%,相比于传统算法,所提算法避免了预处理和背景杂波拟合等复杂过程,证明所提算法具有一定的普适性。

从数据集中选出不同尺寸的图像,及2月份渤海湾的SAR图像样张,如图4所示。

图 4. 不同尺度和角度舰船检测结果。(a)(b)(c)大面积海域;(d)(e)(f)港口区域;(g)(h)(i)存在航迹干扰

Fig. 4. Ship detection results of different scales and angles. (a)(b)(c) Large areas of sea; (d)(e)(f) port areas; (g)(h)(i) track interference

下载图片 查看所有图片

从图4可以看到,所提检测算法可适用于这些样本,图中数据表示目标类别,这里目标是舰船。传统检测算法对图4(a)~4(c)大片海域的目标检测结果较好,但图4(d)~4(f)中不可避免地存在漏检情况,这是传统检测算法的弊端,检测图4(d)~4(f)中靠岸目标通常需对港口区域进行预处理、海陆分割和杂波建模等环节,检测效果并不好,而所提算法省去这些环节,使用端到端的学习方法,在靠岸目标、大片海域目标及目标较多的情况下都取得了良好的检测效果。图4(g)~4(i)为渤海湾样张的检测结果,相比于图4(a)~4(f),2月份渤海湾有海冰及舰船航行留下的航迹干扰,对舰船目标检测极为不利,但所提算法依然可检测到这些目标,这是所提检测算法的优势。图4(i)左下角由于目标所占像素太小导致漏检,不过这不能代表整体情况。

4 结论

小目标数据增强算法解决了数据集样本不足的问题,使检测模型学习到更多特征,提升了检测器的性能。通过深度特征金字塔网络提取待检测目标的语义成分与形状-空间关系特征的相关性,与级联协同优化Faster R-CNN检测模型,提高各种尺寸和不同角度样本检测的鲁棒性。基于上述改进,在数据集上进行实验,实验结果表明:检测精度和召回率由原来的95.83%和82.31%提升到98.52%和84.59%,同时验证了每一点改进可提升的检测效果。基于深度学习的方法解决SAR图像中舰船检测问题,无需对图像进行去噪和海陆分割等操作,大大提高了检测效率。