少样本条件下基于生成对抗网络的遥感图像数据增强 下载: 850次
1 引言
随着遥感技术的迅猛发展,遥感图像目标检测识别在各领域的应用极为广泛,其中卷积神经网络常作为一种重要的研究方法。卷积神经网络优异的性能、强大的特征提取能力是建立在丰富的数据集基础之上的,数据量不足时会导致过拟合,进而影响算法性能。然而,在现实世界中,受数据记录条件的限制,大量有标签的遥感图像数据的获得通常是不现实的,人们往往仅得到少量带标签的数据样本。实际应用中出现了因某些领域的数据集中样本数量过少而限制现有检测识别算法性能的情况。
针对如何在少样本条件下减小过拟合的影响,当前常用的数据增强方法主要有图像仿射变换、信息删除、图像融合、生成模型[1-7]等方法。图像仿射变换方法主要指对图像进行平移、尺度变换、对比度变换、噪声扰动等方法,文献[ 8]中将图像仿射变换中的各项操作进行离散优化以应用于图像分类问题。信息删除主要指删除图像中的一部分内容,其中较为典型的信息删除方法包括剪切(Cutout)、网格掩码(Gridmask)[9-10]等。图像融合的方法主要指将两张或多张图片融合为一张图片的方法,其中较为典型的方法有混合(Mixup)、自动混合(Augmix)[11-12]等。利用生成模型的方法生成数据,常用的生成模型主要包括变分自编码器(VAE)、生成对抗网络(GAN)[13-14]等,这类方法比一般的图像预处理方法更为复杂,但其生成的样本也更加多样。
本文对基于样式的生成对抗网络(StyleGAN2)[15]进行改进并将其应用于少样本条件下的遥感图像数据增强中,在经过数据增强后的数据集上利用yolov3目标检测算法[16]进行检测,检测精度有所提高。本文主要的工作包括3个方面:1)提出了一种基于生成对抗网络的遥感图像数据增强流程;2)为提高图像生成质量,综合图像局部信息与全局信息,对网络判别模型进行改进,将其修改为U形网络(Unet)[17],并对网络损失函数进行修改;3)利用检测模型的检测精度作为评价指标,评价了利用改进后的StyleGAN2网络进行数据增强的效果,并将其与图像仿射变换方法进行了比较。
2 生成对抗网络
GAN的基本结构框架图如
GAN中通过训练D使其最大化,判断真实数据和生成数据的概率,同时训练G使其最小化ln
式中:V(D,G)表示目标函数;Ex、Ez分别表示真实数据x和噪声数据z的数学期望;G(z)表示生成模型的输出;D(x)、D
判别模型D的梯度为
生成模型G的梯度为
式中:
最终二者达到纳什均衡,判别器输出为0.5,即判别模型D无法判断输入是来自真实数据还是来自生成数据。
随着近些年来研究人员对生成对抗网络的不断改进,其生成图像的质量也不断提高,如文献[ 18]中提出了深度卷积生成对抗网络(DCGAN),该网络使用了跨距卷积的方法,并将卷积神经网络与生成对抗网络结合起来。文献[ 19]中提出了基于Wasserstein生成对抗网络(WGAN)的模型,该模型使用Wasserstein距离来代替Jensen-Shannon(JS)散度评估实际样本与生成样本之间的距离,相较于原始GAN进一步提高了训练的稳定性。文献[ 20]中提出了基于样式的生成对抗网络StyleGAN,使用潜变量并经过空间映射得到中间变量,将该过程作为style控制生成模型的生成过程,StyleGAN2针对StyleGAN生成图片中出现的伪影进行了改进,主要是将实例正则化的过程改进为调制-解调的过程。
3 遥感图像数据增强流程与算法
3.1 遥感图像数据增强流程
与图像仿射变换、信息删除、图像融合等数据增强方法不同,本文通过训练生成对抗网络生成不同于原始图像的异构图像,并将生成图像与背景进行融合,得到新样本。具体流程为:1)从原始图像中截取目标,用于训练生成对抗网络;2)利用生成对抗网络生成目标样本;3)将生成目标与背景图片进行融合,得到融合后的生成样本。遥感图像数据增强流程图如
3.2 基于StyleGAN2模型的改进
这里在StyleGAN2的基础上对生成对抗网络进行改进,重点对判别模型的结构进行了改进,将其调整为U-Net结构,使它能够同时输出属于真实类或伪类图像的全局和局部决策。其中以原StyleGAN2的判别模型作为编码器模块执行全局决策,解码器模块类似生成模型,输出每像素类决策,并向生成模型提供空间相干反馈。这种体系结构的改变使得判别模型的能力得到增强,它鼓励生成模型生成细节更为丰富的图像,也使得生成模型更难以欺骗判别模型,从而提高生成样本的质量。判别模型结构如
此外,为增加模型的泛化能力,参考文献[ 21]中的方法在生成模型与判别模型中同时使用了cutout等正则化方法。
损失函数中原StyleGAN2网络的判别模型、生成模型的损失函数分别为
式中:LD、LG分别表示判别模型与生成模型的损失函数。改进后的判别模型损失函数为
式中:
式中:Denc、Ddec分别表示判别模型的编码器部分与解码器部分;T表示cutout正则化方法;i、j分别表示判别模型解码部分Ddec输出矩阵的行、列数。改进后的生成模型损失函数为
3.3 生成目标图像融合
生成目标图像融合部分采用生成目标替换原边界框的方式,生成了与原始图像具有相同标签的异构图像,该融合过程主要分为纹理匹配与边界融合两步。其中纹理匹配是基于局部二值模式(LBP)[22]对生成图像与背景图像进行特征匹配,首先使用旋转不变LBP算子分别提取生成样本与背景图片的特征,之后计算二者的统计直方图特征,以生成样本与背景图片的统计直方图特征均方误差作为评价指标,筛选与背景图片最为匹配的生成样本。生成样本与背景图片间的匹配损失的计算公式为
式中:lb、lg分别表示背景图片与生成样本的统计直方图特征。为保证生成图像的多样性,筛选过程中首先选择出最小的10张生成样本,再从10张生成样本中随机选择1张进行边界融合。
边界融合部分借鉴文献[ 23]中的边界渐进式融合的思想,设边界融合r个像素,融合时的权重w为
式中:i为边界融合的像素数,融合后图片边界处的像素为
式中:g'(x,y)表示边界在(x,y)处融合后的像素;b(x,y)表示背景图片在(x,y)处的像素;g(x,y)表示生成图片在(x,y)处的像素。
4 实验与分析
4.1 数据集制作
本文选取DIOR数据集[24]与RSOD数据集[25]作为研究对象。 DIOR数据集共包含23463张遥感图像,其中训练集与验证集共11725张图像,测试集共11738张图像,图片分辨率为800 pixel×800 pixel,共20个类别。为研究数据增强算法在小样本数据集下对目标检测算法的影响,本文减少了训练集的数量,从训练集与验证集中随机抽取了7035张图像作为训练集,测试集保持不变。RSOD数据集共包含976张遥感图像,图片分辨率为512 pixel×512 pixel至1961 pixel×923 pixel不等,图像共4个类别,本文按照0.7,0.1,0.2的比例划分了训练集、验证集与测试集。
4.2 实验结果和分析
本文分别选取了DIOR数据集中目标数量相对较少的11类目标与RSOD数据集中目标数量相对较少的2类目标进行逐类数据增强,
表 1. DIOR数据集上生成目标的FID值对比
Table 1. Comparison of FID values of generated target on DIOR datasets
|
表 2. RSOD数据集上生成目标的FID值对比
Table 2. Comparison of FID values of generated target on RSOD datasets
|
生成新的目标后,利用旋转不变LBP算子对生成目标与背景图片进行纹理匹配,筛选出与背景图片纹理最为接近的生成样本,并将其与背景图片融合后得到新的生成样本,生成的样本示例如
图 4. 生成样本效果图示例。(a)(b)烟囱;(c)(d)篮球场;(e)(f)体育场
Fig. 4. Examples of generated samples. (a)(b) Chimney; (c)(d) basketball court; (e)(f) stadium
在小样本数据集上分别使用基于图像仿射变换 (包括平移变换与颜色变换)的方法以及本文所提方法进行数据增强,并通过在原数据集上增加不同数量的增强数据进行对比,选择yolov3作为评价指标评价识别模型的检测精度,实验结果如
表 3. DIOR数据集上添加不同比例增强数据时的检测精度对比
Table 3. Comparison of detection accuracy for adding different percent of enhancement data on DIOR dataset%
|
表 4. RSOD数据集上添加不同比例增强数据时的检测精度对比
Table 4. Comparison of detection accuracy for adding different percent of enhancement data on RSOD dataset%
|
从实验结果可以看出,基于图像仿射变换的方法在DIOR数据集与RSOD数据集上的检测精度分别为46.06%与70.78%,最高精度分别为49.14%与79.28%,使用本文方法进行数据增强后得到的最高精度分别为48.14%与77.25%,略低于基于图像仿射变换的方法。但两种方法结合在一起时在DIOR数据集与RSOD数据集上取得的最高精度分别为49.51%与80.13%,可见本文方法能对基于图像仿射变换的数据增强方法起到叠加的作用。
5 结论
深度神经网络在小样本数据集下容易出现过拟合的问题,针对少样本条件下的遥感图像数据,提出一种基于生成对抗网络的数据增强方法,通过实验验证了所提方法的有效性,该方法适用于遥感图像数据增强,且有助于提高检测识别模型的精度。
[2] Zhong Z, Zheng L, Kang G L, et al. Random erasing data augmentation[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2020, 34(7): 13001-13008.
[5] 张祥东, 王腾军, 杨耘, 等. 基于多尺度残差网络的小样本高光谱图像分类[J]. 激光与光电子学进展, 2020, 57(16): 162801.
[6] 晋玮佩, 郭继昌, 祁清, 等. 基于条件生成对抗网络的水下图像增强[J]. 激光与光电子学进展, 2020, 57(14): 141002.
[7] 贺琪, 李瑶, 宋巍, 等. 小样本的多模态遥感影像高层特征融合分类[J]. 激光与光电子学进展, 2019, 56(11): 111001.
[8] Cubuk ED, ZophB, ManéD, et al.AutoAugment: learning augmentation strategies from data[C] //2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 15-20, 2019, Long Beach, CA, USA. New York: IEEE Press, 2019: 113- 123.
[14] GoodfellowI, PougetJ, MirzaM, et al. Generative adversarial nets[C] //Proceedings of the 27th International Conference on Neural Information Processing Systems, December 8-13, 2014, Montreal, Quebec, Canada. New York: ACM, 2014: 2672- 2680.
[25] Long Y, Gong Y P, Xiao Z F, et al. Accurate object localization in remote sensing images based on convolutional neural networks[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(5): 2486-2498.
Article Outline
姜雨辰, 朱斌. 少样本条件下基于生成对抗网络的遥感图像数据增强[J]. 激光与光电子学进展, 2021, 58(8): 0810022. Yuchen Jiang, Bin Zhu. Data Augmentation for Remote Sensing Image Based on Generative Adversarial Networks Under Condition of Few Samples[J]. Laser & Optoelectronics Progress, 2021, 58(8): 0810022.