基于时序数据回归分析的深度学习云检测
1 引言
云的存在影响着太阳和地表间的辐射能量传输[1-3],影响着卫星图像中地表、大气等参数的定量反演[4],准确高效的云检测在卫星影像定量反演中有着较为重要的作用。
阈值法是最早发展起来的云检测方法,已经广泛地应用于多种类型卫星图像的云检测。目前常用的传统阈值方法有Rossow等[5]提出的The International Satellite Cloud Climatology Project(ISCCP)方法、AVHRR Processing Over Land Cloud and Ocean(APOLLO)方法[6]和MODIS Cloud Mask算法[7]。但这些方法主要用于中等空间分辨率传感器,为了解决高空间分辨率传感器可用波段少导致云识别精度低的问题,Zhu等[8]提出Fmask方法用于Landsat数据的云检测。随着应用需求的不断提升,动态阈值法被提出并应用到云检测。Sun等[9]提出了一种通用动态阈值云检测算法(UDTCDA),该算法利用MOD09A1产品构建月度地表反射率数据库,通过辐射传输模型估算动态阈值并进行云像素的识别。王权等[10]改进了UDTCDA中地表反射率库与待检测卫星数据的空间匹配方法,进一步提升了云检测的精度。阈值法具有计算简单、速度快的优点,但它太过依赖阈值设定,对混合像元有较高的误判率,在云检测研究中具有一定的局限性。
深度学习技术由于具有较强的信息挖掘能力,目前已广泛用于卫星数据的云检测中。Zeng等[11]将全卷积网络(FCN)用于Landsat8数据的云检测,该网络能较好地区分出厚云与薄云,整体准确率高于88%。Chen等[12]为了解决FCN降低特征分辨率及定位精度等问题,在深度卷积神经网络(DCNN)中引入并行空洞卷积和条件随机场,提出了Deeplab模型。该模型在提升计算速度的前提下有效地扩大滤波器的视野,恢复全分辨率特征图并提升捕获边缘细节的能力。Zhao等[13]通过在FCN中引入金字塔池化模块,提升FCN聚合全局上下文信息的能力。Wieland等[14]将U-Net用于TM、ETM+、OLI及Sentinel-2多个卫星传感器,证明了该模型的泛化能力,并展示了不同训练策略和光谱波段组合对模型性能影响的内容。王海涛等[15]将多尺度特征与U-Net相结合,提升了模型对薄、碎云信息的挖掘能力,取得了较好的精度结果。Zhou等[16]对U-Net模型进行加强,以短连接代替长连接,增加了多个跳跃结构,提出了UNet++模型。Chai等[17]利用SegNet模型对Landsat7和Landsat8影像进行云与云阴影检测。但是目前基于深度学习的云检测方法大多是基于单时相离散通道组合进行实验的,无法深度提取云与地表的差异特征。
针对上述存在的问题,本文选取含云影像与对应地区前后时序的无云影像作为原始数据,利用线性回归方程计算时序数据的反射率变化趋势,并利用深度学习模型进行云检测研究。实验结果表明,对于不同类型以及下垫面的云,所提方法均能够得到较好的云检测结果,有效降低了对裸地、沙漠及冰雪等亮地表的误检率,减少了半透明薄云与地表信息形成的混合像元的漏检情况,提高了模型的泛化能力。
2 数据集选取与构建
2.1 Landsat8 Biome产品
本研究选用Landsat8 Biome数据集进行云检测实验。Landsat8 Biome数据集囊括了全球范围内不同下垫面群落的云量产品。以云阴影为区分标准对该数据集划分影像,可以避免影像中云阴影的影响。它包含了裸地、城市、草地、冰雪、森林、灌木、湿地及水体8种下垫面,每种下垫面包括12景影像。根据影像含云量的多少,又将12景影像细分为4景少云影像(含云量小于35%)、4景中云影像(含云量介于35%和65%之间)及4景多云影像(含云量大于65%),保证了云类型的多样性。每景影像都含有人工标注的云量掩模文件。
2.2 表观反射率变化趋势计算
以2013年南美洲阿尔及利亚的荒漠地区为例进行分析,获取该地区2013年的Landsat8时序数据,将无云数据排列在前,含云影像排列在后,并将不同类型数据按时间升序排列,得到像元的反射率变化趋势统计图,如
式中
图 1. 时序数据的表观反射率分析,虚线为12月无云影像与厚云影像的反射率连线
Fig. 1. Apparent reflectance analysis of time series data, the dash shows the reflectivity line between cloudless image and thick cloud image in December
2.3 波段测试实验
选择不同的波段组合作为输入特征会带来不同的检测效果。将OLI所有波段输入模型进行训练并不能得到最优的训练和预测精度。相反,选择过多波段进行训练会出现过拟合问题,降低网络模型的泛化性能[18-19]。对上述计算的Slope趋势图逐波段进行分析,如
2.4 短期时序数据集构建
深度学习训练样本的数量及代表性对网络模型的泛化能力有正向的推动作用,因此,构建数据集时不仅要选择合适的波段,还要包含不同典型地表类型且数量要足够多。考虑到无云影像获取有一定难度,而裸地、沙漠、建筑物等地表的表观反射率短期内不会随时间发生变化,故对于这类不随季节发生变化的地表的无云数据,筛选时可适当放宽时间限制;森林、草地、农田、灌木及湿地等地表的表观反射率随季节周期发生变化,故选择限制在前后一个月或相邻年份同一时间的无云影像。从Biome数据集中选择48景含云影像,24景用来构建训练集,24景用来构建测试集。对所需影像进行辐射校正,将数字量化值(DN)转换为表观反射率,然后对同一地区的短期时序数据按照反射率大小进行排序,得到无云像元在前、云像元在后的排列顺序。利用
3 原理与方法
3.1 UNet++模型
UNet++拥有复杂的跳跃连接结构。UNet++重新设计的密集跳跃结构连接了两个子网络,增加了模型的梯度流动性,弥补了编码器和解码器之间的语义鸿沟。当来自编码器网络的高分辨率特征映射在来自解码器网络的相应语义特征时,该模型可以更有效地捕获前景对象的细粒度细节。模型的卷积层均使用3×3的卷积核计算得到,池化层采用最大池化方式,保留更多的纹理信息。密集跳跃结构中的每个子集都是由独立的卷积层和池化层构成的。从结构中可以看出,模型内部除了水平方向上存在着跳跃结构,浅层卷积和深层卷积之间通过上采样联结在一起。所以上采样之后的卷积层融合了该阶段的特征信息和下一阶段卷积层的特征信息,解决了多层卷积计算后信息丢失的弊端[16]。
式中:
3.2 泛化性能测试
为了探究不同数据集对UNet++泛化性能的影响,利用Landsat8数据,构建单时相以及短期时序数据集进行训练和验证。单时相数据集指从Biome数据集的8个下垫面中各选3张含云影像(1张多云影像、1张中云影像、1张少云影像)作为训练数据集的集合。短期时序数据集指对单时相数据集的24张8000×8000左右的Landsat8数据与对应区域的无云影像计算斜率变化趋势后得到的影像数据集。由于两种数据集选用相同的模型和参数进行训练和预测,为了在后续定性和定量分析时不造成混淆,将利用短期时序数据进行训练的方法称为Slope-UNet++。
3.3 模型参数
利用TensorFlow 2.4中的Keras框架搭载UNet++模型,在配置为NVIDIA GeForce RTX 3050Ti Laptop GPU的电脑上展开研究。考虑到电脑性能和模型架构限制,Landsat8原始影像无法直接作为训练集输入到模型中。因此,对训练数据集采用滑动窗口方式(每相邻两张影像重叠度为10%)进行批量分割,分成256×256大小的影像块,共计22432张。其中,训练数据块的70%用来训练,30%用来模型验证。UNet++模型的训练情况如
3.4 精度指标
选用6种广泛使用的量化指标来评估网络模型预测云识别的准确性,即总体准确度(
式中:
4 结果与分析
4.1 定性分析
为了准确对比算法性能,首先将Landsat8 Biome官方云检测产品重新分为云和非云两类,其中云包含云(cloud)、薄云(thin cloud),非云包含填充区域(fill)、云阴影(shadow)及晴空像元(clear);然后将Slope-UNet++方法的云识别结果与基于单时相离散通道组合数据集的云识别结果和官方云检测产品进行对比。
图 5. 短期时序数据集与单时相数据集的云识别结果对比。(a)裸地上空;(b)城市上空;(c)森林上空;(d)草地上空;(e)灌木上空;(f)冰雪上空;(g)水体上空;(h)湿地上空
Fig. 5. Comparison of cloud identification results between short-time-series dataset and single-temporal dataset. (a) Over the barren; (b) over the city; (c) over the forest; (d) over the grassland; (e) over the shrub; (f) over the ice and snow; (g) over water; (h) over wetland
4.2 定量分析
为了准确分析各个模型的云检测精度,在裸地、城镇、森林、草地、湿地、灌木、冰雪及水体8种下垫面分别选取影像进行精度评定。
图 6. 模型的精度对比。(a)裸地上空;(b)城市上空;(c)森林上空;(d)草地上空;(e)灌木上空;(f)冰雪上空;(g)水体上空;(h)湿地上空
Fig. 6. Accuracy comparison of models. (a) Over the barren; (b) over the city; (c) over the forest; (d) over the grassland; (e) over the shrub; (f) over the ice and snow; (g) over water; (h) over wetland
对24景影像中不区分地面场景的影像进行总体评价。从
表 1. 精度评定
Table 1. Assessment of accuracy
|
此外值得注意的是,深度学习模型逐像元评定待预测遥感影像的云概率,因此,阈值的设置会影响模型二分类输出结果,从而影响着准确度、召回率、误检率和漏检率等多种指标。如
5 结论
云检测是去云工作高效开展的重要前提。亮地表和薄碎云易错误识别是目前云检测研究存在的重难点问题。针对亮地表光谱和纹理特征与云相似、半透明薄云光谱和纹理特征与普通地表相似的问题,利用建筑物、道路、裸地、荒漠等亮地表在短期时序数据的像元斜率变化趋于0值,而云的斜率变化剧烈且陡峭的特性,基于Landsat8 Biome数据集构建包含不同下垫面的短期时序数据斜率变化趋势数据集,并将该数据集与深度学习技术相结合。结果表明,Slope-UNet++在多种精度指标上均优于单时相单纯离散通道组合的云检测网络(SegNet、U-Net和UNet++)。Slope-UNet++有效解决不随时间发生变化的亮地表的误检问题,F1分数达96.28%,误检率降低到1.07%。对于半透明薄云和云边界的识别,该方法也得到了较高的精度。但是,对于肉眼尚且无法准确识别的透明薄云和季节性冰雪,Slope-UNet++的识别效果比单时相UNet++的结果要稍差一些,未来考虑对深度模型结构进行改进,在短期时序数据斜率特征的基础上,挖掘更深层的信息,改善对透明薄云和冰雪的识别精度。
[1] Andreae M O, Rosenfeld D. Aerosol-cloud-precipitation interactions. Part 1. The nature and sources of cloud-active aerosols[J]. Earth-Science Reviews, 2008, 89(1/2): 13-41.
[2] Li Z Q, Lau W K M, Ramanathan V, et al. Aerosol and monsoon climate interactions over Asia[J]. Reviews of Geophysics, 2016, 54(4): 866-929.
[3] Stephens G. Cloud feedbacks in the climate system: a critical review[J]. Journal of Climate, 2005, 18: 237-273.
[4] Wei J, Huang W, Li Z Q, et al. Cloud detection for Landsat imagery by combining the random forest and superpixels extracted via energy-driven sampling segmentation approaches[J]. Remote Sensing of Environment, 2020, 248: 112005.
[5] Rossow W B, Mosher F, Kinsella E, et al. ISCCP cloud analysis algorithm intercomparison[J]. Advances in Space Research, 1985, 5(6): 185.
[6] Saunders R W, Kriebel K T. An improved method for detecting clear sky and cloudy radiances from AVHRR data[J]. International Journal of Remote Sensing, 1988, 9(1): 123-150.
[7] Ackerman S A, Strabala K I, Menzel W P, et al. Discriminating clear sky from clouds with MODIS[J]. Journal of Geophysical Research: Atmospheres, 1998, 103(D24): 32141-32157.
[8] Zhu Z, Woodcock C E. Object-based cloud and cloud shadow detection in Landsat imagery[J]. Remote Sensing of Environment, 2012, 118: 83-94.
[9] Sun L, Wei J, Wang J, et al. A Universal Dynamic Threshold Cloud Detection Algorithm (UDTCDA) supported by a prior surface reflectance database[J]. Journal of Geophysical Research: Atmospheres, 2016, 121(12): 7172-7196.
[10] 王权, 孙林, 韦晶, 等. 动态阈值云检测算法改进及在高分辨率卫星上的应用[J]. 光学学报, 2018, 38(10): 1028002.
[11] ZengX S, YangJ G, DengX P. Cloud segmentation of remote sensing images on Landsat-8 by deep learning[C]∥Proceedings of the 2nd International Conference on Big Data Research, October 27-29, 2018, Weihai, China. New York: ACM Press, 2018: 174-177.
[12] Chen L C, Papandreou G, Kokkinos I, et al. DeepLab: semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(4): 834-848.
[13] ZhaoH S, ShiJ P, QiX J, et al. Pyramid scene parsing network[C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 21-26, 2017, Honolulu, HI, USA. New York: IEEE Press, 2017: 6230-6239.
[14] Wieland M, Li Y, Martinis S. Multi-sensor cloud and cloud shadow segmentation with a convolutional neural network[J]. Remote Sensing of Environment, 2019, 230: 111203.
[15] 王海涛, 王一琛, 王永强, 等. 基于MS-UNet的Landsat影像云检测[J]. 激光与光电子学进展, 2021, 58(14): 1401002.
[16] ZhouZ W, SiddiqueeM M R, TajbakhshN, et al. UNet++: a nested U-net architecture for medical image segmentation[M]∥Stoyanov D, Taylor Z, Carneiro G, et al. Deep learning in medical image analysis and multimodal learning for clinical decision support. Lecture notes in computer science. Cham: Springer, 2018, 11045: 3-11.
[17] Chai D F, Newsam S, Zhang H K, et al. Cloud and cloud shadow detection in Landsat imagery based on deep convolutional neural networks[J]. Remote Sensing of Environment, 2019, 225: 307-316.
[18] 彭龙康, 刘励聪, 陈学泓, 等. 遥感影像云检测网络泛化性能研究:以DeepLabv3+为例[J]. 遥感学报, 2021, 25(5): 1169-1186.
Peng L K, Liu L C, Chen X H, et al. Generalization ability of cloud detection network for satellite imagery based on DeepLabv3+[J]. National Remote Sensing Bulletin, 2021, 25(5): 1169-1186.
[19] Jeppesen J H, Jacobsen R H, Inceoglu F, et al. A cloud detection algorithm for satellite imagery based on deep learning[J]. Remote Sensing of Environment, 2019, 229: 247-259.
[20] 袁洲, 郭海涛, 卢俊, 等. 融合UNet++网络和注意力机制的高分辨率遥感影像变化检测算法[J]. 测绘科学技术学报, 2021, 38(2): 155-159.
Yuan Z, Guo H T, Lu J, et al. High-resolution remote sensing image change detection technology based on UNet++ and attention mechanism[J]. Journal of Geomatics Science and Technology, 2021, 38(2): 155-159.
Article Outline
田亚楠, 李云岭, 孙林, 逄淑林, 张平. 基于时序数据回归分析的深度学习云检测[J]. 激光与光电子学进展, 2024, 61(4): 0428013. Yanan Tian, Yunling Li, Lin Sun, Shulin Pang, Ping Zhang. Deep Learning Cloud Detection Based on Regression Analysis of Temporal Data[J]. Laser & Optoelectronics Progress, 2024, 61(4): 0428013.