基于UNet深度学习算法的东海大型漂浮藻类遥感监测 下载: 1208次
1 引言
大型漂浮藻类大规模暴发事件频发,给沿海地区的生态环境、水产养殖和渔业带来了严重损失[1-4]。影响我国近海的大型漂浮藻类主要为浒苔和马尾藻。其中,浒苔的影响区域主要是黄海海域[5],而马尾藻暴发则主要发生在东海海域,自2017年以来马尾藻的暴发成为了备受关注的新灾害。例如,2017年江苏省受马尾藻影响的紫菜养殖区面积高达2.27×108 m2,大部分养殖区面临产量损失,造成的直接经济损失超过5亿元人民币[6]。因此及时、准确地获取大型漂浮藻类的时空分布信息对保护我国近海海洋生态环境、养殖业经济等有着重要意义。
大型漂浮藻类暴发时漂移路径多变,传统的浮标观测、船舶观测耗时费力,并且很难全面准确地掌握受灾区域的暴发时间、分布范围和漂移路径等信息。相比之下,卫星遥感技术具有大尺度、高时空覆盖率等优势,成为监测大型漂浮藻类分布的主要手段。例如,卫星遥感可以及时、经济地获取大型漂浮藻类的暴发时间、地点、范围和漂移路径等信息,这将有助于对大型漂浮藻类灾害进行预防和治理[6]。目前用于监测大型漂浮藻类的卫星传感器主要包含搭载在极轨卫星的MODIS(Moderate-Resolution Imaging Spectroradiometer)、MERIS(Medium Resolution Imaging Spectrometer Instrument)、LandSat、高分传感器等,以及搭载在静止轨道卫星COMS(Communication,Ocean,and Meteorological Satellite)上的GOCI(Geostationary Ocean Color Imager)传感器。大型漂浮藻类的短时漂移特点,使得利用较低时间分辨率的极轨卫星对大型漂浮藻类进行实时监测较为困难,而GOCI传感器每天可提供8景观测数据,时间分辨率为1 h,空间分辨率为500 m,其高时空分辨率的特点为大型漂浮藻类监测提供了重要的数据保障。
目前国内外研究者主要采用指数阈值法进行大型漂浮藻类监测,指数阈值法主要包括归一化植被指数(NDVI)法、增强型植被指数(EVI)法、漂浮藻类指数(FAI)法、替代型漂浮藻类指数(AFAI)法等[7-15]。NDVI的值用NDVI表示,AFAI的值用AFAI表示。例如,Qi等[10]基于多源卫星传感器数据,利用AFAI法对2017年大型漂浮藻类的暴发进行了监测。然而,需要指出的是:虽然指数阈值法应用广泛,但其容易受到大气条件和海面环境的影响,进而导致监测结果存在较大的不确定性。
随着深度学习技术的发展,卷积神经网络在目标检测、目标提取、图像分类等领域表现出很大的潜力,其强大的图像特征提取能力为遥感图像提取提供了新的思路,卷积神经网络已逐步应用于遥感相关研究中[16-17]。UNet是典型的卷积神经网络模型之一,具有提取准确率高、迁移性好等特点,在遥感监测上有明显优势。
因此,本文基于GOCI卫星遥感数据,利用UNet深度学习网络构建出能够有效提取大型漂浮藻类信息的深度学习模型,实现对我国近海大型漂浮藻类灾害的遥感监测,进而为大型漂浮藻类灾害的防控治理提供科学技术支持。
2 研究区域与数据
2.1 研究区概述
本文研究区域为大型漂浮藻类常发区域,经纬度范围为:27°N~34°N,119°E~128°E,研究区域主要包括东海区域。东海的面积约为7.7×105 km2,平均水深为349 m,最大水深为2719 m,有着复杂的海底地形,年平均水温为20~24 ℃,水文特征比较稳定。
2.2 GOCI卫星数据与预处理
本文采用GOCI遥感数据,GOCI是由韩国在2010年发射的静止轨道水色卫星COMS上所搭载的传感器,可检测8个波段,中心波段分别为412,443,490,555,660,680,745,865 nm,观测区域范围为:111°E~149°E,21°N~47°N。GOCI每天可提供8景数据,时间间隔为1 h[18]。本文从GOCI数据官网(http://kosc.kiost.ac.kr/eng/)筛选了10景2015—2017年大型漂浮藻类暴发期间海域少云图像,下载了L1B(Level-1B)数据,用GDPS(GOCI Data Processing System,Version 2.0)对其进行裁剪和大气校正处理得到L2C(Level-2C)数据。L2C数据包含消除瑞利散射的遥感反射率(Rrc)数据与地物掩模信息[19],本文使用瑞利校正后的遥感反射率进行相关研究。
3 大型漂浮藻类提取模型及精度评价方法
3.1 UNet深度学习网络
本研究采用UNet深度学习网络对大型漂浮藻类分布进行遥感提取。UNet深度学习网络是一种语义分割神经网络,广泛应用于遥感影像的解译[20-22]。UNet深度学习网络结构由编码端、解码端及跳跃连接组成,利用向前卷积、编码端池化下采样、解码端上采样等过程获取图像特征信息。
用于大型漂浮藻类提取的深度学习模型的建立分为3个步骤:1)数据预处理;2)模型训练;3)模型验证。具体流程如
图 1. 建立用于提取大型漂浮藻类的深度学习模型的具体流程
Fig. 1. Specific process of establishing deep learning model for floating macroalgae bloom extraction
3.2 NDVI法与AFAI法
本文对比分析了基于UNet的深度学习模型、基于NDVI法和基于AFAI法的大型漂浮藻类提取效果。其中NDVI法最初是根据植被在红光波段与近红外波段的不同光谱特征建立植被信息提取指数。由于大型漂浮藻类光谱和植被光谱具有相似性,NDVI法也常被用于大型漂浮藻类的提取,NDVI的计算公式为
式中:RNIR和RRED分别表示近红外波段(860 nm波段)和红光波段(660 nm波段)的反射率。
AFAI法也主要利用了大型漂浮藻类在红光波段的强吸收和近红外波段的高反射特征,AFAI的计算公式为
式中:Rrc,RED、Rrc,NIR、Rrc,LNIR分别为红光波段(660 nm波段)、近红外波段(745 nm波段)和长波近红外波段(865 nm波段)的反射率。
3.3 精度评价
本研究主要关注的是提取大型漂浮藻类分布信息的准确度,在诸多精度评价指标中,F1分数能够更加确切地表征单类目标提取的准确度,因此本文采用F1分数对大型漂浮藻类的提取结果进行精度评价,F1分数的计算公式为
式中:P和R分别表示精确率和召回率。精确率P是指真正例占深度学习网络估测值为正例的比例,可表示为
召回率R是指真正例占真实值为正例的比例,可表示为
式中:NTP表示真实值为正例且被算法分类为正例的数量;NFP表示真实值为反例而被算法分类为正例的数量;NFN表示真实值为正例而被算法分类为反例的数量。NTN表示真实值为反例且被算法分类为反例的数量,NTP、NFP、NFN、NTN构成的混淆矩阵如
表 1. 混淆矩阵
Table 1. Confusion matrix
|
由以上分析可以看出:F1分数是精确率和召回率的加权调和平均数。相比其他评价指标,F1分数的优势在于它可以惩罚极端情况,因其赋予精确度和召回率相同的权重,所以在两者之一为0的情况下F1分数也为0。F1分数的取值范围为0~1,其值越高表明提取精度越高,反之亦然。
4 结果
4.1 深度学习模型对大型漂浮藻类分布的提取
通过对6景GOCI数据共24000个随机样本的不断训练,网络达到了收敛状态,最后10次迭代的平均准确度为92.43%(每次迭代的准确度取区间最大值),对于训练样本,全局提取结果的F1分数为90.48%。在此基础上,利用建立的基于UNet的深度学习模型对2017年4月3日大型漂浮藻类分布信息进行了提取。结果如
图 2. 不同区域的GOCI假彩色合成影像和基于UNet的深度学习模型对大型漂浮藻类的提取结果。(a)(c)不同区域的GOCI假彩色合成影像;(b)(d)基于UNet的深度学习模型对大型漂浮藻类的提取结果
Fig. 2. GOCI pseudo-color synthetic images for different regions, and extracted results of floating macroalgae blooms using UNet based deep learning model. (a)(c) GOCI pseudo-color synthetic images for different regions; (b)(d) extracted results of floating macroalgae blooms using UNet based deep learning model
4.2 深度学习模型和其他指数法的对比
分别采用基于UNet的深度学习模型、NDVI法和AFAI法,并利用2015年4月22日的GOCI影像对大型漂浮藻类分布信息进行了提取。
图 3. 不同区域的GOCI假彩色合成影像以及采用基于UNet的深度学习模型、NDVI法和AFAI法得到的大型漂浮藻类分布图。(a)(e)不同区域的GOCI假彩色合成影像;(b)(f)采用基于UNet的深度学习模型得到的大型漂浮藻类分布;(c)(g) 采用NDVI法得到的大型漂浮藻类分布;(d)(h) 采用AFAI法得到的大型漂浮藻类分布
Fig. 3. GOCI pseudo-color synthetic images for different regions, and distributions of floating macroalgae blooms obtained by UNet based deep learning model, NDVI method, and AFAI method. (a)(e) GOCI pseudo-color synthetic images for different regions; (b)(f) distributions of floating macroalgae blooms obtained by UNet based deep learning model; (c)(g) distributions of floating macroalgae blooms obtained by NDVI method; (d)(h) distributions of floating macroalgae blooms obtained by AFAI method
表 2. 采用基于UNet的深度学习模型、NDVI法、AFAI法得到的大型漂浮藻类分布结果
Table 2. Distribution results of floating macroalgae blooms obtained by UNet based deep learning model, NDVI method, and AFAI method
|
对于大型漂浮藻类密集分布区R2[
4.3 深度学习模型在特殊情况下对大型漂浮藻类的提取结果
基于2015年3月24日的GOCI影像,分别采用基于UNet的深度学习模型、NDVI法和AFAI法对大型漂浮藻类分布信息进行了提取,提取结果如
图 4. 2015年3月24日GOCI假彩色合成影像,以及采用基于UNet的深度学习模型、NDVI法和AFAI法得到的大型漂浮藻类分布。(a) 2015年3月24日GOCI假彩色合成影像;(b)采用基于UNet的深度学习模型得到的大型漂浮藻类分布;(c)采用NDVI法得到的大型漂浮藻类分布;(d)采用AFAI法得到的大型漂浮藻类分布
Fig. 4. GOCI pseudo-color synthetic image on 24 March, 2015 and distributions of floating macroalgae blooms obtained by UNet based deep learning model, NDVI method, and AFAI method. (a) GOCI pseudo-color synthetic image on 24 March, 2015; (b) distribution of floating macroalgae blooms obtained by UNet based deep learning model; (c) distribution of floating macroalgae blooms obtained by NDVI method; (d) distribution of floating macroalgae blooms obtained by AFAI method
4.4 2017年大型漂浮藻类暴发过程分析
利用基于UNet的深度学习模型,对2017年大型漂浮藻类的暴发过程进行了分析,结果如
图 5. 利用基于UNet的深度学习模型提取的中国近海大型漂浮藻类分布情况。(a) 2017年4月3日;(b) 2017年4月19日;(c) 2017年5月18日;(d) 2017年5月28日
Fig. 5. Distributions of floating macroalgae blooms near the East China Sea obtained by UNet based deep learning model. (a) 3 April, 2017; (b) 19 April, 2017; (c) 18 May, 2017; (d) 28 May, 2017
5 结论
基于GOCI卫星传感器数据资料并利用UNet深度学习网络构建出了能够有效提取中国近海海域大型漂浮藻类的深度学习模型。该模型可在比较复杂的大气海洋环境中实现对大型漂浮藻类、清洁海水、浑浊海水和云的分布信息的自动提取,提取大型漂浮藻类时得到的F1分数平均可达88.54%。相比于常用的NDVI法、AFAI法,所提出的深度学习模型具有更高的大型漂浮藻类提取准确度,并且受云的影响较小;利用所提出的深度学习模型的提取结果,对2017年大型漂浮藻类暴发过程进行了分析,分析结果表明所提出的深度学习模型具有很好的实用性。这些结果为大型漂浮藻类灾害的科学监测防控提供了重要的技术支撑。然而,所提出的深度学习模型可能存在小部分错检或漏检情况,这可能与网络训练数据量不够大、训练不完全有关。今后的研究中将进一步通过增加不同情况下的训练样本来提高对大型漂浮藻类的监测精度。此外,基于高空间分辨率卫星数据的UNet深度学习识别模型有待进一步的研究。
尽管对2017年东海大型漂浮藻类暴发过程进行了分析,但是在大型漂浮藻类暴发初期,其斑块往往很小,仅有500 m空间分辨率的GOCI传感器很难对其进行有效监测。对于早期大型漂浮藻类爆发现象的探测,需要依靠更高空间分辨率的卫星遥感数据(如Landsat、高分等)[6]。需要指出的是,所提出的基于UNet的深度学习模型在基于高空间分辨率的卫星遥感数据的大型漂浮藻类的探测方面具有很大的应用潜力,这将是后续研究的方向之一。另外,本文研究区为东海,虽然东海海域的大型漂浮藻类主要为马尾藻,但有些情况下也有可能是浒苔,甚至会有马尾藻和浒苔的混生现象,如何客观准确地确认所探测的大型漂浮藻类是马尾藻还是浒苔,还需要根据浒苔和马尾藻的具体光谱特征差异[25]提出相应的区分模型,这些都是下一步的研究方向。
[1] 杨欢, 黎中宝, 李元跃, 等. 厦门海域浒苔种类鉴定及其营养成分分析[J]. 中国渔业质量与标准, 2013, 3(4): 70-75.
[2] 赵素芬, 刘丽丝, 孙会强, 等. 湛江海域浒苔属Enteromorpha种类的形态与显微结构[J]. 广东海洋大学学报, 2013, 33(6): 1-8.
[3] 王晗, 王宏伟. 辽宁沿海浒苔属的调查研究[J]. 安徽农业科学, 2009, 37(6): 2676-2678, 2710.
[4] Xing Q G, Hu C M. Mapping macroalgal blooms in the Yellow Sea and East China Sea using HJ-1 and Landsat data: application of a virtual baseline reflectance height technique[J]. Remote Sensing of Environment, 2016, 178: 113-126.
[7] Hu C M, He M X. Origin and offshore extent of floating algae in Olympic sailing area[J]. Eos, Transactions American Geophysical Union, 2008, 89(33): 302-303.
[8] HueteA, Justice C, van Leeuwen W. MODIS vegetation index (MOD13)[EB/OL].[2020-07-20]. https:∥www.mendeley.com/catalogue/edc791aa-0330-381b-8400-6a70c358af12/.
[10] Qi L, Hu C M, Wang M Q, et al. Floating algae blooms in the East China sea[J]. Geophysical Research Letters, 2017, 44(22): 11501-11509.
[11] 于杰, 黄洪辉, 舒黎明, 等. 马尾藻遥感信息提取[J]. 遥感信息, 2013, 28(2): 93-100, 105.
Yu J, Huang H H, Shu L M, et al. Sargassum extraction using remote sensing technology[J]. Remote Sensing Information, 2013, 28(2): 93-100, 105.
[14] 张海龙, 孙德勇, 李俊生, 等. 基于GF1-WFV和HJ-CCD数据的我国近海绿潮遥感监测算法研究[J]. 光学学报, 2016, 36(6): 0601004.
[15] 陈莹, 孙德勇, 张海龙, 等. 结合GOCI数据的黄海绿潮遥感监测及漂移轨迹研究[J]. 光学学报, 2020, 40(3): 0301001.
[16] 苏健民, 杨岚心, 景维鹏. 基于U-Net的高分辨率遥感图像语义分割方法[J]. 计算机工程与应用, 2019, 55(7): 207-213.
[17] 伍广明, 陈奇, Ryosuke Shibasaki, 等. 基于U型卷积神经网络的航空影像建筑物检测[J]. 测绘学报, 2018, 47(6): 864-872.
[20] GhoshA, EhrlichM, ShahS, et al.Stacked U-nets for ground material segmentation in remote sensing imagery[C]∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), June 18-22, 2018, Salt Lake City, UT, USA.New York: IEEE Press, 2018: 18347270.
[22] IglovikovV, Shvets A . TernausNet: U-Net with VGG11 encoder pre-trained on ImageNet for image segmentation[EB/OL]. ( 2018-02-17)[ 2020-07-20]. https:∥arxiv.org/abs/1801. 05746.
[23] 丁梦娇, 丘仲锋, 张海龙, 等. 基于NPP-VIIRS卫星数据的渤黄海浊度反演算法研究[J]. 光学学报, 2019, 39(6): 0601002.
[24] 苏校平, 孙德勇, 王胜强, 等. 黄渤海海表密度的遥感反演[J]. 激光与光电子学进展, 2019, 56(11): 110101.
[25] 安德玉, 邢前国, 魏振宁, 等. 黄海典型漂浮大型藻类光谱特征分析[J]. 海洋与湖沼, 2018, 49(5): 1054-1060.
Article Outline
李潇凡, 王胜强, 翁轩, 孙德勇, 张海龙, 焦红波, 梁涵玮. 基于UNet深度学习算法的东海大型漂浮藻类遥感监测[J]. 光学学报, 2021, 41(2): 0201002. Xiaofan Li, Shengqiang Wang, Xuan Weng, Deyong Sun, Hailong Zhang, Hongbo Jiao, Hanwei Liang. Remote Sensing of Floating Macroalgae Blooms in the East China Sea Based on UNet Deep Learning Model[J]. Acta Optica Sinica, 2021, 41(2): 0201002.