结合双流3D卷积和监控图像的降水临近预报 
下载： 694次
1 引言
降水是指一种液态、固态或混合态水凝(冻)物从空中下落到地面的过程。作为陆地内各种水体直接或间接的补给源,降水是水文循环的重要环节之一[1]。及时准确地预报降水有助于合理利用水资源,减小降水造成的经济损失[2]。世界气象组织(WMO)规定,对未来0~6 h的天气状况及其所伴随的灾害性天气的发生、发展、演变及消亡的预报称为临近预报[3-4]。现代社会对降水预报的及时性要求与日俱增,使得临近预报成为一项研究热点。
传统的临近降水预报可分为3类,即基于地面气象观测站数据的降水预报、基于雷达回波的降水预报、基于卫星的降水预报[5]。地面气象观测站通过翻斗雨量计、雨量筒等测量工具获得降水强度数值,将该数值代入描述大气运动的方程组,通过解方程来计算未来的降水情况[6]。地面气象站数据是目前公认的最准确的数据[5]。然而,水滴附着、水滴蒸发、人工读数偏差会使对雨量设备的读数产生系统误差和人工误差。且气象站需建立在高处空旷地带,导致降水事件收集数据在空间上不连续。相较于气象站,雷达观测覆盖面广,现有的雷达每6 min可以拍摄20 km半径的雷达图[7]。由雷达图得到的雷达反射率因子可推算出雨强,再由回波外推法可计算出未来雨势[8],但是,雷达波束容易受到地形、山区、建筑等遮挡物的影响[9]。卫星利用可见光、水汽、中长波红外光等探测通道对降水云外在形态进行探测,我国的FY-2F静止卫星在汛期每0.5 h可提供一张半径为5 km的卫星图像[10]。研究证明,云图属性如云顶温度、云顶高度和降水有关,因此,可通过对云图属性进行建模来估算出降水强度[11]。
现有降水强度采集装置低成本和高覆盖率不可兼得。雨量计的测量精度最高,成本相对较低,但是需要安装在高处空旷地带,会导致降水事件采集数据在空间上不连续。雷达与卫星能扩大降水强度采集覆盖范围,但是成本巨大,同时降水强度值是通过回波或云顶温度间接估算得出的,雷达回波强度依赖于探测距离并受地物遮挡等影响,容易产生误差;卫星传感器易受天气影响,无法同时得到具有高时间分辨率和高空间分辨率的图像[12-13]。
近年来,机器学习在预测任务时发挥出色,有学者开始尝试将机器学习与计算机视觉结合用于降水预报[14-18]。降水预报的进程包括两个阶段,一是对当下降水事件的描述和识别,即识别,二是对未来一段时间内降水事件进行粗略至详细的估计,即预报。在识别方面,2005年,Kurihata等[15]对挡风玻璃上的雨滴进行侦测,判断当下是否存在降水事件。2008年,Roser等[16]通过支持向量机(SVM)对车载视频进行分类,并判别出当时室外场景的天气,包括清晰、小雨、大雨3类。在预报方面,2015年,Shi等[17]率先使用长短期记忆卷积(ConvLSTM)机器学习方法处理雷达回波数据,以降水量0.5 mm/h为阈值界定是否有雨,进行香港地区未来1 h的临近降水预报。2017年,Shi等[18]进一步提出一种能刻画自然运动的轨迹门控递归单元(Traj-GRU)模型,该模型能实现5类降水等级的预报。以上研究说明,基于机器学习和图像的降水识别及预报任务是可行的。
为此,本文提出一种结合室外监控图像和深度神经网络技术进行降水临近预报的方法。针对现有降水强度采集装置低成本和高覆盖率不可兼得的问题,所提方法整合现有资源,强化统筹整合,将广泛分布的监控摄像头作为降水资料采集装置,收集室外监控图像用于未来1 h的降水临近预报。本文提出的双流3D卷积神经网络在全局和局部两种数据流下使用3D卷积同步提取降水信息中的时间特征和空间特征。降水强度的预报依赖于时间与空间两个维度,空间域上降水微粒的大小、形状、密度,和时间域上降水微粒的降落速度是预报降水强度的重要因素。针对现有预报方法数据获取不连续、获取昂贵、特征提取效果差的不足,将室外监控图像应用于降水强度的预报,利用大量的室外监控图像构建IM-RAIN2018(Image-Rain2018)数据库,并设计了以室外监控图片为输入数据的双流3D卷积神经网络用于临近降水预报。
2 双流3D卷积模型
设计的降水强度预报模型以收集到的1 h内12张图片为输入,以下1 h的预报降水强度为输出,并将此模型命名为双流3D卷积神经网络,结构如
双流3D卷积神经网络包含干流和支流两条通路,分别处理原图输入的原始信息和由原图提取的粗粒度信息。在干流上,原图信息分别经过64,128,256,512,512个卷积核,令通道数逐渐增加,最终达到512。由于每一次卷积后紧跟池化操作,此时特征图的时间维度由12降至1,空间维度由224降至7。其后,连接3个全连接层,其维度分别为2048,2048,60,最终得到预测的降水强度值。在卷积、池化、全连接操作中,逐步提取出能够代表原图且能预测出下一时刻降水强度的高维信息。支流用于自主提取原图中的粗粒度信息,支流上的信息由对干流信息进行平均池化得到,平均池化操作对所覆盖到池化核大小范围内的输入图片像素取平均值,由此可以对图片的全局信息进行综合汇总。支流上的信息同样分别经过64,128,256,512个卷积核,与干流不同的是,由于提取了全局信息,支流信息在尺寸上是干流的1/2,且支流少一次卷积操作。在全连接层上,支流设置三层全连接层,其维度分别为1024,1024,60。具体卷积操作为
池化操作为
全连接操作为
式中:Xi为第i层的输入;xi为第i层的输入子集;fC3D(·)为卷积操作;Wi为第i层的卷积权重;
卷积操作如
最大池化操作如
全连接操作如
在干流的基础上,以平均池化方式开辟出一条支流。首先,此设计能产生两个损失函数,即反映全局的干流损失函数和反映局部全局的支流损失函数,从整体和局部两方面同时调整损失函数,令最终的预测降水强度更接近真实的降水强度。其次,以机器学习的方式找到特征图中的有效信息,通过卷积神经网路自动学习到雨量图像的特征。在平均池化操作中,每一个局部的信息得以汇总,最终呈现在全局图上,此时的全局图相较上一个全局图,在分辨率上有所下降,但是在信息的概括能力上有所上升。最后,平均池化是强有力的信息提取方式,相较于神经网络中普遍使用的基于卷积提取信息的方式,池化操作不会产生参数,因此不会给神经网络的训练增加负担;相较于线性内插,池化操作以池化核遍历全图,计算每一个位置的局部平均值,概括能力更强。
3 试验雨量数据
以福建省福州市为降水临近预报的研究对象。福州是中国降水的主要城市之一,2018年,福建省辖区内总降水强度为1200~2000 mL,福州市部分地区降水强度超过1600 mL,是中国东南部降水强度偏高的城市之一[19]。福州市地处亚热带季风地区,东临太平洋,西部是戴云山脉,北部有武夷山脉,两大山脉抬升来自太平洋的暖湿气流,导致内陆降水强度大。其沿海地带受西太平洋副热带高压影响,常在夏季出现台风,导致暴雨出现[20]。
为提高降水的监测能力,至2019年9月,福州共设立8个国家气象观测站,分别位于罗源、连江、长乐、福清、福州、闽侯、闽清、永泰[21]。
使用的数据由福州的8个国家气象站采集,数据为包含降水事件的室外图片及其对应时点的降水强度,图片采集频率为每5 min 1张,分辨率为1080 pixel×1920 pixel,数据采集时间为2017年6月至2018年10月,经过初步的图片筛选,共采集到36048张图片。
4 实验
实验分为三个部分,即模型架构的设计、所提模型与其他模型的评价指标对比、所提模型的效果可视化。首先,对所提框架进行消融实验,探究框架的有效部分;然后,对所提方法和现有的降水预报方法进行比较;最后,对所提网络在实验中产生的中间产物绘制特征图,对最终预测的降水强度绘制克里金插值图,分别用于探究网络处理机制和网络最终效果。
4.1 评价指标
预测下一个时段的降水强度,有预测成功与预测失败两种结果,即预测值与观测值相等,预测值与观测值不相等,因此将预测认为是二分类问题。对于每一个降水强度的观测结果,若预测正确,定义为真阳性(TP),反之为假阴性(FN);对于每一个降水强度的预测结果,若观测一致,定义为假阳性(FP),反之为真阴性(TN)。由此,得到命中率(POD)、误警率(FAR)、临界成功指数(CSI)[22]评价指标。另外,为综合表示所有降水预测结果,定义准确率(A),其中n表示使用模型预测的下1 h降水强度与地面观测站在下1 h观测到的降水强度相等的样本,N表示模型测试的所有样本。
4.2 所提网络的形成过程
所提双流3D卷积神经网络历经以下过程:单路3D卷积神经网络(包括模型A)→双流3D卷积神经网络(单损失值,包括模型B)→双流3D卷积神经网络(双损失值,包括模型C、D、E)。其中,单路3D卷积神经网络(模型A)是双流3D卷积神经网络的干流,双流3D卷积神经网络(模型C、D、E)的框架图与
表 1. 消融实验
Table 1. Ablation experiment
| |||||||||||||||||||||||||||||||||||||||||||||||||||||
为了提取神经网络中特征图的高维信息,提高网络的信息概括能力,在基础框架上加入分支,即每次卷积模块操作后,对所得特征图进行额外的特征抽取,在全连接层前将两条网络的特征图叠加在一起,得到具有单损失值的模型B,此时准确率为81.00%,较模型A稍有下降。因为此时模型添加了一条枝干,模型参数量增多,参数调整的难度超过了枝干带来的特征优化效果。
为降低参数调整的难度,在模型B的基础上,增加了一个损失值的计算,即不仅计算未来1 h的降水强度值,还计算当前1 h的降水强度值。可见,相较模型A和模型B,双损失值下的双流3D卷积神经网络的准确率均有2%以上的提升。同时,根据模型C、D、E,比较双流3D卷积神经网络中干流和支流不同的连接方式,发现平均池化法可得到最高的准确率,为84.46%,即在测试集的2600个样本中,有84.46%的预测降水强度与地面观测站实际观测到的降水强度是一致的。
4.3 比较实验
目前,关于以深度神经网络方法结合室外监控降水图片进行降水临近预报的研究鲜有报道。因此扩大比较范围,选取以下方法作为比较对象:ConvLSTM网络,该网络利用深度神经网络,基于雷达图像进行降水临近预报[18];C3D网络,该网络是3D卷积的经典框架之一,其中用到的3D卷积能够同时处理时间、空间中的宽、高共3个维度的信息,因此能够完成预测任务[23];非对称3D(Asy 3D)网络,该网络修改了C3D网络中卷积核的结构,能够减少参数量,且同样能进行预测[24]。
表 2. 各个降水强度的测试结果比较
Table 2. Comparison of test results of each precipitation intensity
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
综合表示所有降水强度的预测结果,在2600个测试样本中,所提网络的准确率达84.46%,ConvLSTM网络的准确率为70.27%,C3D网络的准确率为82.19%,而Asy 3D网络的准确率为73.96%。从准确率的比较可进一步说明,所提降水临近预报方法更能进行较为精确的降水临近预报。
通过混淆矩阵,比较双流3D卷积神经网络与其他网络的预报效果,如
图 5. 预报效果。(a)所提网络;(b) ConvLSTM网络;(c) C3D网络;(d) Asy 3D网络
Fig. 5. Prediction effect. (a)Proposed network; (b)ConvLSTM network; (c)C3D network; (d) Asy 3D network
图 6. 训练情况下的准确率和损失值。(a)准确率;(b)损失值
Fig. 6. Accuracy and loss value under training. (a) Accuracy; (b) loss value
图 7. 测试情况下的准确率和损失值。(a)准确率;(b)损失值
Fig. 7. Accuracy and loss value under test. (a) Accuracy; (b) loss value
4.4 网络探究
以2018年10月16日21时到22时收集的室外照片及降水强度为输入,输出2018年10月16日22时到23时8个站点的降水强度预报值。为验证所提方法的准确性,除了对8个站点收集到的降水强度真实值进行比较外,以普通克里金插值方式,绘制2018年10月16日22时未来1 h的预报图。通过与中央气象局发布的2018年10月16日22时至23时降水实况图比较,可以发现,本文提出的预报图和官方的降水实况图在数值上接近,在数据分布上相似。由于测量方式的不同,官方的降水数据常有差异,因此,本文忽略数值上的不同,仅从数据分布上看,认为插值的源数据,即本文预报的降水强度是有实用价值的。
图 8. 不同深度卷积模块下的特征图
Fig. 8. Characteristic graphs under different depth convolution modules
5 结论
传统的人工观测区分不同降水强度方法误差大、自动化观测水平低。现代光学降水测量技术设备成本高、校准频繁复杂、寿命低。在中国天网工程的背景下,摄像头分布广泛,将所得室外影像数据作为神经网络的输入进行端对端的降水强度识别,是一个鲜有涉足的领域。设计的双流3D卷积神经网络以干流率先提取输入影像的特征,以支流额外学习所提取特征的更深层信息,在低计算代价下能自适应产生局部的概括信息。使用双损失函数,使干流和支流互相促进反馈,进行高精度的降水临近预报。所提方法的准确率达84.46%,可以较好地用于农业灌溉系统、城市防洪排涝系统设计及管理等社会生产活动中。
[1] 宋子珏, 何建新, 李学华, 等. 星载降水测量雷达降水产品研究进展[J]. 气象科技, 2018, 46(4): 631-637.
Song Z J, He J X, Li X H, et al. Review of research progress in new generation satellite-borne precipitation products[J]. Meteorological Science and Technology, 2018, 46(4): 631-637.
[2] Vu T M, Raghavan S V, Liong S Y, et al. Uncertainties of gridded precipitation observations in characterizing spatio-temporal drought and wetness over Vietnam[J]. International Journal of Climatology, 2018, 38(4): 2067-2081.
[3] 胡荣华. 并行计算在临近天气预报系统中的应用研究[D]. 广州: 华南理工大学, 2015.
Hu RH. Research on application of parallel computing in nowcasting system[D]. Guangzhou: South China University of Technology, 2015.
[4] 王迎春, 孔荣, 陈明轩. 对流天气临近预报技术的业务应用进展[ C]∥第四届全国灾害性天气预报技术研讨会, 1月1日, 2007, 北京, 中国. 北京: 中国气象局国家气象中心与预测减灾司, 2007: 35- 37.
Wang YC, KongR, Chen MX. Operational application progress of convective weather proximity prediction technology[ C]∥The Fourth National Symposium on Disastrous Weather Forecast Technology, January 1, 2007, Beijing, China. Beijing: National Meteorological Center and Department of Prediction and Disaster Reduction, China Meteorological Administration, 2007: 35- 37.
[5] 张月圆. 红河流域TRMM降水数据空间降尺度研究[D]. 昆明: 云南大学, 2018.
Zhang YY. Spatial downscaling of TRMM precipitation data in the red river basin[D]. Kunming: Yunnan University, 2018.
[6] Clark P, Roberts N, Lean H, et al. Convection-permitting models: a step-change in rainfall forecasting[J]. Meteorological Applications, 2016, 23(2): 165-181.
[7] 张勇, 吴胜刚, 张亚萍, 等. 基于SWAN雷达拼图产品在暴雨过程中的对流云降水识别及效果检验[J]. 气象, 2019, 45(2): 180-190.
Zhang Y, Wu S G, Zhang Y P, et al. Identification and effect verification of convective cloud precipitation in rainstorm processes based on SWAN mosaic products[J]. Meteorological Monthly, 2019, 45(2): 180-190.
[8] 徐文静, 苏德斌, 伽丽丽, 等. 利用激光降水粒子谱仪观测北京夏季雨滴谱特征[J]. 激光与光电子学进展, 2012, 49(12): 120103.
[9] 勾亚彬. 基于雷达组网拼图的定量降水估测算法优化及效果评估[D]. 北京: 中国气象科学研究院, 2014: 7- 9.
Gou YB. The optimization and evaluation of quantitative precipitation estimation based on multi-radar mosaic[D]. Beijing: Chinese Academy of Meteorological Sciences, 2014: 7- 9.
[10] 陈冬冬, 赵静, 王柏林, 等. FY-2F卫星和毫米波云雷达云高观测的个例对比分析[J]. 气象科技, 2019, 47(3): 495-501.
Chen D D, Zhao J, Wang B L, et al. Comparison of cloud top height observation between FY-2F satellite and millimeter-wave cloud radar[J]. Meteorological Science and Technology, 2019, 47(3): 495-501.
[11] Goyal S, Kumar A, Mohapatra M, et al. Satellite-based technique for nowcasting of thunderstorms over Indian region[J]. Journal of Earth System Science, 2017, 126(6): 79.
[12] 程丛兰, 陈敏, 陈明轩, 等. 临近预报的两种高时空分辨率定量降水预报融合算法的对比试验[J]. 气象学报, 2019, 77(4): 701-714.
Cheng C L, Chen M, Chen M X, et al. Comparative experiments on two high spatiotemporal resolution blending algorithms for quantitative precipitation nowcasting[J]. Acta Meteorologica Sinica, 2019, 77(4): 701-714.
[13] 方天纵, 秦朋遥, 王黎明, 等. 高时空分辨率植被覆盖获取方法及其在土壤侵蚀监测中的应用[J]. 生态学报, 2019, 39(15): 5679-5689.
Fang T Z, Qin P Y, Wang L M, et al. High temporal and spatial resolution green vegetation coverage generation and its application in soil erosion monitoring[J]. Acta Ecologica Sinica, 2019, 39(15): 5679-5689.
[14] 郭亮, 林远添, 张震华, 等. 不锈钢激光着色机理及基于神经网络的颜色预测[J]. 中国激光, 2016, 43(11): 1102008.
[15] KurihataH, TakahashiT, IdeI, et al. Rainy weather recognition from in-vehicle camera images for driver assistance[C]∥IEEE Proceedings. Intelligent Vehicles Symposium, June 6-8, 2005, Las Vegas, NV, USA. New York: IEEE, 2005: 205- 210.
[16] RoserM, MoosmannF. Classification of weather situations on single color images[C]∥2008 IEEE Intelligent Vehicles Symposium, June 4-6, 2008, Eindhoven, Netherlands. New York: IEEE, 2008: 798- 803.
[17] Shi XJ, Chen ZR, WangH, et al. ( 2015-09-19)[2019-12-23]. https:∥arxiv.org/abs/1506. 04214.
[18] Shi XJ, Gao ZH, LausenL, et al. Deep learning for precipitation nowcasting: a benchmark and a new model[C]∥Proceedings of the 31st International Conference on Neural Information Processing Systems, December 4-9, 2017, Long Beach, California, USA. New York: Curran Associates, 2017, 5622- 5632.
[19] 中国气象局. 2018年中国气候公报[EB/OL], (2019-03-18)[2019-11-12]. http:∥www.cma.gov.cn/root7/auto13139/201903/t20190319_517664.html.
China Meteorological Administration. China climate bulletin in2018[EB/OL]. ( 2019-03-18)[2019-11-12]. http:∥www.cma.gov.cn/root7/auto13139/201903/t20190319_517664.html.
[20] 林智琛. 短历时可能最大降水估算研究[D]. 南京: 南京信息工程大学, 2018: 16.
Lin ZC. Study on estimation of short duration PMP[D]. Nanjing: Nanjing University of Information Science & Technology, 2018: 16.
[21] 福州市海洋与渔业局. 福州市2019年9月上旬水产气象旬报[EB/OL]. ( 2019-09-11)[2019-11-12]. http:∥hyj.fuzhou.gov.cn/zz/jsfwykp/yykp/201909/t20190911_3037804.htm.
FuzhouMarine and Fishery Bureau. Fishery meteorological report of Fuzhou city in early September2019[EB/OL]. ( 2019-09-11)[2019-11-12]. http:∥hyj.fuzhou.gov.cn/zz/jsfwykp/yykp/201909/t20190911_3037804.htm.
[22] 罗阳, 赵伟, 翟景秋. 两类天气预报评分问题研究及一种新评分方法[J]. 应用气象学报, 2009, 20(2): 129-136.
Luo Y, Zhao W, Zhai J Q. Dichotomous weather forecasts score research and a new measure of score[J]. Quarterly Journal of Applied Meteorology, 2009, 20(2): 129-136.
[23] TranD, BourdevL, FergusR, et al. Learning spatiotemporal features with 3D convolutional networks[C]∥2015 IEEE International Conference on Computer Vision (ICCV), December 7-13, 2015, Santiago, Chile. New York: IEEE, 2015: 4489- 4497.
[24] Yang H, Yuan C F, Li B, et al. Asymmetric 3D convolutional neural networks for action recognition[J]. Pattern Recognition, 2019, 85: 1-12.
杨素慧, 林志玮, 赖绍钧, 刘金福. 结合双流3D卷积和监控图像的降水临近预报[J]. 激光与光电子学进展, 2020, 57(20): 201011. Suhui Yang, Zhiwei Lin, Shaojun Lai, Jinfu Liu. Precipitation Nowcasting Based on Dual-Flow 3D Convolution and Monitoring Images[J]. Laser & Optoelectronics Progress, 2020, 57(20): 201011.
PDF全文
