一种结合深度置信网络与最优尺度的植被提取方法 下载: 985次
1 引言
国土绿化是生态文明建设的重要内容,是实现可持续发展的重要基石。植被作为一种重要的用于国土绿化的自然资源,是反映生态环境变化的敏感指示器[1-2]。同时因为植被对碳具有固定作用[3],所以对全球气候变化同样发挥着重大作用[4]。因此,对植被类型的划分及提取研究将具有实际意义。
近年来,深度学习(DL)[5]发展迅猛,它在许多传统任务上能够提升识别率[6],吸引了大批学者在各个领域对其进行广泛应用,并尝试解决一些前沿问题。无人机作为高分辨率遥感影像的重要获取方式,具有成本低、效率高、时效性强等特点,己逐渐成为森林资源调查、植被提取与监测的新途径。因此,本文将DL方法研究中常用的深度置信网络(DBN)模型应用于无人机遥感影像植被提取中。
DBN是含有多隐含层的多层感知器的机器学习结构[7-8],DBN模型是主要的DL模型之一。DBN通过底层特征的组合,形成了一个更为抽象的DBN高层特征表达方式,从而探索到更加有用的特征信息。在特征学习方面所带来的优势使DBN在学术界及工业界引起了热潮[9],并已成功应用于语音识别、物体识别、信息检索以及图像识别等多个领域[6,10]。Tokarczyk等[11]将DBN应用于高分辨率遥感影像的特征选择和特征学习中,发现当选取窗口大小为9×9像素邻域作为实验样本时,分类精度较高。刘大伟等[12]结合光谱-纹理特征对高分辨率遥感影像进行DBN分类,实验结果表明,与支持向量机(SVM)、最近邻算法(NN)等分类方法相比,DBN可以更加准确地挖掘遥感影像的空间分布规律,并提高分类的准确性。然而,DBN在高分辨率遥感影像分类领域依然处于探索阶段,存在一些不足。如Tokarczyk等在实验中选取样本时,窗口内可能会存在相邻不同地物,分类结果也可能会出现一些无用的破碎图斑,而且采用现有DL方法的分类结果依然会出现“椒盐现象”。因此,本文将最优尺度与DBN结合应用于无人机遥感影像植被提取,以达到减轻“椒盐现象”并提高分类精度的目的。
2 DBN方法介绍
DBN由Hinton等[7]在2006年提出,并已成功地应用于语音识别、物体识别、信息检索以及图像识别等领域[13-14]。DBN由多层受限玻尔兹曼机(RBM)和一层反向传播(BP)神经网络构成。DBN结构如
DBN模型的训练过程分为两步:
1) 预训练。主要是将所有实验样本利用非监督方式进行DBN预训练,并利用贪婪算法进行逐层优化训练,在此过程中分别单独设置每层RBM的参数,在每一层RBM训练完成后,仍继续训练下一层RBM,则该层的输入是上一层输出结果的传递,依次进行训练。
2) 微调。在设置的层数预训练完成后,再利用有监督的学习方式对最后一层BP神经网络进行训练,并将每层训练过程中产生的误差逐层向后传播,最后通过BP的方法微调DBN的权重。
由于传统BP神经网络的初始权重设置是随机的,所以会造成因训练时间长而陷入局部最优解的问题;而DBN的初始权重设置是预先训练好的,从而克服了传统BP神经网络的缺点[12]。
RBM模型是一个二分图模型,它包含一个随机的可见层(用
图中
RBM模型是一个能量模型,RBM联合组态的能量函数可以表示为
式中
利用(1)式,可以得到某个状态(
式中
对于RBM而言,在给定所有神经元在可见层(隐含层)状态的基础上,各神经元在隐含层(可见层)的激活状态之间是相互独立的。隐含层(可见层)第
训练RBM就是通过调整参数
对最大对数似然函数求导,可以获得
通过Hinton[15]提出的对比散度(CD)算法计算目标分布
式中
3 基于DBN的无人机遥感影像植被提取
Tokarczyk等[11]将DBN模型和多种特征组合,分别进行了遥感影像分类研究。其实验结果表明,当只使用DL分类时,这几种分类方法的分类精度都不到83%;当采用结合了主成分分析(PCA)方法和归一化差分植被指数(NDVI)的PCA+NDVI方法后,其精度仍没有得到改善;当结合了纹理特征之后,分类精度稍有提高,但仍不到84%;当实验选取窗口大小为9×9像素的邻域作为实验样本时,分类精度得到了较大提高,超过了84%。也就是说,选取基于9×9像素的邻域的方法优于基于单个像素的分类方法。本文研究主要在文献[ 11]的基础上进行。
首先依照文献[
11]中的方法,选择窗口大小为9×9像素的邻域作为实验样本,进行DBN植被提取。实验发现,利用9×9像素的邻域选取实验样本时,会出现相邻地物处于同一窗口、分类结果中出现“椒盐现象”的问题。然后提出了将遥感影像的最优分割尺度与DBN相结合的方法,即在DBN分类前,用最优分割尺度将影像分割成多个图斑,以尽可能减轻“椒盐现象”。在分类过程中,充分使用影像中的光谱纹理特征信息,以提高分类精度。DBN分类的流程图如
1) 对无人机遥感影像分别进行9×9像素邻域的网格分割和最优尺度分割。
2) 在分割后的影像上,选取9×9像素的邻域,并提取光谱-纹理特征参数,作为实验样本集。
3) 将选取的训练样本集输入DBN模型,进行预训练和微调,得到具有良好特征参数的DBN。本文将地物分为5大类,5种不同的地物类别分别对应5种输出。
4) 将测试样本集用于测试DBN的分类结果。根据DBN的输出结果,判别对应的输入测试样本的类别。
5) 利用测试样本进行精度验证。
3.1 最优分割尺度计算
尺度分割是面向对象分析方法的核心和基础。因为分割的尺度对所生成的对象斑块大小和实际地物提取精度有着直接的影响,所以选择最适宜的分割尺度对遥感影像地物提取至关重要。最适宜的分割尺度不仅可以使分割后的对象斑块大小与实际地块相一致,而且能够清晰地表达每种地物类型的边界,即能用一个对象或者多个对象表示出这种地物[16]。为了获得最适宜的分割尺度,本文提出了一种将加权均值方差、加权均值方差变化率和最大面积相结合的最优分割尺度选择方法,来进行遥感影像的最优尺度分割。实验结果表明,该方法能有效提高人为确定分割尺度的高效性和准确性。最优尺度计算流程如
1) 计算加权均值方差及方差变化率。选择熵值法确定的权重值作为各波段的权重设置,利用整幅影像中各波段方差的加权和计算加权均值方差并绘制曲线,根据曲线峰值可以初步确定相对应的最优尺度。整幅影像中各波段方差的加权和的计算公式为
式中
式中
2) 确定最优分割尺度区间。将加权均值以及变化率的曲线统一到最大面积曲线平台中,三者结合可以确定最优分割尺度区间。每种地物的分割尺度范围都与相应的区间对应。
3) 将确定的最优分割尺度区间一一进行分割,根据影像整体分割效果,最终选择最优分割尺度。
3.2 基于DBN的实验方法
为验证本文算法的有效性,分别采用4种方法进行分类实验。
3.2.1 基于DBN的9×9像素邻域法
基于DBN的9×9像素邻域法(以下简称为“DBN+9×9像素邻域法”),为避免遥感影像中的斑点噪声,对于要分类的影像上的每个像素,有必要考虑包括其周围邻域内相邻像素点的区域。依据文献[ 9]将整幅影像分割成9×9像素邻域的网格,选取窗口大小为9×9像素的邻域且具有代表性的实验样本进行实验,从而获得一个243维的特征向量,并将其作为DBN训练输入的向量维度。这样既增加了实验样本数量,又利用了空间相关性,以此来提高分类精度。
3.2.2 基于DBN的9×9像素邻域与光谱-纹理特征的结合法
基于DBN的9×9像素邻域与光谱-纹理特征的结合法(以下简称为“DBN+9×9像素邻域+光谱-纹理特征法”),首先将整幅影像分割成9×9像素邻域的网格,接着将每个9×9像素邻域的网格面转换成点,均匀选取训练样点,并提取训练样点的光谱-纹理特征向量,共生成27维特征向量,为DBN训练提供有效的输入,然后利用DBN可以对特征向量进行逐层抽象学习,获取更加有效的分类特征,最后运用Softmax分类方法进行分类。
3.2.3 基于DBN的最优尺度与9×9像素邻域的结合法
基于DBN的最优分割尺度与9×9像素邻域的结合法(以下简称为“DBN+最优分割尺度+9×9像素邻域法”),即本文方法。首先将遥感影像按照加权均值方差、加权均值方差变化率及最大面积相结合的方法选择出最优分割尺度,进行遥感影像分割,然后在具有代表性地物的分割面上选取9×9像素邻域的训练样本,每块9×9像素邻域的训练样本代表其分割面,共生成243维特征向量,最后将其作为DBN分类输入的向量维度,进行DBN植被提取研究。
3.2.4 基于DBN的最优尺度与光谱-纹理特征的结合法
基于DBN的最优分割尺度与光谱-纹理特征的结合法(以下简称为“DBN+最优分割尺度+光谱-纹理特征法”),首先在最优分割尺度计算的基础上,将最优尺度分割后的面转换成点,接着选取具有代表性的训练样点,提取光谱-纹理特征向量,共生成27维特征向量,作为DBN分类输入的向量维度,然后利用DBN进行逐层学习,最后运用Softmax分类方法进行分类。
3.3 实验样本选取及实验参数设置
根据实地考察结果以及分析影像中研究区覆盖范围内包含的地类,将研究区划分为5大类,分别为林木、裸地、草地、道路及其他。实验采用人工方式从中均匀选取1140块图片(约2.7×105 pixel)作为训练样本,选取1461块图片(约3.5×105 pixel)作为测试样本,其中训练样本用于训练DBN,测试样本用于精度评价。
实验参数依据文献[
10]设置,其中学习率
式中
3.3.1 影像数据集隐含层参数设置
对于第1个实验和第3个实验中RBM隐含层节点参数设置,由于实验有效输入维度是243,且共有5种地物类别,因此输入层节点数、输出层节点数分别设置为243和5。因而DBN主要是以5为步长、5为训练起点、243为训练上限来计算不同节点数对应的重构误差。实验结果显示,在节点数为175时,重构误差最小,从而可以确定第1个隐含层的节点数为175;同理,可以采用同样方法来确定后续隐含层的节点数。
在确定DBN的深度时,参照前人的研究经验,一般将隐含层的层数设置为1~4,然后通过重构误差来确定实验参数,进行DBN训练并对影像进行分类,计算出分类后的精度系数,如
图 5. DBN不同层数的分类精度(实验1和3)
Fig. 5. Classification accuracy of different DBN layers (experiments 1 and 3)
3.3.2 基于光谱-纹理特征的影像数据集隐含层参数设置
对于第2个实验和第4个实验中RBM隐含层节点参数设置,由于实验有效输入维度是27,共有5种地物类别,因此输入层节点数、输出层节点数分别设置为27和5。因而DBN主要是以5为步长、5为训练起点、27为训练上限来计算不同节点数对应的重构误差。实验结果显示,在节点数为20时,重构误差最小,从而可以确定第1个隐含层的节点数为20;同理,可以采用同样方法来确定后续隐含层的节点数。
在确定DBN的深度时,参照前人研究经验,一般将隐含层的层数设置为1~4,然后通过重构误差来确定实验参数,进行DBN训练并对影像进行分类,计算出分类后的精度系数,如
图 6. DBN不同层数的分类精度(实验2和4)
Fig. 6. Classification accuracy of different DBN layers (experiments 2 and 4)
4 实验结果及分析
本文实验采用经过预处理的无人机遥感影像,数据来源于国家地球系统科学数据共享平台--黄河下游科学数据中心(http://henu.geodata.cn)。飞机搭载的相机型号为SONYILCE-7R,焦距为35.6268 mm,采集影像时相对航高为280 m,影像航向重叠度为81%,旁向重叠度为43%,影像地面分辨率为0.05 m。数据影像拍摄于2014年10月4日,天气晴朗。
本文以Matlab R2010a为实验平台,用于实现以RBM为基础的DBN模型构建,并采用熵值法确定各波段的权重。
4.1 4种不同的基于DBN的实验方法的分类结果
采用4种不同的基于DBN的实验方法,无人机遥感影像植被提取得到的分类结果图分别如
从
图 7. 4种不同的基于DBN的实验方法的分类结果图。(a) DBN+9×9像素邻域;(b) DBN+9×9像素邻域+光谱-纹理特征;(c) DBN+最优尺度+9×9像素邻域;(d) DBN+最优尺度+光谱-纹理特征
Fig. 7. Classification maps by four different experimental methods based on DBN. (a) Classification map of DBN+9×9 neighborhood pixels; (b) classification map of DBN+9×9 neighborhood pixels+spectral-texture features; (c) classification map of DBN+optimal scale+9×9 neighborhood pixels; (d) classification map of DBN+optimal scale+spectral-texture features
4.2 分类精度对比评价
一般采用混淆矩阵来评估此类实验的精度。通过混淆矩阵中的指标,可以对实验结果有更清晰的认识。不同植被提取方法的各种精度,如
表 1. 不同植被提取方法的各种精度
Table 1. Various accuracies of different vegetation extraction methods
|
由
1) 4种植被提取方法的总体分类精度由高到低依次为:DBN+最优尺度+9×9像素邻域法、DBN+9×9像素邻域法、DBN+9×9像素邻域+光谱-纹理特征法、DBN+最优尺度+光谱-纹理特征法。其中DBN+最优尺度+9×9像素邻域法比DBN+9×9像素邻域法的总体分类精度更高一些,证明本文采用的分割方法和最优分割尺度选择方法具有实用性,可以保证在地物提取时的整体性,有效避免了在提取地物时过于破碎的问题;通过最优分割尺度实现了地物的合理综合,有效减少了部分地类的混分,如在林木和草地混合分布区域能够将林地与草地区分,减轻了实验结果中的“椒盐现象”。
2) 虽然应用光谱-纹理特征作为分类特征,但是处在阴影区域的个别地物存在相同或相近的光谱特征,使其分类结果中容易出现“同物异谱”现象和“同谱异物”现象,并且某些地物无法识别,因此DBN+9×9像素邻域+光谱-纹理特征法对植被提取的精度低于DBN+9×9像素邻域法,DBN+最优尺度+9×9像素邻域法的分类精度优于DBN+最优尺度+光谱-纹理特征法。
3) 按照文献[ 18]中的Kappa系数和分类质量的标准,可知无人机遥感影像植被提取实验结果中,除DBN+最优分割尺度+光谱-纹理特征法外,其他3种提取方法的总体精度和Kappa系数均达到了86%左右,实验结果达到了极高的分类质量标准。DBN+最优分割尺度+光谱-纹理特征法的总体精度为72.96%,Kappa系数为61.52%,其实验结果也达到了很好的分类质量标准。
4) 综合来看,在2种引入最优尺度的分类方法中其他和裸地两种类别的样本数量比另外2种无最优尺度的DBN分类方法的样本数量偏少,2种引入最优尺度的分类方法的实验结果分类精度比其余2种无最优分割尺度的DBN分类方法的实验结果分类精度偏低。由此可见,实验样本数量的多少对DL的分类精度有一定程度的影响,增加其样本数量可提升分类精度。
5 结论
针对文献[ 11]中选择窗口大小为9×9像素邻域的实验样本进行植被提取研究时会出现的相邻不同地物位于同一窗口、分类结果出现“椒盐现象”等问题,提出了将最优尺度与DBN算法相结合的植被提取方法。研究与分析了实验过程中的实验样本选取与DBN实验参数设置,并对4种不同的基于DBN的实验方法的分类结果进行了精度验证评价。实验结果表明,最优尺度与DBN算法相结合,实验结果的总体精度达到91.92%,Kappa系数为0.8677,提高了实验的总体分类精度。通过最优分割尺度,实现了地物的合理综合,使得各类地物具有了清晰边界,可以有效减轻“椒盐现象”。本文方法可以广泛应用于植被提取以及其他类似的实验分类,且能够达到较好的分类质量标准。
[1] 陈君颖, 田庆久. 高分辨率遥感植被分类研究[J]. 遥感学报, 2007, 11(2): 221-227.
Chen J Y, Tian Q J. Vegetation classification based on high-resolution satellite image[J]. Journal of Remote Sensing, 2007, 11(2): 221-227.
[2] 浮媛媛, 赵云升, 赵文利, 等. 基于多源亮度温度的城市典型植被分类研究[J]. 激光与光电子学进展, 2015( 7): 072801.
Fu YY, Zhao YS, Zhao WL, et al. Studies of typical urban vegetation classification based on brightness temperature from multiple sources[J]. Laser & Optoelectronics Progress, 2015( 7): 072801.
[5] Lecun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436-444.
[6] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks: advances in neural information processing systems[J]. Communications of the ACM, 2017, 60(6): 84-90.
[8] BengioY, DelalleauO. On the expressive power of deep architectures[C]// International Conference on Algorithmic Learning Theory, Springer-Verlag, 2011: 18- 36.
[9] 黄鸿, 何凯, 郑新磊, 等. 基于深度学习的高光谱图像空-谱联合特征提取[J]. 激光与光电子学进展, 2017, 54(10): 101001.
[10] JaitlyN, NguyenP, SeniorA, et al. Application of pretrained deep neural networks to large vocabulary conversational speech recognition[C]// 13th Annual Conference of the International Speech Communication Association, 2012( 3): 2577- 2580.
[11] TokarczykP, MontoyaJ, SchindlerK. An evaluation of feature learning methods for high resolution image classification[J]. ISPRS Annals of Photogrammetry, Remote Sensing and Spatial Information Sciences, 2012( 1-3): 389- 394.
[12] 刘大伟, 韩玲, 韩晓勇. 基于深度学习的高分辨率遥感影像分类研究[J]. 光学学报, 2016, 36(4): 0428001.
[13] 吕启, 窦勇, 牛新, 等. 基于DBN模型的遥感图像分类[J]. 计算机研究与发展, 2014, 51(9): 1911-1918.
Lü Q, Dou Y, Niu X, et al. Remote sensing image classificationbased on DBN model[J]. Journal of Computer Research and Development, 2014, 51(9): 1911-1918.
[14] 李新国, 黄晓晴. 一种基于DBN的高光谱遥感图像分类方法[J]. 电子测量技术, 2016, 39(7): 81-86.
Li X G, Huang X Q. Deep neural networks based on hyperspectral image classification[J]. Electronic Measurement Technology, 2016, 39(7): 81-86.
[16] 李娜, 包妮沙, 吴立新, 等. 面向对象矿区复垦植被分类最优分割尺度研究[J]. 测绘科学, 2016, 41(4): 66-71, 76.
Li N, Bao N S, Wu L X, et al. Study of optimal segmentation scale in object based classification for rehabilitated vegetation in coal mining site[J]. Science of Surveying and Mapping, 2016, 41(4): 66-71, 76.
[18] 祝振江. 基于面向对象分类法的高分辨率遥感影像矿山信息提取应用研究[D]. 北京: 中国地质大学( 北京), 2010.
Zhu ZJ. Study on mine area information extraction based on object-oriented high-resolution remote sensing image classification and its application[D]. Beijing: China University of Geosciences, 2010.
Article Outline
刘祖瑾, 杨玲, 刘祖涵, 段琳琳, 乔贤贤, 龚娇娇. 一种结合深度置信网络与最优尺度的植被提取方法[J]. 激光与光电子学进展, 2018, 55(2): 021001. Zujin Liu, Ling Yang, Zuhan Liu, Linlin Duan, Xianxian Qiao, Jiaojiao Gong. Method of Vegetation Extraction Based on Deep Belief Network and Optimal Scale[J]. Laser & Optoelectronics Progress, 2018, 55(2): 021001.