基于多光谱成像和随机森林算法的石窟表面风化智能评估方法

曹赤鹏; 王慧琴; 王可; 王展; 张刚; 马涛

doi:doi:10.3788/AOS202040.2230001

光学学报, 2020, 40 (22): 2230001, 网络出版: 2020-10-25

基于多光谱成像和随机森林算法的石窟表面风化智能评估方法下载： 962次

Intelligent Evaluation Method of Grottoes Surface Weathering Based on Multispectral Imaging and Random Forest Algorithm

论文大纲

曹赤鹏 ¹王慧琴 ^1,*王可 ¹王展 ²张刚 ²马涛 ²

作者单位

¹ 西安建筑科技大学信息与控制工程学院, 陕西西安 710055

² 陕西省文物保护研究院, 陕西西安 710075

AI 词云图 AI语音精读 AI语音超短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

现有的石窟表面风化程度评估多使用人工局部测量方法,这种方法存在效率较低且评估结果易受主观因素影响等问题,鉴于此,提出了一种多光谱成像与随机森林算法相结合的石窟表面风化智能量化评估方法。通过多光谱成像提取的石窟表面光谱信息对风化类型及风化程度进行表征;利用多光谱特征数据重组和标准化处理建立训练、测试及预测样本;基于最小相对熵理论设计损失函数,训练随机森林算法模型,提取不同风化类型及风化程度样本数据的光谱特征;利用训练后具有特征感知能力的分类模型对石窟多光谱图像每个像素点的风化类型及风化程度进行智能预测评估;使用混淆矩阵和Kappa系数对评估结果进行精度评价。以陕西省延安市清凉山万佛寺万佛窟为例对所提方法进行验证,实验结果表明:目标石窟表面强盐析风化区域所占比例为5.15%,弱盐析风化区域所占比例为27.88%,微盐析风化区域所占比例为27.39%,积尘风化区域所占比例为39.58%,评估结果与实际风化状况基本一致,评估的准确率为98.49%,Kappa系数为0.98。所提方法可以实现像素级的精细化评估。

Abstract

Existing artificial local measurement methods are often used to evaluate the degree of surface weathering of grottoes. However, such methods are inefficient and the evaluation results are easily affected by subjective factors. In this paper, an intelligent quantitative evaluation method for grotto surface weathering based on multispectral imaging and random forest algorithm was proposed. Multispectral imaging was used to extract the the surface spectral information of grotto to characterize the type and degree of weathering. The multispectral feature data were reorganized and normalized to establish training, testing, and prediction samples. Based on the theory of minimum relative entropy, a loss function was designed to train a random forest algorithm model, and the spectral characteristics of samples with different weathering types and degrees were extracted. The weathering degree of each pixel in multispectral images of grottoes was predicted and evaluated using a classification model with feature perception ability after training. The confounding matrix and Kappa coefficient were used to evaluate the accuracy of the results. The proposed method was verified taking the Wanfo temple grottoes, Qingliang mountain, Yan'an city, Shaanxi Province as an example. Results show that the target grottoes’ strong salting-out weathering surface area ratio was 5.15%, weak salting-out weathering area ratio was 27.88%, slight salting-out weathering area ratio was 27.39%, and strong dust weathering zone ratio was 39.58%. The evaluation results were basically in accord with actual weathering conditions. Accuracy was 98.49% and the Kappa coefficient was 0.98. The proposed method can realize pixel-level refined evaluation.

1 引言

石窟承载着悠久的历史,是中华文明源远流长的见证。大型石窟表面的丰富雕刻是其艺术价值的重要表现形式。保存环境的局限性使得石窟雕刻容易遭受自然或人为因素的破坏,导致其失去原有的风貌^[1]。石窟表面的风化程度是反映其健康状况的重要指标^[2]。

在石窟表面风化程度的检测方面,传统的检测方法主要通过采样点的表层物理性质、微观结构差异及化学成分^[3-5],对风化过程的演变机理进行分析,通过计算参数与风化程度的相关性对风化程度进行表征。对于大型石窟,通过合理规划采样点的分布,可以使用局部数据的分析结果有效反映整体的风化程度^[6]。但是石窟表面风化数据的采集工作量较大,并且采样点的规划易受主观因素的影响。目前对石窟进行无损检测的方法是,使用光纤光谱仪采集石窟表面的反射光谱,然后基于光谱反射率幅值的分布对风化程度进行表征。但该方法对风化部位的单点检测效率较低,难以满足大型石窟表面风化程度的整体表征。因此,对大型石窟表面风化程度进行评估时,需要探索设计一种可以快速、无损获取石窟表面风化数据,并对风化程度进行自动、客观评估的方法。光谱成像^[7-8]方法可以一次性获取大面积石窟表面的反射光谱数据,有效提高检测效率。

机器学习具有自动学习^[9]并能够提取深层^[10]特征的特性,在光谱分类中具有一定优势^[11],已成为现阶段光谱成像数据的常用处理方法。以卷积神经网络(CNN)^[12]、支持向量机(SVM)^[13]和随机森林算法(RF)^[14]为代表的机器学习方法,在图像分类、模式识别等领域具有良好的性能表现。Scott等^[15]利用深度卷积神经网络对高光谱图像进行分类,有效提取了高光谱图像信息,实现了较高的分类精度。但是在光谱成像数据样本有限的情况下进行特征学习时,卷积神经网络易产生过拟合现象,实现像素级分类的精度并不理想。杜培军等^[16]采用支持向量机对高光谱图像进行了分类,结果表明,对于二分类任务,支持向量机可以达到较高的分类精度,但它对多特征光谱成像数据中缺失数据的敏感特性导致像素级分类精度不高。岑奕等^[17]对光谱角制图(SAM)算法的适用性进行了研究,结果表明,光谱角制图算法对具有小幅扰动特性的光谱成像数据的匹配精度较低,导致分类结果存在较大误差。随机森林算法是一种基于多个决策树的集成分类方法,它可对训练样本进行有放回的Bagging采样,生成多个训练样本子集。在生成决策树时,随机森林算法通过使用多个不同的训练样本子集来加大分类模型之间的相异性,从而可以有效避免小样本数据下的模型训练过程中出现过拟合问题,稳健高效地提高模型的泛化能力及预测能力^[18-19]。对遥感影像进行分类识别时,即使是在小样本光谱数据下,随机森林算法也具有较高的抗过拟合能力,分类结果具有较高的精度^[20]。

本文结合石窟风化表面的反射光谱数据和随机森林算法的特点,提出了一种多光谱成像与随机森林算法相结合的风化智能量化评估方法。首先利用不同风化类型及风化程度的光谱数据特征,设计了一种新的光谱特征数据重组方法,建立了具有不同风化类型及风化程度石窟表面的光谱特征数据库;然后采用最小相对熵理论建立损失函数来训练随机森林算法,使不同风化类型及风化程度的训练数据分布与模型学习到的数据分布差异最小;最后利用训练后具有特征感知能力的分类模型对石窟多光谱图像中每个像素点的风化类型及风化程度进行智能评估,为实现大型石窟表面风化类型及风化程度的快速检测提供可行性方案。

2 石窟表面风化多光谱数据分析

采用多光谱成像系统采集石窟表面的反射光谱数据,对不同风化类型及风化程度的反射光谱进行成像表征。石窟表面反射光谱的差异反映了其表面风化类型及风化程度的差别。徐朝斌等^[21]对砂岩风化表面的矿物成分与光谱特征之间的关系进行了系统研究,他们对砂岩样品的光谱曲线、光谱吸收指数、照片和显微照片进行对比分析后认为,样品的光谱特征能够反映样品矿物的组成与含量:岩石发生化学风化后,矿物含量会发生变化,其光谱特征也会相应改变;砂岩化学风化导致碳酸钙或铁质胶结物含量降低,同时,长石逐渐转变为黏土,导致Fe³⁺含量下降,矿物含量升高。风化作用增强与光谱吸收指数呈明显的负相关关系。岩体表面成分的改变是导致反射光谱差异的决定性因素。反射光谱不仅反映了岩石表面物质的状态和特征,还反映了表面颜色、表面粒度等物理特征。岩体中的钙、镁等氢氧化物溶液会与空气中的二氧化碳发生反应,生成白色的碳酸钙或碳酸镁等结晶,导致表面岩体颜色变白,孔隙直径增加,使岩体表面酥化而脱落,产生盐析风化现象^[22]。具有同种风化类型的石窟表面的反射光谱特征相同,但是由于不同风化程度下的矿物含量及表面颗粒度不同,光谱反射率幅值存在较大差异,盐析风化作用越强,光谱反射率幅值越高。在复杂的风化区域,盐析风化与积尘风化石窟表面的颜色及矿物种类不同,它们的光谱反射率曲线也存在较大差异。

本文基于石窟表面风化与反射率曲线形态特征之间的关系,利用多光谱成像数据,研究不同风化类型及风化程度石窟表面的反射光谱表征及定量评估方法。

在漫长的岁月中,受环境、岩性等因素的影响,石窟岩体表面风化严重。以黄色砂砾岩岩体石窟为例,其主要风化类型为盐析风化和积尘风化。不同风化类型及风化程度石窟表面的反射光谱表征如图1所示。

图 1. 不同风化类型及风化程度石窟表面的反射光谱表征

Fig. 1. Characterization of reflection spectrum of grottoes surface with different weathering types and degrees

下载图片查看所有图片

可以看出,随盐析风化程度增加,石窟表面光谱反射率曲线的形态特征保持不变,但其幅值逐渐增大。

依据光谱反射率幅值特征的变化,将盐析风化分为3个等级:强盐析风化、弱盐析风化、微盐析风化。依据一阶导数特征对盐析风化与积尘风化区域进行区分。图2所示为不同风化类型及风化程度石窟表面的光谱反射率幅值。

图 2. 不同风化类型及风化程度石窟表面的光谱反射率

Fig. 2. Spectral reflectance of grotto surface with different weathering types and degrees

下载图片查看所有图片

对不同风化类型石窟表面的光谱反射率幅值特征进行对比分析后可知,积尘风化区域在可见光到近红外波段范围的反射光谱上均表现为较强的吸收,而盐析风化在400 nm和900 nm处的反射光谱上表现为较强的吸收。对于三种盐析风化程度的石窟表面,其光谱反射率均随波长增加而逐渐接近。在640~700 nm范围内,三种盐析风化程度的石窟表面的光谱反射率差异最为明显,其中强盐析风化石窟表面在660 nm处的反射率幅值达到了峰值。

图3给出了不同风化类型及风化程度石窟表面光谱反射率的一阶导数特征,可以看出,积尘风化石窟表面的反射率变化趋势与盐析风化石窟表面的不同:积尘风化石窟表面光谱反射率在可见光范围内的一阶导数特征大于0,且数值较小,增长相对比较稳定平缓;而盐析风化石窟表面光谱反射率的一阶导数特征以660 nm为分界点存在正负变化,光谱反射率的变化趋势较为明显。将光谱反射率特征与一阶导数特征相结合,可以使不同风化类型及风化程度石窟表面的光谱数据差异更加明显,更易于区分。

图 3. 不同风化类型及风化程度石窟表面光谱反射率的一阶导数特征

Fig. 3. Characteristics of the first derivative of spectral reflectance of grotto surface with different weathering types and degrees

下载图片查看所有图片

3 相关原理

3.1 基于随机森林算法的石窟表面风化类型及风化程度的评估方法

随机森林算法^[23-24]是由K棵决策树共同构成的集成学习分类方法,常用于机器学习回归预测、聚类以及光谱成像数据分类,对于小样本数据学习具有良好的抗过拟合能力。在石窟表面的多光谱成像数据中,不同风化类型及风化程度的像素区域混杂,可采集的纯净风化像素区域数目较少,使得传统的评估方法不能满足精细化评估的要求。针对此问题,本文将随机森林算法与多光谱数据特征进行结合,提出了一种基于多光谱成像与随机森林算法的石窟风化智能量化评估方法,并采用该方法对石窟表面的风化类型及风化程度进行像素级预测评估。本文对风化类型及风化程度进行评估的技术框图如图4所示。

图 4. 风化类型及风化程度评估方法的技术框图

Fig. 4. Technical block diagram of weathering types and degrees evaluation method

下载图片查看所有图片

不同风化程度石窟表面的多光谱数据在640~700 nm范围内存在特征峰值,反射率幅值及其一阶导数特征的区分度较高,本文以此为基础对石窟表面的风化类型及风化程度进行表征。假定风化类型及风化程度标签为预测对象,波段值为特征属性,对各波段标准化多光谱成像数据进行重组,建立石窟表面风化多光谱数据库。数据库中的光谱特征信息表示为

D = [\begin{array}{l} s_{1} & \dots & s_{j} & l_{lable} \\ x_{11} & \dots & x_{1 j} & y_{1} \\ ︙ & ︙ & ︙ \\ x_{i 1} & \dots & x_{ij} & y_{t} \end{array}], (1)

式中:x_ij为不同风化类型及风化程度石窟表面的多光谱数据信息;y为风化类型及风化程度标签,其取值范围为[1,4];s为光谱特征属性;l_lable为风化类别。使用随机森林算法对重组后的不同风化类型及风化程度石窟表面的多光谱特征数据进行学习,将多光谱数据库分为三部分,将每种风化类型及风化程度样本的70%作为训练样本,20%作为测试样本,10%作为预测样本。对数据进行有放回的随机采样,对特征属性进行无放回的随机采样,取出m个样本,共进行K次采样,生成K个训练子集T=[(x₁₁,y₁,s₁),(x₁₂,y₂,s₂),…,(x_ij,y_t,s_j)]。对于K个训练子集,分别训练K个决策树模型,将生成的K棵决策树模型组成随机森林。根据信息熵的大小选择最佳特征进行分裂,直至该节点所有的训练样本都属于同一类。保存训练后具有特征感知能力的分类模型,对石窟多光谱影像中每个像素点的风化类型及风化程度进行智能预测评估。当输入新的样本数据时,调用模型中的K棵决策树得到分类结果序列[f₁(x),f₂(x),…,f_K(x)],对所有决策树的分类结果进行整合,得到最终的分类结果F(x)。F(x)的计算公式为

F (x) = \arg \max_{Y} \overset{K}{\sum_{1}} I [f_{K} (x) = Y], (2)

式中:f_K(x)表示第K个决策树的分类结果;Y表示输出的目标变量;I(·)为表示性函数^[25]。

3.2 基于信息熵的石窟表面风化数据特征的重要性评价

信息熵^[26]可以衡量特征的不确定性,不确定性越大,信息熵就越大,则该特征就越重要。随机森林算法以多光谱波段为特征属性来区分石窟表面的风化类型及风化程度,信息熵越高表明该波段的光谱数据特征对风化类型及风化程度评定的影响越大,以此建立决策树的分裂方式。假设数据中有m个标签,n个特征属性,原始数据矩阵R=(x)_m_×_n,在光谱特征数据中x的取值为 $[\begin{array}{l} x_{11} & \dots & x_{1 j} \\ ︙ & ︙ \\ x_{i 1} & \dots & x_{ij} \end{array}]$ ,则光谱特征数据的信息熵定义为

\begin{array}{l} P (x_{ij}) = \frac{r (x_{ij})}{\overset{n}{\sum_{i = 1}} \overset{m}{\sum_{j = 1}} r (x_{ij})}, (3) \\ H (x_{ij}) = - \overset{n}{\sum_{i = 1}} \overset{m}{\sum_{j = 1}} P (x_{ij}) \times lo g_{2} P (x_{ij}), (4) \end{array}

式中:H(x_ij)为光谱特征数据x_ij的信息熵,单位为bit,表示所有多光谱特征数据产生的信息量的期望;r(x_ij)表示第j个特征属性下的第i个数据值;P(x_ij)表示x_ij发生的概率,且有∑P(x_ij)=1。

定义光谱特征数据中x的信息量为其发生概率的对数的负数,并将其记为L(x_ij),则有

L (x_{ij}) = - lo g_{2} [P (x_{ij})] 。 (5)

由该定义可知H(x_ij)为光谱特征数据中x的平均信息量,即实验中每次可能的结果乘以其结果概率的和。

3.3 基于最小相对熵的损失函数

相对熵又称KL散度^[27],用来衡量两个概率分布P和Q之间的差异性。假设P(x)和Q(x)是数据集x的两个离散概率分布,则P相对于Q的KL散度的计算公式为

D_{KL} (P | | Q) = \sum P (x) \times lo g_{2} [\frac{P (x)}{Q (x)}] 。 (6)

P相对于Q的KL散度越接近0,表示P和Q的数据分布越相似。

利用相对熵理论设计随机森林算法损失函数,以降低算法模型学习后的多光谱数据分布与真实数据分布的差异。假设多光谱成像数据中不同风化类型及风化程度石窟表面的真实数据分布为P_real,训练数据分布为P_train,模型学习的数据分布为P_model,光谱特征数据对应的风化类型及程度标签为y。由于石窟表面风化状况复杂,全部真实数据的分布较难获取,所以要将模型学到的多光谱成像数据分布P_model与训练数据分布P_train之间的差异最小化。衡量不同风化类型石窟表面的P_train与P_model的差异等价于计算相对熵D_KL(P_train||P_model)。计算公式为

\min D_{KL} (P_{train} | | P_{model}) = \min [H (P_{train}, P_{model}) - H (P_{train})], (7)

其中,

\begin{array}{l} H (P_{train}) = - [\frac{\overset{n}{\sum_{i = 1}} \overset{m}{\sum_{j = 1}} P_{train} (x_{ij}) \times lo g_{2} P_{train} (x_{ij})}{n \times m} + \frac{\overset{k}{\sum_{t = 1}} P_{train} (y_{t}) \times lo g_{2} P_{train} (y_{t})}{k}], (8) \\ H (P_{train}, P_{model}) = - [\frac{\overset{n}{\sum_{i = 1}} \overset{m}{\sum_{j = 1}} P_{train} (x_{ij}) \times lo g_{2} P_{model} (x_{ij})}{n \times m} + \frac{\overset{k}{\sum_{t = 1}} P_{train} (y_{t}) \times lo g_{2} P_{model} (y_{t})}{k}], (9) \end{array}

式中:k为训练数据个数;n为特征属性个数;m为标签个数。

4 实验及结果分析

4.1 实验部分

为验证所提方法的有效性,设计并搭建了多光谱成像采集系统,以获取石窟表面的光谱信息。分别用SVM算法、SAM算法、CNN算法和随机森林算法对不同风化类型及风化程度石窟表面的多光谱成像数据进行分析,将每种算法的评估结果与该像素区域的原始风化状况进行对比,利用混淆矩阵和Kappa系数对评估结果的精度进行评价。实验流程如图5所示。

图 5. 实验流程

Fig. 5. Experimental process

下载图片查看所有图片

4.1.1 石窟多光谱成像数据的采集

利用SpectroCamVIS型多光谱成像系统采集16个波段的万佛窟内岩画复杂风化区域的多光谱成像数据,目标采集区域如图6(a)所示,分辨率为1276 pixel×1028 pixel,采集波长范围为400~940 nm,波段间隔为20~40 nm;图6(b)为目标区域在640 nm处的多光谱图像。在相同的拍摄距离下采集标准白板响应和盖上镜头盖后的系统响应,对多光谱成像数据进行降噪。图6(c)给出了用于机器学习的不同风化程度及风化类型的石窟表面纯净风化区域采样点的分布情况,红色区域为强盐析风化区域,蓝色区域为弱盐析风化区域,浅蓝色区域为微盐析风化区域,绿色区域为积尘区域。

图 6. 石窟表面多光谱成像数据采集。(a)目标采集区域的RGB图像;(b)目标区域的640 nm多光谱影像;(c)采样点分布

Fig. 6. Multispectral imaging data collection on grotto surface. (a) RGB image of target collection area; (b) 640 nm multi-spectral image of target area; (c) distribution of sampling points

下载图片查看所有图片

4.1.2 石窟表面多光谱数据预处理及特征重组

外部环境及多光谱成像系统内的暗电流会对多光谱数据的采集产生影响,为了获得目标的多光谱成像数据,首先采用标准白板校正去除暗电流。校正公式为

G = \frac{G_{data} - G_{dark}}{G_{white} - G_{dark}}, (10)

式中:G_data表示多光谱成像系统的实际响应;G_dark表示盖上镜头盖后的系统响应;G_white表示标准白板的响应。

若要建立不同风化类型及不同风化程度石窟表面的多光谱特征数据库,需要对校正后的多光谱图像数据进行重组,重组流程如图7所示。

图 7. 多光谱数据重组流程图

Fig. 7. Multi-spectral data reconstruction flow chart

下载图片查看所有图片

图7中,光谱波段表示为R,波段数表示为N,每个波段下的图像大小为P×Q。数据处理步骤如下:

第一步,对纯净风化区域的风化类型及风化程度进行标记,然后对每个通道灰度图像中纯净风化区域的像素值进行标准化处理,以保证每个维度的多光谱特征数据方差为1,均值为0,进而使得预测结果不会被某些维度过大的特征值主导,并减少模型训练的计算量。图8和图9分别给出了对不同风化类型及风化程度石窟表面的多光谱特征数据进行标准化后的光谱反射率幅值特征及其一阶导数特征。标准化公式为

x' = \frac{x - μ}{δ^{2}}, (11)

式中:x表示不同风化类型及风化程度石窟表面的多光谱成像数据;μ表示多光谱成像数据的标准差;δ²表示多光谱成像数据的方差。

第二步,将标准化的多光谱成像数据x'按波段值按由低到高排列成N个一维列向量。

第三步,提取标签与该像素点所对应的多光谱数据,对多光谱数据进行融合,将标签映射于光谱数据的最后一列,得到N+1个一维列向量组成的不同风化类型及风化程度石窟表面的光谱数据库。

图 8. 不同风化类型及风化程度石窟表面的标准化光谱反射率数据

Fig. 8. Normalized spectral reflectance data of grotto surface with different weathering types and degrees

下载图片查看所有图片

图 9. 不同风化类型及风化程度石窟表面标准化光谱反射率数据的一阶导数特征

Fig. 9. Characteristics of the first derivative of standardized spectral reflectance date of grotto surface with different weathering types and degrees

下载图片查看所有图片

清凉山万佛寺万佛窟在400~940 nm范围内16个波段的多光谱图像分辨率为1276 pixel×1028 pixel,按照第一步对每个波段下的多光谱图像中纯净风化区域的每个像素点的光谱特征数据进行标记和标准化处理,处理结果如图8所示;然后按第二步将标准化的多光谱数据按波段值由低到高排列成16个一维列向量,这16个一维列向量组成大小为34860×16的二维矩阵;最后按像素点提取标签坐标点,将标签映射于光谱矩阵的最后一列,组成34860×17的不同风化类型及风化程度石窟表面的多光谱特征数据库。

4.2 实验结果分析

在最小相对熵损失函数条件下,当决策树的最大深度为10,决策树的数目为400,列(特征)采样比为0.3,行(数据)采样比为0.3时,准确率最高,相对熵为0.01。将数据集中每种风化类型及风化程度的光谱数据分为5组,轮流选取4组作为训练集,1组作为测试集,对模型的预测准确率进行交叉检验,重复进行5次。为了验证本文提出的基于随机森林算法利用石窟表面的多光谱成像数据对风化类型及风化程度进行评估的有效性,以及模型在小样本光谱特征数据下的鲁棒性,采用SVM算法、光谱角匹配(SAM)算法、CNN算法对石窟表面风化类型及风化程度分类评估结果的准确性进行对比,并对风化类型及风化程度的分布进行了可视化显示。

图10为4种评估算法对不同风化类型及风化程度石窟表面纯净风化区域进行预测评估的结果。使用不同的颜色对风化程度及风化类型进行标记,红色为强盐析风化区域,蓝色为弱盐析风化区域,浅蓝色为微盐析风化区域,绿色为积尘区域。通过对比石窟表面纯净风化区域的评估结果可知,随机森林算法对石窟风化表面多光谱成像数据的分类能力明显优于其余3种评估方法。

图 10. 纯净风化区域的评估结果对比

Fig. 10. Assessment results of pure weathering area

下载图片查看所有图片

表1中记录了4种预测评估算法对石窟表面风化类型及风化程度评估的准确率。利用Kappa系数对模型的预测评估精度进行验证。结果表明,本文所提算法对石窟表面风化类型及风化程度的预测评估效果最好,预测准确率可以达到98.49%,Kappa系数为0.98,该算法学习到的石窟表面风化类型及风化程度的光谱特征数据分布与实际风化多光谱特征数据基本一致。通过对比训练、测试、预测准确率可知,CNN算法在训练测试中表现优异,但在预测新样本时准确率明显下降,说明CNN算法模型存在明显的过拟合现象。当预测光谱数据出现小幅波动时,CNN算法对风化类型及风化程度的预测评估结果与真实风化程度有较大偏差,所以CNN算法在处理小样本数据时鲁棒性较差。SAM和CNN算法对风化类型及风化程度预测评估的准确率较低,SVM和随机森林算法对风化类型及风化程度预测评估的准确率较高。相比于SVM算法,本文所提算法对风化类型及风化程度的评估准确率约提高了8个百分点。随机森林算法具有集成学习的优点,在小样本数据下的预测评估效果优于其他算法,且其鲁棒性较好,可以提高石窟表面风化类型及风化程度预测评估的准确率。

表 1. 4种算法预测结果的对比

Table 1. Comparison of prediction results of four algorithms

Algorithm	Train accuracy /%	Test accuracy /%	Prediction accuracy /%	Kappa coefficient
RF	99.91	99.89	98.49	0.98
SVM	97.63	94.53	90.28	0.86
SAM	98.72	97.78	62.65	0.51
CNN	99.99	99.64	59.61	0.57

查看所有表

在石窟表面的多光谱成像数据中,待评估区域的总像素点数为1311728个,本文以640~700 nm波段的多光谱成像数据的反射率幅值及其一阶导数特征作为风化类型及风化程度的分类标准,利用4种评估算法对石窟表面的整体风化状况进行评估,评估结果如图11所示。

图 11. 4种算法对石窟表面整体风化类型及风化程度的评估结果。(a)真实的风化类型及风化程度;(b) RF算法;(c) SVM算法;(d) SAM算法;(e) CNN算法

Fig. 11. Assessment results of four algorithms on overall weathering types and degrees of grotto surface. (a) True weathering types and degrees; (b) RF algorithm; (c) SVM algorithm; (d) SAM algorithm; (e) CNN algorithm

下载图片查看所有图片

将真实的风化类型及风化程度与4种算法得到的风化类型及风化程度进行对比,可以看出:SVM算法在积尘风化与微盐析风化混杂区域的评估结果与真实风化类型及风化程度有较大差异;SAM算法在弱盐析风化区域与微盐析风化区域存在误划分现象;CNN算法未能区分出弱盐析风化区域;随机森林算法的预测评估结果与真实风化类型及风化程度最为接近,在风化类型及风化程度混杂的区域,结果更加精细。相比于SAM、SVM、CNN算法,随机森林算法对石窟表面风化类型及风化程度的预测评估结果最为精确。

整体风化类型及风化程度的评估结果为:强盐析风化区域的像素点数为67511个(5.15%),弱盐析风化区域的像素点数为365718个(27.88%),微盐析风化区域像素点数为359321个(27.39%),积尘风化区域的像素点数为519178个(39.58%)。采集成像数据中样本训练区域以外的同种风化类型及风化程度预测评估区域的光谱数据,采用混淆矩阵对评估结果进行精度验证。

表2为4种算法对风化类型及风化程度预测评估的混淆矩阵对比,其中参数W_strong、W_weak、W_slight、W_dust分别表示算法对强盐析风化、弱盐析风化、微盐析风化、积尘风化区域的预测准确率,Total表示每种风化程度所占的比例。从表4可以看出:复杂风化区域中弱盐析风化与微盐析风化的光谱数据幅值特征与一阶导数特征相近,降低了SVM、SAM、CNN算法对弱盐析风化区域预测评估的准确率,将弱盐析风化错分为微盐析风化的比例较高;在对反射光谱具有较大差异的强盐析风化区域进行预测时,CNN算法将其错分为弱盐析风化区域的比例较高;RF算法对风化类型及风化程度的预测准确率均较高,对微盐析风化预测评估的准确率高达100%。实验结果表明:在小样本反射光谱数据特征的训练识别中,CNN算法的误差率较高;SAM、SVM算法的鲁棒性不高,对小幅扰动的反射光谱数据预测评估的准确率较低;RF算法通过集成学习,对小幅扰动的多光谱数据的预测评估具有较高的鲁棒性,评估精度高于其他机器学习算法。

表 2. 4种算法的混淆矩阵对比

Table 2. Comparison of confusion matrix of four algorithms

Algorithm	Class	Classification ratio /%				Total /%
Algorithm	Class	W_strong	W_slight	W_dust	W_weak	Total /%
	W_strong	99.92	0	0	0	14.05
	W_slight	0	100	0.11	0.21	10.05
RF	W_dust	0	0	99.89	0	53.05
	W_weak	0.08	0	0	99.79	22.86
	Total	100	100	100	100	100
	W_strong	89.04	0	0	4.31	15.78
	W_slight	4.28	97.32	4.38	16.97	8.35
SVM	W_dust	0	0.53	94.11	0.57	52.55
	W_weak	6.68	2.16	1.50	78.15	23.32
	Total	100	100	100	100	100
	W_strong	80.13	0.05	0	47.45	28.81
	W_slight	0.01	95.68	0.06	0	25.29
SAM	W_dust	0	0	99.94	4.15	21.11
	W_weak	19.86	4.26	0	48.40	23.79
	Total	100	100	100	100	100
	W_strong	44.12	4.41	0	3.62	10.79
	W_slight	55.88	95.90	1.39	95.86	21.14
CNN	W_dust	0	0	98.44	0.52	28.74
	W_weak	0	0	0.16	0	39.34
	Total	100	100	100	100	100

查看所有表

5 结论

本文提出了一种多光谱成像与随机森林相结合的石窟表面风化类型及风化程度自动量化评估算法。本文首先对石窟表面的多光谱信息进行重组,将640~700 nm波段多光谱反射率数据幅值和一阶导数特征作为风化类型及风化程度的划分标准,建立具有不同风化类型及不同风化程度的光谱特征数据库;然后利用最小相对熵理论建立随机森林算法损失函数,以降低模型的泛化误差,提高模型对小样本光谱数据的泛化能力;采用训练后具有特征感知能力的分类器对石窟多光谱图像中每个像素点的风化类型及风化程度进行预测评估。研究结果表明,针对小样本光谱特征数据,与SVM、SAM、CNN算法相比,基于集成学习的随机森林算法具有更好的分类能力和鲁棒性,处理石窟表面多光谱成像特征数据的精度更高,可对石窟风化表面进行快速无损的像素级精细化评估。

参考文献

[1] 柴勃隆, 苏伯民, 张文元, 等. 敦煌壁画绘画材料多光谱图像标准数据库的建立和应用[J]. 光谱学与光谱分析, 2017, 37(10): 3289-3306.

Chai B L, Su B M, Zhang W Y, et al. Standard multispectral image database for paint materials used in the Dunhuang murals[J]. Spectroscopy and Spectral Analysis, 2017, 37(10): 3289-3306.

[2] Liu R Z, Zhang B J, Zhang H, et al. Deterioration of Yungang grottoes: diagnosis and research[J]. Journal of Cultural Heritage, 2011, 12(4): 494-499.

[3] Bruthans J, Filippi M, Schweigstillová J, et al. Quantitative study of a rapidly weathering overhang developed in an artificially wetted sandstone cliff[J]. Earth Surface Processes and Landforms, 2017, 42(5): 711-723.

[4] Qin Y, Wang Y H, Li L L, et al. Experimental weathering of weak sandstone without direct water participation by using sandstone from the Yungang grottoes in Datong, China[J]. Rock Mechanics and Rock Engineering, 2016, 49(11): 4473-4478.

[5] McAllister D, Warke P, McCabe S. Stone temperature and moisture variability under temperate environmental conditions: implications for sandstone weathering[J]. Geomorphology, 2017, 280: 137-152.

[6] Chen W W, Liao R X, Wang N, et al. Effects of experimental frost-thaw cycles on sandstones with different weathering degrees: a case from the Bingling Temple Grottoes, China[J]. Bulletin of Engineering Geology and the Environment, 2019, 78(7): 5311-5326.

[7] 凌雪, 吴萌蕾, 廖原, 等. 文物研究与保护中的无损分析技术[J]. 光谱学与光谱分析, 2018, 38(7): 2026-2031.

Ling X, Wu M L, Liao Y, et al. Nondestructive techniques in the research and preservation of cultural relics[J]. Spectroscopy and Spectral Analysis, 2018, 38(7): 2026-2031.

[8] 刘爽, 谭鑫, 刘成玉, 等. 高光谱数据处理算法的小麦赤霉病籽粒识别[J]. 光谱学与光谱分析, 2019, 39(11): 3540-3546.

Liu S, Tan X, Liu C Y, et al. Recognition of fusarium head blight wheat grain based on hyperspectral data processing algorithm[J]. Spectroscopy and Spectral Analysis, 2019, 39(11): 3540-3546.

[9] 席志红, 侯彩燕, 袁昆鹏, 等. 基于深层残差网络的加速图像超分辨率重建[J]. 光学学报, 2019, 39(2): 0210003.

Xi Z H, Hou C Y, Yuan K P, et al. Super-resolution reconstruction of accelerated image based on deep residual network[J]. Acta Optica Sinica, 2019, 39(2): 0210003.

[10] 马红强, 马时平, 许悦雷, 等. 基于深度卷积神经网络的低照度图像增强[J]. 光学学报, 2019, 39(2): 0210004.

Ma H Q, Ma S P, Xu Y L, et al. Low-light image enhancement based on deep convolutional neural network[J]. Acta Optica Sinica, 2019, 39(2): 0210004.

[11] 吴止锾, 高永明, 李磊, 等. 类别非均衡遥感图像语义分割的全卷积网络方法[J]. 光学学报, 2019, 39(4): 0428004.

Wu Z H, Gao Y M, Li L, et al. Fully convolutional network method of semantic segmentation of class imbalance remote sensing images[J]. Acta Optica Sinica, 2019, 39(4): 0428004.

[12] 张号逵, 李映, 姜晔楠. 深度学习在高光谱图像分类领域的研究现状与展望[J]. 自动化学报, 2018, 44(6): 961-977.

Zhang H K, Li Y, Jiang Y N. Deep learning for hyperspectral imagery classification: the state of the art and prospects[J]. Acta Automatica Sinica, 2018, 44(6): 961-977.

[13] 吴俊峰, 姜志国, 张浩鹏, 等. 半监督条件随机场的高光谱遥感图像分类[J]. 遥感学报, 2017, 21(4): 588-603.

Wu J F, Jiang Z G, Zhang H P, et al. Hyperspectral remote sensing image classification based on semi-supervised conditional random field[J]. Journal of Remote Sensing, 2017, 21(4): 588-603.

[14] Cao X H, Li R J, Ge Y M, et al. Densely connected deep random forest for hyperspectral imagery classification[J]. International Journal of Remote Sensing, 2019, 40(9): 3606-3622.

[15] Scott G J, England M R, Starms W A, et al. Training deep convolutional neural networks for land-cover classification of high-resolution imagery[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(4): 549-553.

[16] 杜培军, 夏俊士, 薛朝辉, 等. 高光谱遥感影像分类研究进展[J]. 遥感学报, 2016, 20(2): 236-256.

Du P J, Xia J S, Xue Z H, et al. Review of hyperspectral remote sensing image classification[J]. Journal of Remote Sensing, 2016, 20(2): 236-256.

[17] 岑奕, 张艮中, 张立福, 等. 地物光谱不确定性及光谱角制图算法适用性研究[J]. 光谱学与光谱分析, 2015, 35(10): 2841-2845.

Cen Y, Zhang G Z, Zhang L F, et al. Spectral uncertainty of terrestrial objects and the applicability of spectral angle mapper algorithm[J]. Spectroscopy and Spectral Analysis, 2015, 35(10): 2841-2845.

[18] 蔡加欣, 冯国灿, 汤鑫, 等. 基于局部轮廓和随机森林的人体行为识别[J]. 光学学报, 2014, 34(10): 1015006.

Cai J X, Feng G C, Tang X, et al. Human action recognition based on local image contour and random forest[J]. Acta Optica Sinica, 2014, 34(10): 1015006.

[19] 方馨蕊, 温兆飞, 陈吉龙, 等. 随机森林回归模型的悬浮泥沙浓度遥感估算[J]. 遥感学报, 2019, 23(4): 756-772.

Fang X R, Wen Z F, Chen J L, et al. Remote sensing estimation of suspended sediment concentration based on random forest regression model[J]. Journal of Remote Sensing, 2019, 23(4): 756-772.

[20] 王猛, 张新长, 王家耀, 等. 结合随机森林面向对象的森林资源分类[J]. 测绘学报, 2020, 49(2): 235-244.

Wang M, Zhang X C, Wang J Y, et al. Forest resource classification based on random forest and object oriented method[J]. Acta Geodaetica et Cartographica Sinica, 2020, 49(2): 235-244.

[21] 徐朝斌, 邱骏挺, 钟全林, 等. 利用反射光谱研究砂岩风化与排氮作用: 以江西龙虎山为例[J]. 光谱学与光谱分析, 2019, 39(12): 3801-3808.

Xu C B, Qiu J T, Zhong Q L, et al. Reflectance spectroscopy applied in sandstone weathering and nitrogen excretion: a case study in Longhushan mountain, Jiangxi Province[J]. Spectroscopy and Spectral Analysis, 2019, 39(12): 3801-3808.

[22] 蒋晓东, 曹建劲, 李易安, 等. 近红外光谱技术在红砂岩文物风化研究中的应用[J]. 光谱学与光谱分析, 2011, 31(8): 2102-2105.

Jiang X D, Cao J J, Li Y A, et al. Application of near-infrared spectrum technology to research of weathering of red sandstone relics[J]. Spectroscopy and Spectral Analysis, 2011, 31(8): 2102-2105.

[23] Skurichina M. Duin R P W. Bagging, boosting and the random subspace method for linear classifiers[J]. Pattern Analysis & Applications, 2002, 5(2): 121-135.

[24] Breiman L. Random forests[J]. Machine Learning, 2001, 45(1): 5-32.

[25] 张志强, 张新长, 辛秦川, 等. 结合像元级和目标级的高分辨率遥感影像建筑物变化检测[J]. 测绘学报, 2018, 47(1): 102-112.

Zhang Z Q, Zhang X C, Xin Q C, et al. Combining the pixel-based and object-based methods for building change detection using high-resolution remote sensing images[J]. Acta Geodaetica et Cartographica Sinica, 2018, 47(1): 102-112.

[26] Shannon C E. A mathematical theory of communication[J]. ACM SIGMOBILE Mobile Computing and Communications Review, 2001, 5(1): 3-55.

[27] 袁博, 胡冰. 相对熵结合互信息的高光谱波段选择方法[J]. 遥感信息, 2019, 34(6): 33-38.

Yuan B, Hu B. Band selection algorithm for hyperspectral remote sensing with relative entropy and mutual information[J]. Remote Sensing Information, 2019, 34(6): 33-38.

1 引言

2 石窟表面风化多光谱数据分析

3 相关原理

3.1 基于随机森林算法的石窟表面风化类型及风化程度的评估方法

3.2 基于信息熵的石窟表面风化数据特征的重要性评价

曹赤鹏, 王慧琴, 王可, 王展, 张刚, 马涛. 基于多光谱成像和随机森林算法的石窟表面风化智能评估方法[J]. 光学学报, 2020, 40(22): 2230001. Chipeng Cao, Huiqin Wang, Ke Wang, Zhan Wang, Gang Zhang, Tao Ma. Intelligent Evaluation Method of Grottoes Surface Weathering Based on Multispectral Imaging and Random Forest Algorithm[J]. Acta Optica Sinica, 2020, 40(22): 2230001.

基于多光谱成像和随机森林算法的石窟表面风化智能评估方法下载： 962次

1 引言

2 石窟表面风化多光谱数据分析

图 1. 不同风化类型及风化程度石窟表面的反射光谱表征

Fig. 1. Characterization of reflection spectrum of grottoes surface with different weathering types and degrees

图 2. 不同风化类型及风化程度石窟表面的光谱反射率

Fig. 2. Spectral reflectance of grotto surface with different weathering types and degrees

图 3. 不同风化类型及风化程度石窟表面光谱反射率的一阶导数特征

Fig. 3. Characteristics of the first derivative of spectral reflectance of grotto surface with different weathering types and degrees

3 相关原理

3.1 基于随机森林算法的石窟表面风化类型及风化程度的评估方法

图 4. 风化类型及风化程度评估方法的技术框图

Fig. 4. Technical block diagram of weathering types and degrees evaluation method

3.2 基于信息熵的石窟表面风化数据特征的重要性评价

3.3 基于最小相对熵的损失函数

4 实验及结果分析

4.1 实验部分

图 5. 实验流程

Fig. 5. Experimental process

图 6. 石窟表面多光谱成像数据采集。(a)目标采集区域的RGB图像;(b)目标区域的640 nm多光谱影像;(c)采样点分布

Fig. 6. Multispectral imaging data collection on grotto surface. (a) RGB image of target collection area; (b) 640 nm multi-spectral image of target area; (c) distribution of sampling points

图 7. 多光谱数据重组流程图

Fig. 7. Multi-spectral data reconstruction flow chart

图 8. 不同风化类型及风化程度石窟表面的标准化光谱反射率数据

Fig. 8. Normalized spectral reflectance data of grotto surface with different weathering types and degrees

图 9. 不同风化类型及风化程度石窟表面标准化光谱反射率数据的一阶导数特征

Fig. 9. Characteristics of the first derivative of standardized spectral reflectance date of grotto surface with different weathering types and degrees

4.2 实验结果分析

图 10. 纯净风化区域的评估结果对比

Fig. 10. Assessment results of pure weathering area

表 1. 4种算法预测结果的对比

Table 1. Comparison of prediction results of four algorithms

图 11. 4种算法对石窟表面整体风化类型及风化程度的评估结果。(a)真实的风化类型及风化程度;(b) RF算法;(c) SVM算法;(d) SAM算法;(e) CNN算法

Fig. 11. Assessment results of four algorithms on overall weathering types and degrees of grotto surface. (a) True weathering types and degrees; (b) RF algorithm; (c) SVM algorithm; (d) SAM algorithm; (e) CNN algorithm

表 2. 4种算法的混淆矩阵对比

Table 2. Comparison of confusion matrix of four algorithms

5 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于多光谱成像和随机森林算法的石窟表面风化智能评估方法 下载： 962次

1 引言

2 石窟表面风化多光谱数据分析

图 1. 不同风化类型及风化程度石窟表面的反射光谱表征

Fig. 1. Characterization of reflection spectrum of grottoes surface with different weathering types and degrees

图 2. 不同风化类型及风化程度石窟表面的光谱反射率

Fig. 2. Spectral reflectance of grotto surface with different weathering types and degrees

图 3. 不同风化类型及风化程度石窟表面光谱反射率的一阶导数特征

Fig. 3. Characteristics of the first derivative of spectral reflectance of grotto surface with different weathering types and degrees

3 相关原理

3.1 基于随机森林算法的石窟表面风化类型及风化程度的评估方法

图 4. 风化类型及风化程度评估方法的技术框图

Fig. 4. Technical block diagram of weathering types and degrees evaluation method

3.2 基于信息熵的石窟表面风化数据特征的重要性评价

3.3 基于最小相对熵的损失函数

4 实验及结果分析

4.1 实验部分

图 5. 实验流程

Fig. 5. Experimental process

图 6. 石窟表面多光谱成像数据采集。(a)目标采集区域的RGB图像;(b)目标区域的640 nm多光谱影像;(c)采样点分布

Fig. 6. Multispectral imaging data collection on grotto surface. (a) RGB image of target collection area; (b) 640 nm multi-spectral image of target area; (c) distribution of sampling points

图 7. 多光谱数据重组流程图

Fig. 7. Multi-spectral data reconstruction flow chart

图 8. 不同风化类型及风化程度石窟表面的标准化光谱反射率数据

Fig. 8. Normalized spectral reflectance data of grotto surface with different weathering types and degrees

图 9. 不同风化类型及风化程度石窟表面标准化光谱反射率数据的一阶导数特征

Fig. 9. Characteristics of the first derivative of standardized spectral reflectance date of grotto surface with different weathering types and degrees

4.2 实验结果分析

图 10. 纯净风化区域的评估结果对比

Fig. 10. Assessment results of pure weathering area

表 1. 4种算法预测结果的对比

Table 1. Comparison of prediction results of four algorithms

图 11. 4种算法对石窟表面整体风化类型及风化程度的评估结果。(a)真实的风化类型及风化程度;(b) RF算法;(c) SVM算法;(d) SAM算法;(e) CNN算法

Fig. 11. Assessment results of four algorithms on overall weathering types and degrees of grotto surface. (a) True weathering types and degrees; (b) RF algorithm; (c) SVM algorithm; (d) SAM algorithm; (e) CNN algorithm

表 2. 4种算法的混淆矩阵对比

Table 2. Comparison of confusion matrix of four algorithms

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于多光谱成像和随机森林算法的石窟表面风化智能评估方法下载： 962次