基于卷积神经网络的城墙多光谱成像病害检测方法

针对传统城墙病害检测采用人工勘测方法，检测效率较低且易受到主观因素干扰等问题，提出一种基于卷积神经网络的城墙多光谱成像病害无损检测方法，利用最小噪声分离方法对城墙多光谱成像数据进行预处理，降低数据维度的同时保留原始数据特征，减少数据噪声；为解决城墙不同病害类型的像素混杂多样造成分类准确率较低的问题，利用卷积操作对城墙病害进行特征提取，保留最重要的特征并去除无关特征，稀疏网络模型；通过全连接层对提取到的特征进行整合梳理和分类，并加入两次dropout防止过拟合问题的出现。最后在城墙多光谱数据集上，使用训练后的卷积神经网络分类模型对城墙病害进行像素级分类检测，并将预测结果进行可视化展示。实验结果表明：总体精度和Kappa系数分别为93.28%和0.91，表明所提方法是有效的，该方法对提高城墙病害检测准确率、掌握城墙病害分布具有重要意义。

Abstract

This paper proposes a nondestructive detection method for detecting wall disease by employing multi-spectral imaging based on convolutional neural networks. This method aims to address issues such as low detection efficiency and easy interference by subjective factors that are associated with the use of artificial survey methods in traditional wall disease detection. The minimum noise separation method is used to preprocess the multispectral imaging data of a city wall, which reduces the dimensions of the data while preserving the original data features and reducing data noise. To address the problem of low classification accuracy caused by mixed and diverse pixels of different types of wall damage, a convolution operation is used to extract the features of wall damage, with the most important features retained and irrelevant features removed, resulting in a sparse network model. The extracted features are integrated and sorted through a full connection layer. Two dropout are included to prevent overfitting. Finally, on a wall multispectral dataset, the trained convolution neural network classification model is used to detect wall damage at the pixel level, and the predicted results are displayed visually. Experimental results show that the overall accuracy and Kappa coefficient are 93.28% and 0.91, respectively, demonstrating the effectiveness of the proposed method, which is crucial for enhancing the detection accuracy of wall disease and fully understanding its distribution.

1　引言

西安城墙是中国现存规模最大、最完整的城墙之一，在我国历史文化发展中占有重要位置^［1］。由于年代久远和环境因素等影响，城墙受到了不同程度破坏，产生了墙体剥落、生物病害、裂隙、盐析风化等病害^［2］，这些病害是衡量墙体健康状况的重要依据。因此，对城墙等建筑物的病害检测已成为文物保护工作必不可少的环节^［3］。传统城墙病害检测大都采用现场勘测方法^［4-6］，通过分析病害物理性质、化学成分及微观结构特征，并计算相关参数来对病害类别进行分析。但城墙病害数据采集工作量较大，需消耗大量的人力、物力，且病害分析易受到主观因素影响。因此，需要一种快速无损的检测方法实现对城墙病害的客观评价^［7］。多光谱成像技术是一种集数字成像与光谱测量技术于一体，记录光学信息的无损分析技术^［8］，与传统目标检测方法相比，其能快速大量获取城墙多光谱数据，有效提高城墙病害检测效率。

与传统基于统计学原理的分析方法^［9］相比，机器学习具有自动学习^［10］并能够提取深层特征的特性，已在光谱分类方面形成优势，成为光谱数据分类的常用方法^［11］。以支持向量机（SVM）算法^［12］、K-最近邻（KNN）算法^［13］和随机森林（RF）算法^［14］为代表的传统机器学习算法在图像分类领域都有着良好效果。Guo等^［15］利用SVM算法对高光谱图像进行了识别分类，结果显示，对二分类目标而言，SVM算法可以达到不错的分类效果，但针对光谱数据中数据特征较多的情况，其分类效果有所欠缺。Xie等^［16］利用KNN算法对健康番茄和灰霉病番茄叶片高光谱图像进行分类，并取得了较好的分类效果，但算法中的K值难以确认，耗费了大量时间。曹赤鹏等^［17］利用RF算法对石窟表面风化程度进行了智能评估，RF算法具有对样本需求量少、分类精度高等优点，但模型内部参数和随机种子很难找到最优解，导致分类效果有所欠缺。

相比传统机器学习方法，近些年，以卷积神经网络（CNN）^［18］为代表的深度学习方法在图像分类领域取得了重大成果^［19］。CNN通过共享卷积核来模拟人脑活动机制，将多维矩阵直接输入网络从而避免了手动提取特征过程中复杂的数据重建过程^［20-21］。通过训练适当权重，使得特征数据能够达到理想分类效果。目前，使用深度学习方法对城墙病害检测问题的研究极其缺乏。根据城墙多光谱数据特点，本文提出一种基于CNN的城墙多光谱成像病害检测方法。首先，利用最小噪声分离方法对城墙病害多光谱数据进行预处理，降低数据维度的同时，保留了原始数据特征；其次，利用卷积操作对城墙多光谱数据进行特征提取，保留最重要特征并去除无关特征，稀疏网络模型；然后，通过全连接层对其进行整合梳理和分类；最后，加入两次dropout来抑制过拟合问题。使用训练后具有感知能力的CNN分类模型对城墙病害进行像素级分类检测，并将预测结果进行可视化展示，实现对城墙病害的无损智能检测。

2　相关原理

2.1　城墙多光谱数据预处理

2.1.1　黑白板校正

为了消除光照不均与暗电流对多光谱数据的影响，在采集城墙多光谱成像数据之前，采集暗电流与标准白板信息，通过下式对多光谱图像进行校正。

R = \frac{R_{0} - R_{d}}{R_{w} - R_{d}}

，（1）

式中： $R_{0}$ 为原始城墙多光谱图像； $R_{d}$ 为盖上镜头后得到的暗电流响应； $R_{w}$ 为拍摄标准白板得到的标定图像； $R$ 为黑白板校正后图像。经过黑白板校正，消除了多光谱成像系统中暗电流及不均匀光强产生的噪声对实验的影响，获得了城墙表面病害物质本身的光谱反射数据，以便进行后续实验。

2.1.2　多光谱图像配准

在多光谱成像数据采集过程中，需要更换滤光片来调整通道参数，但在调整过程中由于摄像位置、拍摄角度等存在细小偏差，需要对采集到的多光谱数据进行配准，即将同一像素点在不同波段下的图像由不同坐标系变换到同一坐标系。相关公式为

I_{2} (x, y) = g \{I_{1} [f (x, y)]\}

，（2）

式中： $I_{1}$ 为参考图像； $I_{2}$ 为待配准图像； $I_{1} (x, y)$ 和 $I_{2} (x, y)$ 为图像每一像素点的坐标； $f (\cdot)$ 为多光谱图像配准变换过程的几何函数； $g (\cdot)$ 为图像的一维灰度变换函数。通过求解得到几何函数与一维灰度变换函数的最佳组合，使得参考图像与配准后图像之间最为相似，解决了多通道图像之间的畸变和偏移问题，使得城墙多光谱成像数据每一个像素点在16个波段上的显示保持空间一致性，达到配准目的，为后续的城墙多光谱数据分析提供条件。

2.1.3　城墙多光谱成像数据最小噪声分离

对城墙多光谱成像数据进行降维，可以去除数据冗余和噪声，加快运算速率，提高分类准确率。

常用的多光谱数据降维方法有主成分分析（PCA）方法和最小噪声分离（MNF）方法。PCA方法通过一种线性投影，将高维数据映射到低维空间，减少了总数据量。但PCA方法对噪声比较敏感，信息量大的特征分量噪声不一定低。对城墙表面多光谱数据进行特征提取时，需要将处理后的图像进行融合，以便进行之后的分类工作。但PCA方法融合多光谱图像并不是为了减少噪声，而是通过该变换，使得多光谱图像各个特征分量间保持相对独立性。MNF方法是两次叠加的PCA方法，第一次用于分离原始数据中的噪声并对其进行重新调节；第二次是对第一次调整后的噪声白化数据进行标准主成分变换。这样就达到了对融合后的多光谱图像去噪的目的。基于此，使用MNF方法对城墙多光谱数据进行降维。MNF方法具体分为

步骤1 对城墙多光谱成像数据进行滤波处理，获得噪声协方差矩阵 $C_{N}$ ，并对其进行对角化处理生成矩阵 $D_{N}$ ，可表示为

D_{N} = U^{T} C_{N} U

，（3）

式中： $U$ 为由特征向量组成的正交矩阵。进一步变换得

I = P^{T} C_{N} P

，（4）

其中，

P = U D_{N}^{- \frac{1}{2}}

，（5）

式中： $C_{N}$ 经过变换矩阵 $P$ 得到单位矩阵 $I$ 。 $X$ 为原始城墙多光谱成像数据，通过 $Y = P X$ 变换，将其投影到新的特征空间，变换后数据中的噪声具有单位方差，且波段间相互独立。

步骤2 对城墙多光谱噪声白化数据进行标准主成分变换，可表示为

C_{D - a d j} = P^{T} C_{D} P

，（6）

式中：城墙多光谱成像数据 $X$ 的协方差矩阵 $C_{D}$ 经过 $P$ 变换后得到矩阵 $C_{D - a d j}$ ， $C_{D - a d j}$ 通过由特征向量组成的正交矩阵 $V$ 经过对角化得到矩阵 $D_{D - a d j}$ ，可表示为

D_{D - a d j} = V^{T} C_{D - a d j} V

，（7）

通过以上2次变换得到矩阵 $T_{M N F}$ ，完成MNF方法的实现，具体过程为

T_{M N F} = P V

。（8）

2.2　基于CNN的城墙多光谱成像病害检测方法

城墙病害多光谱成像样本为像素级，能够实现对城墙病害的精细化检测。但另一方面，由于年代久远及环境因素等影响，城墙不同病害类型的像素复杂多样，在模型训练制作标签时，难免存在错误标签，当错误标签的影响较大导致正确标签的梯度下降增益无法将其抵消时，机器学习便倾向于在二者之间随机学习，导致分类准确率下降。在CNN中，卷积操作能够对输入的图像进行特征选择，保留特征图中最重要的特征并去除无关特征，从而减小特征图维数，起到稀疏模型作用，提高了模型的泛化能力，使得神经网络能够保持较高的准确率。

CNN通过局部区域连接来实现权值共享，每个神经元通过权值共享可以影响一部分周围神经元，这样就减少了权值数目，降低了模型复杂度，城墙多光谱成像病害检测CNN基本结构如图1所示。

图 1. 城墙多光谱成像病害检测CNN基本结构

Fig. 1. Basic structure of CNN for city wall multispectral imaging disease detection

下载图片查看所有图片

城墙多光谱成像病害检测CNN的基本结构由卷积层、激活层和全连接层组成。输入层输入的16个通道的城墙多光谱成像数据经过卷积操作，卷积层通过使用指定的过滤器卷积输入图像。卷积的基本过程如图2所示，卷积的计算公式为

图 2. 卷积的基本过程

Fig. 2. Basic process of convolution

下载图片查看所有图片

a_{j}^{l} = f (b_{j}^{l} + \sum_{i \in M_{j}^{l}}^{} a_{i}^{l - 1} \times k_{i j}^{l})

，（9）

式中： $a_{j}^{l}$ 为输出图像； $f (\cdot)$ 为ReLU激活函数； $b_{j}^{l}$ 为第 $l$ 层卷积第 $j$ 单元的偏移量； $M_{j}^{l}$ 为输入所有特征图； $a_{i}^{l - 1}$ 为输入图像； $k_{i j}^{l}$ 为卷积核。输出图像大小 $N$ 的计算方式为

N = (M - k) / s + 1

，（10）

式中： $M$ 为输入图像大小； $k$ 为卷积核大小； $s$ 为步长。

全连接层在CNN中起到“分类”的作用，通过将其他层的输入进行整合梳理，最后以类的形式进行输出。

采用数据集是城墙病害多光谱成像数据，与其他图像如高光谱遥感图像相比，其病害类别以及通道数均较少，基于此设计了一种适用于城墙病害多光谱成像数据分类的CNN模型。提出的CNN模型结构，如表1所示。共设置2个卷积层和2个全连接层，2个卷积层分别设置15个和45个大小为3×3的卷积核，同时引入Flatten层将输入数据由三维降为一维，并连接卷积层和全连接层，之后设置2个全连接层，全连接层的节点个数与城墙病害检测类别保持一致，设置为4个，最终经过softmax层获得整个CNN的输出。

表 1. CNN模型结构

Table 1. CNN model structure

Layer	Configuration	Output shape
Conv2d+ReLU	（15，3×3）	（3，3，15）
Conv2d+ReLU	（45，3×3）	（1，1，45）
Dropout	0.25	（1，1，45）
Flatten	—	45
Dense+ReLU	30	30
Dropout	0.5	30
Dense	4	4

查看所有表

同时，在整个卷积网络中加入了2次参数为0.25和0.5的dropout。加入dropout的目的是避免模型训练过程中出现过拟合问题，有效提高模型的泛化能力^［22］。图3为加入dropout的网络结构。其中 $x_{i} (i = 1,2, 3,4, 5)$ 为输入值， $y_{i} (i = 1,2, 3,4)$ 为输出值，W为权重， $a (\cdot)$ 为激活函数，r为随机去掉一些神经元后剩余神经元的权重。在CNN训练过程中，按照某种规则随机舍弃部分神经元，使用时再将其恢复，达到优化网络训练过程的目的，因此每一次训练网络都在发生变化。

图 3. 加入dropout的网络结构

Fig. 3. Network structure with dropout added

下载图片查看所有图片

城墙病害检测主要是通过将经过黑白板校正和配准后的城墙多光谱数据通过最小噪声分离方法进行降维去噪，将降维去噪后的低维图像进行融合并送入搭好的CNN模型进行训练和测试，再将处理后的待检测城墙多光谱数据送入模型进行预测，最终输出检测结果并进行可视化展示。城墙病害检测流程图如图4所示。

图 4. 城墙病害检测流程图

Fig. 4. Flow chart of wall disease detection

下载图片查看所有图片

3　实验与分析

3.1　实验环境

实验平台为Windows10（64位）操作系统，实验设备为基于Intel（R）Core（TM）i-7-8700CPU@3.20 GHz处理器和Nvidia GeForce RTX 2070的GPU、Anaconda3、PyCharm编辑器，深度学习网络框架为TensorFlow 1.9，采用Python 3.6编程语言，实现对城墙多光谱成像病害的检测工作。

3.2　数据采集

利用海洋光学公司的SpectroCamVIS型多光谱成像系统采集西安城墙（永宁门到朱雀门之间）多光谱成像数据，采集图像分辨率为1292 pixel×855 pixel，共采集16个波段，采集波长范围为400 $~$ 940 nm。经调试，多光谱相机的曝光时间为35 ms，拍摄距离为1.5 m，设置相同的相机采集参数，采集城墙多光谱成像数据如图5所示。

图 5. 城墙多光谱成像数据。（a）城墙采样立方体数据；（b）每个通道多光谱成像数据

Fig. 5. City wall multispectral imaging data. (a) City wall sampling cube data; (b) multispectral imaging data for each channel

下载图片查看所有图片

3.3　数据处理

3.3.1　基于最小噪声分离的城墙多光谱数据降维

利用最小噪声分离方法对城墙多光谱数据进行降维去噪处理。图6为使用最小噪声分离方法对原始16个波段的多光谱数据处理后各特征分量特征值的分布情况。表2为由最小噪声分离方法生成每个特征分量的特征值及累计贡献率。

图 6. 城墙表面多光谱数据MNF分析结果

Fig. 6. MNF analysis results of wall surface multispectral data

下载图片查看所有图片

表 2. MNF各特征分量特征值及累计贡献率

Table 2. Eigenvalue and cumulative contribution rate of each component of MNF

Component	Eigenvalue	Cumulative contribution rate /%
1	168.68	49.97
2	50.56	64.95
3	45.68	78.48
4	19.13	84.15
5	10.68	88.61
6	9.06	90.25
7	6.75	92.30
8	6.40	94.19
9	3.97	95.37
10	3.02	96.26
11	2.95	97.13
12	2.54	97.89
13	2.09	98.51
14	1.89	99.07
15	1.80	99.60
16	1.35	100.00

查看所有表

特征值数量N反映了图像所含信息量的多少，目标图像所含信息量越多，目标检测识别效果越好。由图6可知，随着特征分量C变化，特征值数量也随之变化。从第1特征分量到第5特征分量特征值数量急剧下降，从第5特征分量到第16特征分量特征值数量下降缓慢。城墙多光谱数据信息主要集中在前5个特征分量，其余特征分量所含信息较少。由表2可知，前5个特征分量的累计贡献率达到了85%以上，降低了数据维度，保留了城墙病害信息的主要特征。所以选取前5个特征分量作为城墙表面病害检测的输入数据。

3.3.2　样本划分

物质成分的改变是导致城墙表面反射光谱产生差异的决定性因素。由于多年的风吹日晒、酸雨侵蚀等原因，城墙表面生成了大面积的生物病害；同时，大气环境中的有害离子（Na⁺、 $S O_{4}^{2 -}$ 、 $C O_{3}^{2 -}$ 、 $C l^{-}$ 等）附着于城墙表面，并与夯土墙中的 $C a^{2 +}$ 结合，形成 $C a C O_{3}$ 、 $C a S O_{4}$ 、 $N a C l$ 等物质，导致城墙表面盐析风化的形成，由于各物质含量不同，使得盐析风化有了强弱之分^［23］。物质不同，城墙表面病害类型不同；物质含量不同，病害的强弱就不同，光谱反射率曲线的幅值就不同。基于此，研究了城墙表面病害与光谱反射率之间的关系。经专家评定，采取样本中主要包含了城墙表面最常见的一些病害，分别为生物病害、强盐析病害以及弱盐析病害。城墙表面病害RGB图像，如图7所示。城墙表面病害光谱反射率，如图8所示。

图 7. 城墙表面病害RGB图像。（a）生物病害；（b）强盐析病害；（c）弱盐析病害；（d）基准砖石

Fig. 7. RGB images of city wall surface disease. (a) Biological disease; (b) strong salting out disease; (c) weak salting out disease; (d) basal brick

下载图片查看所有图片

图 8. 城墙表面病害光谱反射率

Fig. 8. Spectral reflectance of city wall surface diseases

下载图片查看所有图片

根据物质不同、光谱反射率不同，城墙病害类别就不同，将采集的城墙多光谱成像数据分为4类，分别为生物病害、严重盐析病害、轻度盐析病害以及基准砖石。选取感兴趣区域，对这4类物质进行标记，如图9所示。图9（a）为目标区域的RGB图像，图9（b）为目标区域740 nm处的多光谱图像，图9（c）为城墙不同病害的标记情况。

图 9. 城墙表面目标区域图像。（a）目标区域的RGB图像；（b）目标区域740 nm处多光谱图像；（c）目标区域标记情况

Fig. 9. Images of target area on wall surface. (a) RGB image of the target area; (b) multispectral image of the target region at 740 nm;(c) target area marking condition

下载图片查看所有图片

如图9（c）彩色区域所示，以像素点为单位，共标记城墙病害多光谱成像样本19884个，其中，生物病害样本5770个，严重盐析病害样本4750个，轻度盐析病害样本3972个，基准砖石样本5392个。将每类样本的训练集和测试集按照7∶3进行划分，每类样本的训练集与测试集个数，如表3所示。

表 3. 每类样本训练集、测试集数量

Table 3. Number of training sets and test sets for each sample

Type	Biological disease	Strong salting out	Weak salting out	Basal brick
Training set	4039	3325	2780	3774
Test set	1731	1425	1192	1618

查看所有表

3.4　实验结果与分析

为了验证所提算法对多光谱成像的城墙病害的检测分类优势，将所提算法与RF算法、SVM算法以及KNN算法对城墙病害检测分类结果对比，并对预测结果进行可视化展示。表4为4种算法对城墙病害纯净区域的预测分类结果展示，由表4可知，相比于其他3种算法，所提算法对城墙病害具有更好的检测效果。

表 4. 4种算法对城墙病害纯净区域的检测结果

Table 4. Detection results of four algorithms for the pure area of city wall disease

Type	Classification results of four algorithms
Type	CNN	RF	SVM	KNN
Biological disease
Strong salting out
Weak salting out
Basal brick

查看所有表

为了定量评价各分类模型对城墙病害分类情况，使用Kappa系数与总体精度对以上算法的分类情况进行评价。Kappa系数是基于混淆矩阵的准确度评价指标，取值在－1到1之间。总体精度表示分类正确的样本个数占所有样本个数的比例，越接近100%说明分类效果越好。相关公式可表示为

O_{A} = \frac{T_{P} + T_{N}}{T_{P} + F_{N} + F_{P} + T_{N}}

，（11）

K_{a p p a} = \frac{p_{o} - p_{e}}{1 - p_{e}}

，（12）

p_{e} = \frac{(T_{P} + F_{N}) \times (T_{P} + F_{P}) \times (F_{N} + T_{N}) \times (T_{N} + F_{P})}{N^{2}}

，（13）

式中： $O_{A}$ 为总体精度； $T_{P}$ 为真实值与预测值均为正样本； $T_{N}$ 为真实值与预测值均为负样本； $F_{N}$ 为真实值为正样本、预测值为负样本； $F_{P}$ 为真实值为负样本、预测值为正样本； $K_{a p p a}$ 为Kappa系数； $p_{o}$ 为每一类正确分类个数与总样本数量之比； $p_{e}$ 为偶然一致性；N为样本总数。

为了验证最小噪声分离方法对实验结果的影响，将原始16通道与最小噪声分离后前5特征分量的城墙多光谱成像数据输入CNN，表5为基于CNN对城墙每类病害的分类准确率、总体精度、Kappa系数、训练时间以及预测可视化时间的对比。

表 5. 最小噪声分离方法前后在卷积网络中的指标对比

Table 5. Index comparison before and after minimum noise fraction method in convolutional network

Type

Biological disease /%

Strong salting out /%

Weak salting out /%

Basal

brick /%

Overall accuracy /%

Kappa /10²

Train

time /s

Predict time /s

Original

98.96

98.60

91.02

87.27

94.17

92.18

510.12

913.41

MNF

98.50

98.04

90.35

85.66

93.28

91.00

141.57

219.24

查看所有表

由表5可知，由于MNF方法是利用了城墙16个通道多光谱数据中的前5个特征分量，数据量减少导致分类准确率有所降低，但数据训练时间及预测可视化时间相比较原始16通道数据集降低了近4倍，更有利于实现对城墙病害的快速无损检测。

表6为4种不同算法对预处理后城墙病害的检测分类结果。由表6可知，所提算法对城墙病害的检测分类总体精度为93.28%，Kappa系数为0.91，在每一类病害上的分类情况均高于其他算法。

表 6. 不同算法对城墙病害的分类结果

Table 6. Classification results of wall diseases by different algorithms

Parameter	RF	SVM	KNN	CNN
Biological disease rate /%	97.00	95.96	93.47	98.50
Strong salting out rate /%	96.63	93.61	88.70	98.04
Weak salting out rate /%	85.00	83.98	79.95	90.35
Basal brick rate /%	84.98	84.30	80.41	85.66
Overall accuracy /%	91.25	89.84	85.79	93.28
Kappa /10²	88.27	86.38	80.94	91.00

查看所有表

在城墙多光谱数据中，待检测区域的总像素点个数为1104660个，以城墙多光谱数据反射率幅值为分类依据，4种算法对城墙病害分类情况进行预测，并将结果进行可视化展示，与城墙病害真实分布情况对比，结果如图10所示。通过与城墙表面目标区域伪彩色图像对比可知，所提算法对城墙表面病害分类的可视化效果优于其他算法。

图 10. 城墙表面病害可视化展示。（a）目标区域伪彩色图像；（b）本文算法预测结果；（c）RF算法预测结果；（d）SVM算法预测结果；（e）KNN算法预测结果

Fig. 10. Visual display of wall surface diseases. (a) False-color image of the target area; (b) prediction results of the proposed algorithm; (c) prediction results of RF algorithm; (d) prediction results of SVM algorithm; (e) prediction results of KNN algorithm

下载图片查看所有图片

4　结论

针对传统城墙病害检测效率低下且易受到人工因素干扰的问题，提出了一种基于CNN的城墙多光谱成像病害检测方法，可以实现对城墙病害的像素级分类检测。首先，采用最小噪声分离方法对采集到的城墙病害多光谱数据进行预处理，降低数据维度的同时减少了数据噪声；其次，利用卷积操作对城墙病害多光谱数据进行特征提取，保留最重要特征并去除无关特征，稀疏网络模型、提高模型泛化能力，解决了城墙不同病害类型的像素混杂多样造成分类准确率较低的问题；然后，通过全连接层对卷积层提取到的特征进行整合梳理和分类；最后，加入2次dropout防止过拟合问题的出现。使用训练后具有感知能力的CNN分类模型对城墙病害实现像素级分类检测，并将检测结果进行可视化展示。实验结果表明，所提算法检测城墙多光谱成像病害的总体精度和Kappa系数均高于其他对比算法。与传统现场勘测的方法相比，所提方法能够实现对城墙病害的快速无损检测，对城墙病害的修复工作提供了参考。

参考文献

[1] 张宁宁. 中国古城墙的文化价值及云展览现状探析[J]. 大众标准化, 2021(2): 131-133.

Zhang N N. On the cultural value of China ancient city wall and the present situation of cloud exhibition[J]. Popular Standardization, 2021(2): 131-133.

[2] 白禹, 张中俭, 刘鹏辉, 等. 古城墙古砖的病害分类[J]. 山西建筑, 2020, 46(1): 30-32.

Bai Y, Zhang Z J, Liu P H, et al. Disease classification of the ancient brick in ancient city wall[J]. Shanxi Architecture, 2020, 46(1): 30-32.

[3] 朱才辉, 周远强. 某在役明城墙病害调研及评估方法[J]. 自然灾害学报, 2019, 28(2): 60-73.

Zhu C H, Zhou Y Q. Pathologies investigation and assessment method of an ancient City Wall in Ming Dynasty[J]. Journal of Natural Disasters, 2019, 28(2): 60-73.

[4] Chen G Q, Li L, Li G M, et al. Failure modes classification and failure mechanism research of ancient city wall[J]. Environmental Earth Sciences, 2017, 76(23): 810.

[5] Feng B, Hu Y, Hou M. A method for monitoring bulge of ancient city wall after repair[J]. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2021, 46: 221-224.

[6] 周伟. 探地雷达法在古城墙内部病害检测上的应用[J]. 智能城市, 2018, 4(11): 25-26.

Zhou W. Application of ground penetrating radar method in detection of diseases in ancient city walls[J]. Intelligent City, 2018, 4(11): 25-26.

[7] 凌雪, 吴萌蕾, 廖原, 等. 文物研究与保护中的无损分析技术[J]. 光谱学与光谱分析, 2018, 38(7): 2026-2031.

Ling X, Wu M L, Liao Y, et al. Nondestructive techniques in the research and preservation of cultural relics[J]. Spectroscopy and Spectral Analysis, 2018, 38(7): 2026-2031.

[8] 王雪培, 赵虹霞, 李青会, 等. 多光谱成像技术分析彩色艺术品的相关基础研究[J]. 光学学报, 2015, 35(10): 1030003.

Wang X P, Zhao H X, Li Q H, et al. Relevant fundamental research of colored artworks by multispectral imaging technology[J]. Acta Optica Sinica, 2015, 35(10): 1030003.

[9] NurielO, BenaimS, WolfL. Permuted AdaIN: reducing the bias towards global statistics in image classification[C]∥2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 20-25, 2021, Nashville, TN, USA. New York: IEEE Press, 2021: 9477-9486.

[10] 朱孙泳, 金莹, 吴泉英, 等. 基于混合卷积的有限角度发射光谱层析重建[J]. 光学学报, 2022, 42(13): 1315002.

Zhu S Y, Jin Y, Wu Q Y, et al. Hybrid-convolution-based reconstruction for limited-view emission spectrum tomography[J]. Acta Optica Sinica, 2022, 42(13): 1315002.

[11] 李云鹏, 代雪晶, 王猛, 等. 隐性字迹的快速光谱显现与高光谱分类技术研究[J]. 光谱学与光谱分析, 2021, 41(11): 3524-3531.

Li Y P, Dai X J, Wang M, et al. Study on rapid spectral reappearing and hyperspectral classification of invisible writing[J]. Spectroscopy and Spectral Analysis, 2021, 41(11): 3524-3531.

[12] Chandra M A, Bedi S S. Survey on SVM and their application in image[J]. International Journal of Information Technology, 2021, 13(5): 1-11.

[13] Guo Y H, Cao H, Han S M, et al. Spectral-spatial hyperspectral image classification with K-nearest neighbor and guided filter[J]. IEEE Access, 2018, 6: 18582-18591.

[14] Cao X H, Li R J, Ge Y M, et al. Densely connected deep random forest for hyperspectral imagery classification[J]. International Journal of Remote Sensing, 2019, 40(9): 3606-3622.

[15] Guo Y H, Yin X J, Zhao X C, et al. Hyperspectral image classification with SVM and guided filter[J]. EURASIP Journal on Wireless Communications and Networking, 2019(1): 1-9.

[16] Xie C Q, Yang C, He Y. Hyperspectral imaging for classification of healthy and gray mold diseased tomato leaves with different infection severities[J]. Computers and Electronics in Agriculture, 2017, 135: 154-162.

[17] 曹赤鹏, 王慧琴, 王可, 等. 基于多光谱成像和随机森林算法的石窟表面风化智能评估方法[J]. 光学学报, 2020, 40(22): 2230001.

Cao C P, Wang H Q, Wang K, et al. Intelligent evaluation method of grottoes surface weathering based on multispectral imaging and random forest algorithm[J]. Acta Optica Sinica, 2020, 40(22): 2230001.

[18] Cao X Y, Yao J, Xu Z B, et al. Hyperspectral image classification with convolutional neural network and active learning[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(7): 4604-4616.

[19] Rehman A, Naz S, Razzak M I, et al. Automatic visual features for writer identification: a deep learning approach[J]. IEEE Access, 2019, 7: 17149-17157.

[20] 万颖, 杨红云, 王映龙, 等. 基于图像分割与卷积神经网络的水稻病害识别[J]. 西北农业学报, 2022, 31(2): 246-256.

Wan Y, Yang H Y, Wang Y L, et al. Recognition of rice disease based on image segmentation and convolution neural network[J]. Acta Agriculturae Boreali-Occidentalis Sinica, 2022, 31(2): 246-256.

[21] 许慧青, 陈斌, 王敬飞, 等. 基于卷积神经网络的细长路面病害检测方法[J]. 计算机应用, 2022, 42(1): 265-272.

Xu H Q, Chen B, Wang J F, et al. Elongated pavement distress detection method based on convolutional neural network[J]. Journal of Computer Applications, 2022, 42(1): 265-272.

[22] Ghazi M M, Yanikoglu B, Aptoula E. Plant identification using deep neural networks via optimization of transfer learning parameters[J]. Neurocomputing, 2017, 235: 228-235.

[23] 张悦, 金普军, 王肃, 等. 西安城墙古砖表面风化病害及腐蚀机理研究[J]. 文博, 2019(4): 106-112.

Zhang Y, Jin P J, Wang S, et al. Studies on the mechanisms of the surface weathering disease and erosion of the bricks of the Xi'an city wall[J]. Relics and Museolgy, 2019(4): 106-112.

2.1.3　城墙多光谱成像数据最小噪声分离

2.2　基于CNN的城墙多光谱成像病害检测方法

3.3.1　基于最小噪声分离的城墙多光谱数据降维

3.3.2　样本划分

3.4　实验结果与分析

4　结论

李敏, 王慧琴, 王可, 王展, 李源. 基于卷积神经网络的城墙多光谱成像病害检测方法[J]. 激光与光电子学进展, 2024, 61(4): 0437006. Min Li, Huiqin Wang, Ke Wang, Zhan Wang, Yuan Li. City Wall Multispectral Imaging Disease Detection Method Based on Convolutional Neural Networks[J]. Laser & Optoelectronics Progress, 2024, 61(4): 0437006.