基于超像素分割与卷积神经网络的高光谱图像分类

陈如俊; 普运伟; 吴锋振; 刘昱岑; 李奇

doi:doi:10.3788/LOP222551

激光与光电子学进展, 2023, 60 (16): 1610010, 网络出版: 2023-08-18

基于超像素分割与卷积神经网络的高光谱图像分类下载： 559次

Hyperspectral Image Classification Based on Hyperpixel Segmentation and Convolutional Neural Network

论文大纲

陈如俊 ¹普运伟 ^1,2,*吴锋振 ¹刘昱岑 ¹李奇 ¹

作者单位

¹ 昆明理工大学国土资源工程学院，云南昆明 650093

² 昆明理工大学计算中心，云南昆明 650500

超像素卷积神经网络主成分分析空-谱特征融合滤波 super pixel convolutional neural network principal component analysis spatial-spectral feature fusion filtering

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

针对卷积神经网络（CNN）在分类高光谱图像时空-谱特征利用率不足和分类效率低的问题，提出基于超像素分割与CNN的高光谱图像分类方法。首先利用主成分分析（PCA）提取图像的前12个成分后对前3个主成分进行滤波，对滤波后的3个波段进行超像素分割；然后将样本点映射到超像素内，使其以超像素而不是像素为基本的分类单元；最后利用CNN进行图像分割。在两个公共的数据集WHU-Hi-Longkou和WHU-Hi-HongHu上进行实验，实验结果表明，相比仅利用光谱信息的方法，融合空-谱特征信息的方法的精度得到提升，在两个数据集上的分类精度分别达99.45%和97.60%。

Abstract

A hyperspectral image classification method based on superpixel segmentation and the convolutional neural network (CNN) is proposed to address the issues of low utilization of spatial-spectral features and low classification efficiency of CNN in hyperspectral image classification. First, the first three principal components were filtered after extracting the first 12 image components utilizing the principal component analysis (PCA), and the three filtered bands were then subjected to superpixel segmentation. Sample points were then mapped within the hyperpixels, enabling it to select superpixels rather than pixels as the basic taxon. Finally, the CNN was used for image segmentation. Experiments on two public datasets, WHU-Hi-Longkou and WHU-Hi-HongHu, show improved accuracy obtained by combining spatial-spectral features compared to using only spectral information, with classification accuracy of 99.45% and 97.60%, respectively.

1　引言

高光谱遥感图像（HSI）因具有涵盖红外光和可见光波长丰富的光谱信息和空间信息^［1］，如今被广泛应用于地质精细识别和分类^［2］、农业精细识别和分类^［3］、生态环境^［4］、城市遥感及**目标检测^［5-6］等重要领域。HSI分类最终目标是为图像中的每个像素分配一个唯一的标识符。

支持向量机（SVM）、K-最近邻（KNN）、随机森林（RF）等分类模型促进了高光谱图像的发展，但它们只对选取样本的光谱特征进行分类。高光谱上百个光谱波段容易导致信息冗余和“同物异谱，异物同谱”等现象，针对此现象，提出数据降维^［7］和数据重建^［8］方法，减少信息冗余并保留有价值的判别信息，以提高图像分类的效率。但仅利用光谱特征进行分类的方法无法获取高精度分类结果。

如今随着深度学习的蓬勃发展，研究者开始将深度学习应用于HSI分类中，例如堆叠自编码器（SAE）^［9］、深度置信网络（DBN）^［10］和卷积神经网络（CNN）^［11-13］等。堆叠自编码器和深度置信网络需要在训练之前将空间信息表示为向量，因此无法有效地提取空间信息。CNN在HSI识别和分类的应用最广泛，以样本中基于补丁的邻域为输入，通过卷积进行特征提取，可以从基于斑块的邻域中提取出空间特征、光谱特征、空间特征和光谱信息联合的深层语义特征，大大提高了HSI分类精度，但空间特征和信息只来自邻域，忽略了邻域外的空间特征和信息。为更好地融合空-谱信息，本文提出超像素这一概念。所谓超像素，是由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域^［14］。Yu等^［15］利用多尺度超像素级（MSP）数据集代替像素级数据并结合SVM进行分类；Tu等^［16］报道了多尺度超像素纹理特征保持与融合的高光谱图像分类方法，通过Gabor滤波器与主成分分析（PCA）融合纹理与光谱信息后采用超像素分割，并采用多数表决的决策融合机制取得最终分类结果。Jijón等^［17］提出由数据重建和超像素引导的高光谱图像的光谱和空间缩减方法，将带状选择和带提取的光谱集成和超像素分割后，将样本映射到超像素并结合SVM进行分割。Zhao等^［18］提出基于自适应多尺度分割的多超像素图学习方法，用于高光谱图像分类，通过对超像素进行不同尺度分割，然后对像素进行融合后再进行分割。陈善学等^［19］提出了一种基于空谱字典的加权联合稀疏表示高光谱图像分类算法。刘金香等^［20］提出融合多维度CNN的高光谱遥感图像分类算法。上述算法利用空谱特征进行提取，分类精度得到很好的提升，同时基于超像素的方法相比基于像素的方法在空间信息选择和空间特征提取上更具有优势。但超像素聚类是基于图像显性的像元聚类方法，对于超像素，分割后均采用机器学习进行分类，不能对高级语义特征进行提取，如今由无人机（UAV）获取高空间分辨率的高光谱遥感图像（简称双高遥感图像，用H²表示），分辨率提高的同时带来了像素的增加，另外上百个波段引发了数据灾难。因此，针对通过有限的样本快速精确地对H²图像进行精细化分类的问题，本文提出基于超像素分割与卷积神经网络的高光谱图像分类方法。

2　研究方法与原理

2.1　主成分分析

主成分分析，也称主分量分析或主成分回归分析，是高光谱常用的一种数据降维方法^［21］。首先利用线性变换，将数据变换到一个新的坐标系中；再利用降维的思想，使得任何数据投影的第一大方差在第一个坐标（称为第一主成分）上，第二大方差在第二个坐标（称为第二主成分）上，…。利用这种降维的思想，首先减少了数据集的维数，同时还保留了数据集的对方差贡献最大的特征，最终使数据直观呈现在二维坐标系上，其目的是在“信息”损失较小的前提下，将高维的数据转换到低维，从而减少计算量。具体算法流程如下。

1）假设输入样本集为 $m$ 维 $D = (x^{(1)}, x^{(2)}, \dots, x^{(m)})$ ，首先对所有的样本进行中心化，得到

x^{(i)} = x^{(i)} - \frac{1}{m} \sum_{j = 1}^{m} x^{(j)}

。（1）

2）然后计算样本的协方差矩阵 $X X^{T}$ ，从中选取最大的 $n$ 个特征值对应的特征向量 $[ω_{1} ω_{2} \dots ω_{n}]$ ，将所有的特征向量标准化后，组成特征矩阵 $W$ 。

3）将样本集中每一个样本 $x^{(i)}$ 转换为新的样本 $z^{(i)} = W^{T} x^{i}$ 。

4）最终得到降维后样本集 $D' = (z^{(1)}, z^{(2)}, \dots, z^{(m)})$ 。

2.2　超像素分割

超像素是由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域，在简单图像处理中运用最广泛，几种流行的分割方法为ERS^［22］、Achanta等^［23］提出的SLIC、改进的SLICO算法和MSLIC算法。

SLIC方法将彩色图像转换为CIELAB颜色空间和XY坐标下的5维特征向量，然后对5维特征向量构造距离度量标准，对图像像素进行局部聚类。SLIC方法能生成紧凑近似均匀的超像素，在运算速度、物体轮廓保持、超像素形状方面具有较高的综合评价，得到比较符合人们期望的分割效果，因此运用较广泛。SLIC方法的原理如下。

1）初始化种子点。假设图像共有M个像素点，预分割成K个超像素，那么在图像中均匀地分配K个种子点，每个超像素的大小为N_s。

2）优化种子点。计算初始化种子点 $n_{1} \times n_{1}$ 邻域内所有像素点的梯度值，将种子点移到该邻域内梯度最小的地方，为避免大范围内计算梯度值影响效率，取n₁=3。其目的是避免种子点落在梯度较大的轮廓边界上，影响后续聚类效果。

3）距离度量。距离包括颜色距离和空间距离，计算公式为

d_{c} = \sqrt[]{(l_{j} - l_{i})^{2} + (a_{j} - a_{i})^{2} + (b_{j} - b_{i})^{2}}

，（2）

d_{s} = \sqrt[]{(x_{j} - x_{i})^{2} - (y_{j} - y_{i})^{2}}

，（3）

D' = \sqrt[]{{(\frac{d_{c}}{N_{c}})}^{2} + {(\frac{d_{s}}{N_{s}})}^{2}} 或 D' = \sqrt[]{{(\frac{d_{c}}{L})}^{2} + {(\frac{d_{s}}{s})}^{2}}

，（4）

N_{s} = \sqrt[]{\frac{M}{K}}

，（5）

式中： $d_{c}$ 表示颜色距离； $d_{s}$ 表示空间距离； $N_{s}$ 是类内最大空间距离； $N_{c} = L$ 为最大颜色距离，取值范围［1，40］，取一固定值，一般取10。

SLIC在平滑区域中生成平滑的规则大小的超像素，在纹理区域中生成高度不规则的超像素，相比之下，SLICO在纹理区域和非纹理区域都生成规则形状的超像素。

目前超像素分割^［24-25］已被证明对高光谱的空间信息具有较好的鲁棒性。大多数机器学习对高光谱进行超像素分割时最多只能提取图像的中级语义特征，因此针对此问题，本文将超像素和卷积神经网络融合对高光谱进行分割，能保证从高光谱空间信息中提取到高级语义特征，使分类精度得到提高。

2.3　样本点到超像素的映射

经过PCA和滤波处理，图像中仍包含相同数量像素，样本点亦是。这说明基于像素点进行分类仍然耗时，既然HSI被分割成不同尺度的超像素，那么说明在每个超像素内的像素具有相同的标签，从而将每个超像素作为一个新的样本而不是将每个像素作为一个样本是合理的，因此把每个样本点映射到所在的超像素内。这样做的前提是每个超像素必须在同一个地物内，如此就把具有M个像素的HSI分类转换为N个超像素的分类，在进行HSI分类的同时可以获取图像的空间信息和光谱信息特征。

2.4　卷积神经网络

CNN是一类包含卷积计算且具有深度结构的前馈神经网络（feedforward neural network），是深度学习的代表算法之一，因具有较强的特征自学习能力，被用于图像识别^［26］、图像分类^［27］、目标检测^［28］和语义分割^［29］。CNN主要包含输入层、卷积层、下采样层（池化层）、全连接层和输出层。

1）卷积层。通过卷积运算对输入层的特征进行提取，运算表达式和特征映射的输出表达式分别为

h (x, y) = g (x, y) \times w (a, b) = \sum_{i, j} g (x + a, y + b) \times w (a, b),

（6）

x_{b}^{l} = f [\sum_{a \in D_{b}} (x_{b}^{l - 1} \otimes k_{a b}^{l}) + c_{b}^{l}]

，（7）

式中： $g (x, y)$ 表示图像中像素 $(x, y)$ 的灰度值； $w (a, b)$ 为卷积核，也称为滤波器； $x_{b}^{l}$ 表示第 $l$ 层的第 $b$ 个特征图； $k_{a b}^{l}$ 表示第 $l$ 层的第 $b$ 个特征映射与第 $l - 1$ 层的第 $a$ 个特征映射输出之间的卷积核； $\otimes$ 是卷积符号； $c_{b}^{l}$ 是加性偏差； $D_{b}$ 是输入的特征映射集； $f$ 为激活函数。

2）池化层。池化层主要用于特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的容错性。常用的池化操作一般包括最大池化、平均池化、随机池化。第 $l$ 层的第 $b$ 个特征图的池化计算为

x_{b}^{l} = f [θ_{h}^{l} M a x (x_{h}^{l - 1}) + e_{b}^{l}]

，（8）

式中： $θ$ 和 $h$ 分别表示乘法偏差和加性偏差；Max（·）为最大池化。

3）全连接层。通过多个卷积层和池化层的交替连接，全连接层对提取的特征进行进一步降维，最后依据全连接层提取的特征向量输出层输出样本对应的标签。

所提卷积神经网络流程如图1所示，其中卷积层共有5层，前两层采用5×5大小的卷积核，第3到5层则采用3×3大小的卷积核，最后一层采用1×1大小的卷积核，学习率为0.0015，网络中的激活函数均采用ReLU函数。

图 1. 所提卷积神经网络

Fig. 1. Proposed CNN

下载图片查看所有图片

3　实验数据处理与分析

3.1　实验数据

采用武汉大学RSIDEA研究团队公开共享的无人机高光谱高空间（双高）遥感影像数据集WHU-Hi-Longkou和WHU-Hi-HongHu进行实验。其中WHU-Hi-Longkou数据尺寸为550×400，有270个波段，光谱分辨率和空间分辨率分别为6 nm和0.463 m，包含9个类别（6类农作物），伪彩色与真值图及对应类别名称如图2所示。WHU-Hi-HongHu数据尺寸为940×475，有效波段数270个，光谱分辨率和空间分辨率分别为6 nm和0.043 m，包含22个类别（18类农作物），伪彩色与真值图及对应类别名称如图3所示。

图 2. WHU-Hi-Longkou数据集的伪彩色图像和地物真值图。（a）伪彩色图像；（b）真实图像

Fig. 2. Pseudo-color image and ground object truth map of the WHU-Hi-Longkou dataset. (a) Pseudo-color image; (b) real image

下载图片查看所有图片

图 3. WHU-Hi-HongHu数据集的伪彩色图像和地物真值图。（a）伪彩色图像；（b）真实图像

Fig. 3. Pseudo-color image and ground object truth map of the WHU-Hi-HongHu dataset. (a) Pseudo-color image; (b) real image

下载图片查看所有图片

3.2　实验设置

3.2.1　训练数据和精度评定

为降低信息冗余并保留有价值的判别信息，以提高图像分类的效率，针对数据集WHU-Hi-Longkou和WHU-Hi-HongHu，采用PCA选取前12个主成分进行实验分析，分别选取图像的0.1%作为训练样本，剩余的作为测试样本。

采用总体精度（OA）、Kappa系数、逐类别的精度（CA）来评价不同方法的分类性能。

逐类精度的公式为

P_{C A j} = \frac{p_{j j}}{p_{+ j}}

。（9）

总体精度的公式为

P_{O A} = \sum_{k = 1}^{n} \frac{p_{k k}}{p}

。（10）

Kappa系数的公式为

c_{K a p p a} = \frac{p \sum_{i = 1}^{n} p_{i i} - \sum_{i = 1}^{n} (p_{i +} p_{i +})}{p^{2} - \sum_{i = 1}^{n} (p_{i +} p_{i +})}

，（11）

式中： $p_{j j}$ 表示分类结果中第 $j$ 类和真实分类结果中第 $j$ 类所占概率； $p_{+ j}$ 表示真实分类第 $j$ 类的总和； $p_{k k}$ 表示分类结果中第 $k$ 类和真实分类结果中第 $k$ 类所占的概率，其中 $k$ =1- $n$ ， $n$ 为总分类数； $p$ 为样本总量； $p_{i +}$ 表示实际观测第 $i$ 类的总和。

3.2.2　对比方法选取和实验参数设置

选取SVM、KNN、RF和CNN进行对比分析。针对测试集，首先采用270个波段光谱信息对高光谱图像进行分类；其次针对所提出的超像素，分别采用SLICO、SLIC、MSLIC三种算法对其进行分割，对分割后的超像素分割图进行对比分析；最终选取边界贴合度较高的算法结合以上算法对高光谱图像进行分割。

3.2.3　不同分类方法基于像素点分类结果的影响分析

图4和图5为基于光谱信息的不同分类方法对WHU-Hi-Longkou和WHU-Hi-HongHu数据集的分类结果。WHU-Hi-Longkou数据集类别较少，分类结果相对较好。由表1可知，不同方法的总体分类精度都在80%以上，其中SVM和CNN分别达到了96.77%和97.18%。相反，WHU-Hi-HongHu数据集类别较多，从图5可以看出，“同物异谱，异物同谱”现象比较明显，分类效果不是很好。表2也说明即使具有最好分类效果的CNN获取的总体精度也才为85.43%，而KNN、SVM和RF分别为63.02%、72.68%和68.26%。因此，在类别较多情况时，仅利用光谱信息的方法不能获取较高的分类精度或容易出现“同物异谱，异物同谱”现象。

图 4. WHU-Hi-Longkou数据集上的光谱信息分割结果。（a）KNN；（b）SVM；（c）RF；（d）CNN；（e）地物真实图

Fig. 4. Spectral information segmentation results on WHU-Hi-Longkou dataset. (a) KNN; (b) SVM; (c) RF; (d) CNN; (e) ground truth

下载图片查看所有图片

图 5. WHU-Hi-HongHu数据集上的光谱信息分割结果。（a）KNN；（b）SVM；（c）RF；（d）CNN；（e）地物真实图

Fig. 5. Spectral information segmentation results on WHU-Hi-HongHu dataset. (a) KNN; (b) SVM; (c) RF; (d) CNN; (e) ground truth

下载图片查看所有图片

表 1. 不同算法在WHU-Hi-Longkou数据集上的CA

Table 1. CA of different algorithms on WHU-Hi-Longkou dataset

Category	KNN	SVM	RF	CNN
Corn	94.93	98.41	88.53	98.45
Cotton	76.80	92.02	76.80	95.45
Sesame	82.96	98.25	82.21	98.70
Round leaf soybean	69.00	89.60	57.16	90.83
Long leaf soybean	88.30	96.05	69.80	97.91
Rice	99.24	99.48	64.20	98.68
Wave	99.87	99.88	92.18	99.83
Houses and roads	87.82	95.37	82.34	94.58
Mixed weeds	85.28	96.13	74.18	97.41
OA /%	89.88	96.77	82.51	97.18
Kappa coefficient /%	86.97	95.78	78.00	96.31

查看所有表

表 2. 不同算法在WHU-Hi-HongHu数据集上的CA

Table 2. CA of different algorithms on WHU-Hi-HongHu dataset

Category	KNN	SVM	RF	CNN
Roof	84.37	76.02	78.67	92.17
Road	81.97	83.56	83.39	78.81
Exposed soil	63.15	74.45	65.50	73.66
Cotton	49.90	67.64	62.75	87.36
Cotton wood	60.21	78.70	68.05	64.24
Rape	66.54	81.40	72.56	92.47
Chinese cabbage	45.33	53.10	46.34	49.05
Pakchoi	38.80	39.56	20.93	58.84
Cabbage	88.38	89.18	84.81	88.28
Mustard tuber	38.70	47.20	40.47	66.60
Cauliflower	31.90	40.22	30.36	60.92
Green vegetables	56.95	54.81	54.33	61.74
Small green vegetables	45.56	49.12	52.04	71.80
Asparagus lettuce	61.54	56.82	44.33	50.75
Lettuce	87.30	80.42	73.91	82.85
Film is covered with lettuce	76.67	69.85	80.14	82.85
Thin film covered with lettuce	78.53	77.82	70.30	75.83
Carrot	68.37	73.40	68.31	84.24
Ternip	68.68	75.56	71.66	79.01
Garlic bolt	77.13	80.36	76.20	76.94
Bean	71.18	71.10	76.68	89.47
Persimmon tree	64.02	77.34	74.47	87.46
OA /%	63.02	72.68	68.26	85.43
Kappa coefficient /%	56.78	67.04	62.02	82.10

查看所有表

3.2.4　不同方法融合空-谱特征分类结果的影响分析

图6和图7是不同超像素分割算法对WHU-Hi-Longkou和WHU-Hi-HongHu数据集的分割效果。SLICO算法在未降维和降维后均能够获取均匀的超像素区域，但是由局部图看出，边界不能很好贴合，容易出现将相邻类分割在同一超像素内的情况；SLIC算法分割后的超像素虽然不是均匀的超像素区域，但是通过局部图可以发现边界可以较好贴合；MSLIC算法从WHU-Hi-Longkou数据集可获取均匀的超像素，不能从WHU-Hi-HongHu数据集得到均匀的超像素。综上所述，采用SLIC算法进行超像素分割。

图 6. 不同超像素算法对WHU-Hi-Longkou数据集的分割结果。（a）SLICO；（b）PCA-SLICO；（c）SLIC；（d）PCA-SLIC；（e）MSLIC；（f）PCA-MSLIC

Fig. 6. Segmentation results of different hyperpixel algorithms on WHU-Hi-Longkou dataset. (a) SLICO; (b) PCA-SLICO; (c) SLIC; (d) PCA-SLIC; (e) MSLIC; (f) PCA-MSLIC

下载图片查看所有图片

图 7. 不同超像素算法对WHU-Hi-HongHu数据集的分割结果。（a）SLICO；（b）PCA-SLICO；（c）SLIC；（d）PCA-SLIC；（e）MSLIC；（f）PCA-MSLIC

Fig. 7. Segmentation results of different hyperpixel algorithms on WHU-Hi-HongHu dataset. (a) SLICO; (b) PCA-SLICO; (c) SLIC; (d) PCA-SLIC; (e) MSLIC; (f) PCA-MSLIC

下载图片查看所有图片

图8对比图4、图9对比图5，相比于光谱信息，高光谱图像融合空-谱特征后分类效果得到明显提升。对比表3和表1、表4和表2，相较于仅基于光谱信息的KNN、SVM、RF和CNN，融合空-谱特征信息的PMS-KNN、PMS-SVM、PMS-RF和PMS-CNN的总体精度在WHU-Hi-Longkou数据集上分别提高了2.88个百分点、1.03个百分点、6.84个百分点和2.27个百分点，在WHU-Hi-HongHu数据集上分别提高了25.95个百分点、10.22个百分点、18.58个百分点和12.17个百分点，其中PMS表示融合PAC、多尺度卷积神经网络结构和SLICO的方法。融合超像素和卷积神经网络的方法对WHU-Hi-Longkou数据集每一类农作物的分类精度更是达到了99%以上，而对WHU-Hi-HongHu数据集每一类农作物的分类精度也都保持在92%以上。因此，融合空-谱特征的方法能够更好地提高对图像的分类精度。

图 8. 不同方法对WHU-Hi-Longkou数据集的分类结果。（a）PMS-KNN；（b）PMS-SVM；（c）PMS-RF（d）PMS-CNN；（e）真值图

Fig. 8. Classification results of different methods on WHU-Hi-Longkou dataset. (a) PMS-KNN; (b) PMS-SVM; (c) PMS-RF;(d) PMS-CNN; (e) grouth truth

下载图片查看所有图片

图 9. 不同方法对WHU-Hi-HongHu数据集的分类结果。（a）PMS-KNN；（b）PMS-SVM；（c）PMS-RF；（d）PMS-CNN；（e）真值图

Fig. 9. Classification results of different methods on WHU-Hi-Longkou dataset. (a) PMS-KNN; (b) PMS-SVM; (c) PMS-RF;(d) PMS-CNN; (e) grouth truth

下载图片查看所有图片

表 3. WHU-Hi-Longkou数据集中的CA

Table 3. CA on WHU-Hi-Longkou dataset

Category	PMS-KNN	PMS-SVM	PMS-RF	PMS-CNN
Corn	97.74	99.64	94.37	99.85
Cotton	83.53	96.03	66.15	99.94
Sesame	89.90	98.06	83.03	98.35
Round leaf soybean	76.57	92.52	70.88	99.08
Long leaf soybean	93.84	97.02	76.10	99.15
Rice	99.62	9.540	99.08	99.67
Wave	99.88	99.87	99.85	99.72
Houses and roads	91.15	94.75	88.04	95.36
Mixed weeds	86.41	97.64	81.50	97.61
OA /%	92.76	97.80	89.35	99.45
Kappa coefficient /%	90.63	97.10	86.30	99.27

查看所有表

表 4. WHU-Hi-HongHu数据集中的CA

Table 4. CA on WHU-Hi-HongHu dataset

Category	PMS-KNN	PMS-SVM	PMS-RF	PMS-CNN
Roof	95.62	80.33	93.58	98.38
Road	94.60	83.67	87.62	94.02
Exposed soil	87.36	91.36	86.13	96.33
Cotton	87.54	84.46	82.00	98.10
Cotton wood	92.34	84.39	91.18	99.45
Rape	87.99	87.79	86.40	96.57
Chinese cabbage	74.94	65.26	72.08	92.17
Pakchoi	86.60	17.60	77.20	99.95
Cabbage	96.28	91.77	94.73	97.60
Mustard tuber	73.43	66.86	76.93	96.85
Cauliflower	78.04	59.00	87.98	95.36
Green vegetables	86.78	56.75	85.84	96.27
Small green vegetables	74.96	73.16	76.14	97.06
Asparagus lettuce	86.90	64.80	87.98	97.22
Lettuce	94.66	67.80	99.00	100
Film is covered with lettuce	94.95	85.58	86.55	99.10
Thin film covered with lettuce	95.20	60.40	96.84	100
Carrot	94.42	78.54	95.64	99.40
Ternip	87.04	81.54	86.51	95.24
Garlic bolt	97.44	80.70	96.73	98.58
Bean	99.70	0	99.70	99.70
Persimmon tree	95.85	76.86	99.23	99.24
OA /%	88.97	82.90	86.84	97.60
Kappa coefficient /%	86.30	78.67	83.80	97.07

查看所有表

4　结论

提出一种基于超像素分割与卷积神经网络的高光谱图像分类方法。首先针对270个波段，采用PCA进行降维，获取前12个主成分并对前3个主成分进行滤波；然后采用SLIC算法对滤波后的前3个主成分进行分割；接着将样本点映射到分割后的超像素内，从而将光谱信息和空间信息有效结合；最终利用卷积神经网络对高光谱遥感影像进行分割。针对高光谱图像分割，主要贡献为：1）针对高光谱上百个波段容易出现信息冗余和“同物异谱，异物同谱”等现象，采用PCA获取前12个主成分，降低信息冗余并保留有价值的判别信息，以提高图像分类的效率；2）为更好利用高光谱的空间信息，对前3个主成分进行滤波后采用SLIC算法进行超像素分割；3）将样本点映射到超像素内，以超像素而不是像素为基本的分类单元。这显著减小了HSI的尺寸，以卷积神经网络为基础，能够提取图像的高级语义特征，大大提高对图像的分类精度。

参考文献

[1] 童庆禧, 张兵, 张立福. 中国高光谱遥感的前沿进展[J]. 遥感学报, 2016, 20(5): 689-707.

Tong Q X, Zhang B, Zhang L F. Current progress of hyperspectral remote sensing in China[J]. Journal of Remote Sensing, 2016, 20(5): 689-707.

[2] Galdames F J, Perez C A, Estévez P A, et al. Rock lithological instance classification by hyperspectral images using dimensionality reduction and deep learning[J]. Chemometrics and Intelligent Laboratory Systems, 2022, 224: 104538.

[3] 梁雪剑, 张晔, 张钧萍. 高光谱图像相对含水量反演引导的精细分类[J]. 遥感学报, 2021, 25(11): 2283-2302.

Liang X J, Zhang Y, Zhang J P. Relative water content retrieval and refined classification of hyperspectral images based on a symbiotic neural network[J]. National Remote Sensing Bulletin, 2021, 25(11): 2283-2302.

[4] Lü L L, Song K S, Wen Z D, et al. Estimation of the lake trophic state index (TSI) using hyperspectral remote sensing in Northeast China[J]. Optics Express, 2022, 30(7): 10329-10345.

[5] Gakhar S, Chandra T K. Spectral-spatial urban target detection for hyperspectral remote sensing data using artificial neural network[J]. The Egyptian Journal of Remote Sensing and Space Science, 2021, 24(2): 173-180.

[6] Guo T, Luo F L, Fang L Y, et al. Meta-pixel-driven embeddable discriminative target and background dictionary pair learning for hyperspectral target detection[J]. Remote Sensing, 2022, 14(3): 481.

[7] Bruce L M, Koger C H, Jiang L. Dimensionality reduction of hyperspectral data using discrete wavelet transform feature extraction[J]. IEEE Transactions on Geoscience and Remote Sensing, 2002, 40(10): 2331-2338.

[8] Gao Q S, Xie F D, Huang D, et al. Spectral and spatial reduction of hyperspectral image guided by data reconstruction and superpixels[J]. Engineering Applications of Artificial Intelligence, 2022, 111: 104803.

[9] Fu Q Y, Yu X C, Wei X P, et al. Semi-supervised classification of hyperspectral imagery based on stacked autoencoders[J]. Proceedings of SPIE, 2016, 10033: 100332B.

[10] Chen C, Ma Y, Ren G B. Hyperspectral classification using deep belief networks based on conjugate gradient update and pixel-centric spectral block features[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2020, 13: 4060-4069.

[11] Roy S K, Krishna G, Dubey S R, et al. HybridSN: exploring 3-D-2-D CNN feature hierarchy for hyperspectral image classification[J]. IEEE Geoscience and Remote Sensing Letters, 2020, 17(2): 277-281.

[12] Qu S M, Li X, Gan Z H. A new hyperspectral image classification method based on spatial-spectral features[J]. Scientific Reports, 2022, 12: 1541.

[13] 张祥东, 王腾军, 朱劭俊, 等. 基于扩张卷积注意力神经网络的高光谱图像分类[J]. 光学学报, 2021, 41(3): 0310001.

Zhang X D, Wang T J, Zhu S J, et al. Hyperspectral image classification based on dilated convolutional attention neural network[J]. Acta Optica Sinica, 2021, 41(3): 0310001.

[14] Achanta R, Shaji A, Smith K, et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(11): 2274-2282.

[15] Yu H Y, Gao L R, Liao W Z, et al. Multiscale superpixel-level subspace-based support vector machines for hyperspectral image classification[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(11): 2142-2146.

[16] Tu B, Zhou C L, Liao X L, et al. Spectral-spatial hyperspectral classification via structural-kernel collaborative representation[J]. IEEE Geoscience and Remote Sensing Letters, 2021, 18(5): 861-865.

[17] Jijón Palma M E, Lima Machado A M, Silva Centeno J A. Dimensionality reduction based on binary encoding for hyperspectral data[J]. International Journal of Remote Sensing, 2019, 40(9): 3401-3420.

[18] Zhao C H, Qin B A, Feng S, et al. Multiple superpixel graphs learning based on adaptive multiscale segmentation for hyperspectral image classification[J]. Remote Sensing, 2022, 14(3): 681.

[19] 陈善学, 何宇峰. 基于空谱字典的加权联合稀疏表示高光谱图像分类[J]. 光学学报, 2023, 43(1): 0110002.

Chen S X, He Y F. Weighted joint sparse representation hyperspectral image classification based on spatial-spectral dictionary[J]. Acta Optica Sinica, 2023, 43(1): 0110002.

[20] 刘金香, 班伟, 陈宇, 等. 融合多维度CNN的高光谱遥感图像分类算法[J]. 中国激光, 2021, 48(16): 1610003.

Liu J X, Ban W, Chen Y, et al. Multi-dimensional CNN fused algorithm for hyperspectral remote sensing image classification[J]. Chinese Journal of Lasers, 2021, 48(16): 1610003.

[21] 韩嫚莉, 侯卫民, 孙靖国, 等. 基于PCA与协同表示的高光谱图像分类研究[J]. 电子科技大学学报, 2019, 48(1): 117-121.

Han M L, Hou W M, Sun J G, et al. Hyperspectral image classification algorithm based on PCA and collaborative representation[J]. Journal of University of Electronic Science and Technology of China, 2019, 48(1): 117-121.

[22] 张志龙, 李爱华, 李楚为. 基于密度峰值搜索聚类的超像素分割算法[J]. 计算机学报, 2020, 43(1): 1-15.

Zhang Z L, Li A H, Li C W. Superpixel segmentation based on clustering by finding density peaks[J]. Chinese Journal of Computers, 2020, 43(1): 1-15.

[23] Achanta R, Shaji A, ASmith K, et al. SLIC Superpixels compared to state of the art superpixel methods[J]. IEE Transactions Pattern Analysis & Machine Intellingence, 2012, 347(11): 2274-2282.

[24] Li H, Feng R Y, Wang L Z, et al. Superpixel-based reweighted low-rank and total variation sparse unmixing for hyperspectral remote sensing imagery[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(1): 629-647.

[25] Yu H Y, Xu Z, Wang Yu L, et al. The use of KPCA over subspaces for cross-scale superpixel based hyperspectral image classification[J]. Remote Sensing Letters, 2021, 12(5): 470-477.

[26] Sang H T, Xiang L, Chen S F, et al. Image recognition based on multiscale pooling deep convolution neural networks[J]. Complexity, 2020, 2020: 6180317.

[27] Li D M, Deng L B, Cai Z M. Research on image classification method based on convolutional neural network[J]. Neural Computing and Applications, 2021, 33(8): 8175-8167.

[28] 余东行, 郭海涛, 张保明, 等. 级联卷积神经网络的遥感影像飞机目标检测[J]. 测绘学报, 2019, 48(8): 1046-1058.

Yu D H, Guo H T, Zhang B M, et al. Aircraft detection in remote sensing images using cascade convolutional neural networks[J]. Acta Geodaetica et Cartographica Sinica, 2019, 48(8): 1046-1058.

[29] Shan J C, Li X Z, Jia S M, et al. Semantic segmentation based on deep convolution neural network[J]. Journal of Physics Conference Series, 2018, 1069(1): 012169.

3.2.3　不同分类方法基于像素点分类结果的影响分析

3.2.4　不同方法融合空-谱特征分类结果的影响分析

4　结论

陈如俊, 普运伟, 吴锋振, 刘昱岑, 李奇. 基于超像素分割与卷积神经网络的高光谱图像分类[J]. 激光与光电子学进展, 2023, 60(16): 1610010. Rujun Chen, Yunwei Pu, Fengzhen Wu, Yuceng Liu, Qi Li. Hyperspectral Image Classification Based on Hyperpixel Segmentation and Convolutional Neural Network[J]. Laser & Optoelectronics Progress, 2023, 60(16): 1610010.

基于超像素分割与卷积神经网络的高光谱图像分类 下载： 559次

1 引言

2 研究方法与原理

2.1 主成分分析

2.2 超像素分割

2.3 样本点到超像素的映射

2.4 卷积神经网络

图 1. 所提卷积神经网络

Fig. 1. Proposed CNN

3 实验数据处理与分析

3.1 实验数据

图 2. WHU-Hi-Longkou数据集的伪彩色图像和地物真值图。（a）伪彩色图像；（b）真实图像

Fig. 2. Pseudo-color image and ground object truth map of the WHU-Hi-Longkou dataset. (a) Pseudo-color image; (b) real image

图 3. WHU-Hi-HongHu数据集的伪彩色图像和地物真值图。（a）伪彩色图像；（b）真实图像

Fig. 3. Pseudo-color image and ground object truth map of the WHU-Hi-HongHu dataset. (a) Pseudo-color image; (b) real image

3.2 实验设置

3.2.1 训练数据和精度评定

3.2.2 对比方法选取和实验参数设置

3.2.3 不同分类方法基于像素点分类结果的影响分析

图 4. WHU-Hi-Longkou数据集上的光谱信息分割结果。（a）KNN；（b）SVM；（c）RF；（d）CNN；（e）地物真实图

Fig. 4. Spectral information segmentation results on WHU-Hi-Longkou dataset. (a) KNN; (b) SVM; (c) RF; (d) CNN; (e) ground truth

图 5. WHU-Hi-HongHu数据集上的光谱信息分割结果。（a）KNN；（b）SVM；（c）RF；（d）CNN；（e）地物真实图

Fig. 5. Spectral information segmentation results on WHU-Hi-HongHu dataset. (a) KNN; (b) SVM; (c) RF; (d) CNN; (e) ground truth

表 1. 不同算法在WHU-Hi-Longkou数据集上的CA

Table 1. CA of different algorithms on WHU-Hi-Longkou dataset

表 2. 不同算法在WHU-Hi-HongHu数据集上的CA

Table 2. CA of different algorithms on WHU-Hi-HongHu dataset

3.2.4 不同方法融合空-谱特征分类结果的影响分析

图 6. 不同超像素算法对WHU-Hi-Longkou数据集的分割结果。（a）SLICO；（b）PCA-SLICO；（c）SLIC；（d）PCA-SLIC；（e）MSLIC；（f）PCA-MSLIC

Fig. 6. Segmentation results of different hyperpixel algorithms on WHU-Hi-Longkou dataset. (a) SLICO; (b) PCA-SLICO; (c) SLIC; (d) PCA-SLIC; (e) MSLIC; (f) PCA-MSLIC

图 7. 不同超像素算法对WHU-Hi-HongHu数据集的分割结果。（a）SLICO；（b）PCA-SLICO；（c）SLIC；（d）PCA-SLIC；（e）MSLIC；（f）PCA-MSLIC

Fig. 7. Segmentation results of different hyperpixel algorithms on WHU-Hi-HongHu dataset. (a) SLICO; (b) PCA-SLICO; (c) SLIC; (d) PCA-SLIC; (e) MSLIC; (f) PCA-MSLIC

图 8. 不同方法对WHU-Hi-Longkou数据集的分类结果。（a）PMS-KNN；（b）PMS-SVM；（c）PMS-RF（d）PMS-CNN；（e）真值图

Fig. 8. Classification results of different methods on WHU-Hi-Longkou dataset. (a) PMS-KNN; (b) PMS-SVM; (c) PMS-RF;(d) PMS-CNN; (e) grouth truth

图 9. 不同方法对WHU-Hi-HongHu数据集的分类结果。（a）PMS-KNN；（b）PMS-SVM；（c）PMS-RF；（d）PMS-CNN；（e）真值图

Fig. 9. Classification results of different methods on WHU-Hi-Longkou dataset. (a) PMS-KNN; (b) PMS-SVM; (c) PMS-RF;(d) PMS-CNN; (e) grouth truth

表 3. WHU-Hi-Longkou数据集中的CA

Table 3. CA on WHU-Hi-Longkou dataset

表 4. WHU-Hi-HongHu数据集中的CA

Table 4. CA on WHU-Hi-HongHu dataset

4 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于超像素分割与卷积神经网络的高光谱图像分类下载： 559次

1　引言

2　研究方法与原理

2.1　主成分分析

2.2　超像素分割

2.3　样本点到超像素的映射

2.4　卷积神经网络

3　实验数据处理与分析

3.1　实验数据

3.2　实验设置

3.2.1　训练数据和精度评定

3.2.2　对比方法选取和实验参数设置

3.2.3　不同分类方法基于像素点分类结果的影响分析

3.2.4　不同方法融合空-谱特征分类结果的影响分析

4　结论