基于图卷积网络的三维点云分类分割模型

侯向丹; 于习欣; 刘洪普

doi:doi:10.3788/LOP57.181019

激光与光电子学进展, 2020, 57 (18): 181019, 网络出版: 2020-09-02

基于图卷积网络的三维点云分类分割模型下载： 1227次

3D Point Cloud Classification and Segmentation Model Based on Graph Convolutional Network

论文大纲

侯向丹于习欣刘洪普 ^*

作者单位

河北工业大学人工智能与数据科学学院, 天津 300401

图像处理分类与分割深度学习 PointNet 图卷积网络 image processing classification and segmentation deep learning PointNet graph convolutional network

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

针对PointNet模型只针对孤立点提取特征信息,而对邻域结构的信息提取能力不足的问题,提出基于图卷积网络的三维点云分类分割模型GraphPNet。首先将三维点云转换成无向图结构,利用该图结构得到点云的邻域信息,通过将邻域信息与单个点信息融合的方式提高分类与分割的准确率。在分类实验中,本文在ModelNet40数据集上进行训练与测试,并且与3D ShapeNets、VoxNet、PointNet模型的分类精度进行比较,其分类精度优于这些模型。在分割实验中,使用ShapeNet数据集进行训练与测试,并且与PointNet模型等分割模型得到的平均交并比(mIoU)值进行比较,验证了GraphPNet在分割实验中的有效性。

Abstract

PointNet model only extracts features of isolated points and therefore does not consider neighborhood structure information among points. To address this limitation, we propose GraphPNet, a 3D point cloud classification and segmentation model based on graph convolutional networks. The 3D point cloud is transformed into an undirected graph structure. Then, the neighborhood structure information of the 3D point cloud is obtained from the undirected graph structure. Classification and segmentation accuracy are improved by fusing neighborhood information with single point information. In classification experiments, GraphPNet is trained and tested on the ModelNet40 dataset and compared with VoxNet, PointNet, and 3D ShapeNets models. The results demonstrate that GraphPNet obtains better accuracy than the other models. In segmentation experiments, the ShapeNet dataset is used for training and testing, and the mean intersection over union values of GraphPNet and other segmentation models, such as PointNet, are compared. The results confirm the effectiveness of the proposed GraphPNet model.

1 引言

随着3D传感器和相关软件的发展,越来越多的图像数据开始以三维数据的形式呈现,比如激光雷达测量技术(LiDAR)^[1]可以利用激光束将物体的多种信息(包含三维数据)作数据化处理。三维数据的一个重要表现形式就是三维点云数据,三维点云是空间中一组点的集合,每个点的坐标、颜色、纹理等信息组成一个向量,用以表示物体信息。三维点云没有结构化的表示形式,具有不对称性、排列顺序多样化等特点,所以能应用于二维图像数据的神经网络(如卷积神经网络)并不适用于三维点云数据。

基于三维点云的这些特点,对三维点云数据有多种不同的处理方式。文献[ 2-4]针对三维点云的某类特征,构建相应的滤波器,并对点云特征进行匹配,这种方式下即使点云发生某些刚体变换,滤波器仍具有一定的鲁棒性,缺点是该方式不能涵盖三维点云数据的全部有效信息,普适性差,因此在分类与分割任务中其准确度仍有待提高。文献[ 5-7]采用的方式是将三维点云数据转换成相对规整的数据(网格化或者图像化),然后使用传统形式的神经网络对其进行处理,然而用这种方式得到的数据在数据量上往往高于转换之前,并且可能还会对物体的结构信息造成损失,除此之外神经网络处理转换后数据的计算成本也比较高,这也限制了转换后数据的精度。而第三种方式是直接使用三维点云数据,不仅可以避免特征匹配和数据转换过程中的复杂性,还能保留比较完善的原始特征信息,文献[ 8]中提出的深度学习网络模型PointNet,可以完成分类任务以及分割任务,其分类分割精度相较于前两种方式也有所提高。

相较于第一、二种方式,PointNet模型能更好地处理三维点云数据,但是该模型只针对孤立点进行特征提取运算,而忽略了三维点云数据中点与点之间在几何上的联系。本文针对此问题,利用图卷积提取点云结构的局部信息,在图卷积网络模型的基础上设计了神经网络模型GraphPNet,这一模型同样适用于原始三维点云数据,用图形结构对点云内在的局部邻域结构进行编码,得到一个能反映点与点之间几何关联的表示,然后使用图形信号处理(GSP)进行图上卷积或者其他操作^[9-10],从而得到有关该点与附近点之间组成的区域的特征信息,最后将该特征信息与孤立点的特征信息融合,得到既包含三维点云邻域几何结构信息又包含三维点云中节点信息的特征描述,从而提高分类与分割任务的准确率。

2 算法描述

本研究对PointNet模型进行了改进,设计出新的神经网络模型GraphPNet(图1所示)用于处理三维点云的分类与分割任务,其中分类网络(classification)与分割网络(segmentation)共用共享网络(share network)部分。GraphPNet模型在共享网络中使用GraphLayer卷积层来提取点云的局部结构信息,同时使用ConvLayer卷积层来提取单个点特征,然后将局部结构信息与单点特征信息融合得到新的特征,最后对新得到的特征进行分类与分割处理,从而提高分类与分割的精确度。其中共享网络与分割网络的n表示输入的三维点云的节点数,分割网络中的m表示点云的分割子类别,分类网络中的s表示点云在所有候选类别中所对应的类。

图 1. GraphPNet模型

Fig. 1. GraphPNet model

下载图片查看所有图片

2.1 基于图卷积的三维点云分类网络模型设计

GraphPNet的分类网络模型架构包括图1的共享网络部分以及分类网络部分,共享网络直接输入三维点云的n个节点的坐标值和图结构矩阵。三维点云作为几何物体的一种表示形式,应当在某些矩阵变换(比如旋转和平移)中仍保持其几何结构的不变性,因此先将点云数据通过T-Net结构进行处理,对点云数据进行对齐,并使点云中的每个点都包含其他节点的空间信息,以保证点云在一定的空间变换下仍具有不变性,最终得到仿射变换矩阵T。

处理后的数据使用两层结构GraphLayer和ConvLayer进行计算。GraphLayer利用图结构和三维点云数据得到局部结构信息,同时为了保留点云中每个单独点的特征,使用ConvLayer层来提取针对孤立点的特征信息,每提取一次点特征信息,便将两部分信息进行融合,使得到的特征同时包含局部结构信息和孤立点的特征信息,经过两次特征提取和融合后,最后使用GraphLayer层计算融合后的信息,得到n×1024维的特征矩阵。这样共享网络最终得到一组GraphLayer和ConvLayer的系数,使该部分网络输出的特征中既包含每个点的特征又包含邻域特征。

最后将输出的特征矩阵使用全局池化层聚合得到三维点云的全局特征描述,经由三个全连接层计算后,最后生成一个一维向量s,用以表示其在ModelNet40数据集所有类别中所对应的类。

2.1.1 ConvLayer卷积层和GraphLayer卷积层

对于点云中的每一个节点P_i(i=1,2,…,n),其坐标值为(x_i,y_i,z_i),即原始的输入维度为n×3,设h表示ConvLayer卷积层的映射函数,这样点云中的每个点的特征都可以用h(P_i)来得到,这样由每一层ConvLayer卷积层得到的特征可表示为

f ({P_{i}, \dots, P_{n}}) \approx σ (h (P_{i})), i = 1,2, \dots, n, (1)

式中:σ表示非线性激活函数,本文中使用ReLU函数。ConvLayer层通过函数h对每个点进行映射操作,得到每一个点的特征。

图神经网络是对传统神经网络模型如卷积神经网络(CNN)^[11]的推广,网络模型的输入数据从形式规则的数据扩展到具有其他表示形式的不规则数据。图神经网络主要有两种构建方法^[12]:空间方法和谱方法。空间方法^[13]是针对图中顶点构造神经网络内核,将图中的顶点与相邻节点的特征进行聚合,其缺点是对每一个节点来说,在一个固定的尺度内,其邻点数目会根据三维点云的稠密度不同而有所不同,故基于这种内核进行运算时不同节点会有不同的感受野,所以其处理方法也需要具有针对性。除此之外,这种方法可能无法提取足够多的特征信息。谱法是通过提供在频域中定义的图上局部算子^[9],在谱图理论的支持下,利用图信号处理中的滤波器来定义神经网络的内核,这种方式的内核具有良好的滤波能力^[14],可以在运算过程中去除信号中的噪声信号。谱法图卷积网络能够对局部点云几何结构中的点进行运算,得到节点及其相邻节点的结构信息,本文使用谱法图卷积网络模型来构建GraphLayer卷积层。

在GraphLayer层输入数据前,不仅需要将点云数据转换成无向图结构,还需要利用该结构计算得到关于节点以及相邻节点的特征信息和局部结构信息。对于三维点云中的n个节点,记节点为P_i(i=1,2,…,n),图G由k近邻^[15](kNN)原则得到,根据节点之间的空间距离,将空间中距离最近的k个节点{P_j|j=1,2,…,k}以及节点P_i组成局部几何结构。对于图G={V,E,W}:V是图G点的集合,代表n个数据点;E是图G中边的集合,若节点集中的点P_i和P_j组成的边(P_i,P_j)满足{(P_i,P_j)|P_j∈{P_j|j=1,2,…,k}},则(P_i,P_j)∈E;W是带权重的邻接矩阵,其权重通常取节点P_i和节点P_j的欧几里得距离或网络层输出的特征在空间中的距离,设W_i_,_j∈W表示连接节点P_i和节点P_j的边的权重,W的计算公式为

W_{i, j} = \{\begin{array}{l} \exp (- ‖ P_{i} - P_{j} ‖^{2} / ω^{2}), if (P_{i}, P_{j}) \in E \\ 0, if (P_{i}, P_{j}) \notin E \end{array}, (2)

其中P_i和P_j是节点i和节点j的三维坐标,ω是非零常数。

GraphLayer的输入包括:1)节点的特征描述。对于一个有n个节点的图结构,GraphLayer的每一层输入是n×F_in维的特征矩阵,输出是n×F_out维的特征矩阵,GraphLayer最原始的特征描述就是所有节点的坐标值(x_i,y_i,z_i),i=1,2,…,n。2)三维点云构建无向图。通常用图G的Laplacian矩阵L=I_n- $D^{- \frac{1}{2}}$ W $D^{- \frac{1}{2}}$ 来表示,I_n表示单位矩阵,D表示度矩阵,W表示前文中的加权邻接矩阵。

定义GraphLayer的卷积核为F_η(L),这样对于输入的图信号X,谱图卷积可定义为

y = F_{η} (L) X, (3)

其中L可以分解为L=UΛU^T,U由L的标准正交特征向量组成,U=[μ₁,μ₂,…,μ_n],Λ由L的特征值组成,Λ=diag(λ₁,λ₂,…,λ_n),可以得到y=UF_η(Λ) $\hat{X}$ ,其中 $\hat{X}$ =U^TX,η表示卷积核的参数。

为了降低计算复杂度,利用Chebyshev多项式,得到图卷积核F_η(Λ)的近似表示。其中Chebyshev多项式为

\{\begin{array}{l} T_{0} (x) = 1, if t = 0 \\ T_{1} (x) = x, if t = 1 \\ T_{t} (x) = 2 x T_{t - 1} (x) - 2 x T_{t - 2} (x), if t \geq 2 \end{array} 。 (4)

对卷积核F_η(Λ)进行多项式近似,即

F_{η} (Λ) = \overset{K - 1}{\sum_{t = 0}} η_{t} T_{t} (\dot{Λ}), (5)

式中:T_t( $\dot{Λ}$ )是K阶Chebyshev多项式, $\dot{Λ}$ = $\frac{2 Λ}{λ_{\max}}$ -I_n表示将Λ重缩放至[-1,1],λ_max表示Laplacian矩阵的最大特征值,η此处表示Chebyshev多项式的系数,即卷积核的参数。

若某GraphLayer层得到来自上一层GraphLayer层输出的三维点云的特征信息为Y,对信号Y的卷积运算可表示为

y = σ [\overset{F_{in}}{\sum_{i = 1}} F_{η} (L) Y_{i}] = σ \{\overset{F_{in}}{\sum_{i = 1}} U [\overset{K - 1}{\sum_{t = 0}} η_{t} T_{t} (\dot{Λ}) U^{T} Y_{i}]\} = σ [\overset{F_{in}}{\sum_{i = 1}} \overset{K - 1}{\sum_{t = 0}} η_{t} T_{t} (\dot{L}) Y_{i}], (6)

式中: $\dot{L}$ = $\frac{2 L}{λ_{\max}}$ -I_n;Y_i∈Y是输入的特征信息,其维度为n×F_in;η是该层的可训练参数,其大小为F_in×F_out,输出n×F_out维的特征信息;σ表示非线性激活函数,此处与ConvLayer层相同。F_η(Λ)与二维图像的卷积核类似,节点P_i为要卷积的区域中心,该节点的周围区域 $\{P_{j} |(P_{i}, P_{j}) \in E, P_{j} \in \{P_{j} |j = 1,2, \dots, k\}\}$ 则是要提取的特征的局部结构。

ConvLayer层与GrphLayer层的特征融合可以表示为

y = σ [\overset{F_{in}}{\sum_{i = 1}} F_{η} (L) Y] + σ [h (P_{i})], p_{i} \in Y', (7)

其中Y'表示来自该ConvLayer层的前一层ConvLayer的特征矩阵。

kNN图结构、Laplacian矩阵等相关数据都是在神经网络前向传播时构建的,不需要进行预先计算,同时Laplacian矩阵L在GraphPNet的所有GraphLayer中共享。GraphLayer的卷积核F_η(Λ)的阶数K代表了卷积核运算时感受野的范围,如图2所示(图中K=2),以点云的其中一个顶点P_i为例,每一次卷积运算F_η(Λ)都会将与中心顶点P_i相距最大为K跳的节点的特征进行聚合,从而得到邻域的特征信息。在分类分割模型中将每个物体的三维点云文件构造成一个k=40的kNN图结构,而GraphLayer的阶数K选为5。

2.1.2 全局池化层

全局池化层是GraphPNet分类网络的一个重要部分,最后一层GraphLayer卷积层输出的特征是整个三维点云特征的整体表示,既包含了三维点云邻域的结构信息,也包含了每个点的信息。这种情况下仍然要保证最后输出的全局特征是与三维点云的顺序是无关的,所以可通过比较所有输出的特征点来计算全局特征,本文沿用了最大池化层,不仅保证了最后输出的特征信息是在最后一层GraphLayer层输出的所有特征中最具代表性的特征信息,同时也降低了GraphPNet模型的计算复杂度。

图 2. 阶数为2时,GraphLayer汇集目标节点P_i的邻域信息

Fig. 2. Neighborhood information of the target node P_i at K=2 aggregated by GraphLayer

下载图片查看所有图片

2.2 基于图卷积的三维点云分割网络模型设计

本文的分割网络架构包括图1的共享网络部分以及分割网络部分,因为在共享网络中通过GraphLayer层和ConvLayer层的特征融合可以得到既包含单个点的信息又包含该点与周围点形成的邻域的特征信息,故在进行分割时不需要将低维度特征与高维度特征结合。提取经过共享网络部分的特征后,直接用全连接层进行处理。GraphPNet的分割网络通过融合邻域局部结构信息和单点信息,得到一个n×m维的向量矩阵,如前文所述,m表示点云中每个点对应的候选子类别,n表示点云中点的个数。

3 实验以及结果分析

3.1 ModelNet40数据集上的三维点云分类网络实验

为了验证分类模型的分类效果,本研究在ModelNet40^[5]数据集上进行训练和评估。ModelNet40有40个类别共12311个CAD模型,其中有9842个物体用于训练模型,2469个物体用于模型检验,该数据集的每个物体包含2048个点的三维坐标,即每一个物体用大小为2048×3的矩阵表示,本文对ModelNet40中部分点云文件进行可视化处理,可视化图见图3。

图 3. 部分点云文件可视化

Fig. 3. Part point cloud file visualization

下载图片查看所有图片

分类实验的系统环境为Ubuntu 16.04 LTS,GPU配置为NVIDIAGeForceGTX1080Ti,实验环境为Python 3.6.8,Pytorch0.4.0。在训练时,将所有三维点云数据作归一化处理^[16]。为了增强神经网络的鲁棒性,将点云沿着坐标轴随机旋转以获得新的点云数据。

在本文的分类实验中,构建kNN图时的初始k值取30,批处理大小为32,在网络参数进行更新时使用随机梯度下降(SGD)进行优化,初始学习率设为0.001,动量设为0.9。在共享网络中所有的GraphLayer层和ConvLayer层的后面都加入批量正则化(BN),而且除了最后的GraphLayer层外,其他卷积层使用ReLU函数作为激活函数。分类网络最后采用NLLloss函数作为损失函数,整个模型一共训练了35轮。

GraphPNet在ModelNet40数据集上的准确率与本地复现的其他三个三维点云分类网络3D ShapeNets、VoxNet以及PointNet的分类精度进行了对比,使用平均分类精度(mean class accuracy)和总体分类精度(overall accuracy)来评估性能网络,结果如表1所示。

表 1. 分类实验准确率

Table 1. Classification experimental accuracy

Model	Mean classaccuracy /%	Overallaccuracy /%
3DShapeNets^[5]VoxNet^[6]PointNet^[8]GraphPNet	77.083.083.785.3	84.785.987.689.6

查看所有表

由表1中数据可得,GraphPNet模型相较于3D ShapeNets、VoxNet以及PointNet在分类任务中实现了更高的准确率。相较于PointNet,GraphPNet的总体精确度提升了2%,平均分类精度提高了1.63%,这表明GraphPNet能有效利用三维点云的邻域结构信息。

为了验证kNN图中k取不同值对分类结果的影响,本文对比了不同k值下模型的分类精度,见表2。

由表2可知,在构建kNN图时的k值取40时,分类网络得到最好的分类效果,但是k的值并不是越大越好,对于较大的k值,分类网络的精确度并没有提升,因为随着k值增大,虽然以节点P_i为中心的邻域结构中的节点数量增加,但同时与P_i在几何上不相关的点的数量也随之变多,这样提取到的特征信息除了三维点云真实的局部结构信息之外,还增加了多余的信息,增加了网络的运算时间。

表 2. 不同k值下的准确率

Table 2. Accuracy at different values k

k	Mean class accuracy /%	Overall accuracy /%
25303540455055	85.084.985.185.385.984.584.9	89.588.688.989.688.788.688.9

查看所有表

为了验证GraphLayer的阶数K对精确度的影响,本文构图时保持kNN图的k=40,取不同的GraphLaye层的阶数K,比较其对准确率的影响,实验结果如表3所示。

表 3. 不同阶数K下的准确率

Table 3. Accuracy at different orders K

K	Mean class accuracy /%	Overall accuracy /%
123456	82.684.383.484.685.385.7	87.088.988.088.889.689.3

查看所有表

由表3的数据可知,在训练过程中,随着GraphLayer卷积层中的阶数K的增加,平均分类准确率和总体准确率都呈上升趋势,在K=5时,分类准确率达到最高,随后随着K的增加(即K=6),准确率并无明显提升,在K≥5后,GraphPNet运算时能充分利用局部结构中所有的点来提取特征。由Chebyshey多项式可以推断,随着K的增加,多项式的迭代次数也增加,因此GraphPNet占用的计算资源及其运算时间也都会增加,而结合表3数据可以得到,在构建kNN图的k值取40,以及GraphLayer的阶数K=5时,GraphPNet的分类准确率最高。

3.2 ShapeNet数据集上的三维点云分割网络实验

物体分割任务是将三维点云文件中的每个点分配到相应的部分类别(比如桌子腿、机翼)中。本文在shapenetcore_partanno_segmentation_benchmark数据集上进行GraphPNet分割网络的训练与评估,该数据集包含16个类别的17000个形状,多数对象都有2~5个部分被标记^[17]。每个节点的部分类别标签直接标记在该节点上,本文对每个形状随机取2048个节点。

分割网络的系统配置和实验环境与分类网络相同。在训练时,点云数据同样作归一化处理,根据前文分类网络中构建kNN图时k取不同值对分类准确率的影响,k值取40,同时GraphLayer的阶数K取5,批处理的大小为24,网络参数使用随机梯度下降法进行优化,初始学习率设为0.001,动量设为0.9。分割实验的共享网络部分与分类实验采用一致的处理方式。分割实验采用NLLloss函数作为损失函数,整个模型一共训练了60轮。

三维点云的分割实质上等同于将三维点云中的每一个点对应到相应的类别,评估指标是平均交并比(mIoU)值,即对数据集S个类别里的每个物体C,计算所有形状的mIoU:对每一个物体中每一个点的分割结果,计算分割预测值和真实值的交并比(IoU)值。若其并集是空的,则将部分IoU计为1。对于每一个物体C,将所有点的IoU值进行平均,得到该物体的mIoU值。而对于某一个类别整体mIoU值的计算方式是将该类别所有物体的mIoU值取平均值。本文将分割网络与三种方法SyncSpecCNN^[18]、PointNet以及文献[ 17]提出的神经网络模型得到的mIoU值进行比较,结果如表4所示。

通过表4结果,本文提出的GraphPNet在分割任务中也取得了比较良好的效果,在cap、chair、guitar、laptop、lamp、mug、pistol、skateboard、table等几个类别的mIoU值都超过PointNet,由此说明GraphPNet对ShapeNet数据集的分割是有效的。

综合两个实验,本文提出的神经网络模型GraphPNet,在分类实验中弥补了PointNet模型对三维点云的局部特征提取不足的缺陷,并且对ModelNet40数据集的分类精确度也有所提高,总体精确度相较于PointNet提升了2%左右;在分割实验中,GraphPNet在ShapeNet数据集上进行训练评估,得到的每个类的mIoU值相较于PointNet也有不错的表现。由此证明GraphPNet网络在分类与分割实验中都是可行的。

表 4. ShapeNet数据集上分割的mIoU值

Table 4. mIoU values of segmentation on ShapeNet

Category	Number of models	Part	mIoU /%
Category	Number of models	Part	Model in Ref. [17]	SyncSpecCNN^[18]	PointNet^[8]	GraphPNet
Airplane Bag Cap Car Chair Earphone Guitar Knife Lamp Laptop Motorbike Mug Pistol Rocket Skateboard Table	2690 76 55 898 3758 69 787 392 1547 451 202 184 283 66 152 5271	4 2 2 4 4 3 3 2 4 2 6 2 3 3 3 3	81.0 78.4 77.7 75.7 87.6 61.9 92.0 85.4 82.5 95.7 70.6 91.9 85.9 53.1 69.8 75.3	81.6 81.7 81.9 75.2 90.2 74.9 93.0 86.0 84.7 95.6 66.7 92.7 81.6 60.6 82.9 82.1	83.4 78.7 82.5 74.9 89.6 73.0 91.5 85.9 80.8 95.3 65.2 93.0 81.2 57.9 72.8 80.6	79.8 71.2 83.5 72.4 90.2 69.4 92.5 81.1 81.2 96.7 64.4 93.3 87.9 55.6 74.7 84.6

查看所有表

4 结论

随着硬件设备的更新、移动设备网络传输技术的更新换代以及深度学习应用的推广,三维点云数据将会应用于越来越多的场景中。本文设计并实现了基于图卷积的三维点云分类与分割网络GraphPNet,通过直接对原始的三维点云进行处理,对点云的局部特征进行提取并将其与孤立点的特征进行融合,提高了网络的分类与分割能力。在对ModelNet40数据集的分类实验中,GraphPNet的分类准确率相较于PointNet提高了2%,分类效果较好。在ShapeNet数据集的分类分割实验中,GraphPNet也在大部分类别上表现出了很好的效果,但在某些类别上仍有待提高。

然而本文提出的网络还有很多问题需要解决,比如解决点云的密度不均匀的情况下如何对点云局部结构使用图卷积网络提取信息,如何实现点云的划分和图卷积卷积核复杂度的降低,对于较大三维点云的情况下如何减少计算量的问题等。

参考文献

[1] 惠振阳, 程朋根, 官云兰, 等. 机载LiDAR点云滤波综述[J]. 激光与光电子学进展, 2018, 55(6): 060001.

Hui Z Y, Cheng P G, Guan Y L, et al. Review on airborne LiDAR point cloud filtering[J]. Laser & Optoelectronics Progress, 2018, 55(6): 060001.

[2] Ling H B, Jacobs D W. Shape classification using the inner-distance[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29(2): 286-299.

[3] Rusu RB, BlodowN, Marton ZC, et al.Aligning point cloud views using persistent feature histograms[C]∥2008 IEEE/RSJ International Conference on Intelligent Robots and Systems, September 22-26, 2008, Nice, France.New York: IEEE Press, 2008: 3384- 3391.

[4] AubryM, SchlickeweiU, CremersD. The wave kernel signature: a quantum mechanical approach to shape analysis[C]∥2011 IEEE International Conference on Computer Vision Workshops (ICCV Workshops), November 6-13, 2011, Barcelona, Spain. New York: IEEE Press, 2011: 1626- 1633.

[5] Wu ZR, Song SR, KhoslaA, et al.3DShapeNets: a deep representation for volumetric shapes[C]∥2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 7-12,2015, Boston, MA, USA. New York: IEEE Press, 2015: 1912- 1920.

[6] MaturanaD, SchererS. VoxNet: a 3DConvolutional Neural Network for real-time object recognition[C]∥2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), September 28-October 2, 2015, Hamburg, Germany. New York: IEEE Press, 2015: 922- 928.

[7] Qi CR, SuH, NießnerM, et al.Volumetric and multi-view CNNs for object classification on 3D data[C]∥2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 27-30,2016, Las Vegas, NV, USA.New York: IEEE Press, 2016: 5648- 5656.

[8] Charles RQ, SuH, Mo KC, et al.PointNet: deep learning on point sets for 3D classification and segmentation[C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 21-26, 2017, Honolulu, HI, USA. New York: IEEE Press, 2017: 77- 85.

[9] Shuman D I, Narang S K, Frossard P, et al. The emerging field of signal processing on graphs: extending high-dimensional data analysis to networks and other irregular domains[J]. IEEE Signal Processing Magazine, 2013, 30(3): 83-98.

[10] Sandryhaila A. Moura J M F. Big data analysis with signal processing on graphs: representation and processing of massive data sets with irregular structure[J]. IEEE Signal Processing Magazine, 2014, 31(5): 80-90.

[11] KrizhevskyA, SutskeverI, Hinton G E. Imagenet classification with deep convolutional neural networks[C]∥Proceedings of the 25 th International Conference on Neural Information Processing Systems , December 3-6, 2012, Lake Tahoe, Nevada, USA.NewYork: Curran Associates, Inc., 2012( 1): 1097- 1105.

[12] DefferrardM, BressonX, Vandergheynst P. Convolutional neural networks on graphs with fast localized spectral filtering[EB/OL]. ( 2017-02-05)[2019-12-20]. https:∥arxiv.org/abs/1606. 09375.

[13] BrunaJ, ZarembaW, SzlamA, et al. and locally connected networks on graphs[EB/OL]. ( 2014-05-21)[2019-12-20]. https:∥arxiv.org/abs/1312. 6203.

[14] JainA, Zamir AR, SavareseS, et al.Structural-RNN: deep learning on spatio-temporal graphs[C]∥2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 27-30, 2016, Las Vegas, NV, USA. New York: IEEE Press, 2016: 5308- 5317.

[15] AbeywickramaT, Cheema MA, Taniar D. K-nearest neighbors on road networks: a journey in experimentation and in-memoryimplementation[EB/OL]. ( 2016-08-10)[2019-12-20]. https:∥arxiv.org/abs/1601. 01549.

[16] Cignoni P, Callieri M, Corsini M, et al. MeshLab: an open-source mesh processing tool[J]. Computing, 2008, 1: 129-136.

[17] Yi L, Kim V G, Ceylan D, et al. A scalable active framework for region annotation in 3D shape collections[J]. ACM Transactions on Graphics, 2016, 35(6): 1-12.

[18] YiL, SuH, GuoX, et al.SyncSpecCNN: synchronized spectral CNN for 3D shape segmentation[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR), July 21-26, 2017, Honolulu, HI, USA. New York: IEEE Press, 2017: 2282- 2290.

1 引言

2 算法描述

2.1 基于图卷积的三维点云分类网络模型设计

2.2 基于图卷积的三维点云分割网络模型设计

3 实验以及结果分析

3.1 ModelNet40数据集上的三维点云分类网络实验

3.2 ShapeNet数据集上的三维点云分割网络实验

4 结论

侯向丹, 于习欣, 刘洪普. 基于图卷积网络的三维点云分类分割模型[J]. 激光与光电子学进展, 2020, 57(18): 181019. Xiangdan Hou, Xixin Yu, Hongpu Liu. 3D Point Cloud Classification and Segmentation Model Based on Graph Convolutional Network[J]. Laser & Optoelectronics Progress, 2020, 57(18): 181019.

基于图卷积网络的三维点云分类分割模型下载： 1227次

1 引言

2 算法描述

图 1. GraphPNet模型

Fig. 1. GraphPNet model

2.1 基于图卷积的三维点云分类网络模型设计

图 2. 阶数为2时,GraphLayer汇集目标节点P_i的邻域信息

Fig. 2. Neighborhood information of the target node P_i at K=2 aggregated by GraphLayer

2.2 基于图卷积的三维点云分割网络模型设计

3 实验以及结果分析

3.1 ModelNet40数据集上的三维点云分类网络实验

图 3. 部分点云文件可视化

Fig. 3. Part point cloud file visualization

表 1. 分类实验准确率

Table 1. Classification experimental accuracy

表 2. 不同k值下的准确率

Table 2. Accuracy at different values k

表 3. 不同阶数K下的准确率

Table 3. Accuracy at different orders K

3.2 ShapeNet数据集上的三维点云分割网络实验

表 4. ShapeNet数据集上分割的mIoU值

Table 4. mIoU values of segmentation on ShapeNet

4 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于图卷积网络的三维点云分类分割模型 下载： 1227次

1 引言

2 算法描述

图 1. GraphPNet模型

Fig. 1. GraphPNet model

2.1 基于图卷积的三维点云分类网络模型设计

图 2. 阶数为2时,GraphLayer汇集目标节点Pi的邻域信息

Fig. 2. Neighborhood information of the target node Pi at K=2 aggregated by GraphLayer

2.2 基于图卷积的三维点云分割网络模型设计

3 实验以及结果分析

3.1 ModelNet40数据集上的三维点云分类网络实验

图 3. 部分点云文件可视化

Fig. 3. Part point cloud file visualization

表 1. 分类实验准确率

Table 1. Classification experimental accuracy

表 2. 不同k值下的准确率

Table 2. Accuracy at different values k

表 3. 不同阶数K下的准确率

Table 3. Accuracy at different orders K

3.2 ShapeNet数据集上的三维点云分割网络实验

表 4. ShapeNet数据集上分割的mIoU值

Table 4. mIoU values of segmentation on ShapeNet

4 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于图卷积网络的三维点云分类分割模型下载： 1227次

图 2. 阶数为2时,GraphLayer汇集目标节点P_i的邻域信息

Fig. 2. Neighborhood information of the target node P_i at K=2 aggregated by GraphLayer