光学学报, 2020, 40 (20): 2015001, 网络出版: 2020-09-30   

基于分层墨卡托投影的激光雷达点云数据局部特征描述 下载: 885次

Local Feature Description of LiDAR Point Cloud Data Based on Hierarchical Mercator Projection
作者单位
1 中国人民解放军国防科技大学电子科学学院, 湖南 长沙 410073
2 中国人民解放军国防科技大学气象海洋学院, 湖南 长沙 410073
摘要
为了高效提取激光雷达点云数据的局部几何结构特征,实现三维(3D)目标的配准、检测和识别,提出了一种基于分层墨卡托投影(HMec)的局部点云特征描述子。首先,采用传统方法进行特征提取;然后,利用具有保角特性的墨卡托投影,将3D点云数据的局部邻域点分层投影到多个墨卡托平面上;最后,分别统计各墨卡托平面的分布直方图,得到特征点的局部特征描述子。HMec特征描述子能很好地保留点云的局部几何结构特征,从而提高特征描述子的辨别力。在Bologna和3DMatch数据集上的测试结果表明,相比其他9种局部特征描述子,HMec特征描述子的辨别力更强、噪声鲁棒性更好。
Abstract
In order to efficiently extract the local geometric structure features of LiDAR point cloud data and realize the registration, detection and recognition of three-dimensional (3D) targets, a local point cloud feature descriptor based on hierarchical Mercator projection (HMec) is proposed in this paper. First, the traditional method is used for feature extraction. Then, the local neighborhood points of 3D point cloud data are projected onto multiple Mercator planes using the Mercator projection with conformal feature. Finally, the local feature descriptors of feature points are obtained by counting the histogram of each Mercator plane. HMec feature descriptor can retain the local geometric structure features of point cloud, so as to improve the discrimination of feature descriptor. The test results on Bologna and 3DMatch datasets show that HMec feature descriptors have stronger discrimination and better noise robustness than the other nine local feature descriptors

1 引言

激光雷达通过采集反射点的距离获取三维(3D)目标的表面形状、邻域、结构等信息,利用激光雷达点云数据进行目标检测、识别、匹配的关键是提取点云的特征描述。对点云的特征描述可以分为全局特征描述和局部特征描述两类,全局特征描述是用一组特征向量描述整体点云的几何特性[1-3];局部特征描述则是通过一组向量对关键点周围的邻域关系、结构信息[3]、统计信息[4]进行特征描述。相比全局特征描述,点云的局部特征描述不需要将目标点云从场景中分割出来,对杂乱和被遮挡的点云数据鲁棒性更好,得到了广泛应用。

局部特征描述的优劣取决于局部特征描述子的选取,现有的局部特征描述子可分为手工提取的特征描述子和基于学习的特征描述子。基于学习的特征描述子,通过海量点云数据和标签对神经网络的权值进行训练。Simo-Serra等[8]提出了基于多个视角图像训练网络的方法,但由于三维模型的视角太多,网络不能获得所有视角下的方位信息。Charles等[9-10]提出的PointNet和PointNet++直接将点云作为神经网络的输入。随后人们提出的3DMatch[11]、紧凑几何特征(CGF)[12]、FoldNet[13]、和3Dfeat-Net[14]等都借助PointNet[9]模块,直接将点云作为数据输入,从而实现特征提取、模型匹配、目标检测与识别等工作,但这些基于神经网络提取的特征也存在不足,如特征向量的可解释性不强、关键点周围的邻域结构信息和邻域点内部的相关性被破坏、需要大量有标签的训练样本。

手工特征描述子通过提取局部点云的几何结构特征完成特征描述,如Spin image[3]、点特征直方图(PFH)[2]、旋转投影统计量描述子[4]以及局部特征统计直方图[13]。无论是点云的体素化方法还是局部坐标投影方法,都会使局部点的相对关系和结构信息发生畸变。因此,本文提出了一种基于分层墨卡托投影的局部点云特征描述子,可在有效提取邻域局部结构信息的同时,将特征点附近的相对几何关系较小失真地投影到墨卡托特征平面上,以获得特征点附近的结构信息。

2 分层墨卡托投影方法

通常采用体素栅格化或多视角平面投影的方式[4]提取激光雷达的点云数据局部特征,但这些方法会损失邻近点之间的相对关系和结构信息。墨卡托投影方法是一种等角正轴圆柱形投影,该方法假设地球被一个中空的圆柱包裹,且圆柱与地球赤道相切。在地球中心放置一个无向光源,可将地球上的任意位置投影到圆柱体上,形成一个圆柱体表面空间,再将该表面展开成二维平面坐标系。该方法通过坐标变换实现三维坐标向二维坐标的转换,能保证点与点之间的角度关系。

2.1 墨卡托投影

墨卡托投影只对球内和球表面各点对于球心的经纬度进行投影,损失了径向距离信息,墨卡托投影的正解可表示为

XM=Klntanϕ2+π4·1-esinϕ1+esinϕe2YM=K(λ-λ0)K=a2/b1+e2cos2ϕ0·cosϕ0,(1)

式中,a为椭圆长轴,b为椭圆短轴,e为椭圆偏心率,ϕ0为初始纬度,λ0为初始经度,ϕ为纬度,λ为经度,XMYM为球经过墨卡托投影后的横、纵坐标,K为卯酉圈曲率半径。

若将待投影面看作标准的球面,即a=b=1,e=0,ϕ0=λ0=0,则墨卡托平面坐标与标准球内点的经纬度关系可表示为

XM=λYM=lntanϕ2+π4(2)

2.2 局部参考坐标系

局部参考坐标系位于三维表面,且独立于三维视觉中的原始坐标系,广泛应用于三维局部特征的描述,可得到旋转不变的三维空间信息。性能好的局部参考坐标必须具备的两个性质:1)基于该局部参考坐标下的特征描述具有刚体旋转不变性,即该局部参考坐标系独立于全局坐标系;2)在支撑域内能保证空间关系和几何信息无损失。实验使用文献[ 16]提出的局部参考系构建方法,通过分解K近邻的相对距离互相关矩阵M的特征值,对局部法向量进行总体最小二乘(TLS)估计,M可表示为

M=1ki=0k(pi-p^)(pi-p^)T,p^=1ki=0kpi,(3)

式中,k为邻域点的个数,pi为第i个邻域点的位置, p^为所有邻域点的坐标均值。可以发现,法向量是M最小特征值对应的特征向量,且法向量的符号是在保证全局法向量相容性的条件下进行选择。为了在局部参考系中反映出邻域点的距离关系,对各点进行加权,可表示为

M'=1i:diR(R-di)i:diR×(R-di)(pi-p)(pi-p)T,(4)

式中,p为特征点坐标,R为局部邻域半径,di= pi-p2为任意邻域范围内点到特征点的欧氏距离。已有研究表明,尽管M'的第三个特征向量不表示局部向量,但三维表面描述的优劣程度取决于局部参考系较高的可重复性和正交坐标的鲁棒性。

特征向量法虽然能解决局部参考坐标的尺度问题,但其符号的可重复性仍需要进一步讨论。为了消除符号模糊,实现局部参考坐标的可重复性,通过对比x轴和z轴上的两个统计量定义,得到去模糊的x轴为

Sx+i:diR(pi-p)·x+0Sx-i:diR(pi-p)·x->0x=x+,Sx+Sx-x-,otherwise,(5)

式中,x+为特征值分解得到的正向特征向量坐标,∧为并逻辑运算,x-为其对应的相反向量坐标, Sx+Sx-分别为邻域内与x+x-同向相对位置的点个数。若邻域范围内与x+同向的点较多,则局部参考坐标就是最小特征值对应的特征向量;若邻域范围内与x-同向的点较多,则将最小特征值对应的特征向量翻转后作为该特征点的局部参考坐标。

2.3 分层墨卡托投影

由(2)式可知,传统的墨卡托投影将邻域内的点根据其经纬度投影到同一墨卡托平面上,但忽略了邻域内各点与特征点之间的径向结构关系。投影后得到的是经纬度相近但径向距离差较大的关键点,直接对特征点邻域进行墨卡托投影难以区分这两个关键点,因此需按照相对径向距离进行分层墨卡托投影,如图1所示。

图 1. 分层墨卡托投影示意图

Fig. 1. Schematic diagram of hierarchical Mercator projection

下载图片 查看所有图片

可将(2)式重新定义为

X'M=λ·rY'M=lntanϕ2+π4·r,(6)

式中,r为邻域内某点与特征点的径向距离。第i个邻域点的墨卡托坐标( XM,in, YM,in)可表示为

XM,in=λi·n·R0NYM,in=lntanϕi2+π4·n·R0N,(n-1)·R0N<rin·R0N,(7)

式中,N为分层墨卡托投影的总层数,R0为局部球形邻域的半径,n为当前投影面的层数,λi为第i个邻域点的方位角,其值域为[-π,π],ϕi为第i个邻域点的俯仰角,其值域为[-π/2,π/2],ri为第i个邻域点与邻域中心的径向距离。图2为五层墨卡托投影的平面,可以发现,投影平面随R0的增大逐渐增大。

图 2. 分层墨卡托投影的平面(5层)

Fig. 2. Plane of hierarchical Mercator projection (5 layers)

下载图片 查看所有图片

2.4 局部特征参数化

N层墨卡托投影后的局部点云具有N个特征平面,每个特征平面上都有一组点分布,点云的局部特征参数化,就是将N个特征平面上的点进行参数化表示。将每个特征平面划分成尺寸为l×l的网格,统计每个网格中落入的邻域点数。根据每层落到墨卡托平面上点的总数对每次统计量进行归一化,得到N×l×l的特征分布直方图,图3N=5,l=7的3层墨卡托投影示意图。

图 3. 分层墨卡托投影的流程图(3层)

Fig. 3. Flow chart of hierarchical Mercator projection (3 layers)

下载图片 查看所有图片

3 实验结果

为了验证基于分层墨卡托投影的激光雷达点云局部特征描述子的鉴别力及对噪声的鲁棒性,分别在斯坦福Bologna数据集[19]和3DMatch数据集[11]上进行了5组实验。用精确率与召回率曲线(PRC)作为局部特征描述子鉴别力的评价标准,其平均精度可通过计算PRC的曲线线下面积(AUC)[4]得到,PRC的绘制过程如下。

1) 从场景和模型中提取关键点,并按照所选特征提取所有关键点的特征。

2) 在模型关键点的特征中找到与每个场景的关键点特征 fSi欧氏距离最近和次近的关键点特征,分别记为 fMifM'i

fSi-fMi2/fSi-fM'i2τ,(8)

式中,τ为给定的特征相似度门限,如果两个特征满足(8)式,则认为两组特征点匹配[20]

3) 考察 fSi的真值点是否在 fiM真值点的极小邻域内,如果是,则认为该组特征正确匹配,特征匹配的精度Xprecision和召回率Xrecall可表示为

Xprecision=NcmNmf,(9)Xrecall=NcmNcf,(10)

式中,Ncm为正确匹配点的个数,Nmf为特征匹配点的个数,Ncf为模型场景之间对应特征点的个数,

Bologna数据集包含六个来自Stanford 3D Scanning Repository[19]的模型和45个由原始模型进行旋转、平移等刚性变换后得到的场景;3DMatch数据集包含8组由RGB-D(Red, Green, Blue-depth)相机重建的场景模型。Bologna数据集和3DMatch数据集[11]都包含多个不同角度观测的同一场景和物体数据。为了验证特征描述子的准确性,应对同一目标的不同角度进行测试实验。

以两个数据集为基础,测试分层墨卡托投影的投影层数对分辨性能的影响,并将20层分层墨卡托投影得到的局部特征描述子(HMec-20)与方向直方图签名(SHOT)[16]、旋转投影统计(RoPS)[4]、多属性统计直方图(MaSH)[8]、三重正交局部深度图(Toldi)[13]等手工局部几何特征描述子进行对比,分析了不同特征描述子对噪声和点云稀疏程度的鲁棒性。实验环境:CPU为2.2 GHz的Core i7-8750H, RAM为8 GB, 计算机系统为64-bit Microsoft Windows10,软件为Matlab。

3.1 分层墨卡托投影特征层数对识别性能的影响

理论上,局部特征的精细度和识别性能随层数的增加而增加,但随着分层投影面的增加,对邻域的划分越细致,算法对噪声的鲁棒性会逐渐下降,导致算法的分辨力减弱。实验数据的噪声方差为0.3倍点云分辨率,局部邻域的支撑半径为50倍点云分辨率,每层划分成尺寸为3×3的直方图网格,根据本算法分别绘制了层数为1、3、5、10、20、30、50、100的PRC,如图4所示,其运行时间和平均匹配精度如表1所示。

图 4. 墨卡托投影层数对算法识别性能的影响(Bologna数据集)

Fig. 4. Influence of the number of Mercator projection layers on the recognition performance of the algorithm (Bologna dataset)

下载图片 查看所有图片

表 1. 分层墨卡托特征提取的运算时间和平均精度(Bologna数据集)

Table 1. Runtime and average precision of hierarchical Mercator projection (Bologna dataset)

Number of layersRuntime /sAverage accuracy /%
11034.83590.0381
3758.03630.3251
5690.62500.5222
10598.67000.7456
20602.92230.8804
30835.46650.8767
501278.12520.7408
10013052.37270.6823

查看所有表

图3表1可知,20层以上的墨卡托投影识别性能远远优于10层以下的投影方式。但随着层数的增加,识别性能和识别效率均有所下降。原因是投影层数增加时,建立K维树(K-D树)的时间剧增,导致邻近点搜索缓慢,且噪声会对落入网格的点产生影响。

在3DMatch数据集上再次进行上述实验,得到1,3,5,10,20,30层的分层墨卡托投影特征的PCR如图5所示,其运行时间和平均匹配精度如表2所示。可以发现,20层以上的墨卡托投影在3DMatch数据集上的识别性能同样优于10层以下的投影方式,但随着层数的增加,算法的识别性能和识别效率均有所下降,与Bologna数据集上的实验结果相同。由表2的数据可知,特征提取所需的时间随投影特征平面的增加会有大幅度增加,但性能不能达到最优。在保证计算资源和识别效率的情况下,后续实验采均采用20层分层墨卡托投影(HMec-20)得到的局部特征描述子。

图 5. 墨卡托投影层数对算法识别性能的影响(3DMatch数据集)

Fig. 5. Influence of the number of Mercator projection layers on the recognition performance of the algorithm (3DMatch dataset)

下载图片 查看所有图片

表 2. 分层墨卡托特征提取的运算时间和平均精度(3DMatch数据集)

Table 2. Runtime and average precision of hierarchical Mercator projection (3DMatch dataset)

Number of layersRuntime /sAverage accuracy /%
14732.56920.0433
33069.17230.1214
51135.24170.3044
10625.36450.5471
20858.36940.7182
3025685.23600.5958

查看所有表

3.2 分层墨卡托投影特征对噪声的鲁棒性

为分析该算法对噪声的鲁棒性,在Bologna数据集点云模型上分别添加方差为0.3、0.5、0.8、1.5倍点云分辨率的高斯白噪声,并计算MaSH[8]、局部特征统计量直方图(LFSH)[3]、SDASS(Statistic of deviation angles on subdivided space)[12]、DLFS(Divisional local feature statistics)[15]、SHOT[16]、RoPS[4]、TriSI(Tri-Spin-Image)[20]、Toldi[13]、Sgh1(Spatial and geometric histogram)[18]以及HMec-20特征描述子的PRC,如图6所示,不同特征描述子的运算时间与平均精度如表3所示。

图 6. 不同特征提取算法的PRC。(a)噪声方差为0.3倍点云分辨率;(b) 噪声方差为0.5倍点云分辨率;(c) 噪声方差为0.8倍点云分辨率;(d) 噪声方差为1.5倍点云分辨率

Fig. 6. PRC of different feature extraction algorithms. (a) Noise variance is 0.3 times point cloud resolution; (b) noise variance is 0.5 times point cloud resolution; (c) noise variance is 0.8 times point cloud resolution; (d) noise variance is 1.5 times point cloud resolution rate

下载图片 查看所有图片

表 3. 不同特征提取算法的平均精度和运算时间

Table 3. Average accuracy and operation time of different feature extraction algorithms

AlgorithmRun- time /sAverage accuracy in different noise /%
0.30.50.81.5
TriS655.64980.9790.8850.6000.803
Sgh11100.85730.9860.9740.7770.142
RoPS1593.71441.0000.9960.9990.994
SHOT854.80460.9970.9940.9620.006
MaSH219.63540.9990.8280.1510.027
SDASS122.61091.0000.9400.1650.035
Toldi25.05740.9940.9830.3630.803
LFSH308.22090.8810.5070.1200.029
DLFS913.49140.8560.6900.5750.077
HMec-20557.45171.0001.0001.0000.995

查看所有表

图6可知,本算法对点云噪声的鲁棒性较好,尤其是在设备精度不高或测量条件恶劣时获得的点云数据适应性较强。由表3可知,在噪声方差相同的情况下,相比其他手工提取的特征描述子,HMec-20特征描述子的鲁棒性更好。由于本算法并未对关键点进行提取,而是将完整点云作为特征提取的输入,因此在运算时间上仍有提升空间。

4 结论

使用分层墨卡托投影提取激光雷达点云数据的局部特征和几何特征,并对点云进行具有鲁棒性的特征描述。在斯坦福Bologna和3DMatch数据集上的实验结果表明,本算法能充分保留并提取点云数据的局部邻域结构信息和几何信息,特征描述性能更优异,为三维点云配准、模型重建、目标识别提供了一种有效的局部特征描述方法。

参考文献

[1] AldomaA, VinczeM, BlodowN, et al. CAD-model recognition and 6DOF pose estimation using 3D cues[C]∥2011 IEEE International Conference on Computer Vision Workshops (ICCV Workshops), November 6-13, 2011, Barcelona, Spain. New York: IEEE, 2011: 585- 592.

[2] Rusu RB, BradskiG, ThibauxR, et al. Fast 3D recognition and pose using the viewpoint feature histogram[C]∥2010 IEEE/RSJ International Conference on Intelligent Robots and Systems, October 18-22, 2010, Taipei, Taiwan, China. New York: IEEE, 2010: 2155- 2162.

[3] Johnson A E, Hebert M. Using spin images for efficient object recognition in cluttered 3D scenes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1999, 21(5): 433-449.

[4] Guo Y L, Sohel F, Bennamoun M, et al. Rotational projection statistics for 3D local surface description and object recognition[J]. International Journal of Computer Vision, 2013, 105(1): 63-86.

[5] 胡佳贝, 刘喆, 张鹏飞, 等. 基于离散Morse理论的散乱点云特征提取[J]. 光学学报, 2019, 39(6): 0615002.

    Hu J B, Liu Z, Zhang P F, et al. Feature extraction of scattered point clouds based on discrete Morse theory[J]. Acta Optica Sinica, 2019, 39(6): 0615002.

[6] 刘剑, 白迪. 基于特征匹配的三维点云配准算法[J]. 光学学报, 2018, 38(12): 1215005.

    Liu J, Bai D. 3D point cloud registration algorithm based on feature matching[J]. Acta Optica Sinica, 2018, 38(12): 1215005.

[7] 任前程. 一种点云特征线提取方法[J]. 激光与光电子学进展, 2019, 56(6): 062803.

    Ren Q C. Method for extraction of point cloud feature line[J]. Laser & Optoelectronics Progress, 2019, 56(6): 062803.

[8] Simo-SerraE, TrullsE, FerrazL, et al. Discriminative learning of deep convolutional feature point descriptors[C]∥2015 IEEE International Conference on Computer Vision (ICCV), December 7-13, 2015, Santiago, Chile. New York: IEEE, 2015: 118- 126.

[9] Charles RQ, SuH, KaichunM, et al. PointNet: deep learning on point sets for 3D classification and segmentation[C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 21-26, 2017, Honolulu, HI, USA. New York: IEEE, 2017: 77- 85.

[10] Qi CR, YiL, SuH, et al. PointNet++: deep hierarchical feature learning on point sets in a metric space[EB/OL]. [2020-04-20].https: ∥arxiv.org/abs/1706. 02413.

[11] ZengA, Song SR, NießnerM, et al. 3DMatch: learning local geometric descriptors from RGB-D reconstructions[C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 21-26, 2017, Honolulu, HI, USA. New York: IEEE, 2017: 199- 208.

[12] KhouryM, Zhou QY, KoltunV. Learning compact geometric features[C]∥2017 IEEE International Conference on Computer Vision (ICCV), October 22-29, 2017, Venice, Italy. New York: IEEE, 2017: 153- 161.

[13] Yang YQ, FengC, Shen YR, et al. FoldingNet: point cloud auto-encoder via deep grid deformation[C]∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, June 18-23, 2018, Salt Lake City, UT, USA. New York: IEEE, 2018: 206- 215.

[14] Yew ZJ, Lee GH. 3DFeat-Net: weakly supervised local 3D features for point cloud registration[M] ∥Ferrari V, Hebert M, Sminchisescu C, et al. Computer Vision-ECCV 2018. Lecture Notes in Computer Science. Cham: Springer, 2016, 11219: 630- 646.

[15] Zhao B, Xi J T. Efficient and accurate 3D modeling based on a novel local feature descriptor[J]. Information Sciences, 2020, 512: 295-314.

[16] TombariF, SaltiS, StefanoL. Unique signatures of histograms for local surface description[M] ∥Daniilidis K, Maragos P, Paragios N, et al. Computer Vision-ECCV 2010. Lecture Notes in Computer Science. Berlin, Heidelberg: Springer, 2010, 6313: 356- 369.

[17] NovatnackJ, NishinoK. Scale-dependent/invariant local 3D shape descriptors for fully automatic registration of multiple sets of range images[M] ∥Forsyth D, Torr P, Zisserman A, et al. Computer Vision-ECCV 2008. Lecture Notes in Computer Science. Berlin, Heidelberg: Springer, 2008, 5304: 440- 453.

[18] SunY, Abidi MA. Surface matching by 3D point's fingerprint[C]∥Proceedings Eighth IEEE International Conference on Computer Vision, ICCV 2001, July 7-14, 2001, Vancouver, BC, Canada. New York: IEEE, 2001: 263- 269.

[19] LevoyM, GerthJ, CurlessB, et al. ( 2005-05-07)[2020-04-25]. http: ∥graphics.stanford.edu/data/3Dscanrep/.

[20] GuoY, Sohel FA, BennamounM, et al. TriSI: a distinctive local surface descriptor for 3D modeling and object recognition[C]∥Conference 8th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications, February 21-24, 2013, Barcelona, Spain. Barcelona, Spain: Scitepress, 2013, 1: 86- 93.

顾尚泰, 王玲, 马燕新, 马超. 基于分层墨卡托投影的激光雷达点云数据局部特征描述[J]. 光学学报, 2020, 40(20): 2015001. Shangtai Gu, ling Wang, Yanxin Ma, Chao Ma. Local Feature Description of LiDAR Point Cloud Data Based on Hierarchical Mercator Projection[J]. Acta Optica Sinica, 2020, 40(20): 2015001.

本文已被 5 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!