1　引言

三维激光点云聚类识别是移动机器人感知环境的重要方式之一，主要目的是为了获取目标物在三维空间中的语义、位置、尺寸以及姿态等信息。近年来，许多学者不断加大在环境信息提取、分类方面的研究工作，尤其是多传感器信息融合技术的深入研究，能够有效弥补单个传感器获取信息的不足，且有不少的研究成果^[1]。利用传感器数据对周边环境进行感知是实现移动机器人在未知环境下自主作业的首要任务，如何快速有效从含有地面点云的复杂环境中提取目标物体信息具有十分重要的研究意义。

在传感器中，相机有较好的环境细节信息提取能力，适用于目标物分类。激光雷达能够探测目标位置、速度等特征，具有分辨率高、抗干扰能力强、点云信息丰富的特点。目前，处理三维激光点云的方法主要分为深度学习方法和传统聚类方法，随着深度学习在图像领域的不断成熟，逐渐发展了不少基于深度学习模型的方法来处理点云分类问题^[2]，如Su等提出了基于多视图的MVCNN^[3]卷积神经网络方法，利用不同姿态下的虚拟相机捕获2D视图，再通过卷积神经网络进行特征提取，从而实现点云的识别。Maturana等提出的Voxnet^[4]，实现了非结构化的点云体素化为网格数据并应用于3D卷积神经网络。Qi等提出了直接处理激光点云的PointNet^[5]、PointNet++^[6]网络算法，有效解决了三维空间中点云无序性、旋转不变性等问题，能较好地对点云进行特征提取。基于深度学习方法虽然泛化能力好、分割精度高，但存在前期标注工作量庞大、硬件计算平台成本高等问题^[7]。点云在传统聚类方法^[8]中主要有基于密度的DBSCAN聚类算法、基于距离的欧氏聚类算法、基于划分的K-means聚类算法等。DBSCAN算法^[7]能快速地对任意形状的三维点云进行聚类，但内存资源消耗大。欧氏聚类算法^[9]对数据处理有良好的通用性，但受距离阈值参数影响较大，空间中点云存在近密远疏的特性，易出现过欠聚类的情况。K-means算法^[10]快速实用有效，但由于存在k值的不确定性以及聚类中心点的随机性，往往会导致聚类效果不佳。K-means++^[11]聚类是对K-means算法的改进，对随机产生的初始聚类中心点添加彼此分散的约束，能提高一定的聚类效果。传统聚类算法虽然处理速度快，但对聚类参数的依赖度高，参数设定优劣直接影响该算法能否正确给出点云的语义等信息。

针对上述基于深度学习方法硬件成本高及传统点云聚类方法参数设定依赖度高等问题，为满足三维激光点云快速聚类分割的需求，提出了一种基于图像信息约束的三维激光点云聚类方法。首先考虑到激光点云数据量庞大，采取感兴趣区域选取、体素栅格下采样滤波的点云预处理操作；为防止地面点云被误检为有效数据，结合RANSAC方法进行地面点云分割剔除；其次引入基于卷积神经网络的YOLOv5目标检测算法，在完成传感器时空配准后进行图像和点云的数据层融合，进一步实现点云范围约束及聚类参数初始化，有效解决传统三维点云K-means聚类参数难以选取的问题；聚类结果采用类内异点剔除法进行优化，并采用不同颜色的簇标记加以区分。最后搭建移动机器人硬件平台，在室内环境下对箱体进行测试分析，验证本文方法的有效性。整体算法流程如图1所示，主要分为图像检测、点云预处理、地面分割、点云聚类四个模块。

图 1. 基于图像信息约束的三维激光点云聚类算法流程图

Fig. 1. Flow chart of 3D laser point cloud clustering algorithm constrained by image information

下载图片 查看所有图片

2　点云预处理与地面分割

2.1　点云数据预处理

激光雷达传感器获取环境信息时，对于庞大的点云数据采取感兴趣区域粗提取、体素栅格下采样操作，实现点云有效数据获取及数据精简。三维目标识别考虑移动机器人正前方的数据区域，因此本文选取的感兴趣区域以激光雷达为起始点框选出三维长方体8 m×4 m×3 m的区域，删掉区域外的点云，初步给定点云处理范围。为加速后续算法处理速度，采用体素栅格化方法，其原理是生成若干个三维立方体，储存在立方体中的点云由重心来替代，保证点云结构不被破坏的情况下，降低点云密度，体素滤波参数根据实际精度与计算速度折中选取，本文体素边长参数设定为0.01 m。考虑到单帧点云数据较为稀疏，对于离群点及噪点未作处理，点云数据预处理结果如图2所示。

图 2. 点云数据预处理。(a) 处理前；(b) 处理后

Fig. 2. Preprocessing of point cloud data. (a) Before processing; (b) After processing

下载图片 查看所有图片

2.2　基于RANSAC算法的地面分割

激光雷达点云数据经预处理后仍包含地面点云，为排除地面点对目标物聚类的干扰，需对地面点云检测剔除。RANSAC算法^[12]利用随机采样的方式对三维点云数据拟合估计出平面数学模型参数，速度快且效果较好。确定好RANSAC算法的点云数目n 、迭代次数i 以及距离误差阈值Δτ ，对于RANSAC拟合的平面模型设为

1Ax+By+Cz+D=0.

在当前点云数据P 中随机3个点云P1(x1,y1,z1) 、P2(x2,y2,z2) 、P3(x3,y3,z3) 进行平面拟合，由此可确定A 、B 、C 、D 四个参数：

2{A=(y2−y1)(z3−z1)−(z2−z1)(y3−y1)B=(z2−z1)(x3−x1)−(x2−x1)(z3−z1)C=(x2−x1)(y3−y1)−(y2−y1)(x3−x1)D=−(Ax1+By1+Cz1).

计算空间中任意一点云P(xi,yi,zi) 至拟合出的平面距离Di ：

3Di=|Axi+Byi+Czi+D|A2+B2+C2.

对于距离Di 小于预设的误差阈值Δτ ，判定为局内点(满足拟合平面函数的点云)，统计当前有效局内点的数目。依次迭代，直至满足最大迭代次数，选取局内点最多的平面模型为最终结果，实现地面点云的提取，结果如图3所示。

图 3. 地面分割。(a) 地面点；(b) 非地面点

Fig. 3. Ground segmentation. (a) Groud points; (b) Non-groud points

下载图片 查看所有图片

3　图像信息约束的三维激光点云聚类方法

3.1　传感器数据时空配准

在三维激光点云聚类过程中为添加图像信息约束的条件，实现点云在图像的像素坐标系中完成数据融合，必须完成激光雷达与相机的时空配准。首先构建两个不同传感器的空间映射关系，设M(XLi,YLi,ZLi) 是激光雷达坐标系下的某一点云，则其在相机坐标系下对应坐标为M*(XCi,YCi,ZCi) ，图像坐标系下对应坐标为(x,y) ，像素坐标系下坐标为(u,v) 。不同传感器坐标系的对应关系如图4所示，其中OLXLYLZL 为激光雷达坐标系、OCXCYCZC 为相机坐标系、oxy 为图像坐标系、uv 为像素坐标系。

图 4. 传感器坐标系

Fig. 4. Sensor coordinate system

下载图片 查看所有图片

激光雷达坐标系与像素坐标系的空间映射关系为

4ZCi[uv1]=[f/dx0u000f/dyv000010][RT01][XLiYLiZLi1],

其中：旋转矩阵R、平移矩阵T可由激光雷达与相机联合标定外参得到，f 为相机焦距，u0 、v0 为像素平面原点至像平面中心的距离，空间中的点云通过式(4)投影至像素坐标系。

相机内参及畸变系数获取参考张式标定法^[13]，激光雷达与相机的外参数确定参考无标定板像素级外参自标定方法^[14]，主要利用空间中存在大量的边缘特征，对图像和点云共有的边缘特征进行检测与匹配，添加优化后的图像及点云中边缘特征约束，构建边缘特征外参计算的残差方程：

5niT(f(π(LCT(LPi+Lwi)))−(qi+Iwi)=0,

其中：LPi 为激光点云检测到边缘点，ni 为激光点云边缘线投影至图像上边缘特征的法向量，qi 是激光线特征投影至图像上对应的边缘点，Lwi 、Iwi 分别表示服从零均值分布激光点云与图像的噪声，LCT 是非线性方程迭代求解的对象。

在传感器数据融合时，各个传感器有着不同测量精度和周期，为保证测量结果反映同一状态下的客观世界，必须保证多传感器的时间配准。本文采用时间最近邻匹配方法，以激光雷达时间作为基准，匹配对应时刻下时间间隔最小的图像数据，从而完成激光雷达与相机的时间戳对齐。

3.2　二维图像检测框尺寸优化

二维图像目标检测对于三维目标检测任务而言，缺少深度信息，且单一的纹理信息无法直接确定目标在三维空间中的位置、姿态等信息，但能输出目标物的类别、数量等信息。YOLOv5算法^[15]是一种基于卷积神经网络的单阶段目标检测算法，速度快、精度高，相较于YOLO之前系列的检测模型，性能有较大的提升。YOLOv5整体网络结构如图5所示，由输入端、主干网络、颈部、预测端四部分组成。输入端主要对608×608图像进行Mosaic数据增强、自适应锚框计算、自适应图片缩放的操作。主干网络使用CSPDarkNet53网络来提取图像丰富的特征，主要由 Focus 结构、CSP结构和 SPP结构构成，Focus 结构通过对图像的切片操作加深图像的特征维度，CSP 结构可减少特征传输过程中的信息丢失和计算量，SPP 结构可以扩展网络可处理的图片类型。颈部采用FPN+PAN结构，从不同的主干层对不同的检测层进行参数聚合。预测端部分包括预测边界框、损失函数计算和非极大值抑制，能够有效消除多余的检测框，筛选出正确的目标物位置。

图 5. YOLOv5网络结构图

Fig. 5. YOLOv5 network structure diagram

下载图片 查看所有图片

目标检测算法输出的二维检测框信息为三维点云提供约束条件，二维目标检测框的边界范围将直接影响后续的点云分割，过小的检测框会导致提取的目标物点云缺失，过大则会引入干扰点云，因此对检测框作适当扩张处理，避免丢失目标物点云。YOLOv5边框预测公式为

6{bx=σ(tx)+cxby=σ(ty)+cybw=(1+Ef)pwetwbh=(1+Ef)pheth,

其中：bx 、by 为预测框中心点坐标值，bw 、bh 为预测框宽高值，Ef 为扩张因子，设定为0.05，σ(tx) 、σ(ty) 为归一化后预测的坐标偏移值，tw 、th 为尺度缩放值。

完成预测框尺寸优化后，对于检测框外的非目标物点云，如图6所示，通过检测框约束点云方法，对于每一点云在像素坐标系下判断是否位于检测框内，对于检测框外的点云剔除，实现对非目标物点云滤除。

图 6. 检测框约束点云示意图

Fig. 6. Schematic diagram of detection frame constraint point cloud

下载图片 查看所有图片

3.3　三维点云K-means聚类改进

K-means 算法^[10]属于较为经典的非监督学习的聚类算法之一，以欧几里得距离作为衡量数据相似度的指标，聚类速度快，常用于三维点云的聚类分割。核心思想是在未标记的点云数据中随机选取K 个不重叠的点云对象作为迭代求解的初始聚类中心，计算每个点云与聚类中心的距离，根据就近原则分配给K个聚类中心，每完成一次聚类过程，将会更新聚类中心，循环往复，直至聚类中心值收敛不变化。

给定点云数据集P={p1,p2,⋯,pn} ，初始化聚类中心c={c1,c2,⋯,ck} ，计算点云至K个聚类中心的欧几里得距离Ri ：

7Ri=argmin‖pi−cj‖2,

其中：pi∈P 表示点云集合中第i 个点云，cj∈c 表示第j 个聚类中心。

将点云pi 划分至最近的Cj 中，聚类中心更新公式为

8cj=∑xi∈Cjxi|Cj|,

其中：Cj 表示第j 个类簇，|Cj| 表示第j 类簇中点云数量，xi 表示第j 个类簇中第i 个点云对象，1⩽i⩽|Cj| 。

三维点云K-means聚类存在难以选定最佳聚类个数K 、初始聚类中心敏感的问题，取值优劣对聚类效果起着决定性作用，对于每次迭代，参数不同往往会导致不同的聚类结果。因此添加图像信息约束来解决上述问题，利用YOLOv5在检测过程中生成的目标物检测框数量来确定点云聚类算法的K 值。对于初始聚类中心的设定，设置缩放因子Sf 对二维检测框采取缩框处理，为保证框内点云属于所聚目标物，Sf 设置为25%，统计框内有效点云的质心Pc ，将质心作为初始聚类中心，完成聚类参数初始化后开展聚类迭代。质心在选取过程中，点云尽可能靠近二维检测框中心，同时与其最近点云在三维空间中的彼此距离阈值为10 cm，确保质心尽量位于实际目标物内部且分布均匀，质心选取效果如图7所示。

图 7. 聚类质心选取图

Fig. 7. Cluster centroid selection graph

下载图片 查看所有图片

对于聚类结果，考虑到图像约束的检测框，深度信息未知，检测框在三维空间中以视锥的方式获取点云，检测框框选的点云数目多于实际目标物点云数目，后方其他物体的点云数据有几率被保留，对聚类结果造成干扰。设定异点判定阈值，判断当前点云与本类簇初始聚类中心Pc 的空间欧氏距离是否大于设定阈值，阈值大小由实际目标物尺寸决定，本文阈值设定为50 cm。通过此方法实现类簇内异点剔除，优化聚类结果。

4　实验结果与分析

4.1　实验硬件平台搭建

本文实验所采用的移动机器人硬件平台如图8所示，由Scout四轮差动移动机器人、Livox-Avia激光雷达、Intel RealSense D435i相机以及PC组成，其中PC的CPU为Intel i5-7300H，显卡为NVIDIA GeForce GTX 1050。数据处理端为Ubuntu 18.04的操作系统，各个传感器数据基于ROS平台实现与PC端的通讯。

图 8. 实验硬件平台及实验场景

Fig. 8. Experimental hardware platform and experimental scene

下载图片 查看所有图片

硬件系统中相机图像的输出频率为30 Hz，激光雷达点云的输出频率为10 Hz，以激光雷达点云的时间为基准，完成传感器的时间戳对齐，如图9所示。

图 9. 时间戳对齐

Fig. 9. Align timestamp

下载图片 查看所有图片

4.2　内外参数标定实验

根据搭建的移动机器人硬件平台，由于激光雷达与相机刚性连接，相对位姿保持不变，本文采用张氏标定法求解相机的内参矩阵K及对应畸变系数D，利用无标定板的像素级外参自标定法求解外参矩阵T，表1中内参矩阵参数依次为f_x、f_y、c_x、c_y，畸变系数参数依次为k₁、k₂、p₁、p₂，表2中外参矩阵依次为平移项(x、y、z(/mm))及旋转项(roll、pitch、yaw(/rad))。

为了验证标定系数的准确性，将标定前与标定后的三维激光点云分别投影至对应图像信息中，实现RGB信息融合，标定效果如图10所示，其中图10(a)为未标定状态的点云与像素投影效果，图10(b)为标定后的点云与像素投影效果，此参数基本实现了图像点云的正确匹配，可用于传感器的数据融合。

图 10. 激光雷达与相机标定。(a) 标定前；(b) 标定后

Fig. 10. LiDAR and camera calibration. (a) Before calibration; (b) After calibration

下载图片 查看所有图片

4.3　三维点云聚类实验

为验证本文方法的有效性，在室内环境下，实验设计场景如图8所示，将箱体作为目标物检测对象，主要设计了两个试验：目标物分布疏密程度对聚类算法鲁棒性的影响、对50帧数据随机分布368个目标物进行聚类分割测试，将本文方法与Euclidean Clustering、DBSCAN、K-means、K-means++等算法进行对比分析。

目标物分布疏密程度对聚类算法有较大的影响。位置分布紧密的目标物容易被聚类成同一物体，导致误检情况的发生。设置五组目标物不同的分布间距，测试本文算法鲁棒性，以ω 表示当前帧是否聚类完全，α 表示单个目标物聚类准确度：

9α=TPTA,

其中：TP 表示正确分割点云数，TA 表示实际目标物点云数，设α 大于80%表示单个目标物聚类成功，若当前数据中所有目标物α 均满足条件，则ω 聚类完全。

考虑到K-means、K-means++算法聚类结果存在随机性，统计完全聚类成功率η 来测试算法性能：

10η=ISIA,

其中：IS 表示聚类成功的次数，IA 为测试次数设置为50次。

如表3结果所示，本文方法在不同目标物分布间距下，均能获得较好的聚类效果，由于聚类参数给定相对较优且稳定，不存在结果随机性问题，聚类效果稳定。K-means与K-means++算法有时能聚类完全，但存在随机性，K-means++完全聚类成功率优于K-means算法。Euclidean Clustering算法及DBSCAN算法在分布间距过小会出现聚类不完全现象，但DBSCAN算法效果略好于Euclidean Clustering算法。图11实际测试中分布间距为10 cm的多种聚类算法结果展示，DBSCAN与Euclidean Clustering算法会滤除点云数量低于10的类簇，会导致部分点云缺失，DBSCAN及本文算法能聚类完全，而其余传统算法也存在一定的过欠聚类情况。

图 11. 多种算法聚类结果。(a) DBSCAN；(b) Euclidean Clustering；(c) K-means++；(d) My-method

Fig. 11. Clustering results of multiple algorithms. (a) DBSCAN; (b) Euclidean Clustering; (c) K-means++; (d) My-method

下载图片 查看所有图片

表4是对随机分布368个目标物进行聚类分割测试数据，每帧测试的数据集中存在5~10个目标物，主要对比平均耗时、聚类迭代次数及聚类准确率。聚类准确率CA 为

11CA=NCNA,

其中：NC 是正确分割目标物数量，NA 是实际目标物数量。

由表4记录数据分析可知，平均耗时指算法聚类迭代时间，K-means算法平均消耗时间较短，但聚类准确率最低，且平均迭代次数达12次。K-means++算法优化了初始聚类参数，聚类准确度得到提升且平均迭代次数降低，但聚类效果随机性仍存在。Euclidean Clustering及DBSCAN算法，过欠聚类情况时有发生，聚类准确率分别为71.20%、70.11%，但Euclidean Clustering算法平均消耗时间快于DBSCAN算法。本文方法正确分割数目多、平均耗时最少，聚类平均迭代次数达6次，聚类准确率达86.96%。如图12所示为本文方法各模块50帧的运行时间，其中图像检测、点云预处理、地面分割、点云聚类的平均耗时分别为21.96 ms、4.17 ms、4.83 ms、1.11 ms，本文方法整体平均总耗时约为23 ms，能够完成移动机器人对三维点云的实时聚类分割。

图 12. 本文方法各模块运行时间

Fig. 12. Running time of each module of this method

下载图片 查看所有图片

5　结论

本文提出一种基于图像信息约束的三维激光点云聚类方法。经点云预处理、基于RANSAC的地面点云剔除，获得有效点云数据。引入YOLOv5目标检测算法，利用图像二维目标检测框约束三维点云范围，进一步排除其他物体对于目标物的干扰；基于图像检测信息完成聚类参数初始化，有效改善因聚类参数难以设定而导致聚类效果不佳的问题；聚类结果采用类内异点剔除进行优化。本文对箱体进行测试，实验结果表明，本文方法的聚类准确率和聚类时间分别为86.96%和23 ms，对于较为密集的目标物能较好地进行聚类分割。本文提出的移动机器人三维点云聚类识别方法，检测效果好、准确率高且具有良好的鲁棒性，满足移动机器人在未知环境感知过程中对三维点云快速聚类分割的需求，可用于移动机器人导航避障、自主搬运等领域。

实验中发现，单帧点云数据视野有限，实际还会存在物体相互遮挡的情况，无法恢复识别物体的整体结构，下一步将研究基于非重复性扫描激光雷达的高精度三维场景重建(Slam)，从而获取更为丰富的物体三维点云信息，进一步提升物体识别的准确率及鲁棒性。