基于多层骨架模型的行李托盘快速检测算法

民航自助行李托运系统需自动检测行李加装托盘的情况。针对已装载行李的遮挡托盘目标检测问题，提出一种基于多层骨架模型的行李托盘快速检测算法。为准确描述托盘特征，通过空托盘的三维点云模型，构建托盘的边框骨架模型与平面点线模型。在线检测时，首先，采用设计的带状特征描述和提取方法，抓取托盘边框点云，并采用提出的点线引力势能自适应迭代算法，实现平面点线模型的快速粗配准，完成托盘判别。然后，在粗配准的位姿约束下，采用基于随机采样一致性的点云迭代最近点配准，实现边框骨架模型和点云模型的精确配准，得到托盘的精确位姿。大量实际行李托盘检测的对比试验验证了算法的有效性，在托盘遮挡70%以内时，仍可保持94%的正确率，检测速度超过典型算法的6倍以上。

Abstract

An integral task in self-service baggage check is the detection of whether pallets are added to the baggage. Pallets loaded with the baggage are mostly obscured; therefore, a fast detection method based on a multi-layer skeleton model registration is proposed to address this issue. A point cloud skeleton model and a point-line model are constructed using a 3D point cloud model to describe the characteristics of the pallet. During online detection, the designed banded feature description is used to capture the border point clouds. Moreover, the proposed point-line potential energy iterative algorithm is utilized to register the point-line model and border points as well as to realize pallet discrimination. An iterative nearest point registration based on random sampling consistency is used to achieve accurate registration and pose calculation as well as to obtain the accurate pose of the pallet. Experimental results show that the algorithm can maintain an accuracy of 94% even when 70% of the pallet point cloud data are missing. In addition, the speed of the proposed algorithm exceeds that of a typical algorithm by more than six times.

1　引言

民航机场自助行李托运系统，采用自动行李检测和传输控制技术，为旅客提供自助行李托运和值机服务。该系统的大面积推广应用，显著提高了机场运行效率。其中，自动行李检测技术，是保证系统正确接收合规行李的关键，具体包括：行李件数、尺寸、形状和类型，以及软包是否加装托盘、托盘内的行李件数等。为防止软包行李（特别是有背带、提带的行李）在自动分拣过程中卡塞传输机，造成整个行李系统瘫痪，大部分机场都要求软包行李需加装托盘后再托运。为此，快速准确地检测旅客自助投放的软包行李加装托盘的情况，对保障行李系统的安全运行具有重要作用。

针对行李托盘目标，一般采用工业相机或激光雷达，获取表面图像或三维点云，通过颜色、纹理或结构等特征的提取和匹配，实现目标的检测和识别^［1］。赵俊宏等^［2］通过建立托盘探测模型，并基于托盘共性特征，实现了仓储托盘定位。翁博文^［3］基于离散点云的法线求取特征点，并通过法向量匹配，实现了托盘检测。詹燕等^［4］计算点云关键点的颜色特征和自适应邻域快速点特征直方图，进行特征匹配与误匹配点对，完成托盘识别。徐斌等^［5］融合图像和点云特征，可在复杂的仓储环境中，实现托盘目标的检测。基于三维激光点云的目标检测方法，受目标纹理、光照等环境因素影响较小，检测结果更为可靠^［6］。在自助行李托运系统中，旅客投放行李的材质、颜色、环境光照和人影具有不确定性，同时，该系统对检测结果可靠性有较高的要求，为此，基于激光点云分析的三维目标检测技术，完成嵌入行李的托盘检测，是一种更为可靠的方案。

基于点云的三维目标检测，一般从三维点云中提取目标的局部或全局特征，与场景特征进行匹配，根据匹配评价结果判断场景中的目标。然后，通过三维点云配准^［7-8］或位姿聚类^［9］，确定目标的精确位姿，并标记出准确的目标点云。当待测目标被遮挡时，传统方法的准确性会显著降低^［10］。快速点特征直方图（FPFH）^［11］和方向编码直方图（SHOT）^［12］等局部特征描述，可克服少量遮挡和背景干扰的影响。郁梦辉等^［13］在原始点对特征的基础上，引入曲率差特征，在目标局部被遮挡时仍然有效。Zhang等^［14］提出的基于核密度描述子的检测方法和Guo等^［15］提出的面向杂波的检测方法，进一步解决了目标遮挡问题。当目标遮挡严重时，三维目标的检测就会变得更加困难，需借助更多的目标特征信息或多传感器信息融合信息完成检测^［16］。在工业分拣应用领域，借助已知的目标模型和部分已知的位置关系，可在高精度的三维点云中，检测和提取三维目标，并保持较高的正确率^［17-18］。

民航行李自助托运时，托盘可能被已装载的行李遮挡，仅露出边框或部分边框，造成传统的三维目标检测方法难以奏效。考虑行李托盘的已知矩形特征和水平向上放置的特点，由托盘的已知三维结构，设计特定的3层骨架模型，并采用逐步求精的模型配准方法，实现行李托盘的快速准确检测。首先，由激光雷达采集空托盘的三维点云模型，抽取托盘边框骨架模型和水平投影的平面点线模型。在线检测时，设计一种带状特征描述和带状点云提取方法，实现托盘边框点云的快速粗提取。然后，提出一种基于点线引力势能迭代的模型配准算法，实现托盘平面点线模型与水平投影边框点集的快速配准，以确定托盘的水平初始位姿。并以此为约束，用随机采样一致性（RANSAC）^［19］算法，实现边框骨架模型与带状边框点云的配准，计算托盘垂直粗位姿。最后，采用迭代最近点（ICP）^［20］云配准算法，实现三维点云模型和场景点云精配准。

2　算法原理

传统的点云目标检测方法，在遮挡条件下易出现错误配准，导致检测失败。其根本原因为遮挡目标的特征不明显。如果目标模型已知，根据目标的结构或局部特征，建立目标的特定模型，并采用模型配准，可提高目标检测的成功率^［21］。点云骨架模型具有数据简洁、拓扑结构明显等特性，采用骨架模型配准，能有效利用目标的结构特征，有助于克服遮挡造成的错误配准问题。

行李托盘水平向上放置时，三维点云的水平投影具有已知的矩形结构特征，从二维平面、边框骨架和三维点云等3个层面，来描述托盘特征，建立托盘的3层模型，并采用逐步求精的模型配准方法，实现大面积遮挡条件下行李托盘的快速准确检测。算法流程如图1所示。

图 1. 算法流程图

Fig. 1. Algorithm flow

下载图片查看所有图片

1）托盘建模。对空托盘进行激光扫描，手动去除背景和噪声，得到托盘三维点云模型；选择托盘的上边框点，由L1中值骨架提取算法^［22］建立托盘的边框骨架模型；将边框骨架模型投影到水平面上，矩形拟合后，构建托盘的平面点线模型。

2）托盘边框点云提取。定义带状特征描述，采用带状点云提取算法，从待测场景中提取托盘边框点云，并投影到水平面，得到水平面上的边框点集。

3）平面点线模型配准。采用基于点线引力势能的自适应迭代算法，实现平面点线模型与水平边框点集的配准，判断待测场景包含托盘的情况，并计算水平初始配准位姿。

4）边框骨架模型配准。根据初始配准位姿，由RANSAC算法求解二次变换矩阵，校正托盘垂直摆放位姿。

5）三维点云模型配准。在校正位姿约束下，采用局部点云ICP配准算法，得到目标精确位姿，完成托盘的准确检测。

2.1　托盘建模

各机场航空行李托盘形状和尺寸差异不大，同一候机楼内行李托盘规格相同，图2（a）为某机场行李托盘。在同一个机场的应用场景中，可离线建立托盘的3层骨架模型。

图 2. 行李托盘和3层骨架模型。（a）航空行李托盘；（b）三维点云模型；（c）边框骨架模型；（d）平面点线模型

Fig. 2. Baggage pallet and three-skeleton models. (a) Baggage pallet; (b) point cloud model; (c) border-skeleton model; (d) point-line model

下载图片查看所有图片

首先，对空托盘进行三维激光扫描，忽略托盘底部，得到三维点云模型 $M_{P}$ ，如图2（b）所示。托盘装入行李后，其被遮挡的程度不同，直接使用托盘的三维点云模型进行配准和检测，易出现误匹配导致检测错误。托盘边框，特别是边框上表面，在检测场景点云中基本可见，且托盘边框能够完整的展现托盘的形态特征。为此，采用L1中心骨架提取算法^［22］，建立托盘上边框的三维骨架模型。建模过程如下：1）从模型中手工选取托盘的上表面点云；2）随机选取一定量的采样点，确定合适的邻域范围，构建骨架初始模型；3）扩大邻域范围，应用局部L1中值收缩采样点，并不断迭代，构建不同区域骨架；4）进行骨架平滑和中心化，得到托盘的边框骨架模型 $M_{S}$ ，如图2（c）所示。

当投放行李遮挡部分边框时，从点云中难以提取完整的托盘边框点云，采用骨架模型也容易产生匹配错误。托盘边框的水平投影是一个矩形，可以很好地描述托盘的几何信息。因此，将提取到的边框骨架映射到水平面，形成平面点线模型 $M_{L}$ ，由4个角点组成，可表示为 $M_{L} = \{(x_{i}, y_{i}) | i = 1,2, 3,4\}$ ，如图2（d）所示。

2.2　带状特征描述和托盘边框点云提取

在线检测时，由于遮挡的托盘点云数量很少，直接将待测场景点云与托盘的三维点云配准或与托盘的模型配准，均难以保持较高的成功率。将行李和托盘点云分离，仅用托盘点云与托盘模型配准，可有效克服嵌入行李造成的误配准问题。为此，结合行李托盘带状分布特征和水平放置特点，设计了一种带状特征描述和提取方法，抓取托盘边框的上边缘点，实现行李和托盘点云的分离。

1）带状特征描述

根据点云的相对位置分布，可将三维扫描的点云分为两类：非带状点和带状点，如图3所示。非带状点处于点云大面积聚集区域的边缘和内部，一般为行李上表面点云，带状点呈直线带状分布，一般为托盘边框点云。

图 3. 两类相对位置分布的点云

Fig. 3. Points with two relative position distributions

下载图片查看所有图片

为了区分上述非带状点和带状点，定义了邻域点协方差矩阵，用以描述点云内部的相对位置分布特征。点云协方差矩阵可以反映各个维度之间的相关性，其特征值大小直接反映了点在不同维度上的密度分布。当点云呈带状分布时，主方向的密度远高于其他方向，即最大协方差矩阵特征值远大于其他值。 $q = {(x, y, z)}^{T}$ 的x、y坐标平面为水平面，z坐标轴方向垂直向上。k邻域点集 $Q_{k} = \{q_{1}, q_{2}, \dots, q_{n}\}$ 中包含n个q的邻域点，则 $Q_{k}$ 中点的协方差矩阵 $C (q)$ 可表示为

C (q) = \sum_{i = 1}^{n} (q_{i} - q) {(q_{i} - q)}^{T}

，（1）

式中： $C (q)$ 特征值的最大值为 $λ_{m a x}$ ，其余特征值为 $λ_{i} (i = 1,2)$ 。若 $λ_{m a x} ≫ λ_{i}$ ，则q为带状点。非带状点的各特征值之间相差不大。

2）托盘边框的带状点云提取

托盘水平放置于行李通道内，不存在托盘悬空、倒置等情况，其边框点云高度范围已知。采用带状点特征描述，提取托盘边框的带状点云过程如下：

步骤1　根据已知的托盘边框高度范围，从待测场景点云 $Q_{P}$ 中筛选托盘边框候选点云 $Q_{S e c}$ 。

步骤2　 $Q_{S e c}$ 中的任意一点q的平面映射点 $q^{'} = (x, y)$ ，搜索半径为 $k$ 的邻域范围内的点，得到包含n个邻域点的集合 $Q_{M a t} = \{q_{i}^{'} = (x_{i} y_{i}) |i = 1, 2, \dots, n\}$ 。

步骤3　 $Q_{M a t}$ 中每个点的协方差矩阵可表示为

C (q^{'}) = \sum_{i = 1}^{n} (q_{i}^{'} - q^{'}) {(q_{i}^{'} - q^{'})}^{T}

，（2）

式中： $C (q^{'})$ 为二维方阵，可以得到2个特征值 $λ_{1}$ 、 $λ_{2}$ ，引入系数 $l$ ， $l$ 可表示为

l = m a x (|λ_{1} / λ_{2}|, |λ_{2} / λ_{1}|)

，（3）

设定阈值ε（按经验取4），当 $l > ε$ ，对应点为带状点。

步骤4　重复上述步骤，遍历 $Q_{S e c}$ ，得到托盘带状边框点云 $Q_{S}$ 。水平投影后，得到水平边框点集 $Q_{L}$ 。

2.3　托盘模型配准

得到托盘骨架模型和待测场景托盘边框上边缘点后，需要进行在线匹配，评估场景中包含托盘的情况，并标记托盘的精确位姿。为此，根据托盘3层骨架模型的不同结构，设计了多层次模型配准方法，依次在平面、边框骨架和三维点云层面，完成托盘模型配准。

1）平面点线模型配准

水平边框点集 $Q_{L}$ 为离散的点阵，平面点线模型 $M_{L}$ 为拟合后的矩形边框，配准的过程实际为点集到矩形的映射转换过程。为此，定义了一种称为“点线引力势能”的评估指标，衡量点集到矩形的映射正确性，并基于此设计自适应迭代配准算法。

设 $a_{i}$ 为 $Q_{L}$ 中一点， $b_{i}$ 为 $M_{L}$ 上距离 $a_{i}$ 最近的一点，O为 $M_{L}$ 的旋转中心， $c_{i}$ 为在O直线上 $a_{i} b_{i}$ 的垂足。 $M_{L}$ 受点 $a_{i}$ 的牵引而不断旋转平移，引力 $T_{i}$ 和扭矩 $R_{i}$ 由式（4）、式（5）计算，如图4所示。

图 4. 点线配准模型

Fig. 4. Point-line registration model

下载图片查看所有图片

T_{i} = \frac{\vec{b_{i} a_{i}}}{|\vec{b_{i} a_{i}}|} • \frac{G}{|\vec{b_{i} a_{i}}|}

，（4）

R_{i} = \vec{O a_{i}} \times T_{i}

，（5）

式中：G为常数； $Q_{L}$ 中所有点对托盘平面点线模型 $M_{L}$ 的平均牵引力 $T_{s}$ 和扭矩 $R_{s}$ 可表示为

T_{s} = \frac{1}{n} \sum_{i = 1}^{n} T_{i}

，（6）

R_{s} = \frac{1}{n} \sum_{i = 1}^{n} R_{i}

，（7）

式中：n为 $Q_{L}$ 点数。 $M_{L}$ 在水平边框带状点阵牵引下，逐步向 $Q_{L}$ 靠拢，变换过程中二者吻合度可由势能 $E$ 评价， $E$ 可表示为

E = - \sum_{i = 1}^{n} \frac{G}{m i n \{l_{i j} |j = 1,2, 3,4\}}

，（8）

式中： $l_{i j}$ 为 $Q_{L}$ 中的任意一点到平面点线模型四条边的距离。配准目的是寻找合适的变换，使得施加变换后的平面点线模型，与水平边框点集之间势能最小，则目标函数 $f (R, T)$ 可表示为

f (R, T) = \underset{R, T}{a r g m i n} E [Q_{L}, M_{L} (R, T)]

，（9）

式中：R为旋转矩阵；T为平移向量。配准过程中， $M_{L}$ 在势能和目标函数的约束下，不断迭代变换向 $Q_{L}$ 靠拢。迭代时，每次变换步长通过引力自适应调整，第 $i$ 次变换的平移量 $T_{i}$ 和旋转角 $θ_{i}$ 与引力和扭矩的对应关系可表示为

T_{i} = s_{T} T_{s_{i}}

，（10）

θ_{i} = s_{θ} R_{s_{i}}

，（11）

式中： $s_{T}$ 、 $s_{θ}$ 为常量； $T_{s_{i}}$ 、 $R_{s_{i}}$ 为每次变换时的平均牵引力和扭矩，对应变换关系 $R$ 、 $T$ 由下式求解。

M_{L_{i}}^{'} = R M_{L_{i}} + T = [\begin{array}{l} c o s θ_{i} - s i n θ_{i} 0 \\ s i n {θ_{i}}_{} c o s θ_{i} 0 \\ 0 0 1 \end{array}] [\begin{array}{l} x \\ y \\ 0 \end{array}] + [\begin{array}{l} t_{x_{i}} \\ t_{y_{i}} \\ 0 \end{array}]

，（12）

式中： $M_{L_{i}}^{'}$ 、 $M_{L_{i}}$ 分别为第 $i$ 次变换前后的平面点线模型； $t_{x_{i}}$ 、 $t_{y_{i}}$ 分别为 $T_{s_{i}}$ ， $R_{s_{i}}$ 在 $x$ 、 $y$ 方向上的分量。每次变换后重新计算势能，并进行下一次迭代。当迭代次数达到上限或势能趋于稳定时终止迭代。

配准过程中，势能绝对值 $|E|$ 可反映水平边框点集与托盘点线模型的吻合度，吻合度越高，包含托盘的概率越大。设定阈值 $E_{m i n}$ （ $E_{m i n} > 0$ ，经验值取150），迭代完成后，若 $|E| > E_{m i n}$ ，可确定存在托盘。

2）边框骨架模型配准

平面点线模型配准时，水平边框带状点集损失了部分三维空间特征，还需在边框骨架层面，校正托盘的垂直摆放位姿。托盘带状边框点云与托盘边框骨架模型位姿存在差异，点云形状也存在差异，可采用RANSAC^［23］筛选对应点对完成配准。

首先，从边框点云与边框骨架模型中筛选最邻近点，形成对应点对。具体筛选过程如下：从骨架模型 $M_{s}$ 中取任意点 $m_{i}$ ，在带状点云 $Q_{s}$ 中搜索 $m_{i}$ 的最邻近点 $q_{i}$ ；取 $Q_{s}$ 中的任意点 $q_{j}$ ，在 $M_{s}$ 中搜索 $q_{j}$ 的最邻近点 $m_{j}$ ；若 $m_{i}$ = $m_{j}$ 、 $q_{i}$ = $q_{j}$ ， $m_{i}$ 、 $q_{i}$ 之间的距离小于设定阈值，则称（ $m_{i}$ ， $q_{j}$ ）为对应点对；对 $M_{s}$ 和 $Q_{s}$ 中所有点对进行遍历和判断，形成对应点对的集合。

然后，从对应点对集合中随机选取n组对应点，估计变换 $R^{'}$ 、 $T^{'}$ ，对剩余其他点对计算变换后的距离 $d = ‖ R^{'} m + T^{'} - q ‖$ ，若d小于给定阈值，则称该点对为一对内点。设定最大迭代次数 $N$ ，统计每次变换对应的内点数，直至达到最大迭代次数。迭代完成后，内点数目最多的变换是模型的最佳变换，即为托盘垂直粗位姿。

3）三维点云模型配准

点线模型配准和边框骨架模型配准，在二维平面和边框骨架层面，与提取出的托盘带状边框配准。上述配准仅应用了托盘上边框点云，托盘其他部分的点云未参与计算，为了更准确计算托盘位姿，检测和提取所有的托盘点云，需采用托盘的三维点云模型与场景点云配准。

ICP^［20］算法是点云配准的经典算法，原理是在目标点云和源点云中，按照一定的约束条件，找到最邻近点，并通过迭代匹配，计算最优变换参数 $R$ 和 $T$ 。然而，民航行李托盘被嵌入遮挡，托盘所占权重低，且行李面与托盘侧面特征相似，直接采用ICP配准容易产生误匹配。为了防止ICP陷入局部最优，在骨架配准初始位姿的约束下，通过提取最近点，获取两片点云的重叠区域，对重叠区域应用ICP算法，得到托盘的精确位姿。

3　实验验证

硬件平台采用Intel Core i5-7300HQ CPU、8 GB内存的台式计算机，在Windows 10操作系统平台下，使用软件开发工具Visual2019，基于OpenCV和PCL开发库进行算法实现。实验数据采集平台如图5所示，三维激光扫描器采用北洋URG-04LX- UG01，传感器扫描面积为20~5600 mm，精度为±30 mm。实验数据为2019年至2021年广州某机场现场运行的500万条数据中随机抽取的490个样本数据。

图 5. 自助行李托运实验平台

Fig. 5. Self-service baggage consignment experiment platform

下载图片查看所有图片

选取各工况下的典型样本，如表1所示。样本1为嵌入行李且边框无遮的典型托盘样本，样本2为一个空托盘，样本3~样本6分别为具有不同完整性的托盘样本。实验中为了更清楚地展示点云配准效果，用点云表示托盘模型，用重建后的mesh模型表示待测场景点云。

表 1. 不同完整性的典型托盘样本

Table 1. Pallet samples with different integrity

Parameter	Sample 1	Sample 2	Sample 3	Sample 4	Sample 5	Sample 6
Photo
Point cloud
Defect ratio /%	0	0	16.8	35.0	62.4	73.8

查看所有表

3.1　托盘边框点云提取

选取典型样本1，验证带状点云提取算法的有效性。采用带状点云提取算法，选取不同阈值ε提取边框点云，实验结果如图6所示。图6（a）、图6（c）、图6（e）分别为ε取2、4、6时提取的边框点云，图6（b）、图6（d）、图6（f）为对应的水平投影点。对比发现，ε=2时，提取的非边框点较多；ε=6时，边框点缺失较多；ε=4时，提取的边框点云相对正确和完整。另外，实验发现ε取3~5时，提取的边框点云差异并不大，为此，ε取典型值4，即可完成托盘点云的粗提取。其他样本上的托盘边框提取，有类似的实验结果。提出的带状点云提取算法，能够从场景点云中提取托盘边框点云，实现行李和托盘点云的分离。

图 6. 托盘边框点云及其水平投影。（a）（b）ε=2；（c）（d）ε=4；（e）（f）ε=6

Fig. 6. Results of pallet banded border point cloud and horizontal projection. (a) (b) ε=2; (c) (d) ε=4; (e) (f) ε=6

下载图片查看所有图片

3.2　3层骨架模型配准

选取托盘边框无遮挡的典型样本，验证3层骨架模型配准算法的有效性。

1）点线模型配准

为了验证点线引力势能自适应迭代配准算法的有效性，使用托盘平面点线模型与样本1中提取出的水平边框点集进行配准实验。配准前，托盘平面点线模型与待测场景水平边框点集在水平面上位置相差较大，如图7（a）所示，经过配准后二者重合，如图7（b）所示。

图 7. 点线模型配准结果。（a）配准前；（b）配准后

Fig. 7. Results of the planar point-line model registration. (a) Before registration; (b) after registration

下载图片查看所有图片

配准时势能变化过程如图8所示。配准前，势能绝对值相对较小，随着迭代次数的增加，托盘平面点线模型在水平边框点集的牵引下不断变换，势能绝对值逐渐增大，二者重合时，势能绝对值趋于最大化且稳定下来。配准完成后，势能绝对值大于设定阈值，确定存在托盘。提出的点线引力势能自适应迭代配准算法，能有效评估待测场景中托盘存在的可能性，并在水平面完成匹配，为后续配准提供初始位姿。

图 8. 配准过程中势能变化

Fig. 8. Process of potential energy change

下载图片查看所有图片

2）边框骨架模型配准

为了验证边框骨架模型配准算法的有效性，采用托盘边框骨架模型与样本1带状边框点云配准。配准前，在初始位姿的约束下，托盘边框骨架模型与带状边框点云在水平面上重叠，但在垂直方向上仍存在偏差，如图9（a）所示。经过配准，二者在垂直方向也已重合，如图9（b）所示。边框骨架模型配准能完成托盘边框骨架模型与带状边框点云在垂直方向的粗配准。

图 9. 边框骨架模型配准结果。（a）配准前；（b）配准后

Fig. 9. Results of border-skeleton model registration. (a) Before registration; (b) after registration

下载图片查看所有图片

3）点云配准

边框骨架模型配准后，通过点云配准确定托盘目标的精确位姿。依次采用点线模型配准的初始位姿和边框骨架模型配准粗位姿变换托盘点云模型，提取重叠区域后，采用ICP算法与点云样本1进行精配准。变换前，托盘点云模型与待测场景点云位置关系如图10（a）所示，配准后的位置关系如图10（b）所示。经过多层变换与配准，托盘点云模型与待测场景托盘点云基本处于同一位置，但仍存在细微差别。原因为离线建立的点云模型，与实际待测场景托盘点云存在差异性，不能完全重叠。实验结果表明，提出的3层骨架模型配准方法能有效检测行李托盘，并标记托盘精确位姿。

图 10. 点云模型配准结果。（a）配准前；（b）配准后

Fig. 10. Results of the point cloud model registration. (a) Before registration; (b) after registration

下载图片查看所有图片

3.3　托盘检测结果

选择典型样本1~样本6进行托盘检测实验，评估托盘点云残缺比率对所提算法的影响，并与其他典型点云配准算法ICP、SHOT-ICP和PFFH进行对比，实验结果如表2所示。其中，绿色点云为待检测的场景点云，红色点云为配准后的托盘点云模型。在托盘点无缺失样本1、样本2中，各算法均能获得较好的检测效果。然而，当托盘点云残缺时，典型算法不再适应。在样本3中，托盘点云存在小部分残缺时，ICP和FPFH已经失效，SHOT为ICP提供较好的初始位姿时，可以实现场景中托盘点云与模型配准。当托盘残缺达到40%以上时，SHOT-ICP也无法有效检测，而所提算法检测结果保持稳定，在点云大面积缺失条件下，仍能配准成功。

表 2. 不同算法检测结果

Table 2. Results of the different algorithm

Data	ICP	FPFH	SHOT-ICP	Proposed
Sample 1
Sample 2
Sample 3
Sample 4
Sample 5
Sample 6

查看所有表

为了定量分析配准精度，采用均方根误差f_RMSE^［24］作为评价指标，f_RMSE可表示为

f_{R M S E} = \sqrt[]{\frac{1}{n} \sum_{i = 1}^{n} \overset{m}{\underset{j = 1}{m i n}} [{(x_{i}^{Q_{P}} - x_{j}^{M_{P}})}^{2} + {(y_{i}^{Q_{P}} - y_{j}^{M_{P}})}^{2} + {(z_{i}^{Q_{p}} - z_{j}^{M_{P}})}^{2}]}

，（13）

式中：n为待测场景中的托盘点数；m为托盘点云模型的点数，配准精度如表3所示。由表3可知，托盘完整时，典型算法SHOT-ICP有最佳的配准效果，与所提算法精度相差不大。当托盘点云存在缺失时，所提算法精度明显优于其他算法。上述结果表明，所提算法在托盘完整时保证了检测的精度，同时对托盘残缺的点云有明显的优势。

表 3. 典型算法精度对比

Table 3. Accuracy comparison of the registration algorithms

Data	$f_{R M S E}$ /mm
Data	ICP	SHOT-ICP	FPFH	Proposed
Sample 1	13.33	11.07	14.83	11.87
Sample 2	6.51	5.54	5.75	8.87
Sample 3	69.12	12.42	61.34	12.20
Sample 4	31.98	32.19	55.09	14.51
Sample 5	41.96	61.76	86.63	17.21
Sample 6	31.58	33.68	31.61	18.48

查看所有表

通过多组无托盘和具有不同完整性点云样本统计分析，验证算法的正确率，结果如表4所示。由表4可知，268组无托盘样本全部检测正确，222组含托盘样本中，托盘残缺比率小于50%的样本全部检测正确，残缺比率为50%~70%的17组样本中仅有1组检测错误，检测正确率为94.1%。当托盘点云残缺比例大于70%时，检测正确率会大幅降低，13组托盘样本仅有1组检测正确。原因为托盘边框带状点云过于稀疏，导致点线模型配准时势能绝对值小，被误判为无托盘。总体而言，所提算法检测正确率超过97%，具有明显的实用价值。

表 4. 统计实验结果

Table 4. Statistical experimental results

Parameter	Non-pallet sample	Contain pallet sample	Point cloud defective pallet sample（defective ratio）
Parameter	Non-pallet sample	Contain pallet sample	<10%	10%‒30%	30%‒50%	50%‒70%	>70%
Number of samples	268	222	129	39	24	17	13
Accuracy /%	100	94.1	100	100	100	94.1	7.7

查看所有表

3.4　时间复杂度分析

为验证算法快速性，统计单个典型点云样本的配准时间与其他算法对比，结果如表5所示。由表5可知，ICP配准平均时长约为2.41 s，SHOT平均时长约为23.97 s，FPFH平均时长约为42.67 s，而所提算法平均所需约为0.35 s，明显低于其他算法，在提取托盘特征时，提出的3层骨架模型配准方法只需计算点云邻域位置分布，减少了运算消耗。通过多层次的骨架模型配准，在粗位姿的约束下，只需考虑少量重叠的局部点，极大地降低了算法的复杂度。

表 5. 不同配准算法时间

Table 5. Time of different registration algorithms

Data	Time of different registration algorithms /s
Data	ICP	SHOT-ICP	FPFH	Proposed
Average	2.41	23.97	42.67	0.35
Sample 1	1.18	15.31	32.96	0.44
Sample 2	2.36	28.94	48.69	0.46
Sample 3	2.87	28.46	34.33	0.38
Sample 4	2.26	29.52	41.77	0.34
Sample 5	2.85	36.34	47.27	0.29
Sample 6	2.63	25.27	23.31	0.23

查看所有表

4　结论

研究了一种3层骨架模型的三维目标检测方法，解决了在自助行李托运中嵌入行李大面积遮挡时的托盘快速准确检测问题。

构建的托盘骨架模型，可以较好描述行李托盘的三维特征。通过平面、骨架和点云的3层骨架模型的逐步求精配准，可保证在点云残缺70%的情况下，托盘检测正确率超过94%。设计的带状点云特征描述和提取方法，以及基于点线引力势能的自适应迭代配准算法，可准确提取托盘的边框点云，避免了行李点云对托盘模型配准的影响，并有效提高检测速度，超过典型三维目标检测算法6倍以上。

基于已知三维结构骨架模型的配准程度来检测托盘，当已知托盘类型且种类较少时，该算法已推广应用于民航机场内。但对其他未知结构的遮挡三维目标检测，需要进一步改进和优化。

参考文献

[1] Kim M, Byun S, Kim J. A monocular vision based technique for estimating direction of 3D parallel lines and its application to measurement of pallet[J]. Journal of Korea Multimedia Society, 2018, 21(11): 1254-1262.

[2] 赵俊宏, 吕恩利, 陆华忠, 等. 基于激光雷达的托盘位姿识别算法及验证[J]. 仪器仪表学报, 2017, 38(10): 2469-2476.

Zhao J H, Lü E L, Lu H Z, et al. Pallet localization detecting algorithm based on laser scanning[J]. Chinese Journal of Scientific Instrument, 2017, 38(10): 2469-2476.

[3] 翁博文. 基于三维点云的航空行李适运性计算方法研究[D]. 天津: 中国民航大学, 2020.

WengB W. Research of aviation baggage transportability calculation method based on 3D point cloud[D]. Tianjin: Civil Aviation University of China, 2020.

[4] 詹燕, 陈志慧, 朱宝昌, 等. 基于自适应颜色快速点特征直方图的托盘识别方法[J]. 上海交通大学学报, 2023, 57(3): 297-308.

Zhan Y, Chen Z H, Zhu B C, et al. A pallet recognition method based on adaptive color fast point feature histogram[J]. Journal of Shang Hai Jiao Tong University, 2023, 57(3): 297-308.

[5] 徐斌, 赵鹏, 刘伟, 等. 融合图像与点云处理的托盘定位系统[J]. 制造业自动化, 2022, 44(8): 157-161, 172.

Xu B, Zhao P, Liu W, et al. Pallet positioning system integrating image and point cloud processing[J]. Manufacturing Automation, 2022, 44(8): 157-161, 172.

[6] Sahin C, Garcia-Hernando G, Sock J, et al. A review on object pose recovery: from 3D bounding box detectors to full 6D pose estimators[J]. Image and Vision Computing, 2020, 96: 103898.

[7] 杨宜林, 李积英, 王燕, 等. 基于NDT和特征点检测的点云配准算法研究[J]. 激光与光电子学进展, 2022, 59(8): 0810016.

Yang Y L, Li J Y, Wang Y, et al. Point cloud registration algorithm based on NDT and feature point detection[J]. Laser & Optoelectronics Progress, 2022, 59(8): 0810016.

[8] Yang J L, Li H D, Campbell D, et al. Go-ICP: a globally optimal solution to 3D ICP point-set registration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(11): 2241-2254.

[9] 胡杰, 刘汉, 徐文才, 等. 基于三维激光雷达的道路障碍物目标位姿检测算法[J]. 中国激光, 2021, 48(24): 2410001.

Hu J, Liu H, Xu W C, et al. Position detection algorithm of road obstacles based on 3D LiDAR[J]. Chinese Journal of Lasers, 2021, 48(24): 2410001.

[10] ZhaoH, ZhuangC G, JiaL, et al. 6D Pose Estimation of Texture-Less Object in RGB-D Images[M]//Billingsley J, Brett P. Mechatronics and machine vision in practice 4. Cham: Springer, 2021: 45-58.

[11] RusuR B, BlodowN, BeetzM. Fast point feature histograms (FPFH) for 3D registration[C]‍∥2009 IEEE International Conference on Robotics and Automation, May 12-17, 2009, Kobe, Japan. New York: IEEE Press, 2009: 3212-3217.

[12] Salti S, Tombari F, Di Stefano L. SHOT: Unique signatures of histograms for surface and texture description[J]. Computer Vision and Image Understanding, 2014, 125: 251-264.

[13] 郁梦辉, 崔西宁, 吴霖琪高, 等. 基于曲率点对特征的三维识别算法[J]. 激光与光电子学进展, 2023, 60(12): 1210020.

Yu M H, Cui X N, Wu L, et al. 3D recognition algorithm based on curvature point pair features[J]. Laser & Optoelectronics Progress, 2023, 60(12): 1210020.

[14] Zhang Y H, Li C H, Guo B, et al. KDD: a kernel density based descriptor for 3D point clouds[J]. Pattern Recognition, 2021, 111: 107691.

[15] Guo W L, Hu W D, Liu C, et al. 3D object recognition from cluttered and occluded scenes with a compact local feature[J]. Machine Vision and Applications, 2019, 30(4): 763-783.

[16] 张磊, 徐孝彬, 曹晨飞, 等. 基于动态特征剔除的图像与点云融合的机器人位姿估计方法[J]. 中国激光, 2022, 49(6): 0610001.

Zhang L, Xu X B, Cao C F, et al. Robot pose estimation method based on image and point cloud fusion with dynamic feature elimination[J]. Chinese Journal of Lasers, 2022, 49(6): 0610001.

[17] Du G G, Wang K, Lian S G, et al. Vision-based robotic grasping from object localization, object pose estimation to grasp estimation for parallel grippers: a review[J]. Artificial Intelligence Review, 2021, 54(3): 1677-1734.

[18] 王斐, 梁宸, 韩晓光, 等. 基于焊件识别与位姿估计的焊接机器人视觉引导[J]. 控制与决策, 2020, 35(8): 1873-1878.

Wang F, Liang C, Han X G, et al. Visual guidance of welding robot based on weldment recognition and pose estimation[J]. Control and Decision, 2020, 35(8): 1873-1878.

[19] Li J Y, Hu Q W, Ai M Y. Point cloud registration based on one-point RANSAC and scale-annealing biweight estimation[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(11): 9716-9729.

[20] Besl P J, McKay N D. A method for registration of 3-D shapes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992, 14(2): 239-256.

[21] 文威威, 文贡坚, 回丙伟, 等. 结合全局与局部信息的点云目标识别模型库构建[J]. 中国图象图形学报, 2019, 24(2): 248-257.

Wen W W, Wen G J, Hui B W, et al. Model library construction by combining global and local surfaces for 3D object recognition[J]. Journal of Image and Graphics, 2019, 24(2): 248-257.

[22] Huang H, Wu S H, Cohen-Or D, et al. L1-medial skeleton of point cloud[J]. ACM Transactions on Graphics, 2013, 32(4): 1-8.

[23] 彭真, 吕远健, 渠超, 等. 基于关键点提取与优化迭代最近点的点云配准[J]. 激光与光电子学进展, 2020, 57(6): 061002.

Peng Z, Lü Y J, Qu C, et al. Accurate registration of 3D point clouds based on keypoint extraction and improved iterative closest point algorithm[J]. Laser & Optoelectronics Progress, 2020, 57(6): 061002.

[24] 王畅, 舒勤, 杨赟秀, 等. 利用结构特征的点云快速配准算法[J]. 光学学报, 2018, 38(9): 0911005.

Wang C, Shu Q, Yang Y X, et al. Quick registration algorithm of point clouds using structure feature[J]. Acta Optica Sinica, 2018, 38(9): 0911005.

罗其俊, 李政, 高庆吉. 基于多层骨架模型的行李托盘快速检测算法[J]. 激光与光电子学进展, 2024, 61(4): 0437004. Qijun Luo, Zheng Li, Qingji Gao. Fast Detection Algorithm for Baggage Pallet Based on Skeleton Model[J]. Laser & Optoelectronics Progress, 2024, 61(4): 0437004.