1　引言

同步定位与建图（SLAM）是指移动机器人进入未知环境时，在没有环境先验输入情况下，对所处位置进行定位并同时形成环境地图，从而实现后续的导航任务^［1-3］。视觉SLAM利用视觉传感器获取图像，从图像信息中提取移动机器人位姿信息，具有应用场景广泛、耗能较低的特点。不过视觉SLAM也存在缺陷，累积漂移误差的修正受外界环境影响仍存在精度不高的情况^［4-6］。

为了在多场景下消除累积漂移误差对系统的影响，加入闭环检测来不断修正移动机器人位姿，旨在通过对不同时刻场景的辨别来判断移动机器人当前位置是否为之前某个相同位置^［7-8］。Konolige等^［9］提出Random Sample Consensus（RANSANC）算法提取特征点周围三维信息进行闭环检测，然而该算法在几何结构相同率高的情况下效果不尽如人意。Olson^［10］提出相关性扫描匹配（CSM）算法，通过每一帧与另一帧之间的相似性进行匹配，相似度高的则认定为同一场景。这种算法虽无需局部地图的存储，但计算过于复杂、计算量过大。Cummins等^［11］在假定图像只存在旋转角度的情况下，只检测图像特征的几何一致来提高算法效率，但存在过分堆叠环境下，只利用特征一致性存在区分度弱、提供信息不充分等问题。Botterill等^［12］使用词袋模型思想将每幅图片表示为某些单词的集合，进行特征分类。Mur-Artal等^［13］提出的ORB-SLAM2算法，融合Oriented Fast and Rotated Brief（ORB）算法良好的特征计算不变性，有效解决基于词袋模型可能存在的定位丢失问题。但上述所有算法在存在遮挡的情况下均难以提取目标物体的部分或全部特征。Arandjelović等^［14］通过视觉词典中的词汇提取语义信息，将图像语义与闭环检测环节相结合，在闭环检测时引入语义信息代替单纯的几何信息来实现鲁棒的场景识别，规避了点特征参与匹配时可能存在的误识别，使匹配结果准确度大大提高。迅速发展的深度学习又给人们提供了另一种思路。Detect-SLAM^［15］系统使用SSD^［16］目标检测网络对关键帧进行动态物体检测，解决存在的动态遮挡问题，但所需时间相对较多。Wang等^［17］利用YOLOv3算法检测特定运动物体，相较Detect-SLAM算法运行时间显著减少。但以上两种算法只对物体大致位置进行框选，忽略了物体的边缘轮廓，提取精度较差。Yu等^［18］提出的DS-SLAM算法在ORB-SLAM2框架上添加SegNet^［19］提取目标的像素级信息进行分割，解决物体遮挡问题，提高了提取精度。上述算法均是对遮挡物体类别进行识别，忽略了对被遮挡物特征的提取，使得整体可用特征较少，不利于SLAM算法的闭环，且检测到的物体可能是处于静止状态的，例如在KITTI数据集或停车场中，静态车辆可以用作SLAM算法闭环检测。若只考虑遮挡物类别，算法精度将会大大降低，甚至会导致闭环检测失败。

因此，所提算法改进实例分割算法Mask-RCNN^［20］主干网络，并将两种软注意力（空间、通道）机制与视觉SLAM算法相结合，增大被遮挡物识别权重，提高SLAM算法闭环检测时对被遮挡物特征的提取与识别能力。同时，为避免因环境变化导致图像匹配错误率较高，而造成用于实例分割的关键帧冗余：引入概率去误匹配算法，计算每张图片匹配特征点对距离分布；去除极端分布匹配点对，减少选取关键帧时存在的误匹配得到更为优质的关键帧。改进后算法可以更好地实现相同场景下的识别与匹配，增强算法在遮挡环境下对被遮挡物体的识别能力，提升SLAM建图环节的稳定性。

2　算法结构

所提算法由混合注意力Mask-RCNN、概率去误匹配算法以及定位建图等3个部分构成。将机器人探索未知环境时视觉传感器获取的图像信息输入融合混合注意力Mask-RCNN实例分割算法中对被遮挡物进行注意力加权，最终得出实例分割结果。概率去误匹配算法对输入图像进行特征提取与匹配，并根据匹配点对概率分布去除可能存在的误匹配。根据图像间位姿估计更新移动机器人轨迹地图，并与已有关键帧库中图像进行比对得出相似性评分，确定阈值将相似性较低的图片设定为关键帧进行闭环检测。若产生闭环，则用较前时刻相应位姿信息进行修正构图。系统框架图如图1所示，其中ROI为感兴趣区域的缩写。

图 1. 系统框架图

Fig. 1. System framework diagram

下载图片 查看所有图片

3　特征提取与匹配

3.1　融合混合注意力机制的Mask-RCNN

基于深度学习的Mask-RCNN实例分割算法常被用来检测图像中存在的物体，并对已识别物体进行像素级分割，生成准确的图像语义信息。但在遮挡较为频繁的环境中，针对被遮挡物体的特征提取与识别的速度和准确度均会受到一定影响。本实验采用一种从空间、通道这2个不同维度软注意力相结合的混合注意力机制改进Mask-RCNN实例分割算法。注意力机制源于人眼在观察事物时会本能地关注想关注的目标区域，因此视觉系统在处理人眼获取的图像信息时会投入更多的注意力去提取该区域的细节信息。使用该机制可以减少环境信息对识别分割结果的影响、降低算法识别过程中自然环境背景分配权重、提高被遮挡目标的分配权重，从而使算法更加聚焦于既定目标物体，避免局部混淆和部分遮挡所带来的检测准确度下降的问题，进而提高检测准确度。混合注意力Mask-RCNN算法框架图如图2所示。

图 2. 混合注意力Mask-RCNN算法框架图

Fig. 2. Framework diagram of mixed attention Mask-RCNN algorithm

下载图片 查看所有图片

所提实例分割算法Mask-RCNN的主干网络由深度残差网络（ResNet-50）及特征金字塔网络（FPN）^［21］构成。通过预训练得到特征图注意力权重分配法则，在空间和通道这2个层面对特征图所含特征信息进行注意力权重运算，从而实现空间和通道上的权重变化。使用特征提取网络ResNet-50进行特征提取，该网络对输入的视觉图像进行逐层卷积，获得含有不同维度特征的特征图F1、F2、F3、F4、F5。考虑到在提高精度的同时减少引入注意力机制对算法运行速度的影响，只选取特征图F2、F3、F4、F5进行后续空间维度注意力运算得到特征图W和通道维度注意力运算生成具有不同维度权重分配的特征图W'，计算过程为

式中：SA(⋅)表示空间注意力权重分配；CA(⋅)表示通道注意力权重分配。对得到的特征图W5'使用FPN进行逐层上采样，并于对应特征图W'融合得到相应特征图P，生成各层特征图的计算过程为

式中：fu(⋅)表示上采样运算；⊕代表相应元素相加。同时，为便于后续对特征的标注适当缩小图像尺寸，对最深层特征图P5进行池化运算得到P6。FPN对融合特征图P进行卷积去除上采样混叠，并将所有输出特征图输入后续网络完成主干网络工作。加入混合注意力机制后的所提主干网络结构如图3所示。

图 3. 所提主干网络结构

Fig. 3. Proposed backbone network structure

下载图片 查看所有图片

混合注意力机制首先使用空间注意力对输入特征图进行最大池化和平均池化，并将2次池化结果按通道融合生成1个有效特征描述符（表示整个通道的最大池化特征和平均池化特征），再通过卷积得到空间注意力权重AS并与输入特征图连接实现空间注意力权重分配。生成公式如下：

式中：F为输入特征图；σ(⋅)为激活函数层；MaxPool(⋅)表示对特征图空间信息最大池化；AvgPool(⋅)表示对特征图空间信息平均池化；⊗表示按位相乘；M_S（F）为空间注意力结构输出。空间注意力结构如图4所示。

图 4. 空间注意力结构

Fig. 4. Spatial attention structure

下载图片 查看所有图片

对具有空间注意力的特征图，使用通道注意力对特征图各特征通道分配相应注意力权重，通道注意力将输入特征图全局平均池化和最大池化的结果分别输入多层感知机中，得到通道注意力权重AC。并与输入特征图相连接实现通道注意力权重分配，生成公式为

式中：F为输入特征图；MLP(⋅)代表多层感知机运算；M_C（F）为通道注意力结构输出。通道注意力结构如图5所示，改进后主干网络主要输出及参数设置如表1所示。

图 5. 通道注意力结构

Fig. 5. Channel attention structure

下载图片 查看所有图片

3.2　概率去误匹配算法

ORB特征提取与匹配作为目前常用的特征提取算法之一，图像信息通过算法匹配时易受到特征相似性或外界环境干扰而产生大量误匹配，影响后续对关键帧的判断。由此，本实验引入概率学算法对产生的误匹配进行剔除。去除误匹配流程图如图6所示。

图 6. 去除误匹配流程图

Fig. 6. Flow chart of mismatching remove

下载图片 查看所有图片

通过对2帧图片匹配点对计算欧氏距离并分组统计，确定其概率学模型分布选取合理阈值从而剔除差异过大的匹配点对。将第1张图像X和第2张图像X'中提取的特征点定义为2个特征点集合P和Q。特征点集合表示如下：

式中：N表示提取的特征点总个数。计算出相邻2帧图像中所有匹配点对欧氏距离DE，根据选取的去除误匹配前匹配特征点总对数N，将全部欧氏距离分成γ个小组。γ的取值为

式中：ceil(⋅)代表向上取整；sqrt(⋅)代表根号运算。统计DE中最大值DEMax和最小值DEMin，则组距L表示为

以组距L设立区间[0,L]，[L,2L]，[2L,3L]，…，[γL,(γ+1)L]，将所有欧氏距离DH进行分组。不同区间内出现欧氏距离Di的次数假设为离散型随机分布Y，可能的全部取值为y1,y2,…,yγ,yγ+1，因此概率分布函数为

根据欧氏距离概率分布，设定概率阈值PC=Max(pk)，则yk频段内的点是正确匹配的特征点进行保留。当Pk＜PC时，则认为此时频段内的点为误匹配，需将该频段内的所有特征点舍去。

4　实验结果与分析

实验平台计算机处理器采用Inter i9-10850K芯片，GPU为RTX 3060显卡，显存为12 GB，内存为64 GB，在Ubuntu系统Python 3.7环境下进行实验。

4.1　KITTI公开数据集测试

4.1.1　实例分割算法实验

依次选取KITTI数据集^［22］02序列第126帧及07序列第710帧，使用改进前算法和所提算法进行实例分割，其中图7（a）、（c）为改进前算法实例分割提取结果，图7（b）、（d）为所提算法实例分割提取结果。由于动态行驶车辆的遮挡，改进前算法无法识别被遮挡的静止车辆，而融合混合注意力机制后的实例分割算法在同一场景下能增加被遮挡物体权重，从而更好识别部分遮挡的关键目标，有效减少了环境因素对目标物体识别的影响，提高了算法的精确性和适应性。

图 7. 02和07序列实例分割结果。（a）（c）改进前算法；（b）（d）所提算法

Fig. 7. Instance segmentation results in 02 and 07 sequences. (a)(c) Pre-improved algorithm; (b) (d) proposed algorithm

下载图片 查看所有图片

表2使用平均精准率（AP）作为评估标准进行对比，因融合混合注意力机制后算法对物体边缘提取更为精准，使得所提算法AP较改进前算法提高约4.6%。

4.1.2　概率去误匹配算法实验

在KITTI公开数据集00序列上将所提算法与其他算法进行对比实验，图8（a）、（b）、（c）分别为Speeded Up Robust Features（SURF）、ORB及所提算法特征匹配结果。其中，黄色实线为正确匹配点对，绿色虚线为错误匹配点对。从图8可以看出，与同类算法使用相同图片作为输入时，所提算法存在的误匹配现象更少。

图 8. 00序列算法匹配结果。（a）SURF特征匹配结果；（b）ORB特征匹配结果；（c）所提算法特征匹配结果

Fig. 8. Matching results in 00 sequence. (a) SURF feature matching results; (b) ORB feature matching results; (c) proposed algorithm feature matching results

下载图片 查看所有图片

表3展示了3种算法在多个序列上提取的匹配特征点对数、有效匹配对数、有效匹配率、匹配所耗时间的对比情况。结果表明，所提算法在根据设定阈值去除不合理匹配点对后，在继承了ORB特征匹配算法匹配速度快的优势上，有效匹配率相较ORB算法有着大幅度提升。相比SURF算法，改进后算法在有效匹配率上几乎相似，但大大提高了匹配所需时间。

4.1.3　轨迹地图构建实验

为验证所提算法有效性，使用KITTI公开数据集对所提算法、ORB-SLAM2和DS-SLAM这3种算法进行评估。图9为KITTI数据集不同序列中3种算法的运行结果及真实轨迹，表4为3种算法在不同序列下的平均距离误差、平均角度误差、闭环准确率。实验结果表明，所提算法相较其他2种算法在未闭环路径序列和闭环路径序列中均有着较小的运行轨迹误差。且在闭环路径序列的测试结果表明，所提算法的闭环准确率相较其他算法有较大提升。其中，07序列集动态车辆干扰居多，遮挡情况出现更为频繁，本实验添加的注意力机制能更好地识别被遮挡物体，提取并分割被遮挡目标信息，提高识别与匹配精度，使得算法轨迹更接近于真实轨迹。

图 9. KITTI数据集不同序列运行轨迹。（a）10序列；（b）01序列；（c）06序列；（d）07序列；（e）09序列；（f）00序列

Fig. 9. Operating trajectories in different sequences on KITTI. (a) 10 sequence; (b) 01 sequence; (c) 06 sequence; (d) 07 sequence; (e) 09 sequence; (f) 00 sequence

下载图片 查看所有图片

图10为3种算法在07序列上的每帧处理时间实验结果对比图。从图10中可以看出，由于对物体进行实例分割，所提算法相较ORB-SLAM2算法每帧处理时间有所增加，但每帧处理时间平均为0.09 s，仍能满足系统实时性要求。

图 10. 3种算法每帧处理时间。（a）ORB-SLAM2；（b）DS-SLAM；（c）所提算法

Fig. 10. Processing time per frame on three algorithms. (a) ORB-SLAM2; (b) DS-SLAM; (c) proposed algorithm

下载图片 查看所有图片

4.2　真实场景测试

本实验移动机器人使用TurtleBot3 Burger，其硬件外观如图11所示。携带深度相机为Inter D435i。TurtleBot3 Burger主要运行参数如表5所示。

图 11.

Fig. 11. TurtleBot3 Burger

下载图片 查看所有图片

选取学校实验室为室内实验地点，大小为10 m×5 m，真实场景如图12（a）所示，平面布局图如图12（b）所示。其中，黄色实体部分为会议桌，阴影部分为桌子等其他障碍物。移动机器人围绕会议桌按“A→B→C→D”做“8”字形运动实时获取图像信息进行处理。

图 12. 真实实验环境场景。（a）真实场景；（b）平面布局图

Fig. 12. Real experimental environment scene. (a) Real scene; (b) layout plan

下载图片 查看所有图片

4.2.1　实例分割算法实验

图13为移动机器人第1次运行至五角星位置处获取的一帧图像，其中图13（a）、（b）分别为改进前算法和所提算法实例分割结果。从图13可以看出，由于遮挡情况出现较少，2种算法分割结果相差无异。图14为第2次运行至五角星位置处时选取的图像，由于出现人为设置的遮挡情况，改进前算法无法提取被物体遮挡的显示器和水杯，而所提算法仍能对被遮挡物体进行分割，提高了闭环检测的准确率。

图 13. 第1次五角星位置图像。（a）改进前实例分割结果；（b）所提算法实例分割结果

Fig. 13. Image of pentacle position for the first time. (a) Instance segmentation result of pre-improved algorithm; (b) instance segmentation result of proposed algorithm

下载图片 查看所有图片

图 14. 第2次五角星位置图像。（a）改进前实例分割结果；（b）所提算法实例分割结果

Fig. 14. Image of pentacle position for the second time. (a) Instance segmentation result of pre-improved algorithm; (b) instance segmentation result of proposed algorithm

下载图片 查看所有图片

4.2.2　轨迹地图构建实验

所提算法运行轨迹如图15所示。从图中运行轨迹可以看出，移动机器人运行到D点并向B点运动时，由于累计误差较大轨迹出现较为明显的漂移。随后从B点向C点运行时，所提算法提取被遮挡物体检测到产生闭环，开始修正当前位姿。真实场景实验均方根误差、运行时间以及闭环准确率如表6所示。

图 15. 真实场景运行轨迹

Fig. 15. Operating trajectory in real scene

下载图片 查看所有图片

5　结论

移动机器人在复杂环境中的定位和闭环精度对其使用场景及性能有着较大影响，本实验提出一种融合混合注意力实例分割的视觉同步定位与建图算法。引入混合注意力机制动态为图像中被遮挡物体分配权重，增加遮挡场景下对被遮挡物体识别能力。并采用概率去误匹配算法对图像匹配点对进行筛选，去除不合理匹配，增加闭环检测所需关键帧的选取精度，提高闭环检测准确率，从而使移动机器人能够在遮挡场景中进行更为准确定位与建图。实验结果表明，采用所提算法的移动机器人在定位建图过程中能够更好地对被遮挡物体进行识别，修正运动轨迹，构建更为精准的轨迹图。后期在本实验研究结果之上，拟采用更高灵敏度传感器提高移动机器人运行过程中遇到动态障碍物的鲁棒性，最终实现机器人自主导航。