针对传统视觉同时定位与地图构建(vSLAM)相机跟踪模块在动态环境中无法精确定位的问题,提出一种基于语义的视觉里程计。首先,在利用金字塔Lucas-Kanade 光流追踪匹配帧间特征点的同时,对图像进行像素级的语义分割。然后,将语义信息与几何特征紧密结合用以准确地剔除图像中的外点,使得位姿估计和建图仅依靠图像中值得信赖的静态特征点。最后,提出了一种多尺度的随机抽样一致(RANSAC)方案,对匹配点进行步进采样,每步使用不同的尺度因子,在降低外点检测时间的同时,提高了外点检测的鲁棒性。在TUM数据集上的实验结果表明,在高动态序列中,相比于ORB-SLAM2,本文方案的绝对轨迹误差和相对位姿误差改善了90%以上,而相比于同类型的DS-SLAM,本文方案在降低外点检测时间30%~40%的情况下,提升了位姿估计的鲁棒性。