在全景视频目标跟踪过程中,由于光照条件变化复杂和目标相对镜头运动时尺度变化剧烈,目标跟踪算法存在精度低和适用性差等问题。为了解决这个问题,提出了一种基于改进SiameseRPN的全景视频目标跟踪算法。首先采用MobileNetV3中的网络结构提取深度特征,使算法对全景视频序列中出现的场景缺陷有更好的适应性,并利用Squeeze and Excite模块增加网络对特征选择的敏感度。提出并构建了一种基于双线性插值的特征融合模块,运用双线性插值的方法使输出的后三层深度特征具有相同尺度,并融合这三层特征以用于网络预测。最后利用分类分支预测出当前序列中的正负样本,利用回归分支预测当前输出目标的位置信息和尺度信息,最终输出目标的位置信息。实验结果表明:所提算法可以有效地解决全景数据中的局部图像质量欠佳和尺度变化的问题,在保持实时跟踪性能的同时,具有较高的跟踪精度,对目标跟踪中出现的小目标、目标遮挡及多目标交叉运动等情况表现出良好的适应性,具有良好的视觉效果和较高的跟踪得分。

针对现有TBD(Tracking-by-Detection, TBD)跟踪算法难以兼顾计算效率与跟踪效果两方面性能的问题，本文引入了一种新颖快速的跟踪框架，利用在线序列极端学习机(On-line Sequential Extreme Learning Machine,OS-ELM)，增量更新目标的外观模型。由于ELM 的学习速度非常快，分类器可以每帧更新，因此分类器更实用于目标的外观变化。实验结果表明，本文算法可以实现实时跟踪，且跟踪精度优于其他TBD 算法。