针对目标追踪过程中由于目标快速运动及尺度变化导致追踪失败的问题,提出了一种基于全卷积对称网络的目标尺度自适应追踪算法。首先利用MatConvNet框架构建全卷积对称网络,使用训练好的网络得到实验图像与模板的多维特征图,两者通过互相关操作,选取置信分数最大的点为所追踪目标的中心位置;其次,对中心位置进行多尺度采样,将小于模板方差1/2的错误样本过滤掉;建立目标模板和样本概率直方图,计算模板与样本间的海林洛距离,选取合适的尺度作为目标追踪窗口的尺度。在OTB-13数据集上进行实验,与其他追踪算法性能比较,本文算法追踪成功率为0.832,精度为0.899,高于同类型深度学习追踪算法,平均追踪速度达到42.3 frame/s,满足实时性的需求;挑选包含目标快速运动或尺度变化属性的追踪序列进一步进行测试,本文算法追踪性能仍高于其他算法。