1 内蒙古科技大学信息工程学院,内蒙古 包头 014010
2 内蒙古工业大学信息工程学院,内蒙古 呼和浩特 010051
3 内蒙古模式识别与智能图像处理重点实验室,内蒙古 包头 014010
针对目标跟踪序列背景复杂、目标大尺度变化等导致目标辨识难度大的问题,提出了基于特征优选模型的Siamese网络目标跟踪算法。首先构建深度网络,有效地提取深度语义信息。再利用沙漏网络对多尺度下的特征图进行全局特征编码,将编码后的特征归一化处理,获取有效目标特征。最后构建特征优选模型,将解码获取的特征作为选择器甄别原特征图的有效特征并增强。为了进一步提高模型的泛化能力,引入注意力机制,对目标特征自适应加权,使其适应场景变化。最终提出算法在OTB100标准跟踪数据集测试成功率达到0.648,预测精度达到0.853,实时性为59.5 frame/s;在VOT2018标准跟踪数据集测试精度为0.536,期望平均覆盖率为0.192,实时性为44.3 frame/s,证明了该算法的有效性
机器视觉 深度学习 目标跟踪 Siamese网络 特征优选 特征融合 激光与光电子学进展
2022, 59(12): 1215003
1 西安邮电大学计算机学院,陕西 西安 710121
2 西安邮电大学陕西省网络数据分析与智能处理重点实验室,陕西 西安 710121
3 空军工程大学信息与导航学院,陕西 西安 710077
基于Siamese网络的视觉跟踪算法是近年来视觉跟踪领域的一类重要方法,其在跟踪速度和精度上都具有良好的性能。但是大多数基于Siamese网络的跟踪算法依赖离线训练模型,缺乏对跟踪器的在线更新。针对这一问题,本文提出了一种基于在线学习的Siamese网络视觉跟踪算法。该算法采用双模板思想,将第一帧中的目标当作静态模板,在后续帧中使用高置信度更新策略获取动态模板;在线跟踪时,利用快速变换学习模型从双模板中学习目标的表观变化,同时根据当前帧的颜色直方图特征计算出搜索区域的目标似然概率图,与深度特征融合,进行背景抑制学习;最后,将双模板获取的响应图进行加权融合,获得最终跟踪结果。在OTB2015、TempleColor128和VOT数据集上的实验结果表明,本文算法的测试结果与近几年的多种主流算法相比均有所提高,在目标形变、相似背景干扰、快速运动等复杂场景下具有较好的跟踪性能。
视觉跟踪 Siamese网络 双模板 快速变换学习模型 target tracking Siamese network dual templates fast transformation learning model
红外与激光工程
2021, 50(3): 20200148
1 中国科学院国家空间科学中心复杂航天系统电子信息技术重点实验室, 北京 100190
2 中国科学院大学, 北京 100049
随着无人机技术在**、民用等领域的广泛运用,高精度、低功耗智能无人机跟踪系统的需求也日益增多。针对无人机跟踪任务中目标尺度变化大、视野角度多变、遮挡等问题,提出了一种基于轻量级Siamese注意力网络的无人机实时跟踪算法。首先,选取易于部署在嵌入式设备中的轻量级卷积神经网络MobileNetV2作为特征提取主干网络;接着,设计通道空间协同注意力模块,增强模型的适应能力与判别能力;然后,搭载区域建议网络,通过互相关获取前景背景分类和边界框回归响应图;最后,加权融合多层响应图,调整候选区域筛选策略,计算得到更加准确的跟踪结果。在无人机跟踪数据集上的仿真实验结果表明,相对于当前主流算法SiamRPN,该算法跟踪精度提升了3.5%,能更好地应对复杂多变的场景。同时,在NIVIDA RTX 2060 GPU上,跟踪速度达到60 frame/s。
机器视觉 目标跟踪 Siamese网络 MobileNet 通道注意力 空间注意力 协同注意力 光学学报
2020, 40(19): 1915001
1 岭南师范学院信息工程学院,广东 湛江 524048
2 山东电力科学研究院,山东济南 250012
3 桂林理工大学信息科学与工程学院,广西 桂林 541004
目标检测与跟踪是机载光电设备至关重要的功能模块,其检测跟踪的性能直接关系到目标感知的精度。近年来基于Siamese 网络的改进跟踪算法在各种挑战性的数据集上取得了优异的效果,但大多数改进算法采用局部搜索策略,无法更新模板,且模板会引入背景干扰,最终因跟踪点漂移导致跟踪失败。为了解决这些问题,本文提出了一种结合目标边缘检测的改进全连接Siamese 跟踪算法,该算法利用目标的轮廓模板代替边界框模板,减少了背景杂波的干扰;同时,在Siamese 网络的基础上增加了一路改进tiny-YOLOv3 目标检测网络,利用K 均值聚类找到最合适的锚框(anchor box),引入了扩张模块层来扩展感受野,增加了系统的抗遮挡能力,提高机载光电设备的目标捕获概率。在基准测试数据集以及挂飞数据集基础上的仿真测试性能表明本文提出的改进模型特别适合机载光电设备在跟踪与重捕复杂环境下的运动目标,在长期跟踪中能够更好地适应目标的变形和遮挡,提升系统响应时间与适应性。
目标跟踪 深度学习 Siamese 网络 轮廓模板 目标检测 object tracking, deep learning, siamese network, c
上海应用技术大学计算机科学与信息工程学院, 上海 201418
矿物分析在地质勘测及工程应用中都是一项极为关键的工作,在矿物分析中,相比于传统的物理方法和化学方法,拉曼光谱检测能提供更快速的定性定量分析,最重要的是,它对矿物的损伤可以忽略不计。而基于拉曼光谱的数据分析,传统的机器学习方法效果并不理想,尤其在矿物种类极其庞大的情况下。为此,提出一种基于Siamese网络的相似性学习方法,采用Hungarian算法来优化负样本,与传统的机器学习算法相比,得到了鲁棒性最好的结果。Siamese网络计算出矿物之间的相似度,除了能对矿物进行识别,还可以在一定程度上为该矿物的替代材料提供参考。
视觉 拉曼光谱 机器学习 Siamese网络 相似性学习 矿物分析 激光与光电子学进展
2020, 57(9): 093301