1 西京学院 材料与能源科学技术研究院,陕西 西安 710123
2 北京星航机电装备有限公司,北京 100074
3 西北工业大学 光电与智能研究院,陕西 西安 710072
在计算机视觉领域中,基于孪生网络的跟踪算法相比于传统算法提高了精度和速度,但是仍会受到目标遮挡、变形、环境变化等影响,导致孪生网络的跟踪算法的性能降低。为了深入了解基于孪生网络的单目标跟踪算法,本文对现有基于孪生网络目标跟踪算法进行了总结和分析,主要包括在孪生网络中引入注意力机制方法、超参数推理方法和模板更新方法,对这3种方法的目标跟踪算法进行了综述,详细介绍了国内外近几年基于孪生网络的算法研究和发展现状。对3个方面的代表算法采用VOT2016、VOT2017、VOT2018和OTB-2015数据集进行实验对比,获得了多种基于孪生网络的目标跟踪算法的性能。最后对基于孪生网络的目标跟踪算法进行了总结,并对未来的发展方向进行了展望。
计算机视觉 目标跟踪 孪生网络 深度学习 computer vision target tracking Siamese networks deep learning
1 通感融合光子技术教育部重点实验室,广东省信息光子技术重点实验室,广东工业大学信息工程学院,先进光子技术研究院,广东 广州 510006
2 南方海洋科学与工程广东省实验室(珠海),广东 珠海 519082
3 光场调控与信息感知工业和信息化部重点实验室,陕西省信息光子技术重点实验室,西北工业大学物理科学与技术学院,陕西 西安 710129
提出一种跨模态光学信息交互和模板动态更新的可见光和热红外(RGBT)跟踪方法,选取能够在跟踪速度和精度上取得平衡的Siamese跟踪器作为基本框架,并设计特征交互模块以重构不同模态的信息比例和增强模态间信息交流。在此基础上,基于无锚框的思想构建预测网络,以提升跟踪器的灵活性和通用性,同时提出一种模板动态更新的策略,通过动态更新跟踪模板增强模型对变化目标的适应能力。在GTOT等3个基准数据集上的对比实验表明,所提方法可显著提升跟踪器在复杂环境下的目标跟踪性能。
机器视觉 计算机视觉 目标跟踪 孪生网络 模板更新
1 天津大学精密仪器与光电子工程学院,天津 300073
2 天津大学光电信息技术教育部重点实验室,天津 300073
针对孪生架构单目标跟踪算法存在的目标状态更新不及时的问题,基于模板与记忆信息动态融合的跟踪策略,提出一种通用的模板更新机制。该机制采用双模块融合的更新策略:通过记忆融合模块融合搜索图像特征的短期记忆信息,获得目标变化情况;将前一帧可信的跟踪结果作为动态模板,从相关特征的角度,通过权重融合模块对原始模板和动态模板进行加权融合,通过结合跟踪过程的原始记忆与短期记忆实现更准确的目标定位。将模板更新机制应用于SiamRPN、SiamRPN++和RBO三种主流算法,并在VOT2019公开数据集上进行实验验证。结果表明:应用该机制后算法的性能得到了有效提升,具体而言,在SiamRPN++算法中,平均重叠期望值提升了6.67%,准确性提升了0.17%,鲁棒性下降了5.39%;此外,在遮挡、形变和背景干扰等复杂场景下,添加模板更新机制的SiamRPN++算法展现出较好的跟踪性能。
目标跟踪 孪生网络 模板更新 记忆信息 激光与光电子学进展
2024, 61(8): 0837006
郑州西亚斯学院计算机与软件工程学院, 郑州 451000
针对现有的基于CNN的方法存在特征信息丢失、杂波信息干扰严重、忽略了不同尺度特征之间的相关性、需要大量训练样本等问题, 提出了一种基于孪生特征引导多尺度网络(SFGMSN)的坦克检测方法。在SFGMSN方法中, 设计一种改进的Inception模块, 提取坦克目标图像的多尺度特征, 并进行特征融合, 更好地恢复了坦克目标的精细分段信息; 为了提高目标区域的特征感知能力和抑制背景干扰, 设计了一种局部通道注意机制(LCA-M), 得到更加精准的检测结果; 最后, 利用元学习器检测坦克目标。SFGMSN方法充分利用多尺度卷积、空洞卷积、孪生网络、局部通道注意机制和元学习器的优势, 能够解决传统CNN模型过度依赖大量训练样本以及在小样本条件下可能出现的准确率低和泛化性差的问题。在坦克图像数据库中进行实验, 结果表明, 所提方法具有较好的检测效果, 平均检测精度为90.12%, 可实现复杂场景下坦克检测, 对低分辨率坦克图像具有很好的鲁棒性。
坦克检测 孪生网络 多尺度CNN 元学习器 孪生特征引导多尺度网络(SFGMSN) tank detection Siamese network multi-scale CNN meta-learner Siamese Feature-Guided Multi-Scale Network (SFGMSN
利用传统的暹罗网络跟踪算法进行目标跟踪时, 目标位置远离特征图中目标的中心位置会降低跟踪性能指标, 使得跟踪效果不佳。针对该问题, 提出了一种改进的暹罗自适应网络(SiamBAN)算法, 即引入中心预测网络来判断特征图上目标位置与目标中心点的距离, 两者间的距离越大, 中心度得分越低, 改进算法去除响应异常值的能力越强。通过OTB100, VOT2016和VOT2018数据集将改进的SiamBAN算法与主流跟踪算法进行对比分析, 结果表明, 改进的SiamBAN算法能有效抑制响应图中的异常值, 显著提高跟踪性能指标。
目标跟踪 孪生网络 改进SiamBAN 异常值抑制 中心度网络 target tracking Siamese network improved SiamBAN outlier rejection centrality network
1 华中光电技术研究所—武汉光电国家研究中心,湖北武汉 430223
2 海军海上防险救生第一支队,山东青岛 266000
3 武汉设计工程学院信息工程学院,湖北武汉 430225
单目标跟踪作为一项关键的计算机视觉任务在工业与**领域具有重要作用,从以图像特征为核心的传统方法发展到以网络结构设计为中心的深度学习方法,展现出了较大的研究价值。对单目标跟踪的发展过程进行了总结:首先介绍了一些主流的数据集;接着将以速度为优势的相关滤波方法和以精度高为特色的深度学习类方法作为主要脉络,对其中一些基准方法与高性能方法的设计思路进行了研究分析;最后对各种结构的方法进行了总结,并对今后的研究趋势作出展望。
单目标跟踪 深度学习 相关滤波 孪生网络 目标跟踪发展 single target tracking deep learning correlation filter Siamese network development of target tracking
为解决小型无人机“黑飞”对公共领域的威胁问题。基于无人机目标多模态图像信息,文中提出一种轻量化多模态自适应融合孪生网络(Multimodal adaptive fusion Siamese network,MAFS)。设计一种全新的自适应融合策略,该模块通过定义两个模型训练参数赋予不同模态权重以实现自适应融合;本文在 Ghost PAN基础上进行结构重建,构建一种更适合无人机目标检测的金字塔融合结构。消融实验结果表明本文算法各个模块对无人机目标检测精度均有提升,多算法对比实验结果表明本文算法鲁棒性更强,与 Nanodet Plus-m相比检测时间基本不变的情况下 mAP提升 9%。
无人机 轻量化 孪生网络 自适应融合策略 多模态图像 UAV, lightweight, Siamese network, adaptive fusion
1 北京理工大学光电学院光电成像技术与系统教育部重点实验室,北京 100081
2 北京理工大学重庆创新中心,重庆 401120
3 北方自动控制技术研究所,山西 太原 030006
单目标跟踪是计算机视觉领域重要的分支,旨在对视频序列中的指定目标进行连续跟踪。近年来,基于深度学习的单目标跟踪方法发展迅猛,其中基于孪生网络的双流跟踪方法和基于Transformer的单流跟踪方法是两种基础架构。本文从原理、组成结构、局限性及未来发展方向等角度对这两种架构进行了全面介绍与分析。另外,数据集是方法训练及评测的基石,本文汇总了当前主流的深度学习单目标跟踪数据集,详细阐述了跟踪方法在数据集上的评测方式及评测指标,并总结了多种方法在数据集上的表现。最后,从宏观角度分析了深度学习目标跟踪方法的未来发展趋势,以期为相关研究人员提供参考。
深度学习目标跟踪 单目标跟踪 深度学习 孪生网络 Transformer 光学学报
2023, 43(15): 1510003
1 泰州职业技术学院信息技术学院, 江苏 泰州 225300
2 苏州大学计算机科学与技术学院, 江苏 苏州 215006
为了解决单一跟踪器无法有效应对复杂背景及目标外观的显著变化, 对于热红外目标跟踪准确度不高的问题, 基于全卷积孪生网络提出了一种多响应图集成的跟踪算法用于热红外跟踪。首先, 使用预训练的卷积神经网络来提取热红外目标的多个卷积层的特征并进行通道选择, 在此基础上分别构建 3个对应的跟踪器, 每个跟踪器独立执行跟踪并返回一个响应图。然后, 利用 Kullback–Leibler(KL)散度对多个响应图进行优化集成, 得到一个更强的响应图。最后利用集成后的响应图来确定目标位置。为了评估所提算法的性能, 在当前最全面的热红外跟踪基准 LSOTB-TIR(Large-Scale Thermal Infrared Object Tracking Benchmark)上进行了实验。实验结果表明, 所提算法能够适应复杂多样的红外跟踪场景, 综合性能超过了现有的红外跟踪算法。
热红外 全卷积孪生网络 多响应图 通道选择 KL散度 thermal infrared fully-convolutional siamese network multi response maps channel selection kullback-leibler divergence
1 西京学院 西安市先进光电子材料与能源转换器件重点实验室,陕西 西安 710123
2 西北工业大学 光电与智能研究院,陕西 西安 710072
3 军事科学院 系统工程研究院,北京 100039
在计算机视觉应用中,基于孪生网络的跟踪算法相比于传统的目标跟踪算法在速度和精度上都有所提升,但是其受到遮挡、形变等干扰因素影响较大。基于此,本文对现有基于孪生网络的目标跟踪方法和技术所作的改进进行了总结分析,主要包括在孪生网络中引入全卷积孪生神经网络方法、引入回归方法和在线更新方法,对基于3种方法的目标跟踪算法的改进进行了综述,并详细介绍了近年来孪生网络在目标跟踪应用中的国内外研究进展和发展现状。同时,采用 VOT2017和LaSOT数据集进行了实验对比,比较了多种基于孪生神经网络跟踪算法的性能。最后,对基于孪生网络的目标跟踪方法的发展趋势进行了展望。
计算机视觉 目标跟踪 孪生网络 深度学习 computer vision target tracking Siamese networks deep learning