1 通感融合光子技术教育部重点实验室,广东省信息光子技术重点实验室,广东工业大学信息工程学院,先进光子技术研究院,广东 广州 510006
2 南方海洋科学与工程广东省实验室(珠海),广东 珠海 519082
3 光场调控与信息感知工业和信息化部重点实验室,陕西省信息光子技术重点实验室,西北工业大学物理科学与技术学院,陕西 西安 710129
提出一种跨模态光学信息交互和模板动态更新的可见光和热红外(RGBT)跟踪方法,选取能够在跟踪速度和精度上取得平衡的Siamese跟踪器作为基本框架,并设计特征交互模块以重构不同模态的信息比例和增强模态间信息交流。在此基础上,基于无锚框的思想构建预测网络,以提升跟踪器的灵活性和通用性,同时提出一种模板动态更新的策略,通过动态更新跟踪模板增强模型对变化目标的适应能力。在GTOT等3个基准数据集上的对比实验表明,所提方法可显著提升跟踪器在复杂环境下的目标跟踪性能。
机器视觉 计算机视觉 目标跟踪 孪生网络 模板更新
1 天津大学精密仪器与光电子工程学院,天津 300073
2 天津大学光电信息技术教育部重点实验室,天津 300073
针对孪生架构单目标跟踪算法存在的目标状态更新不及时的问题,基于模板与记忆信息动态融合的跟踪策略,提出一种通用的模板更新机制。该机制采用双模块融合的更新策略:通过记忆融合模块融合搜索图像特征的短期记忆信息,获得目标变化情况;将前一帧可信的跟踪结果作为动态模板,从相关特征的角度,通过权重融合模块对原始模板和动态模板进行加权融合,通过结合跟踪过程的原始记忆与短期记忆实现更准确的目标定位。将模板更新机制应用于SiamRPN、SiamRPN++和RBO三种主流算法,并在VOT2019公开数据集上进行实验验证。结果表明:应用该机制后算法的性能得到了有效提升,具体而言,在SiamRPN++算法中,平均重叠期望值提升了6.67%,准确性提升了0.17%,鲁棒性下降了5.39%;此外,在遮挡、形变和背景干扰等复杂场景下,添加模板更新机制的SiamRPN++算法展现出较好的跟踪性能。
目标跟踪 孪生网络 模板更新 记忆信息 激光与光电子学进展
2024, 61(8): 0837006
郑州西亚斯学院计算机与软件工程学院, 郑州 451000
针对现有的基于CNN的方法存在特征信息丢失、杂波信息干扰严重、忽略了不同尺度特征之间的相关性、需要大量训练样本等问题, 提出了一种基于孪生特征引导多尺度网络(SFGMSN)的坦克检测方法。在SFGMSN方法中, 设计一种改进的Inception模块, 提取坦克目标图像的多尺度特征, 并进行特征融合, 更好地恢复了坦克目标的精细分段信息; 为了提高目标区域的特征感知能力和抑制背景干扰, 设计了一种局部通道注意机制(LCA-M), 得到更加精准的检测结果; 最后, 利用元学习器检测坦克目标。SFGMSN方法充分利用多尺度卷积、空洞卷积、孪生网络、局部通道注意机制和元学习器的优势, 能够解决传统CNN模型过度依赖大量训练样本以及在小样本条件下可能出现的准确率低和泛化性差的问题。在坦克图像数据库中进行实验, 结果表明, 所提方法具有较好的检测效果, 平均检测精度为90.12%, 可实现复杂场景下坦克检测, 对低分辨率坦克图像具有很好的鲁棒性。
坦克检测 孪生网络 多尺度CNN 元学习器 孪生特征引导多尺度网络(SFGMSN) tank detection Siamese network multi-scale CNN meta-learner Siamese Feature-Guided Multi-Scale Network (SFGMSN
利用传统的暹罗网络跟踪算法进行目标跟踪时, 目标位置远离特征图中目标的中心位置会降低跟踪性能指标, 使得跟踪效果不佳。针对该问题, 提出了一种改进的暹罗自适应网络(SiamBAN)算法, 即引入中心预测网络来判断特征图上目标位置与目标中心点的距离, 两者间的距离越大, 中心度得分越低, 改进算法去除响应异常值的能力越强。通过OTB100, VOT2016和VOT2018数据集将改进的SiamBAN算法与主流跟踪算法进行对比分析, 结果表明, 改进的SiamBAN算法能有效抑制响应图中的异常值, 显著提高跟踪性能指标。
目标跟踪 孪生网络 改进SiamBAN 异常值抑制 中心度网络 target tracking Siamese network improved SiamBAN outlier rejection centrality network
1 华中光电技术研究所—武汉光电国家研究中心,湖北武汉 430223
2 海军海上防险救生第一支队,山东青岛 266000
3 武汉设计工程学院信息工程学院,湖北武汉 430225
单目标跟踪作为一项关键的计算机视觉任务在工业与**领域具有重要作用,从以图像特征为核心的传统方法发展到以网络结构设计为中心的深度学习方法,展现出了较大的研究价值。对单目标跟踪的发展过程进行了总结:首先介绍了一些主流的数据集;接着将以速度为优势的相关滤波方法和以精度高为特色的深度学习类方法作为主要脉络,对其中一些基准方法与高性能方法的设计思路进行了研究分析;最后对各种结构的方法进行了总结,并对今后的研究趋势作出展望。
单目标跟踪 深度学习 相关滤波 孪生网络 目标跟踪发展 single target tracking deep learning correlation filter Siamese network development of target tracking
为解决小型无人机“黑飞”对公共领域的威胁问题。基于无人机目标多模态图像信息,文中提出一种轻量化多模态自适应融合孪生网络(Multimodal adaptive fusion Siamese network,MAFS)。设计一种全新的自适应融合策略,该模块通过定义两个模型训练参数赋予不同模态权重以实现自适应融合;本文在 Ghost PAN基础上进行结构重建,构建一种更适合无人机目标检测的金字塔融合结构。消融实验结果表明本文算法各个模块对无人机目标检测精度均有提升,多算法对比实验结果表明本文算法鲁棒性更强,与 Nanodet Plus-m相比检测时间基本不变的情况下 mAP提升 9%。
无人机 轻量化 孪生网络 自适应融合策略 多模态图像 UAV, lightweight, Siamese network, adaptive fusion
1 北京理工大学光电学院光电成像技术与系统教育部重点实验室,北京 100081
2 北京理工大学重庆创新中心,重庆 401120
3 北方自动控制技术研究所,山西 太原 030006
单目标跟踪是计算机视觉领域重要的分支,旨在对视频序列中的指定目标进行连续跟踪。近年来,基于深度学习的单目标跟踪方法发展迅猛,其中基于孪生网络的双流跟踪方法和基于Transformer的单流跟踪方法是两种基础架构。本文从原理、组成结构、局限性及未来发展方向等角度对这两种架构进行了全面介绍与分析。另外,数据集是方法训练及评测的基石,本文汇总了当前主流的深度学习单目标跟踪数据集,详细阐述了跟踪方法在数据集上的评测方式及评测指标,并总结了多种方法在数据集上的表现。最后,从宏观角度分析了深度学习目标跟踪方法的未来发展趋势,以期为相关研究人员提供参考。
深度学习目标跟踪 单目标跟踪 深度学习 孪生网络 Transformer 光学学报
2023, 43(15): 1510003
1 泰州职业技术学院信息技术学院, 江苏 泰州 225300
2 苏州大学计算机科学与技术学院, 江苏 苏州 215006
为了解决单一跟踪器无法有效应对复杂背景及目标外观的显著变化, 对于热红外目标跟踪准确度不高的问题, 基于全卷积孪生网络提出了一种多响应图集成的跟踪算法用于热红外跟踪。首先, 使用预训练的卷积神经网络来提取热红外目标的多个卷积层的特征并进行通道选择, 在此基础上分别构建 3个对应的跟踪器, 每个跟踪器独立执行跟踪并返回一个响应图。然后, 利用 Kullback–Leibler(KL)散度对多个响应图进行优化集成, 得到一个更强的响应图。最后利用集成后的响应图来确定目标位置。为了评估所提算法的性能, 在当前最全面的热红外跟踪基准 LSOTB-TIR(Large-Scale Thermal Infrared Object Tracking Benchmark)上进行了实验。实验结果表明, 所提算法能够适应复杂多样的红外跟踪场景, 综合性能超过了现有的红外跟踪算法。
热红外 全卷积孪生网络 多响应图 通道选择 KL散度 thermal infrared fully-convolutional siamese network multi response maps channel selection kullback-leibler divergence
针对跟踪运动目标过程中网络对目标被遮挡或目标周围存在干扰物敏感,从而导致不可靠的响应位置和错误跟踪框的问题,提出一种基于深度学习的免锚框孪生卷积网络跟踪方法。首先,通过非局部感知网络来学习目标引导的特征权重,该权重用于细化目标模板分支和搜索分支的深度特征,以监督的方式利用两个分支特征的远程依赖性,从而有效抑制噪声干扰。其次,进一步开发一个包围框感知块将多维回归特征与跟踪质量相关联,这个模块加强目标模板分支和搜索分支之间的相互作用,提高网络定位准确性。在标准数据集上的实验结果表明,所提方法能实时跟踪目标,并在准确度上获得提升。
机器视觉 目标跟踪 深度学习 非局部感知网络 孪生卷积网络 激光与光电子学进展
2023, 60(4): 0415007
华中科技大学 人工智能与自动化学院,湖北 武汉 430074
近年来,基于孪生网络的方法在视觉目标跟踪中取得了巨大的进步,但是这类方法在处理跟踪中的目标状态估计以及复杂场景干扰中仍存在较大的提升空间。随着深度学习在目标检测领域取得的成功,越来越多的研究将其成果用于指导目标跟踪技术的发展。对融合检测技术的孪生目标跟踪算法进行了综述。首先介绍检测和跟踪的联系与区别,同时分析检测技术对改进基于孪生网络的跟踪算法的可行性;然后阐述在不同检测框架指导下的孪生目标跟踪算法,以及使用OTB100、VOT2018、GOT-10k和LaSOT公开数据集对各类算法进行对比和分析;最后对全文进行总结,并对目标跟踪的未来发展方向进行展望。
目标跟踪 深度学习 孪生网络 目标检测 object tracking deep learning siamese network object detection 红外与激光工程
2022, 51(10): 20220042