1 国网保定供电公司, 河北保定 071000
2 华北电力大学动力工程系, 河北保定 071000
无人机拍摄下的红外图像中变电设备的分割精度直接影响着热故障诊断的结果, 针对复杂红外背景下变电设备分割精度低的问题, 提出了一种融合可见光和红外图像的多模态路径聚合网络Multimodal Path Aggregation Network, MPAN)。首先提取并融合两种模态图像的特征, 考虑到两种模态图像的特征空间存在差异, 提出了自适应特征融合模块(Adaptive Feature Fuse Module, AFFM), 以充分融合两种模态特征; 对具有多尺度特征的主干网络增加自底向上的金字塔网络, 并对横向连接的路径增强模块引入自注意力机制; 最后使用 dice系数优化掩膜损失函数。实验结果表明, 多模态图像的融合能够增强分割性能, 且验证了提出各模块的有效性, 该模型能够显著提高红外图像中变电设备实例分割的准确率。
实例分割 变电设备 红外图像 可见光图像 自适应特征融合模块 自注意力机制 dice系数 instance segmentation, substation equipment, infra
1 广西大学计算机与电子信息学院，广西 南宁 530004
2 广西多媒体通信与网络技术重点实验室，广西 南宁 530004
随着深度学习的发展，基于卷积神经网络（CNN）的目标检测方法取得巨大成功。现有的基于CNN的目标检测模型通常采用单一模态的RGB图像进行训练和测试，但在低光照环境下，检测性能显著下降。为解决此问题，提出了一种基于YOLOv5构建的多模态目标检测网络模型，将RGB图像和热红外图像相结合，以充分利用多模态特征融合信息，从而提升目标检测精度。为了实现多模态特征信息的有效融合，提出了一种多模态自适应特征融合（MAFF）模块。该模块通过自适应地选择不同模态特征并利用各模态间的互补信息，实现多模态特征融合。实验结果表明：所提算法能有效融合不同模态的特征信息，从而显著提高检测精度。
卷积神经网络 多模态 YOLOv5 多模态目标检测 自适应特征融合 激光与光电子学进展
2023, 60(24): 2410003
1 桂林电子科技大学广西精密导航技术与应用重点实验室, 广西 桂林 541004
2 卫星导航定位与位置服务国家地方联合工程研究中心, 广西 桂林 541004
目标外观的描述对相关滤波跟踪器的性能有很大的影响,单一特征难以准确描述目标外观,基于多特征的目标外观描述在复杂场景下有着更加优异的性能。为了提高复杂场景下目标跟踪的鲁棒性,提出一种基于多特征自适应融合与上下文感知的目标跟踪算法。首先引入上下文感知框架,提取目标周围4个上下文图像块的一层卷积特征作为背景信息。由于单一特征难以准确描述目标外观,采用两个相关滤波器来提取多种特征。第一个滤波器通过卷积神经网络提取三层卷积特征作为深度特征,第二个滤波器提取方向梯度直方图和颜色直方图信息作为浅层特征,然后自适应融合深、浅特征。最后,利用平均峰值相关能量来评估响应的置信度,并决定是否对模型进行更新。所提算法在OTB-2013数据集上进行测试,结果表明,该算法在准确率和成功率方面都有很好的表现,与其他优秀的跟踪算法相比,具有更好的跟踪性能。
图像处理 机器视觉 目标跟踪 相关滤波 自适应特征融合 上下文感知 激光与光电子学进展
2021, 58(16): 1610011
1 内蒙古科技大学信息工程学院, 内蒙古 包头 014010
2 内蒙古工业大学信息工程学院, 内蒙古 呼和浩特 010051
针对传统跟踪算法在复杂场景下抗遮挡能力和鲁棒性差的问题,提出一种基于深度特征自适应融合的运动目标跟踪算法。考虑到深层特征强鲁棒性和浅层特征高精度的优点,首先利用稀疏自编码器构建深度稀疏特征以提取目标特征,再根据相邻帧之间的关联信息和跟踪置信度对深度特征和纹理信息进行自适应融合以提高跟踪器的性能。为了提高跟踪算法鲁棒性的同时抑制跟踪漂移,当置信度低于设定阈值时,引入改进SURF算法对目标进行定位。实验结果表明:与主流跟踪算法相比,所提算法的跟踪精度高,在遮挡场景中具有良好的鲁棒性,并且能够有效抑制跟踪漂移。
机器视觉 目标跟踪 自适应特征融合 深度稀疏神经网络 自编码 激光与光电子学进展
2020, 57(18): 181501
陈法领 1,2,3,4,5,*丁庆海 1,6常铮 1,2,4,5陈宏宇 1,2,3,4,5[ ... ]刘云鹏 1,2,4,5
1 中国科学院沈阳自动化研究所, 辽宁 沈阳 110016
2 中国科学院机器人与智能制造创新研究院, 辽宁 沈阳 110169
3 中国科学院大学, 北京 100049
4 中国科学院光电信息处理重点实验室, 辽宁 沈阳 110016
5 辽宁省图像处理与视觉计算重点实验室, 辽宁 沈阳 110016
6 航天恒星科技有限公司, 北京 100086
为了提高复杂场景中目标跟踪的稳健性,解决由光照变化、目标形变、尺度变化和遮挡等导致的目标跟踪失败问题,提出一种自适应特征融合的多尺度核相关滤波目标跟踪算法。该算法首先通过2种不同的特征分别训练2个核相关滤波器,利用这2个滤波器响应的峰值旁瓣比和相邻两帧的响应一致性获得融合权重,同时采用自适应加权的融合策略将这2个滤波器的响应结果进行融合,完成目标的位置估计;然后以此为中心进行多尺度采样,构建尺度金字塔,并通过贝叶斯估计的方法确定目标的最优尺度;最后依据目标跟踪的置信度进行跟踪模型更新,以避免模型退化。选取51组视频序列进行测试,并与近年来性能优异的目标跟踪算法进行对比。实验结果表明,所提算法能有效降低光照变化、目标形变、尺度变化和遮挡等因素影响,对测试视频序列取得了较高的跟踪精度和成功率,整体性能优于对比算法。
机器视觉 计算机视觉 目标跟踪 核相关滤波 自适应特征融合 多尺度估计
1 上海理工大学光电信息与计算机工程学院, 上海 200093
2 上海市现代光学系统重点实验室, 上海 200093
针对复杂场景下单个特征的稳健性差,以及目标存在背景干扰和目标遮挡时跟踪失败的问题,提出一种基于自适应特征融合和模型更新的相关滤波跟踪算法。该算法在核相关滤波的基础上,通过对不同特征的响应图采用平均峰值-相关能量的方法进行加权求和,实现了响应图层面的自适应特征融合。根据响应图的峰值特性计算自适应权重,以其作为置信度确定模型的更新率,进而设计自适应模型更新方法。实验结果表明,该算法能够很好地适应背景干扰、目标遮挡、旋转运动等复杂场景,与近年来优秀的相关滤波跟踪算法相比,所提算法的平均距离精度比其中最优的算法提高了2.64%,平均重叠精度提高了1.54%。
机器视觉 目标跟踪 相关滤波 自适应特征融合 模型更新
1 西安现代控制技术研究所，陕西西安 710065
2 西安微电子技术研究所，陕西西安 710119
针对传统目标跟踪算法判别力及稳健性不足的问题，本文在对跟踪输出响应图可信度进行充分研究的基础上，结合目标尺度估计方法，提出多特征融合和自适应尺度估计相结合的目标跟踪算法。该方法通过计算不同特征模型下的输出响应图可信度，实现对两种互补的特征进行自适应加权融合，有效地提升了表观模型的鉴别力及泛化性能。尺度估计模块通过构建多分辨率特征金字塔、训练尺度滤波器及尺度特征降维，避免了在尺度空间内的穷举式搜索。实验表明文中算法有效地提升了跟踪过程中的准确率和成功率，能够适应遮挡、形变等复杂场景下的目标跟踪，并且具有非常高的效率。
相关滤波跟踪 自适应特征融合 目标尺度估计 correlation filter tracking adaptive feature fusion object scale estimation
燕山大学河北省测试计量技术及仪器重点实验室，河北 秦皇岛 066004
色彩提供了比灰度更为丰富的信息，鉴于彩色人脸图像所包含的鉴别信息远多于灰度人脸图像，将色度马氏距离图引入彩色人脸识别中。基于YCbCr颜色空间，分离彩色人脸图像的色度与亮度信息，构建出基于色度信息的马氏距离图，同时分离出基于亮度信息的灰度图。提出一种色度马氏距离图与灰度图特征自适应融合的人脸识别算法。分别构造出色度马氏距离图与灰度图的基于小波包结点能量的归一化特征向量，采用多种融合策略进行特征融合，并根据融合效果自适应地选取特征融合参数，构造出最佳的鉴别特征向量，实现色度与亮度特征的互补。使用基于方差相似度的分类器获得人脸识别结果。实验表明：该算法识别率高、鲁棒性好。
彩色人脸识别 色度马氏距离图 YCbCr颜色空间 小波(包)变换 自适应特征融合 color face recognition chroma Mahalanobis distance map YCbCr color space wavelet (packet) transform adaptive feature fusion
