1 广西大学计算机与电子信息学院，广西 南宁 530004
2 广西多媒体通信与网络技术重点实验室，广西 南宁 530004
随着深度学习的发展，基于卷积神经网络（CNN）的目标检测方法取得巨大成功。现有的基于CNN的目标检测模型通常采用单一模态的RGB图像进行训练和测试，但在低光照环境下，检测性能显著下降。为解决此问题，提出了一种基于YOLOv5构建的多模态目标检测网络模型，将RGB图像和热红外图像相结合，以充分利用多模态特征融合信息，从而提升目标检测精度。为了实现多模态特征信息的有效融合，提出了一种多模态自适应特征融合（MAFF）模块。该模块通过自适应地选择不同模态特征并利用各模态间的互补信息，实现多模态特征融合。实验结果表明：所提算法能有效融合不同模态的特征信息，从而显著提高检测精度。
卷积神经网络 多模态 YOLOv5 多模态目标检测 自适应特征融合 激光与光电子学进展
2023, 60(24): 2410003
1 江南大学人工智能与计算机学院，江苏 无锡 214122
2 江南大学先进技术研究院，江苏 无锡 214122
3 江苏省模式识别与计算智能工程实验室，江苏 无锡 214122
4 苏州科技大学电子与信息工程学院，江苏 苏州 215000
针对红外与可见光图像融合方法存在的对源图像特征分离不充分、可解释性低且融合规则难以准确设计等问题，提出基于互信息特征分离表达的红外与可见光图像融合方法，有效分离特征的同时保留源图像的典型信息。首先，采用互信息约束的编码网络提取特征，最大化源图像与特征间互信息来保留源图像的特征表示，同时通过最小化私有和公有特征的互信息来达到分离表达的目的；其次，特征融合阶段设计了层级特征自适应融合模块来有效融合不同层级的特征信息，减小语义差距并调整感受野，增强网络对特征的学习能力；此外，损失函数采用软加权强度损失来平衡红外与可见光特征分布；最后，对比实验的主客观评价结果表明，所提方法能有效融合红外与可见光图像的重要信息，具有良好的视觉感知。
图像处理 红外与可见光图像 互信息 分离表达 层级特征自适应融合 软加权强度损失 激光与光电子学进展
2023, 60(24): 2410002
1 桂林电子科技大学广西精密导航技术与应用重点实验室, 广西 桂林 541004
2 卫星导航定位与位置服务国家地方联合工程研究中心, 广西 桂林 541004
目标外观的描述对相关滤波跟踪器的性能有很大的影响,单一特征难以准确描述目标外观,基于多特征的目标外观描述在复杂场景下有着更加优异的性能。为了提高复杂场景下目标跟踪的鲁棒性,提出一种基于多特征自适应融合与上下文感知的目标跟踪算法。首先引入上下文感知框架,提取目标周围4个上下文图像块的一层卷积特征作为背景信息。由于单一特征难以准确描述目标外观,采用两个相关滤波器来提取多种特征。第一个滤波器通过卷积神经网络提取三层卷积特征作为深度特征,第二个滤波器提取方向梯度直方图和颜色直方图信息作为浅层特征,然后自适应融合深、浅特征。最后,利用平均峰值相关能量来评估响应的置信度,并决定是否对模型进行更新。所提算法在OTB-2013数据集上进行测试,结果表明,该算法在准确率和成功率方面都有很好的表现,与其他优秀的跟踪算法相比,具有更好的跟踪性能。
图像处理 机器视觉 目标跟踪 相关滤波 自适应特征融合 上下文感知 激光与光电子学进展
2021, 58(16): 1610011
1 内蒙古科技大学信息工程学院, 内蒙古 包头 014010
2 内蒙古工业大学信息工程学院, 内蒙古 呼和浩特 010051
针对传统跟踪算法在复杂场景下抗遮挡能力和鲁棒性差的问题,提出一种基于深度特征自适应融合的运动目标跟踪算法。考虑到深层特征强鲁棒性和浅层特征高精度的优点,首先利用稀疏自编码器构建深度稀疏特征以提取目标特征,再根据相邻帧之间的关联信息和跟踪置信度对深度特征和纹理信息进行自适应融合以提高跟踪器的性能。为了提高跟踪算法鲁棒性的同时抑制跟踪漂移,当置信度低于设定阈值时,引入改进SURF算法对目标进行定位。实验结果表明:与主流跟踪算法相比,所提算法的跟踪精度高,在遮挡场景中具有良好的鲁棒性,并且能够有效抑制跟踪漂移。
机器视觉 目标跟踪 自适应特征融合 深度稀疏神经网络 自编码 激光与光电子学进展
2020, 57(18): 181501
1 上海理工大学光电信息与计算机工程学院, 上海 200093
2 上海市现代光学系统重点实验室, 上海 200093
针对复杂场景下单个特征的稳健性差,以及目标存在背景干扰和目标遮挡时跟踪失败的问题,提出一种基于自适应特征融合和模型更新的相关滤波跟踪算法。该算法在核相关滤波的基础上,通过对不同特征的响应图采用平均峰值-相关能量的方法进行加权求和,实现了响应图层面的自适应特征融合。根据响应图的峰值特性计算自适应权重,以其作为置信度确定模型的更新率,进而设计自适应模型更新方法。实验结果表明,该算法能够很好地适应背景干扰、目标遮挡、旋转运动等复杂场景,与近年来优秀的相关滤波跟踪算法相比,所提算法的平均距离精度比其中最优的算法提高了2.64%,平均重叠精度提高了1.54%。
机器视觉 目标跟踪 相关滤波 自适应特征融合 模型更新
1 西安现代控制技术研究所，陕西西安 710065
2 西安微电子技术研究所，陕西西安 710119
针对传统目标跟踪算法判别力及稳健性不足的问题，本文在对跟踪输出响应图可信度进行充分研究的基础上，结合目标尺度估计方法，提出多特征融合和自适应尺度估计相结合的目标跟踪算法。该方法通过计算不同特征模型下的输出响应图可信度，实现对两种互补的特征进行自适应加权融合，有效地提升了表观模型的鉴别力及泛化性能。尺度估计模块通过构建多分辨率特征金字塔、训练尺度滤波器及尺度特征降维，避免了在尺度空间内的穷举式搜索。实验表明文中算法有效地提升了跟踪过程中的准确率和成功率，能够适应遮挡、形变等复杂场景下的目标跟踪，并且具有非常高的效率。
相关滤波跟踪 自适应特征融合 目标尺度估计 correlation filter tracking adaptive feature fusion object scale estimation
燕山大学河北省测试计量技术及仪器重点实验室，河北 秦皇岛 066004
色彩提供了比灰度更为丰富的信息，鉴于彩色人脸图像所包含的鉴别信息远多于灰度人脸图像，将色度马氏距离图引入彩色人脸识别中。基于YCbCr颜色空间，分离彩色人脸图像的色度与亮度信息，构建出基于色度信息的马氏距离图，同时分离出基于亮度信息的灰度图。提出一种色度马氏距离图与灰度图特征自适应融合的人脸识别算法。分别构造出色度马氏距离图与灰度图的基于小波包结点能量的归一化特征向量，采用多种融合策略进行特征融合，并根据融合效果自适应地选取特征融合参数，构造出最佳的鉴别特征向量，实现色度与亮度特征的互补。使用基于方差相似度的分类器获得人脸识别结果。实验表明：该算法识别率高、鲁棒性好。
彩色人脸识别 色度马氏距离图 YCbCr颜色空间 小波(包)变换 自适应特征融合 color face recognition chroma Mahalanobis distance map YCbCr color space wavelet (packet) transform adaptive feature fusion
