1 天津理工大学电气工程与自动化学院，天津 300384
2 天津市复杂系统控制理论与应用重点实验室，天津 300384
针对传统红外图像目标分类方法准确率低的问题，提出了一种用结合多特征融合的粒子群优化（Particle Swarm Optimization, PSO）算法来优化支持向量机(Support Vector Machine, SVM)的方法。该方法采用方向梯度直方图(Histogram of Oriented Gradient, HOG)和局部二值模式（Local Binary Pattern, LBP）两类特征描述红外图像中目标的轮廓特征和局部纹理，从不同的方面展现红外图像的特点，在图像的特征表达上具有一定的互补性。在特征提取后对样本数据进行凸包算法计算，得到一些具有代表性的样本数据，从而提高分类计算效率；在分类模型训练时，采用PSO算法优化SVM，寻找SVM的最优惩罚因子和核参数，从而提高分类模型的准确率。实验结果表明，多特征融合的分类模型的准确率比单一特征的分类模型提高近10%，且经PSO优化的SVM最终模型的分类准确率高达99%。
多特征融合 支持向量机 粒子群优化算法 特征提取 红外图像分类 multi-feature fusion support vector machine particle swarm optimization feature extraction infrared image classification
西藏民族大学 信息工程学院，陕西 咸阳 712082
针对红外图像目标分类问题，提出了结合多特征融合和极限学习机（extreme learning machine，ELM）的方法。采用主成分分析（principal component analysis，PCA）、局部二值模式（local binary pattern，LBP）以及尺度不变特征变换（scale-invariant feature transform，SIFT）三类特征分别描述红外图像中目标的像素分布、局部纹理以及特征点信息。三类特征从不同侧面反映红外图像目标特性，因此具有互为补充的优势。在此基础上，基于多重集典型相关分析（multiset canonical correlations analysis，MCCA）对三类特征进行融合处理，获得统一的特征矢量。融合后的特征不仅继承了原始三类特征的鉴别特性，还有效去除了冗余信息。分类过程中，采用极限学习机作为基础分类器对融合特征矢量进行分类。极限学习机具有参数少、效率高、精度高和稳健性强等显著特点，有利于提高红外目标分类的整体性能。因此，所提出的方法通过结合多特征和极限学习机的优势综合提升了目标识别性能。在实验过程中，采用四类飞机目标的红外图像对所提出方法进行了性能测试。根据与现有几类方法的对比，实验结果证明了提出方法的性能优势。
红外图像 目标分类 多特征融合 极限学习机 infrared imagery target classification multi-feature fusion extreme learning machine 红外与激光工程
2022, 51(6): 20210597
1 安徽工程大学电气工程学院，安徽 芜湖 241000
2 安徽工程大学高端装备先进感知与智能控制教育部重点实验室，安徽 芜湖 241000
3 奇瑞新能源汽车股份有限公司，安徽 芜湖 241000
针对目标跟踪算法应对遮挡、模糊、尺度变换等挑战时，容易导致漂移和跟踪失败的情况，提出一种复杂场景下的自适应相关滤波跟踪算法。首先，采用所提的多特征互补策略，利用特征训练相应滤波器，根据每个滤波器的响应值动态调整特征的融合权重，完成对目标的位置估计；然后，以估计位置中心构建尺度滤波器，完成目标最优尺度的估计；最后，融合多尺度搜索区域策略，并根据跟踪置信度对跟踪模型选择性进行更新，进一步提升了跟踪器的性能和抗遮挡能力。在OTB2015的74组彩色数据集上进行测试，并对所提算法与近年来先进的相关滤波算法进行对比。所提算法的平均距离精度为0.801，平均重叠精度为0.715，实时跟踪速度为39.24 frame/s。实验结果表明，跟踪器在复杂环境下的表现良好，整体性能优越。
机器视觉 目标跟踪 相关滤波 多特征融合 遮挡判别 激光与光电子学进展
2022, 59(24): 2415004
宝鸡文理学院计算机学院, 陕西 宝鸡 721000
针对无人机跟踪目标易受视角变化、遮挡、背景杂乱等因素影响的问题, 提出一种融合多特征的时空正则化相关滤波无人机跟踪方法。首先, 将显著性特征引入时空正则化相关滤波跟踪框架, 与颜色、灰度和梯度方向直方图特征结合, 提高目标外观表示的多样性;其次, 利用峰值旁瓣比作为权重衡量不同特征相关响应图的峰值强度, 并将加权后特征进行组合降噪, 在响应层实现最终加权融合, 提升目标定位精度; 最后, 在公开无人机视频数据集UAV123@10FPS上与12种经典跟踪器进行对比。实验结果与分析表明, 所提方法在跟踪精确度和成功率上均取得较好的结果。
无人机跟踪 相关滤波 多特征融合 时空正则化 UAV tracking correlation filter multi-feature fusion spatial-temporal regularization
1 上海工程技术大学电子电气工程学院，上海 201620
2 武汉科技大学信息科学与工程学院，湖北 武汉 430081
与密集网格表示的图像不同，点云自身具有不规则和无序性的特点，因而如何准确地推理出点云数据中的形状特征是一项具有挑战性的工作。为解决当前研究存在的不足，提出了点集内-外形状卷积（IE-Conv）。该卷积利用高效的双边结构将点集内的局部形状与点集外的全局形状分开处理，在点集内部，基于门控的方式有选择地学习丰富的点间关系，同时利用自校准功能优化逐点与局部特征；在点集外部，通过图卷积构建全局图形，并聚焦于点集之间的远程依赖关系；最后将双边输出有机融合起来。将IE-Conv分层嵌入形状推理卷积网络中（SR-Net），并在标准ModelNet40和ShapeNet数据集上进行分类与分割实验。实验结果表明，分类任务精度达到93.9%，分割任务平均交并比达到86.4%，验证了SR-Net在点云分析中的良好性能。
图像处理 点云分类与分割 深度学习 图卷积 多特征融合 激光与光电子学进展
2022, 59(12): 1210017
1 南京理工大学自动化学院，江苏 南京 210094
2 中建八局第三建设有限公司，江苏 南京 210023
立体匹配是三维重建技术中的关键步骤，针对局部立体匹配算法在弱纹理区域、深度不连续区域匹配效果差，且容易受到噪声干扰的问题，提出了一种基于多特征融合的局部立体匹配算法。对传统的Census变换进行改进，使其对噪声具有更强的鲁棒性，并将其与颜色特征、梯度特征相融合进行代价计算；采用多尺度下的引导滤波算法进行代价聚合，并通过视差计算与优化得到视差图。在Middlebury数据集上的实验结果表明，所提算法抗噪能力强，且与当前较为优秀的局部立体匹配算法相比，匹配精度有了进一步提升。
图像处理 立体匹配 Census变换 多特征融合 引导滤波 激光与光电子学进展
2022, 59(8): 0810011
山东理工大学机械工程学院，山东 淄博 255000
为提高场景中战斗机在光照变化、尺度变化、遮挡和形变等因素下的跟踪精度，提出一种基于多种特征融合的核相关滤波算法。将颜色特征、纹理特征和卷积特征进行融合，融合后输出的最大响应值即为检测到的战斗机位置; 同时，采用尺度滤波器对战斗机进行尺度估计; 模板更新时，引入旁瓣比的概念对战斗机遮挡情况进行判断。实验结果表明，算法的准确度达到了77.6%，成功率也达到了73.3%，与KCF,DSST,MOSSE算法相比，在快速运动、背景杂乱、形变、超出视野、光照变化、翻转、低分辨率等情况下，跟踪精确度和跟踪成功率均位列第一。
目标跟踪 战斗机 核相关滤波 多特征融合 尺度滤波器 峰值旁瓣比 target tracking fighter kernel correlation filtering multi-feature fusion scale filter peak sidelobe ratio
1 内蒙古科技大学机械工程学院, 内蒙古 包头 014010
2 内蒙古科技大学信息工程学院, 内蒙古 包头 014010
3 内蒙古工业大学, 内蒙古 呼和浩特 010051
提出了一种基于二维(2D)转三维(3D)骨架的实时检测双分支子网络,可实现2D骨架关键点的3D估计和2D、3D骨架特征融合的人体3D动作识别。在检测过程采用OpenPose框架实时获取视频中人体骨架的2D关键点坐标。在2D转3D骨架估计过程中,设计了一种输入为难样本且具有反馈功能的孪生网络。在3D动作识别过程中设计了一种2D、3D骨架特征双分支孪生网络,以完成3D姿态识别任务。在Human3.6M数据集上训练3D骨架估计网络,在基于欧拉变换的NTU RGB+D 60多视角增强数据集上训练骨架动作识别网络,最终得到的3D骨架动作识别交叉受试者准确率为88.2%,交叉视野准确率为95.6%。实验结果表明,该方法对3D骨架的预测精度较高,且具有实时反馈能力,可适用于实时监控中的动作识别。
图像处理 三维骨架估计 人体动作识别 多分支网络 多特征融合 激光与光电子学进展
2021, 58(24): 2410010
陈宏宇 1,2,3,4,5罗海波 1,2,4,5惠斌 1,2,4,5常铮 1,2,4,5
1 中国科学院沈阳自动化研究所，辽宁 沈阳 110016
2 中国科学院机器人与智能制造创新研究院，辽宁 沈阳 110169
3 中国科学院大学，北京 100049
4 中国科学院光电信息处理重点实验室，辽宁 沈阳 110016
5 辽宁省图像处理与视觉计算重点实验室，辽宁 沈阳 110016
基于可变形模型的目标跟踪算法因其能够处理目标部分遮挡及形变问题成为目标跟踪领域的研究热点。当目标发生形变或部分遮挡时，可变形模型跟踪器可利用未被遮挡的子块继续完成跟踪。现有基于子块的目标跟踪算法均为手动选取子块的个数和尺寸，但在实际应用中，很难为子块的选取提供人机交互的机会，且手动选取子块易受主观因素影响。针对上述情况，提出了一种采用多特征融合的子块自动提取方法，该方法首先采用基于人眼视觉注意机制对目标模板的显著性区域进行度量；其次，利用边缘方向离散度对目标的纹理丰富度进行度量；然后，融合上述特征获得联合适配性置信度，并根据目标的面积和宽高比自适应确定子块的个数和尺寸；最后，根据联合适配性置信度提取目标子块。实验结果表明，与现有手动选取子块的可变形模型目标跟踪方法相比，采用所提方法自动提取的子块可获得更高的跟踪精度。
计算机视觉 目标跟踪 可变形模型 多特征融合 子块自动选取 computer vision target tracking deformable parts model multi-feature fusion automatic parts selection 红外与激光工程
2021, 50(8): 20200407
