传统的基于RGB和骨骼特征的行为识别算法,普遍存在两种特征互补性不足及视频关键时序性不强等问题。为解决这一问题,提出一种自适应融合RGB和骨骼特征的行为识别算法。首先,面向RGB图像和骨骼图像,联合双向长短时记忆(LSTM)网络和自注意力机制提取两者的时空特征;然后,构建自适应权重计算网络(AWCN),并以两者的空间特征为输入计算出自适应权重;最后,利用自适应权重得到上述时空特征的融合特征,实现了最终的动作分类。通过在Penn Action、JHMDB和NTU RGB-D人体行为数据集上与现有的方法进行比较,实验结果表明,本文算法有效地提高了行为识别精度。

针对基于深度学习的传统方法对于次显著细节信息关注不足的问题,提出一种基于多尺度注意力机制的多分支网络来统筹图像的显著信息及次显著信息。首先,将多尺度特征融合方法(MSFF)与注意力机制相结合,设计了一个多尺度注意力模块(MSA),使得网络可以根据输入信息自适应地调节感受野大小,实现了对于不同尺度信息的充分利用。其次,建立一个多分支网络,实现对于全局特征和多元局部特征的协调统一,并利用多尺度注意力模块,分别实现对于全局显著信息及次显著局部细节信息的加权强化,得到更具判别性的特征用于最终的识别。实验结果表明,本文所设计的网络在多个数据集上都取得了较好的表现。

针对传统的双流网络不能有效提取视频序列中的有效帧和帧中的有效区域,而导致识别准确率低的问题,提出了一种基于时空交互注意力模型(STIAM)的人体行为识别算法。首先,利用两个不同的深度学习网络分别提取空间和时间特征;其次,设计一种掩模引导的空间注意力模型,用于计算每一帧上的显著性位置;然后,设计一种光流引导的时间注意力模型,用于定位每个视频中的显著性帧;最后,分别将时间、空间注意力获得的权重与空间特征、时间特征进行加权融合,使模型实现时空交互性。在UCF101和Penn Action数据集上与现有的方法进行比较,实验结果表明,STIAM具有较好的特征提取能力,可以明显提升行为识别的精度。

为解决由视角、尺度等变化造成的行为类内差别大的问题,提出一种基于时空方向主成分直方图(HSTOPC)的人体行为识别方法。首先,将深度图序列转换为三维(3D)点云序列,对此序列采用新颖的图像预处理方法获得新的深度图序列,即在空间和时间维度上对采样获得的深度图序列进行限制,除去一些动作信息量较少的序列和空间,从而降低输入数据的冗余减少空间尺度变化的影响;其次,为了解决帧间关联性较弱的问题,采用时空方向主成分方法描述新的点云序列,获得3D点云序列中每点的方向特征;然后,对3D点云序列中所有方向特征进行多层时域重叠分割,获得HSTOPC特征描述子;最后,采用支持向量机分类器进行训练、测试。在3个标准数据库上的实验结果表明,提出的HSTOPC特征描述子对噪声、运动速度变化、视角变化和时域不对齐具有很好的稳健性,可以显著提高人体行为识别的准确率。

为了准确地描述人体骨骼的运动细节以及3D骨骼间的几何关系,提出一种基于四元数3D骨骼表示的人体行为识别方法。首先,在已捕获的关键帧集合的基础上,对普通关键帧和变速关键帧分别采用线性插值和二次多项式插值,获得相同帧数的骨骼序列;然后,针对所得的骨骼序列,采用四元数对每帧中3D骨骼间的几何关系进行描述,获得四元数骨骼特征描述子;最后,采用支持向量机分类器对这一系列特征描述子进行训练和测试,得到最终的识别结果。在3个标准数据库上的实验结果均显示,四元数骨骼特征描述子对噪声、运动速度变化、视角变化和时域不对齐都具有很好的稳健性,可以显著提高人体行为识别的准确率。

为了解决协作表征分类器(CRC)对相似样本误分类概率高的问题,提出一种判别协作表征分类器(DCRC)。该分类器考虑了所有训练样本和每一类样本对协作表征系数的影响,得到判别性强的协作表征系数,提升了对相似样本的判别性。基于DCRC进行人体行为识别研究。首先用深度运动映射图(DMMs)提取深度动作序列特征,得到DMMs特征描述子,然后利用DCRC对特征描述子进行协作表征编码,最后利用新的判别规则进行分类识别。在人体行为识别数据集上的实验结果表明,DCRC对相似动作具有一定的判别性,且识别精度优于现有的方法。

针对压缩感知目标跟踪算法在目标纹理改变、比例缩放、光照变化剧烈时鲁棒性不足, 提出一种面向高斯差分图的实时跟踪算法.首先, 构建图像的多尺度空间及其对应的高斯差分图, 实现高斯差分图的特征提取并获取压缩感知的输入信号;然后, 通过压缩降维, 目标邻域遍历, 参数更新等过程, 计算出面向高斯差分图的后续帧的目标最优跟踪窗;最后, 将跟踪窗投影到对应的原始图像上, 完成面向视频流的目标跟踪.高斯差分图像是单通道灰度图, 具有灰度取值范围小、数值低、结构简单、维数少等特点, 增强了特征对纹理改变、比例缩放和光照变化的稳健性, 且继承了传统算法的实时性.实验证明, 该算法能够快速准确地实现复杂环境下的移动目标跟踪任务.

针对波动性较大目标跟踪，传统Kalman滤波算法鲁棒性和实时性不足，提出一种基于多尺度特征提取的Kalman跟踪算法.前帧目标区域特征点匹配出后续帧目标区域特征点，并以后者特征点为中心，建立搜索区域，避免了遍历整幅后续帧图像，快速地为Kalman滤波方程状态后验值提供了稳定的观测信号和观测残差.实验证明，这种作为约束条件引入传统的Kalman滤波方程的多尺度特征提取技术，克服了传统Kalman滤波时间较长，易发散的缺陷，从而使其有着良好的收敛性.

从尺度不变特征变换算法的实时性与鲁棒性分析入手, 针对其在特征点匹配精度和匹配效率两方面不足, 提出一种基于运动目标的多尺度特征提取算法.该算法通过设计出一种基于尺度因子变化的高斯核模板尺寸自适应调整以及时间轴帧图像双向配准的办法, 成功地修正了运动目标图像配准的实时性与鲁棒性的不足.实验证明, 多尺度特征提取算法能够有效而快速地完成时间轴帧图像的特征点匹配.