交互行为的识别是机器视觉研究领域的热点和难点,针对其识别率低的问题,提出了一种融合深度图像边缘特征、RGB(Red, Green, Blue)图像纹理特征以及光流运动轨迹特征的识别算法。首先,采用Canny算子提取深度图像的边缘特征,采用局部二值模式算子提取RGB图像的纹理特征,采用光流直方图描述图像的动态特征;然后,将提取的边缘特征和纹理特征进行加权融合;最后,利用基于稀疏表示的空间金字塔匹配模型对静态融合特征和光流运动轨迹特征进行编码融合,对交互行为进行识别。基于MSR Action Pairs、SBU Kinect interaction、CAD-60数据集的实验结果表明,本算法的识别效果较好。

提出一种融合时间及目标之间空间语义信息的视频运动目标交互行为识别方法，即基于目标之间空间语义的变化规律识别其交互行为类别。不同于传统的语义事件建模方法，首先根据运动目标跟踪结果，基于其运动方向以及建立目标之间的空间关系（拓扑关系和方向关系）模型，提出一种提取人目标之间空间语义（前面、后面、背对、面对以及左右）的方法；然后基于空间语义的变化规律建立随机文法规则；最后采用随机文法器识别九种常见的两人交互行为。该方法无需训练样本，实验结果验证了方法的有效性及优越性。