群组行为识别是对个体的共同行为进行识别。群组行为与群组状态密不可分，也与群组内个体时空特征息息相关，时空信息既能描述空间语义信息，更能反映行为的动态变化情况。针对有效精细的时空特征提取问题，本文提出了一种基于注意力机制和深度时空信息的群组行为识别方法。首先将 ShuffleAttention引入双流特征提取网络中，有效提取个体外观和运动信息。其次使用改进 Non-Local网络提取深度时序信息。最后将个体特征送到图卷积网络中进行空间交互信息建模，得到群组行为识别结果。在 CAD和 CAED数据集上的准确率达到了 93.6%和 97.8%，在 CAD数据集上与凝聚群组搜索算法(CCS)和成员关系图 (ARG)方法相比，准确率提高了 1.2%和 2.6%，这表明本文方法能有效提取深度时空特征，提升群组行为识别准确率。

为了在嵌入式平台上使人体行为识别网络达到实时效果，提出了一种基于轻量级OpenPose模型的人体行为识别方法。所提方法从人体的18个骨骼关键点角度出发，通过骨骼关键点的空间位置确定行为类型。首先通过轻量级OpenPose模型提取人体的18个骨骼关键点坐标信息，然后利用关键点的编码对人体的行为进行描述，最后利用分类器对获取的关键点坐标进行分类，从而识别出人体的行为状态，并将其移植到Jetson Xavier NX设备上，利用单目相机进行了测试。实验结果表明，所提方法在嵌入式开发板Jetson Xavier NX上能够快速、准确识别出行走、挥手、下蹲等人体的11类行为，平均识别准确率达到96.08%，检测速度达到了11 frame/s以上，相比于原模型，检测速度提升了177%。

针对石油化工场景下传统的人体行为识别算法只关注人员自身行为,无法识别打手机、抽烟等属于人-物交互危险行为的问题,在基于骨骼点的人体行为识别任务中引入目标检测机制,提出基于深度学习的人-物交互行为识别算法。首先,采用OpenPose算法进行姿态估计,进而利用行为识别方法获取初始行为类别;其次,针对传统方法丢失背景和语义信息的问题,使用YOLOv3算法检测感兴趣物体,获得类别和位置信息;然后,通过判断人与物体的空间位置关系来表征人-物交互关系;最后,提出决策融合策略,对人的初始行为类别、物体信息、人-物交互关系进行决策融合,得到最终的行为识别结果。以打手机和抽烟行为为例对所提算法进行验证分析,结果表明,所提算法可以对石化场景下人员的危险行为进行准确识别。

为了更好地对人体动作的长时时域信息进行建模,提出了一种结合时序动态图和双流卷积网络的人体行为识别算法。首先,利用双向顺序池化算法来构建时序动态图,实现视频从三维空间到二维空间的映射,用来提取动作的表观和长时时序信息;然后提出了基于inceptionV3的双流卷积网络,包含表观及长时运动流和短时运动流,分别以时序动态图和堆叠的光流帧序列作为输入,且结合数据增强、模态预训练、稀疏采样等方式;最后将各支流输出的类别判定分数通过平均池化的方式进行分数融合。在UCF101和HMDB51数据集的实验结果表明:与传统双流卷积网络相比,该方法可以有效利用动作的时空信息,识别率得到较大的提升,具有有效性和鲁棒性。

猪的进食、 饮水行为是评价生猪健康程度最直接的依据, 利用计算机视觉技术实时监控生猪的进食、 饮水等状况对提高生猪养殖福利有重要的意义。 提出一种基于可见光光谱和改进YOLOv2神经网络的生猪进食、 饮水行为识别方法, 该方法在生猪可见光图像序列上构建头颈模型, 结合改进的YOLOv2神经网络实现真实养殖场景中的生猪目标检测, 并利用位置信息对生猪的进食、 饮水行为进行预判断, 对符合判断的图像使用图像处理方法精准判断生猪进食、 饮水行为。 首先在生猪图像序列上构建头颈模型, 利用未被遮挡的头颈作为检测目标, 该模型能有效改善生猪目标检测过程的遮挡问题, 且能够精准定位生猪的头部, 为后续识别进食饮水行为提供辅助。 然后采用国际主流神经网络YOLOv2作为目标检测的基础网络模型, 改进其激活函数, 实现快速精准地生猪目标检测。 在使用网络训练前, 对生猪数据集使用K-means算法进行聚类候选边框, 其mAP值和Recall值相比于最初YOLOv2提高了3.94%和5.3%。 为了增加网络对输入变化或噪声的鲁棒性, 对比使用ReLU, Leaky-ReLU和ELU三个激活函数的性能, 可以发现使用ELU的性能比前两者有明显提高。 将改进后的网络与原YOLOv2, SSD模型以及Faster R-CNN相比, 该模型的mAP值达到90.24%, Recall值达到84.56%, 均优于后三者。 最后利用目标检测得到的生猪头颈位置信息, 对生猪的进食、 饮水行为进行预判断。 当图像中进食、 饮水区域出现生猪时, 对该图进行背景差分法、 形态学运算等处理, 并结合饮水区域停留时间等对生猪的进食、 饮水行为进行更精准判断。 实验表明: 利用该方法判断生猪的进食、 饮水行为, 准确率分别达到94.59%和96.49%, 均优于直接使用传统方法判断的结果, 可应用于实际养殖过程中辅助养殖人员进行生猪管理。

传统的基于RGB和骨骼特征的行为识别算法,普遍存在两种特征互补性不足及视频关键时序性不强等问题。为解决这一问题,提出一种自适应融合RGB和骨骼特征的行为识别算法。首先,面向RGB图像和骨骼图像,联合双向长短时记忆(LSTM)网络和自注意力机制提取两者的时空特征;然后,构建自适应权重计算网络(AWCN),并以两者的空间特征为输入计算出自适应权重;最后,利用自适应权重得到上述时空特征的融合特征,实现了最终的动作分类。通过在Penn Action、JHMDB和NTU RGB-D人体行为数据集上与现有的方法进行比较,实验结果表明,本文算法有效地提高了行为识别精度。

针对传统的双流网络不能有效提取视频序列中的有效帧和帧中的有效区域,而导致识别准确率低的问题,提出了一种基于时空交互注意力模型(STIAM)的人体行为识别算法。首先,利用两个不同的深度学习网络分别提取空间和时间特征;其次,设计一种掩模引导的空间注意力模型,用于计算每一帧上的显著性位置;然后,设计一种光流引导的时间注意力模型,用于定位每个视频中的显著性帧;最后,分别将时间、空间注意力获得的权重与空间特征、时间特征进行加权融合,使模型实现时空交互性。在UCF101和Penn Action数据集上与现有的方法进行比较,实验结果表明,STIAM具有较好的特征提取能力,可以明显提升行为识别的精度。