为了在嵌入式平台上使人体行为识别网络达到实时效果，提出了一种基于轻量级OpenPose模型的人体行为识别方法。所提方法从人体的18个骨骼关键点角度出发，通过骨骼关键点的空间位置确定行为类型。首先通过轻量级OpenPose模型提取人体的18个骨骼关键点坐标信息，然后利用关键点的编码对人体的行为进行描述，最后利用分类器对获取的关键点坐标进行分类，从而识别出人体的行为状态，并将其移植到Jetson Xavier NX设备上，利用单目相机进行了测试。实验结果表明，所提方法在嵌入式开发板Jetson Xavier NX上能够快速、准确识别出行走、挥手、下蹲等人体的11类行为，平均识别准确率达到96.08%，检测速度达到了11 frame/s以上，相比于原模型，检测速度提升了177%。

猪的进食、 饮水行为是评价生猪健康程度最直接的依据, 利用计算机视觉技术实时监控生猪的进食、 饮水等状况对提高生猪养殖福利有重要的意义。 提出一种基于可见光光谱和改进YOLOv2神经网络的生猪进食、 饮水行为识别方法, 该方法在生猪可见光图像序列上构建头颈模型, 结合改进的YOLOv2神经网络实现真实养殖场景中的生猪目标检测, 并利用位置信息对生猪的进食、 饮水行为进行预判断, 对符合判断的图像使用图像处理方法精准判断生猪进食、 饮水行为。 首先在生猪图像序列上构建头颈模型, 利用未被遮挡的头颈作为检测目标, 该模型能有效改善生猪目标检测过程的遮挡问题, 且能够精准定位生猪的头部, 为后续识别进食饮水行为提供辅助。 然后采用国际主流神经网络YOLOv2作为目标检测的基础网络模型, 改进其激活函数, 实现快速精准地生猪目标检测。 在使用网络训练前, 对生猪数据集使用K-means算法进行聚类候选边框, 其mAP值和Recall值相比于最初YOLOv2提高了3.94%和5.3%。 为了增加网络对输入变化或噪声的鲁棒性, 对比使用ReLU, Leaky-ReLU和ELU三个激活函数的性能, 可以发现使用ELU的性能比前两者有明显提高。 将改进后的网络与原YOLOv2, SSD模型以及Faster R-CNN相比, 该模型的mAP值达到90.24%, Recall值达到84.56%, 均优于后三者。 最后利用目标检测得到的生猪头颈位置信息, 对生猪的进食、 饮水行为进行预判断。 当图像中进食、 饮水区域出现生猪时, 对该图进行背景差分法、 形态学运算等处理, 并结合饮水区域停留时间等对生猪的进食、 饮水行为进行更精准判断。 实验表明: 利用该方法判断生猪的进食、 饮水行为, 准确率分别达到94.59%和96.49%, 均优于直接使用传统方法判断的结果, 可应用于实际养殖过程中辅助养殖人员进行生猪管理。

交互行为的识别是机器视觉研究领域的热点和难点,针对其识别率低的问题,提出了一种融合深度图像边缘特征、RGB(Red, Green, Blue)图像纹理特征以及光流运动轨迹特征的识别算法。首先,采用Canny算子提取深度图像的边缘特征,采用局部二值模式算子提取RGB图像的纹理特征,采用光流直方图描述图像的动态特征;然后,将提取的边缘特征和纹理特征进行加权融合;最后,利用基于稀疏表示的空间金字塔匹配模型对静态融合特征和光流运动轨迹特征进行编码融合,对交互行为进行识别。基于MSR Action Pairs、SBU Kinect interaction、CAD-60数据集的实验结果表明,本算法的识别效果较好。

提出了一种基于导师-学生网络的驾驶行为识别模型。考虑到驾驶动作是在局部区域发生的,将驾驶行为识别任务拆分成动作定位和动作分类两个子任务。针对动作定位任务,设计了网络层数较浅和接收高分辨率图像输入的导师网络,导师网络通过特征图的响应对动作区域进行弱定位;在动作定位基础上,针对动作分类任务,设计了网络层数较深的接收低分辨率动作区域图像输入的学生网络,学生网络根据深层网络提取的高层次语义特征实现高准确率分类。实验结果证明,导师-学生网络模型能带来较高的识别准确率,具有强稳健性。

提出了一种基于卷积神经网络和长短期记忆(LSTM)神经网络的深度学习网络结构。采用特征融合的方法,通过卷积网络提取出浅层特征与深层特征并进行联接,对特征通过卷积进行融合,将获得的矢量信息输入LSTM单元。分别使用数据光流信息与红绿蓝信息训练网络,将各网络的结果进行加权融合。实验结果表明,所提模型有效地提高了行为识别精度。

驾驶员因素引发的交通事故比例居高不下,因此,研究基于驾驶员活动状态分析从而对异常驾驶行为进行正确识别分类的识别方法具有重要意义。提出一种基于协方差流形和基于二分类思想的多类LogitBoost分类器的异常驾驶行为识别方法。首先,提取图像的纹理、颜色和梯度方向等基础特征,以克服基于单一特征识别驾驶行为的不足;然后,利用协方差流形进行多特征融合,以消除特征冗余,同时降低由于不同特征数值差异过大而可能给图像处理及识别带来的影响;最后,使用基于二分类的多类LogitBoost分类器进行分类识别。实验结果表明,相对传统的直接使用LogitBoost的多分类方法,本文方法较大幅地提高了多分类的正确率,针对不同目标的正确识别率可达81.08%。

为了解决类能量图易受人体运动时间和位置移动等因素影响而难以有效描述动作细节特征的问题, 本文提出了一种基于类能量图金字塔梯度直方图(PHOG)融合特征和多类别Adaboost分类器的人体行为识别方法。该方法首先对经过躯体配准的运动人体目标轮廓图像构造平均运动能量图(AMEI)和增强的运动能量图(EMEI), 分别提取其分层梯度方向直方图(PHOG)特征并进行串联融合, 作为一种多层次的行为特征描述; 然后使用基于查找表的LUT-Real Adaboost算法设计多类别分类器, 实现图像中人体行为动作的识别。实验结果显示其在典型的人体动作数据集DHA上的正确识别率达97.6%, 高于其它采用单一特征描述和SVM等分类器的方法。表明该方法将整体与局部特征相结合, 可以有效描述不同尺度下的动作细节特征, 增强了人体行为特征的描述能力, 提高了识别性能。

研究一种高效的异常驾驶行为正确识别分类的识别方法, 对预防由于异常驾驶行为导致的交通事故具有重要意义。提出了一种新的基于协方差流形的异常驾驶行为识别方法。首先提取图像的纹理、颜色和梯度方向特征, 以克服基于单一特征识别驾驶行为的不足; 并利用协方差流形进行多特征融合, 以消除特征冗余以及不同特征数值悬殊对图像识别的影响; 最后使用多类 LogitBoost分类器进行分类识别。针对相同检测目标的正确识别率可达 98%以上, 对不同检测目标的正确识别率可达 70%以上。实验结果表明该方法有效提高了驾驶行为识别的效果。

人群行为识别是计算机视觉领域的重要研究课题，针对小规模松散人群兼具微观层面与宏观层面行为特征这一特点，提出了一种基于因果网络分析的小规模人群行为识别方法。先将各行人目标看成网络的节点，利用协方差跟踪获得目标的运动轨迹，并利用Granger因果关系检验来评估目标之间的相互作用，并用此因果关系来构建成对因果网络和成组因果网络，计算复杂网络的平均路径长度，介数，聚类系数等参数特性，以表达和识别聚集、聊天、分离、徘徊、相遇及同行等6种人群行为，实验结果表明，提出的算法能够有效的表达和识别人群行为。