1 陕西科技大学电气与控制工程学院, 陕西西安 710021
2 西安邮电大学通信与信息工程学院, 陕西西安 710121
针对人群异常行为检测任务中存在的算法复杂度较高, 重叠遮挡等带来的检测精度低等问题, 本文提出一种基于改进 SSD(Single Shot Multi-box Detector)的人群异常行为检测算法。首先采用轻量级网络 MobileNet v2代替原始特征提取网络 VGG-16, 并通过可变形卷积模块构建卷积层来增强感受野, 然后通过将位置信息整合到通道注意力中来进行特征增强, 能够捕获空间位置之间的远程依赖关系, 从而可以较好处理重叠遮挡问题。实验结果表明, 本文提出的算法对人群异常行为具有较好的检测效果。
深度学习 异常行为检测 SSD网络 可变形卷积 注意力机制 deep learning abnormal behavior detection SSD network deformable convolution attention mechanism
1 常州机电职业技术学院 信息工程学院, 江苏 常州 213164
2 江苏省物联网与制造业信息化工程技术研究中心, 江苏 常州 213000
人体行为自动检测技术易受成像角度、环境因素的影响, 造成检测准确性下滑, 结合单目视觉和深度传感器提出了一种新的行为检测技术。首先筛选出人体行为相关的关键帧, 以解决行为速度不统一的问题; 结合卷积神经网络特征和幅度直方图作为行为描述符; 利用对抗网络实现人体行为的域适应迁移学习, 解决单目视觉成像角度偏差的问题。在公开的行为检测数据集上完成了验证实验, 结果显示该技术提高了行为检测的性能, 并能有效改善单目视觉成像角度差异所导致的检测性能衰减问题。vision imaging and depth measure
自动行为检测 单目视觉成像 人工智能技术 深度神经网络 迁移学习 automatic behavior detection monocular vision imaging artificial intelligence technique deep neural networks transfer learning
1 西安思源学院 电子信息工程学院, 陕西 西安 710038
2 西安交通大学 理学院, 陕西 西安 710049
3 郑州轻工业大学 软件学院, 河南 郑州 450002
传统基于卷积神经网络(CNN)算法的人群异常行为检测方法由于采用二维卷积核提取图像特征, 故无法准确捕捉视频流在时序上的动态特征。为此, 提出一种基于改进C3D网络与随机森林(RF)算法相结合的检测方法。利用具有时间特征捕捉能力的C3D网络进行视频流梯度方向直方图(HOG)特征提取, 并作为三维卷积核输入以实现对视频时空特征的提取;使用随机森林分类器替代softmax全连接层以避免训练过程中繁琐的梯度计算操作, 并降低对训练数据集样本规模的要求;基于基准数据集的算例结果表明, 所提出的改进C3D-RF方案对人群异常行为的检测准确率保持在90%以上, 且与传统C3D网络、支持向量数据描述模型(SVDD)、编码深度卷积神经网络(CAE)等方法相比, 其训练时间缩短了15.34%以上。
信息光学 异常行为检测 C3D网络 随机森林 视频监控 时空特征提取 information optics abnormal behavior detection C3D network random forest video surveillance spatio-temporal feature extraction
中北大学信息探测与处理山西省重点实验室, 山西 太原 030051
视频异常行为的检测对保障公共安全至关重要,对基于深度学习的异常行为检测算法进行了分类与总结。首先,介绍了异常行为检测的整体流程。然后,根据神经网络训练的方式,从有监督学习、弱监督学习和无监督学习三个方面论述了深度学习在异常行为检测领域的发展与应用,同时分析了不同训练方式的优缺点。最后,介绍了常用数据集以及性能评估准则,分析了不同算法的性能,并展望了未来的发展方向。
图像处理 深度学习 视频异常行为检测 有监督学习 弱监督学习 无监督学习 激光与光电子学进展
2021, 58(6): 0600004
天津大学电气自动化与信息工程学院, 天津 300072
关于行为检测的算法有很多,但针对教室场景下的学生行为检测算法却略显缺乏。为了使学生行为检测算法具有较好的准确率和实时性,在MTCNN的基础上改进了网络结构,并提出了一种新的激活函数和损失函数以检测学生图像和关键点。同时,提出了通过图像分类网络和关键点分类网络对学生行为进行联合分类的策略。实验结果表明,所提出的改进措施均有效提升了学生行为检测的准确率,最终模型的检测准确率为78.6%。在嵌入式开发板Jetson TX2上,所提算法的实时检测准确率和速度优于YOLOv3和SSD等算法。
图像处理 机器视觉 神经网络 行为检测 教室场景 激光与光电子学进展
2020, 57(22): 221016
江南大学物联网工程学院, 江苏 无锡 214122
针对Tiny YOLOv3算法在扶梯异常行为检测时存在高漏检率和低准确率的问题,提出一种改进的Tiny YOLOv3网络结构用于扶梯异常行为检测。利用K-means++算法对数据集中的目标边框进行聚类,根据聚类结果优化网络的先验框参数,使训练网络在异常行为检测方面具有一定的针对性。利用多层深度可分离卷积提取深层次的语义信息,加深特征提取的网络结构;增加一个尺度用于低层语义信息的融合,改进原有算法预测层的结构;使用GPU进行多尺度训练,得到最优的权重模型,对扶梯异常行为进行检测。实验结果表明,优化后的模型与Tiny YOLOv3相比,平均漏检率减小了22.8%,检测精度提高了3.4%,检测速度是YOLOv3的1.7倍,更好地兼顾了检测的精度和实时性。
图像处理 异常行为检测 自动扶梯 深度可分离卷积 Tiny YOLOv3 激光与光电子学进展
2020, 57(6): 061010
1 中南大学 信息科学与工程学院, 湖南 长沙 410000
2 湖南信息职业技术学院 信息工程系, 湖南 长沙 410000
针对多视角下老龄人异常行为检测问题, 利用3D人体数据和多线性子空间分析方法, 从时间、视角和空间动作特征对其进行了研究。首先通过三维结构光传感器获取人体扫描点云数据, 并进行点云精简和人体表面重建。然后提取人体点云数据的表面曲率特征, 并将其映射到二维彩色图像中, 构成彩色动作特征图。通过提取特定时长内所有动作的彩色特征图, 生成基于曲率的彩色动作能量图模型, 并使用2D-PCA对彩色动作能量特征图进行降维。最后运用基于张量分析的多线性子空间分析方法, 对多视角下降维后的数据进行视角无关的特征提取, 并完成异常行为的分类和识别。实验结果表明, 该方法切实可行, 可将其应用于助老机器人和老龄人监护等相关领域。
3D建模 异常行为检测 多线性子空间分析 彩色动作能量图 3D modeling abnormal behavior detection multi-linear subspace learning color motion energy image
宁波大学信息科学与工程学院, 浙江 宁波 315211
在异常行为检测中, 群体行为难以描述。针对该情况, 提出了一种基于个体与群体中其他个体的行为相似性(集群性特征)的异常行为检测方法。该方法首先采用混合高斯模型提取出视频的背景; 然后, 使用 KLT (Kanade–Lucas– Tomasi)算法追踪运动人群; 接着, 从群体的运动方向和速度两个角度提取出集群性特征; 最后, 利用集群性特征直方图描述行为, 计算直方图的熵值来判断行为的异常。基于不同场景下的视频序列所进行的测试结果验证了所提方法的有效性。
异常行为检测 集群性特征 直方图 abnormal behavior detection collectiveness features histogram
轻工过程先进控制教育部重点实验室(江南大学), 江苏 无锡 214122
针对智能视频监控的需求, 提出一种无监督学习的异常行为检测方法。首先, 采用混合高斯模型建模提取出运动目标, 对运动区域进行标记; 然后提取运动区域内的光流信息, 将其归一化成特征矩阵, 并建立实时更新的特征矩阵观测序列; 最后利用二维主成分分析(2DPCA)的重构原理对观测序列进行分析, 根据重构特征矩阵与原特征矩阵的能量比来判断是否存在异常行为。基于不同数据库下的视频序列实验结果验证了所提方法的有效性。
异常行为检测 光流特征 二维主成分分析 无监督学习 abnormal behavior detection optical flow feature two-dimensional principal component analysis unsupervised learning
