针对传统网络结构不能充分利用数据中时空信息的问题,提出了一种时空金字塔池化模型,并将该模型与非局部特征计算操作相结合,设计了一种基于时空信息密集计算与融合的三维密集连接卷积神经网络,从而可以更有效地提取视频的时空特征。将该算法应用于课堂场景下教师行为的分析,实验结果表明,所设计的网络结构在教师行为数据集上达到了较高的识别准确率。

为了在不借助参考视频的条件下准确评价失真视频质量，提出一种应用三维卷积神经网络提取失真视频时空域特征的通用型无参考视频质量评价算法。在视频质量库上训练卷积神经网络模型3D ConvNets，使3D ConvNets学习到与视频失真程度相关的特征；应用3D ConvNets对输入的失真视频进行特征提取，对提取得到的质量特征先后进行L2范数规则化和主成分分析以防止过拟合并去除冗余特征；使用线性支持向量回归根据视频质量特征预测失真视频的质量分数。实验结果表明，本文算法能够较为准确地评价多种视频失真类型，并且在更换测试视频库后依然保持较高的评价准确度，同时算法评价视频质量的计算复杂度极低。

人群异常事件检测是智能视频监控中的重要研究内容，本文提出一种新的融合时空特征的异常行为检测算法。首先提取显著性信息作为空间域特征，采用高精度的光流算法，结合社会力模型计算相互作用力作为时域特征；提出一种新的运动信息特征描述子——相互作用力直方图(HOIF)，将其与显著性信息特征相融合送入支持向量机(SVM)进行学习训练，从而对人群事件进行分类。在UMN(University of Minnesota, Twin Cities)数据库上对本文算法有效性进行了验证。实验结果表明，该算法在检测正确率及鲁棒性上要优于其他算法。