自动检测毫米波图像中被检人员是否携带隐藏物, 是实现智能毫米波安检系统的重要技术之一。针对隐藏物在毫米波图像中的特征局部性和低辨识性问题, 提出一种动态自注意力的双线性卷积神经网络, 能够仅以图像级标签训练, 实现图像中隐藏物的存在检测。引入自注意力机制以引导网络对隐藏物区域进行特征提取, 增强网络刻画全局信息的能力; 双线性池化构建的二阶特征丰富了网络对隐藏物与非检测区域的细微差异表征。实验结果验证了所提出方法对隐藏物检测的有效性, 在各项评价指标上均高于其他基于卷积神经网络的方法, 准确率达到93.6%。

针对 3D-CNN能够较好地提取视频中时空特征但对计算量和内存要求很高的问题, 本文设计了高效 3D卷积块替换原来计算量大的 3×3×3卷积层, 进而提出了一种融合 3D卷积块的密集残差网络 (3D-EDRNs)用于人体行为识别。高效 3D卷积块由获取视频空间特征的 1×3×3卷积层和获取视频时间特征的 3×1×1卷积层组合而成。将高效 3D卷积块组合在密集残差网络的多个位置中, 不但利用了残差块易于优化和密集连接网络特征复用等优点, 而且能够缩短训练时间, 提高网络的时空特征提取效率和性能。在经典数据集 UCF101、HMDB51和动态多视角复杂 3D人体行为数据库(DMV action3D)上验证了结合 3D卷积块的 3D-EDRNs能够显著降低模型复杂度, 有效提高网络的分类性能, 同时具有计算资源需求少、参数量小和训练时间短等优点。

在线多目标跟踪是实时视频序列分析的重要前提。针对在线多目标跟踪中目标检测可靠性低、跟踪丢失较多、轨迹不平滑等问题，提出了基于R-FCN 网络框架的多候选关联的在线多目标跟踪模型。首先，通过基于R-FCN 网络从KF 预测结果和检测结果中获取更可靠的候选框，然后利用Siamese 网络进行基于外观特征的相似性度量，实现候选与轨迹之间的数据关联，最后通过RANSAC 算法优化跟踪轨迹。在人流密集和目标被部分遮挡的复杂场景中，提出的算法具有较高的目标识别和跟踪能力，大幅减少漏检和误检现象，跟踪轨迹更加连续平滑。实验结果表明，在同等条件下，与当前已有的方法对比，本文提出在目标跟踪准确度(MOTA)、丢失轨迹数(ML)和误报次数(FN)等多个性能指标均有较大提升。

为了提高人体动作识别的准确率和实时性, 提出了一种基于关键帧的人体行为识别新方法。用Kinect提取人体骨架信息(各关节点的3D坐标), 将中心点(人体基准参考点)分别与其他各关节点作结构向量, 根据空间不变性选取中心向量, 计算各个结构向量和中心向量之间的夹角,并将夹角的角速度作为一种新的姿态描述特征, 利用AP (Affinity Propagation)聚类算法提取关键帧, 利用SVM将得到的关键帧进行动作序列的分类。在Cornell Activity Dataset-60 (CAD-60)数据库实验结果表明, 新方法具有良好的识别能力。