现如今，短视频事件检测展现出广阔的应用前景。现有的事件检测研究普遍缺乏对关键帧重要性程度的考虑，且多是针对事件的显性语义进行学习，忽略了潜在语义及其相关性的学习在短视频事件检测中的作用。针对上述问题，提出了一种基于深度动态语义关联的短视频事件检测方法。首先，设计了帧重要性评估模块来获得具有区分度的帧重要性分数，其内嵌的变分自编码器和生成对抗网络联合结构可以最大程度地强化帧重要性信息；其次，设计了帧间自注意力增强模块，进一步协同帧间的重要性分数与其特征内在关联性的学习；最后，设计了动态图卷积下的隐藏属性关联学习模块来学习复杂事件的隐藏属性及事件之间的关联性，最终获得具有潜在语义信息感知的短视频检测系统并将其用于最终的短视频事件检测。在公开数据集和新构建数据集上进行了实验，实验结果表明了所提方法的有效性。

针对短视频流行度预测问题，提出了一种基于双向深度编码网络的短视频流行度预测模型，该模型同时考虑多模态融合和单模态监督的建模并将其整合为一个双向深度编码网络。多模态融合模块利用模态关联性解决原始特征之间的数据缺失和维度差异等问题，以获取更全面的特征表示。单模态监督模块利用模态差异性监督多模态特征融合。通过联合训练多模态融合和单模态监督任务，充分学习多模态信息的一致性和差异性以提高算法的泛化能力。在公开NUS数据集上的实验表明所提模型的有效性和优越性。

现有的解码算法在识别具有复杂3D失真(比如柱面失真)的快速响应(QR)码时会遇到困难,导致数据无法被提取。为此,提出了一种低成本而高效的3D柱面失真QR码的修复算法。所提算法包括三个阶段:首先,通过逆向透视变换还原出3D真实世界的柱面失真QR码;然后,失真的QR码被展开成平面;最后,使用与第一阶段超参数相同的透视变换获得修复QR码。实验结果表明,所提算法可以处理不同柱面失真的QR码,并且仅使用少量的相机内部参数即可工作。

立体区域卷积神经网络(Stereo R-CNN)算法具有准确、高效的特点,在一定场景下的检测性能较好,但对于远景目标的检测仍有一定的提升空间。为了提升双目视觉算法的车辆检测精度,提出一种改进的Stereo R-CNN算法。该算法将确定性网络(DetNet)作为骨干网络,以增强网络对远景目标的检测;针对左右目视图的潜在关键点,建立了左右视图关键点一致性损失函数,以提高选取潜在关键点的位置精度,进而提高车辆的检测准确性。在KITTI数据集上的实验结果表明,本算法的性能优于Stereo R-CNN,在二维、三维检测任务上的平均精度提升了1%~3%。

提出一种基于多视角低秩表征的短视频多标签分类模型。该模型将低秩表征和多标签学习结合到同一框架中,利用不同类型特征的一致性学习本征稳定的低秩表示。同时为了获得标签相关性的潜在表示,构建了标签相关性学习项来自适应地捕获标签的相关性矩阵。此外,模型利用监督信息进一步提高了其表征能力。大量的实验结果证实了所提方法的优越性。

直接使用原始微表情序列对微表情进行识别的效果一般,且已有的算法往往利用单一的特征图而没有对多种特征图进行融合来识别微表情。针对这些问题,提出一种新的微表情识别算法,该算法对多种运动特征图进行特征提取之后再进行融合,以获得更准确的识别结果。所提算法利用卷积神经网络(CNN)和长短期记忆(LSTM)网络结合的深度学习框架。在CASMEII微表情数据库上对不同算法进行测试。实验结果表明,与其他识别算法相比,所提算法取得了更加优良的效果。

在岗检测是现代安防领域中视频分析的一个重要研究方向，应用领域非常广泛。本文设计并实现了一种嵌入式人员在岗检测系统，为了提高此嵌入式系统的运行速度，提出了改进的人脸特征点检测方法；并且为了提高系统的检测准确率，建立了一个近红外人脸样本库。该系统通过近红外摄像头采集实时图像，然后进行人脸特征点检测，获取被检测人的面部信息。根据违规行为判断准则，判断当前是否出现违规动作并且发出警报。实验结果表明：在规定条件下，系统的人脸特征点检测准确率达到了 95%，针对两种异常情况的检测准确率也都超过了 94%，具有良好的实时性能。

提出一种基于最大间隔原理的半监督图像搜索重排序学习算法。所提算法在最大间隔原理框架下,首先利用超图正则化保持标注及未标注样本在原始空间中的局部近邻关系,增强算法的稳健性;其次,利用少量的标注样本构造优先关系对,将样本间先验的相关性等级信息引入目标函数中以更好地指导重排序模型的学习。在公开数据集MSRA-MM 1.0上的实验结果表明所提方法能更好地将符合用户需求的结果靠前优先呈现给用户,提高搜索的准确性。

移动设备的快速普及,催生了一系列新的信息获取方式,其中,最具代表性的是已广泛应用于移动支付领域的二维码技术,它实现了二维码屏幕显示到相机拍照识别获取的新型通信。基于这种新的通信方式,引入信息隐藏技术构建不可见的二维码信息,使用户在获取信息的同时,减少由于引入可见二维码而带来的对载体信息感观的不良影响。该算法针对数字视频资源,利用频率约束方法将特定信息嵌入到载体之中,通过相机或手机在视频屏幕播放时进行拍摄,获取视频信息后提取隐藏信息,实现特定信息的有效传递。同时,算法引入能量统计模型和纠错机制,以保证提取信息的准确性。大量实验测试显示,该算法能够在1~2 m距离下获得较高的信息提取准确率。

图像记忆性预测包含两个核心问题：特征表征与预测模型。当前对图像记忆性预测的研究多聚焦于探索对其有影响的视觉因素，预测过程采用特征处理与预测相分离的方式，这使预测性能很大程度上受前期特征处理的制约，如果整个预测过程缺少整体性的学习机理，可能会产生次优的预测结果。为解决上述问题，提出了一种基于低秩表征学习的图像记忆性预测模型，将低秩表征学习和线性回归整合到一个框架下。低秩表征学习将原始的特征矩阵映射到具有低秩约束的潜在子空间中，以学习到本征稳健的特征表征；线性回归学习了一个回归系数从而建立图像特征表征和记忆性分数之间的联系。基于增广拉格朗日乘子法求解以保证模型的收敛性，大量实验结果表明本文方法的优越性。