作者单位
摘要
天津大学电气自动化与信息工程学院,天津 300072
现如今,短视频事件检测展现出广阔的应用前景。现有的事件检测研究普遍缺乏对关键帧重要性程度的考虑,且多是针对事件的显性语义进行学习,忽略了潜在语义及其相关性的学习在短视频事件检测中的作用。针对上述问题,提出了一种基于深度动态语义关联的短视频事件检测方法。首先,设计了帧重要性评估模块来获得具有区分度的帧重要性分数,其内嵌的变分自编码器和生成对抗网络联合结构可以最大程度地强化帧重要性信息;其次,设计了帧间自注意力增强模块,进一步协同帧间的重要性分数与其特征内在关联性的学习;最后,设计了动态图卷积下的隐藏属性关联学习模块来学习复杂事件的隐藏属性及事件之间的关联性,最终获得具有潜在语义信息感知的短视频检测系统并将其用于最终的短视频事件检测。在公开数据集和新构建数据集上进行了实验,实验结果表明了所提方法的有效性。
短视频 语义关联 特征表示 图卷积 
激光与光电子学进展
2024, 61(4): 0437002

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!