作者单位
摘要
天津大学电气自动化与信息工程学院,天津 300072
现如今,短视频事件检测展现出广阔的应用前景。现有的事件检测研究普遍缺乏对关键帧重要性程度的考虑,且多是针对事件的显性语义进行学习,忽略了潜在语义及其相关性的学习在短视频事件检测中的作用。针对上述问题,提出了一种基于深度动态语义关联的短视频事件检测方法。首先,设计了帧重要性评估模块来获得具有区分度的帧重要性分数,其内嵌的变分自编码器和生成对抗网络联合结构可以最大程度地强化帧重要性信息;其次,设计了帧间自注意力增强模块,进一步协同帧间的重要性分数与其特征内在关联性的学习;最后,设计了动态图卷积下的隐藏属性关联学习模块来学习复杂事件的隐藏属性及事件之间的关联性,最终获得具有潜在语义信息感知的短视频检测系统并将其用于最终的短视频事件检测。在公开数据集和新构建数据集上进行了实验,实验结果表明了所提方法的有效性。
短视频 语义关联 特征表示 图卷积 
激光与光电子学进展
2024, 61(4): 0437002
作者单位
摘要
合肥工业大学计算机与信息学院,安徽 合肥 230009
卷积神经网络在单标签图像分类中表现出了良好的性能,但是,如何将其更好地应用到多标签图像分类仍然是一项重要的挑战。本文提出一种基于卷积神经网络并融合注意力机制和语义关联性的多标签图像分类方法。首先,利用卷积神经网络来提取特征;其次,利用注意力机制将数据集中的每个标签类别和输出特征图中的每个通道进行对应;最后,利用监督学习的方式学习通道之间的关联性,也就是学习标签之间的关联性。实验结果表明,本文方法可以有效地学习标签之间语义关联性,并提升多标签图像分类效果。
多标签图像分类 卷积神经网络 注意力机制 语义关联 multi-label classification convolution neural network attention mechanism semantic dependencies 
光电工程
2019, 46(9): 180468

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!