作者单位
摘要
天津大学电气自动化与信息工程学院,天津 300072
现如今,短视频事件检测展现出广阔的应用前景。现有的事件检测研究普遍缺乏对关键帧重要性程度的考虑,且多是针对事件的显性语义进行学习,忽略了潜在语义及其相关性的学习在短视频事件检测中的作用。针对上述问题,提出了一种基于深度动态语义关联的短视频事件检测方法。首先,设计了帧重要性评估模块来获得具有区分度的帧重要性分数,其内嵌的变分自编码器和生成对抗网络联合结构可以最大程度地强化帧重要性信息;其次,设计了帧间自注意力增强模块,进一步协同帧间的重要性分数与其特征内在关联性的学习;最后,设计了动态图卷积下的隐藏属性关联学习模块来学习复杂事件的隐藏属性及事件之间的关联性,最终获得具有潜在语义信息感知的短视频检测系统并将其用于最终的短视频事件检测。在公开数据集和新构建数据集上进行了实验,实验结果表明了所提方法的有效性。
短视频 语义关联 特征表示 图卷积 
激光与光电子学进展
2024, 61(4): 0437002
作者单位
摘要
1 天津大学电气自动化与信息工程学院,天津 300072
2 天津大学微电子学院,天津 300072
针对短视频流行度预测问题,提出了一种基于双向深度编码网络的短视频流行度预测模型,该模型同时考虑多模态融合和单模态监督的建模并将其整合为一个双向深度编码网络。多模态融合模块利用模态关联性解决原始特征之间的数据缺失和维度差异等问题,以获取更全面的特征表示。单模态监督模块利用模态差异性监督多模态特征融合。通过联合训练多模态融合和单模态监督任务,充分学习多模态信息的一致性和差异性以提高算法的泛化能力。在公开NUS数据集上的实验表明所提模型的有效性和优越性。
成像系统 短视频 模态关联性 特征表示 多模态融合 流行度预测 
激光与光电子学进展
2022, 59(8): 0811009
作者单位
摘要
1 天津大学电气自动化与信息工程学院, 天津 300072
2 北京智芯微电子科技有限公司, 北京 102200
提出一种基于多视角低秩表征的短视频多标签分类模型。该模型将低秩表征和多标签学习结合到同一框架中,利用不同类型特征的一致性学习本征稳定的低秩表示。同时为了获得标签相关性的潜在表示,构建了标签相关性学习项来自适应地捕获标签的相关性矩阵。此外,模型利用监督信息进一步提高了其表征能力。大量的实验结果证实了所提方法的优越性。
图像处理 低秩表征 多标签学习 多视角学习 短视频 
激光与光电子学进展
2020, 57(22): 221012

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!