检索结果-南通市图书馆

检索条件"主题词=高亮片段检测"

共 1 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

基于多模态语义理解的视频摘要研究

基于多模态语义理解的视频摘要研究

引用

作者：胡林康中国科学技术大学

学位级别：硕士

如今在线视频已经成为人们获取信息的最重要媒介之一。在各种在线视频网站和社交平台上,海量的视频数据在源源不断地产生,这些视频内容中包括了很多互联网用户所感兴趣的信息,但也有大量冗余的、用户不感兴趣的信息。为了从这些海量的... 详细信息

如今在线视频已经成为人们获取信息的最重要媒介之一。在各种在线视频网站和社交平台上,海量的视频数据在源源不断地产生,这些视频内容中包括了很多互联网用户所感兴趣的信息,但也有大量冗余的、用户不感兴趣的信息。为了从这些海量的视频数据中更高效地获取信息,人们希望计算机能够自动筛选并处理视频内容;而这就需要使计算机能够理解视频的内容,因此诸如目标追踪、动作识别、视频分类、视频描述和视频摘要等视频理解相关课题也随之产生。其中,视频摘要主要研究如何挑选少量的视频片段来反映视频中最重要的内容,这对于改善用户的视频观看体验以及辅助其他视频理解任务都具有重要价值。本文将聚焦于两个具体应用场景下的视频摘要问题:视频高亮片段检测与个性化视频摘要。视频高亮片段检测是指从视频中找出最重要的、能表现最有价值内容的片段;而个性化视频摘则要求根据用户所给出的查询条件从视频中抽取相关联的片段,且抽取出的少量片段应当对完整视频的内容有概括作用。虽然视频是图像、声音与文字等多模态信息的载体,但这两个问题上的现有研究在理解视频中的多模态语义方面存在明显不足:在高亮片段检测问题上,现有方法大多依赖于视频中的图像信息,而忽视了视频中的声音信息,尤其是声音中所蕴含的、对于判断视频片段价值具有重要作用的情感信息;而对于个性化视频摘要问题,需要从文本形式的查询条件与图像形式的视频内容中,建模多模态信息之间的复杂相关关系,但现有方法均未能全面地构建这些联系。因此,针对于现有研究在上述两个问题中的不足之处,本文以更为全面且合理的方式挖掘了视频中的多模态语义信息,包括充分利用声音以及声音中的情感信息来参与判断视频片段的重要性,以及通过构建全面的多重相关关系来为用户的不同查询条件生成个性化的视频摘要。首先,本文提出了一种基于声音情感线索的视频高亮片段检测框架,该框架利用多阶段的多模态融合机制组合了来自图像和声音模态的多种特征,并且利用声音以及声音情感信息来更有效地检测出视频中的高亮片段。其次,本文提出了一种基于多重相关性建模的个性化视频摘要框架,该框架使用了一种简明而全面的相关关系建模方法,可以更有效地挖掘查询条件与视频中多模态内容间的复杂联系,从而生成更准确的个性化视频摘要。最后,针对上述两个框架,本文在多个真实数据集上进行了实验验证,实验证明了本文所提出的基于声音情感线索的方法以及多重相关性建模方法分别在两个问题上的有效性,同时也展现了两个框架相比于现有方法的性能优势。

关键词：深度学习视频摘要高亮片段检测多模态语义

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

全选清除本页清除全部题录导出标记到“检索档案”

共1页 << < 1 > >>

回到顶部

执行限定条件

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：