基于层次结构的视频摘要

作     者：张玉培 

作者单位：安徽大学 

学位级别：硕士

导师姓名：罗斌;孔敏

授予年度：2012年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：视频摘要 动态滑动窗口 交互力度 动态区域互信息 

摘      要：随着多媒体信息技术的发展,各种技术产物应运而生,其中比较引人注目的就是各种各样数字视频的出现。但是如何在这视频的海洋中找到符合我们要求的视频,并且能够满足一定的时效性和准确性仍然是个难题。视频摘要由此而生,它的出现无疑为这些问题提供了一条很好的解决途径。视频摘要,就是对视频结构以及视频内容进行自动或者半自动分析,结合分析结果提炼出视频中重要的部分,对它们进行某种方式的排列和整合最终形成能够较全面表达所分析视频内容的概要形式。视频的类型可以是新闻视频、访谈节目视频、娱乐节目视频、电视剧、电影等多种形式,而生成的视频摘要的形式也是多种多样的,有静态视频摘要(关键帧集合),动态缩略视频(含有声音、音乐、图像等的短小视频),也有形式各异的视频海报等。 本文主要研究静态视频摘要,在研究过程中,通过对不同类型的视频(例如普通视频,新闻视频,访谈节目等),从底层特征、视频中的内容到交互力度及变化强度这些角度分析并生成涵盖内容丰富且能表达一定语义的静态视频摘要。研究的关键技术是适合视频摘要的视频特征提取。 针对普通视频的视频摘要,从视频的底层特征出发,在HSV空间进行有效的镜头的分割,并对镜头进行有效的分类并合成,并采用动态滑动窗口方法来去除冗余帧,生成能够很好表达原视频内容的视频摘要,不仅冗余少,而且无需人工干预。 对于新闻节目视频,主要是从视频内容角度出发,包括主持人检测、标题字幕检测,主持人衣服颜色的匹配,并借助其本身特有的从图像帧,到镜头,到故事单元,最后构成整个新闻视频的层次结构,以镜头为单位进行分析,减少了对所有图像帧进行分析的复杂度,能够较完整的划分每个故事单元。最后生成的新闻视频摘要能较好的表达新闻视频的内容。 对于访谈节目的视频,通过研究主颜色的时序特点,提出了访谈节目中的交互力度这一语义。而对镜头内的相似性分析时,利用动态区域内互信息的变化提出了在一段时间内变化强度的概念,结合交互力度和动态区域内的互信息,生成的视频摘要能够表达交互力度和一段时间内变化强度这两种语义。为了能够自适应的抽取镜头内的抽样帧,采用的抽取策略是镜头内全局变化相似性最小原则,生成的视频摘要能够达到较为令人满意的结果。 本文在最后对视频摘要技术的研究进行了分析和总结,针对存在的问题及相关技术可能的改进进行了说明。