基于Hadoop的视频点播关键技术研究

作     者：刘笑 

作者单位：电子科技大学 

学位级别：硕士

导师姓名：周益民

授予年度：2015年

学科分类：0810[工学-信息与通信工程] 08[工学] 081001[工学-通信与信息系统] 

主      题：视频点播 视频上传 视频转码 视频存储 

摘      要：网络媒体依靠其创作容易、传播快捷的特点,已开始逐步取代传统媒体,成为当前信息传播的主要渠道之一。人们迫切需要一种既能便捷地上传视频,又能流畅地按需播放视频的平台。而视频点播系统,特别是在线视频点播系统,恰好能使这一切成为可能。在线视频点播网站具有可扩展性强、跨不同设备平台、无需用户主动升级的优点,这些优点使其成为在线视频点播系统的主要实现方式之一。本文以在线视频点播网站为例,研究了视频点播系统中的各项关键技术。我们围绕其中的视频上传、视频转码和视频存储三大问题,分别介绍了当前主流的实现方案,然后分析这些方案的优缺点,进而对其进行改进,提出新的设计方案。为了更好地获取各方案的工作情况和实际性能数据,本文采用三个独立的模块来分别解决这些问题,采用系统仿真的形式,实现并比较了当前主流方案和本文提出的方案。在视频上传部分,本文提出了多点并行视频上传方案。实验结果证明,该方案通过引入多个并行上传节点的方式,提高了客户端的上行带宽利用率,并能根据网络实际状况,动态调整发送至各上传节点的数据量;通过动态选择合适的数据块大小,在减少额外控制信号传输开销的同时,仍然保留了调整各链路上传负载的灵活性。在视频转码部分,本文通过分析HDFS中数据存储的特性,设计了新的视频转码任务分割策略,并将其应用于分布式视频片段转码方案中。实验结果表明,该策略可以将每个数据块的读请求分布至不同时刻,从而有效减少了HDFS中各数据节点的访问压力。在视频存储部分,本文通过分析转码后视频流的特点,在各数据块中引入填充部分,从而彻底移除对各视频文件中索引信息的依赖,使得我们可以通过简单运算来获取各视频片段的具体存储位置。该方案在多数情况下仅通过读取单个数据块,就能获取指定视频片段数据,而最坏情况下也只需要读取两个数据块。实验结果说明,该方案能很好应对各种转码后视频片段的存储需求,通过选取合适的载荷因子,能有效减少填充的数据量。如果在底层文件系统中启用压缩功能,我们甚至能忽略填充所带来的额外数据量。