基于运营商大数据和深度学习的OTT终端识别技术的研究与实现

作     者：邰仕强 

作者单位：南京邮电大学 

学位级别：硕士

导师姓名：王攀

授予年度：2019年

学科分类：12[管理学] 0202[经济学-应用经济学] 02[经济学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 020205[经济学-产业经济学] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：OTT终端 DPI技术 大数据 分布式爬虫 CNN算法 

摘      要：随着家庭互联网的快速发展,电视服务进入了以互联网为载体的多终端多渠道的大视频消费升级周期。随着技术的不断创新,OTT智能终端已经成为家庭互联网的重要载体和流量入口,其具有很大的营销价值。运营商作为基础宽带的提供者,具有独特的家庭用户流量优势,通过终端维度对家庭互联网流量数据进行深入的分析挖掘和研究,洞悉家庭用户的行为偏好,掌握家庭互联网中用户的上网行为、流量特征,为优化、合理配置网络资源以及优化用户的上网体验等方面提供支持,从而调整自身视频业务的服务方式和内容。据此,本文提出了一种基于运营商大数据和深度学习的OTT终端识别方法。该方法解决了传统的终端识别方法中存在识别率低、效率低、出错率高的问题。针对此方法,本文的主要贡献和创新如下:1、本文结合DPI、正则匹配技术、分布式爬虫技术、Hadoop技术等来识别终端。利用DPI技术对数据包进行深度解析;利用高速正则匹配算法获取UA字符串;通过编写Hive中的自定义函数UDF来解析UA,得到终端型号;通过Trie字典树结构编写终端匹配程序来匹配终端型号与终端名称。实验结果表明,该方法可以更加快速和准确地识别终端,终端识别的准确率可以达到90%以上,相比传统方法有了很大的提升。2、利用分布式爬虫的相关技术获取电商网站上各终端型号的详细信息,将抓取到的详细信息进行存储,从而建立终端库,并对终端库的信息进行不断地更新和维护,以提高终端匹配的成功率。3、终端库信息一直在变化,人工更新终端库信息费时费力且容易出错,本文研究和分析CNN算法在分词识别方面的表现,提出一种利用深度学习对终端库进行自动更新的方法。