基于垂直搜索引擎的舆情预警分析平台

作     者：岳宗林 

作者单位：济南大学 

学位级别：硕士

导师姓名：刘鹍

授予年度：2017年

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：网络爬虫 全文检索引擎 垂直搜索 话题识别 

摘      要：随着网络信息化以及手机移动端的飞速发展,互联网已逐渐代替传统媒体成为人们获取信息和共享信息的主要方式,以网络新闻为代表的网络舆情成为社会舆情的重要的组成部分。互联网的开放性、匿名性使得人们能够自由的发表言论,但其中一些片面的观点、不负责任的言论也会通过互联网快速传播,很容易引发舆情事件造成不良影响。目前,很多中小型的企业公司和地方政府单位的舆情监控工作还处在起步阶段,主要依靠人工进行舆情监控。因此迫切需求一种可靠高效的网络舆情监控工具,辅助完成舆情监控工作。目前存在的一些舆情监控系统,但对中小型企业公司来说,存在成本过高、适用性差等问题。针对以上情况,本文将使用爬虫技术和搜索引擎构建一个适用于多数中小型企业公司、地方政府需要的的舆情预警分析平台。本文对舆情预警分析平台进行了详细的需求分析,对其中的关键问题提供了解决办法,并给出了具体的设计方案和实现过程。本文首先针对不同舆情信息来源网站的不同结构设计不同的抓取策略,设计通用的网络爬虫完成数据采集网络舆情信息。在研究了当前主要的几种中文分词算法的基础上结合实际测试选用合适的分词算法,并为舆情信息在搜索引擎中的存储设计了合理的映射结构,将舆情信息或检索内容进行分词后,使用全文检索引擎完成舆情信息索引和搜索;最后通过运用行业领域的概念,设计了一种垂直搜索方法,并完成网络舆情管理系统的开发,实现了通用舆情监控功能和专题监控功能,适用于多数中小企业、政府单位对舆情监控的需求。本平台的爬虫任务和舆情预警规则、专题监控规则使用网络舆情管理系统进行统一管理,可以方便的根据用户需求进行调整,同时本平台的爬虫部分、搜索引擎、管理系统等三个部分互相独立,可以轻松的在本平台的基础上完成扩展。