工业网站识别与分类系统的研究与实现

作     者：葛尧 

作者单位：辽宁大学 

学位级别：硕士

导师姓名：李晓光

授予年度：2019年

学科分类：08[工学] 081203[工学-计算机应用技术] 0804[工学-仪器科学与技术] 080402[工学-测试计量技术及仪器] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：工业网站 识别与分类 关键资源 特征词扩展 

摘      要：工业互联网是快速发展的互联网信息技术与传统工业生产模式相互融合的产物,工业互联网的出现,改善了传统的工业生产模式,使工业生产方式更具智能化。工业与互联网科技的深度融合给工业产业的发展带来机会的同时也使工业互联网产生了信息安全方面的威胁。工业网站是工业行业与互联网行业相结合的最直接的产物,工业网站的信息安全也是工业互联网信息安全的重要组成部分。工业网站的识别与分类对后续工业网站的信息安全防护工作以及工业互联网信息安全防护工作起到积极的作用。工业网站的识别与分类的研究是网站自动化分类研究下的更具体的行业分类研究。在目前的网站分类研究中很多方法是将网页内容看成研究的文本样本,直接使用文本分类技术研究网站分类。网站的分类区别于其他文本分类研究主要在于网站中包含着大量的链接和文本内容,包含了大量的噪声影响,因此使用网站内的文本需要技术处理优化。工业网站在特点上也有别于其他网站,有些工业网站和其他网站特点一样比如:厂商门户网站等,有一部分工业网站对应的是可登录的工业控制系统比如:数据采集与监控系统网站、分布式控制系统等。工业网站的分类研究既要根据工业行业分类也要根据网站的性质分类。本文在工业网站的识别与分类系统的研究中,根据工业网站的特点和工业行业类别特性主要实现了工业网站数据爬取、工业网站识别、工业网站行业与性质分类、数据存储和展示等系统功能模块。数据爬取模块使用聚爬虫技术,主要功能是获取工业网站数据爬取;识别和分类模块主要实现识别网站是否为工业网站,并根据所属工业行业和网站性质分类;数据存储和展示模块是对分类完成后的网站数据存储和可视化展示。在本系统的的核心模块识别和分类模块中使用了关键资源提取结合分词技术的识别方法,建立工业行业词典库结合基于特征词扩展的短文本分类方法研究,保证了工业网站的识别与分类系统的识别准确性,提高了系统的分类高效性。