检索结果-南通市图书馆

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的企业推荐技术的研究与实现

基于深度学习的企业推荐技术的研究与实现

作者：张云龙电子科技大学

学位级别：硕士

推荐系统,是一种能够从海量的信息中,依据使用者的历史信息或者使用者的自身特征,向使用者提供符合其自身需求或者使用者所喜欢的信息或者物品。它能够依据使用企业的历史业务记录或者企业自身的特点,从海量的信息中筛选出使用企业可用... 详细信息

推荐系统,是一种能够从海量的信息中,依据使用者的历史信息或者使用者的自身特征,向使用者提供符合其自身需求或者使用者所喜欢的信息或者物品。它能够依据使用企业的历史业务记录或者企业自身的特点,从海量的信息中筛选出使用企业可用于业务进行的有用信息,从而节省时间与人力成本,推动传统企业向信息化转型。基于这个切实的需求,本文设计并且实现一个基于深度学习的企业推荐系统,该系统由分布式数据采集系统,基于深度神经网络的企业分类算法与基于内容的企业推荐算法组成。在分布式数据收集方面,本文采用Python下的Scrapy框架,根据Redis内存数据库的特点,采用Mysql数据库作为数据的持久化存储,完成了Scrapy-Redis分布式爬虫系统。针对基于深度学习的企业分类算法,因为从网络中抓取的原始数据不包含企业的类别信息,企业的类别信息这一属性在推荐中至关重要。在这部分本文在有限的数据集下情况下,完成了三种神经网络,前馈神经网络、卷积神经网络以及Ngram神经网络。这三种神经网络在验证集上的准确率分别为86.28%、86.16%和86.16%。在实现企业分类的工作中采用了前馈神经网络。针对基于内容的企业的推荐算法,本文从企业业务实际出发,制定了企业相似度计算方法。分别指定了企业属性的描述方法,定义了三种不同字段的计算方法。即列表类字段、文本类字段以及数字类型字段。对于最重要的文本类字段的计算方法本文实现了LSI模型与Word Embedding方法,并将最后的计算结果与Baidu AI进行对比。其中LSI模型、Word Embedding模型与Baidu AI的两两皮尔森相似度为0.3979、0.1984与0.6451。最后依据企业业务选择LSI模型进行文本类字段分类。在最后在推荐企业结果上,根据最后企业的反馈,根据推荐系统进行业务与不根据进行业务相对比业务成功率提升约7.5%。

关键词：推荐系统分布式爬虫文本分类基于内容推荐深度学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

中英文政策垂直搜索引擎研究与实现

中英文政策垂直搜索引擎研究与实现

作者：王丽鹏河北经贸大学

学位级别：硕士

随着人类社会迈入信息时代,网络已经渗透到大众生活的方方面面,在人们生活中发挥着越来越重要的作用。然而,要在数据量急剧增长的网络上获取自己所需要的精确信息,却变得愈加困难。面对规模庞大而又飞速增长的网络空间,人工浏览显然已... 详细信息

随着人类社会迈入信息时代,网络已经渗透到大众生活的方方面面,在人们生活中发挥着越来越重要的作用。然而,要在数据量急剧增长的网络上获取自己所需要的精确信息,却变得愈加困难。面对规模庞大而又飞速增长的网络空间,人工浏览显然已无法满足人们对信息和知识的渴求,搜索引擎便成为人们从网络获取有用数据的重要途径,在人们日常生活和工作中发挥着越来越重要的作用。垂直搜索引擎即是针对某一特定行业领域的专业搜索工具,可向用户提供准确、及时、完整的行业领域信息。通过与外省政策对比研究,定位我省科技创新活动中存在的问题,挖掘并筛选出我省科技创新政策需求信息,即筛选出“人有我无”的政策法规或者同质政策的不同内容,为我省科技创新政策法规制定过程中的问题界定和方案设计择优环节提供借鉴参考。本文基于已开发完成的政策信息垂直搜索引擎,继而新增了“人有我无”搜索、政策舆情搜索、英文政策检索三大功能模块。本文首先介绍了实现中英文搜索引擎的理论基础和主要技术,然后介绍在“人有我无”搜索模块中两个文本分类的相关算法的应用和改进。改进的两个算法分别是:1)基于词共现的政策文本关键词抽取算法:本文结合政策文本成文规律对基于词共现关键词抽取算法中计算共现词关键度的两个重要系数α、β进行了动态计算的调整,使关键词的抽取更加符合文章大意,降低了在政策文本关键词抽取中漏取低频的关键词概率;2)在文本分类算法研究中改进了基于特征词加权的计算关键词相似度阈值的方法:本文结合政策文本特征词的权值分布规律对相似度阈值进行动态计算,使文本分类中特政词的相似度更加符合实际情况。对改进后算法与传统算法进行了比较实验,实验结果表明改进后的算法性能优于传统算法。最后介绍系统的整体设计和各个模块的设计与实现,并对所有模块进行了功能测试测试结果显示各模块功能实现良好,能都达到使用要求。

关键词：反爬虫分布式爬虫关键词提取文本分类英文检索在线翻译

基于Scrapy-redis和GMM的搜索系统设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Scrapy-redis和GMM的搜索系统设计与实现

作者：步相庆西南交通大学

学位级别：硕士

互联网时代的快速发展,带来的既是机遇也是挑战。网络数据日益膨胀,海量信息不断聚集,有价值信息的获取变得不再简单。目前信息检索仍然是一个热门话题。搜索系统其实质可视为一个信息检索系统,其中网络爬虫作为搜索系统的重要成员,其... 详细信息

互联网时代的快速发展,带来的既是机遇也是挑战。网络数据日益膨胀,海量信息不断聚集,有价值信息的获取变得不再简单。目前信息检索仍然是一个热门话题。搜索系统其实质可视为一个信息检索系统,其中网络爬虫作为搜索系统的重要成员,其主要工作是将网页数据从互联网上爬取下来并进行存储。但这种爬虫方式单一、低效,不能满足人们对数据的日益需求,所以分布式爬虫逐渐成为研究的热点。与此同时,在大数据时代下,将数据挖掘分析与搜索系统结合起来,可以高效的检索出有价值的信息,无论对个人还是信息提供者来说都是非常具有研究意义的。本文首先通过研究分布式爬虫技术,选择操作简单、方便协调的主从式爬虫结构以及便于多爬虫协作爬取的广度优先遍历爬虫策略;并对布隆过滤器算法(Bloom Filter)进行性能分析以及对比不同改进型Bloom Filter,提出一种适用于本文分布式爬虫去重模块中的基于i-DBF的多维K分映射改进型Bloom Filter,并将优化后的算法集成到爬虫框架Scrapy-redis调度器模块的去重功能中,以降低在数据爬取时占用的内存空间;其次本文以爬取下来的网购平台店铺信息数据为例,从网购平台的角度对各个店铺提供的信息数据进行挖掘分析,这里数据源为蘑菇街女装店铺信息。站在信息提供者角度,确定将店铺进行分类的挖掘目标,建立店铺价值评估模型;同时根据对聚类算法高斯混合模型的分析,使用EM算法对其参数进行估计,针对EM算法收敛速度慢以及初值敏感的问题进行研究以及对比实验,确定使用IAFSA-Kmeans-EM算法进行参数估计,使其在收敛速度以及全局搜索上得到优化。本文将数据挖掘分析与搜索系统结合起来,将最终聚类分析结果应用于搜索结果排序功能上,为用户进一步搜索提供参考依据。最后通过采集下来的数据完成基于Elastic Search的搜索功能的实现。通过数据的爬取实验,验证了分布式爬虫在效率上明显高于单机爬虫,同时将数据挖掘分析与搜索系统相结合可以检索出更有价值的信息。

关键词：搜索系统分布式爬虫 BloomFilter GMM IAFSA-Kmeans-EM

基于运营商大数据和深度学习的OTT终端识别技术的研究与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于运营商大数据和深度学习的OTT终端识别技术的研究与实现

作者：邰仕强南京邮电大学

学位级别：硕士

随着家庭互联网的快速发展,电视服务进入了以互联网为载体的多终端多渠道的大视频消费升级周期。随着技术的不断创新,OTT智能终端已经成为家庭互联网的重要载体和流量入口,其具有很大的营销价值。运营商作为基础宽带的提供者,具有独特... 详细信息

随着家庭互联网的快速发展,电视服务进入了以互联网为载体的多终端多渠道的大视频消费升级周期。随着技术的不断创新,OTT智能终端已经成为家庭互联网的重要载体和流量入口,其具有很大的营销价值。运营商作为基础宽带的提供者,具有独特的家庭用户流量优势,通过终端维度对家庭互联网流量数据进行深入的分析挖掘和研究,洞悉家庭用户的行为偏好,掌握家庭互联网中用户的上网行为、流量特征,为优化、合理配置网络资源以及优化用户的上网体验等方面提供支持,从而调整自身视频业务的服务方式和内容。据此,本文提出了一种基于运营商大数据和深度学习的OTT终端识别方法。该方法解决了传统的终端识别方法中存在识别率低、效率低、出错率高的问题。针对此方法,本文的主要贡献和创新如下:1、本文结合DPI、正则匹配技术、分布式爬虫技术、Hadoop技术等来识别终端。利用DPI技术对数据包进行深度解析;利用高速正则匹配算法获取UA字符串;通过编写Hive中的自定义函数UDF来解析UA,得到终端型号;通过Trie字典树结构编写终端匹配程序来匹配终端型号与终端名称。实验结果表明,该方法可以更加快速和准确地识别终端,终端识别的准确率可以达到90%以上,相比传统方法有了很大的提升。2、利用分布式爬虫的相关技术获取电商网站上各终端型号的详细信息,将抓取到的详细信息进行存储,从而建立终端库,并对终端库的信息进行不断地更新和维护,以提高终端匹配的成功率。3、终端库信息一直在变化,人工更新终端库信息费时费力且容易出错,本文研究和分析CNN算法在分词识别方面的表现,提出一种利用深度学习对终端库进行自动更新的方法。

关键词： OTT终端 DPI技术大数据分布式爬虫 CNN算法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于互联网医疗大数据的分析平台设计与开发

基于互联网医疗大数据的分析平台设计与开发

作者：靳继伟浙江工业大学

学位级别：硕士

随着互联网技术的发展,互联网技术在医疗行业的应用日益广泛。然而,国内医疗行业一直都面临着医疗资源紧缺、办事效率低以及民众看病难等问题,随着人口老龄化现象的加重,医疗业迫切需要解决的问题是如何在可行性、科学性建议的指导下提... 详细信息

随着互联网技术的发展,互联网技术在医疗行业的应用日益广泛。然而,国内医疗行业一直都面临着医疗资源紧缺、办事效率低以及民众看病难等问题,随着人口老龄化现象的加重,医疗业迫切需要解决的问题是如何在可行性、科学性建议的指导下提高医疗领域的效能,现有医疗行业应用互联网技术也主要集中在这些问题上面。基于这些前提,论文基于医疗互联网大数据,利用可视化、数据挖掘等技术,完成了基于互联网医疗大数据的分析平台的开发与设计,实现了医院重要程度相关指标分析、地域性专家医生推荐、地域性重点医院排序等功能。论文主要内容如下:(1)在查阅大量文献的基础上,综述课题的研究背景以及国内外相关研究现状,详细介绍了基于互联网医疗大数据的分析平台的分布式爬虫的设计、Http数据传输技术、Vue2前端框架的使用、数据库设计、数据挖掘方法设计以及Echarts可视化技术的应用等内容。(2)在对互联网医疗网站的调研后,综合分析了互联网医疗数据的数据种类以及对应类型数据的特点,结合这些特点本文进行了数据库、数据格式、可视化模型的选择与定义,并最终确定了开发目标和实际功能需求,设计了系统的开发架构、环境以及技术流。(3)进行了平台功能需求分析和平台开发业务分析。根据平台功能需求分析确定了有关数据来源的获取方法和预处理方法以及整体开发流程,结合平台开发业务分析详细介绍了整体开发所需技术栈及实现方法。并且在本文对应模块中,本文从数据的选择、模型的建立、任务处理的过程以及关键问题的处理都做了详细的表述。(4)互联网医疗大数据分析平台是一个由分布式爬虫系统提供数据支持,浏览器端结合Web服务器端组成的B/S架构可视化分析平台。平台基于Scripy框架,利用分布式技术实现了数据稳定、高效地采集;基于Http协议和WebSocket动态交互开发数据传输模块,实现了数据的稳定实时传输;基于Vue2框架和Express框架以及数据挖掘技术,实现了分析平台统计分析功能模块与查询推荐功能模块的正常运行与显示。本平台实现了对互联网医疗数据的分析挖掘,开发了一个集成多接口的分析平台,具有医疗资源分布分析、医院重要程度指标分析、地域性重点医院排序、地域性专家医生推荐查询等功能。

关键词：分布式爬虫医疗大数据可视化 Http协议

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

新兴技术赋能溯源应用

大数据时代 2018年第12期 6-12页

作者：冉叶兰可信区块链推进计划溯源应用项目组

随着互联网金融向纵深发展,区块链技术及其应用成为人们日益关注的热点,开放、可信、去中心化、共享,区块链的这些核心思想被大家广泛认可。现在,区块链技术已经从概念走向了实际应用,越来越多的领域开始在区块链的技术中看到新的机遇,... 详细信息

随着互联网金融向纵深发展,区块链技术及其应用成为人们日益关注的热点,开放、可信、去中心化、共享,区块链的这些核心思想被大家广泛认可。现在,区块链技术已经从概念走向了实际应用,越来越多的领域开始在区块链的技术中看到新的机遇,溯源作为大家近来关注的重点方向,区块链在溯源应用中发挥了重要的价值。本文主要概述溯源,分析溯源的背景、概念和目标,通过介绍新兴技术在溯源领域的应用,探讨区块链与溯源相结合的可行性。

关键词：区块链用户数据溯源系统分布式爬虫数据采集电子发票产业链

在线全文

学校读者我要写书评

暂无评论

家庭WiFi下手机号码特征自动提取方法

电信快报（网络与通信） 2017年第4期 31-36页

作者：金石王攀南京邮电大学物联网学院江苏省南京市210003

提出一种家庭宽带WiFi下手机号码特征自动提取方法。该方法采用DPI(深度包检测)技术、Hyperscan高速字符串匹配、Hadoop分布式架构、分布式爬虫等技术,可以更加快速准确地识别出固网WiFi下用户手机号码特征。通过实验进行论证,手机号码... 详细信息

提出一种家庭宽带WiFi下手机号码特征自动提取方法。该方法采用DPI(深度包检测)技术、Hyperscan高速字符串匹配、Hadoop分布式架构、分布式爬虫等技术,可以更加快速准确地识别出固网WiFi下用户手机号码特征。通过实验进行论证,手机号码特征可以每天定时自动输出,且根据这些手机号码特征提取的手机号准确率可以达到86%以上,相比传统离线人工肉眼识别方法,提取特征的效率有很大的提高。

关键词：业务识别特征关键字自动化提取 DPI(深度包检测) 分布式爬虫大数据分析

在线全文

学校读者我要写书评

暂无评论

对反爬虫网站的应对策略

电脑知识与技术 2017年第5X期13卷 19-21,23页

作者：刘石磊山东农业大学信息科学与工程学院山东泰安271000

随着网络的发展和网络爬虫技术的普及,越来越多的个人用户使用了网络爬虫技术从网站获取信息,而过多的网络爬虫会对目标网站的运营造成一定的影响。某些网站为了防止自己的网站不被除搜索引擎以外的网络爬虫访问,使用了一些反爬虫技术... 详细信息

随着网络的发展和网络爬虫技术的普及,越来越多的个人用户使用了网络爬虫技术从网站获取信息,而过多的网络爬虫会对目标网站的运营造成一定的影响。某些网站为了防止自己的网站不被除搜索引擎以外的网络爬虫访问,使用了一些反爬虫技术。笔者探讨了一些常见的反爬虫措施以及对应用了该类机制的网站的进行爬虫活动的手段和策略。

关键词：网络爬虫反爬虫反反爬虫抓取策略分布式爬虫

一种基于RabbitMQ的论坛舆情爬取方案及实现

在线全文

学校读者我要写书评

暂无评论

网络安全技术与应用 2018年第10期 47-48页

作者：冯扬武汉虹旭信息技术有限责任公司湖北430000

随着互联技术的普及和应用,网民在互联网上进行意见表达的需求日益增多,而各大网络论坛也早已成为资讯传播与意见讨论的公共平台。对于各种社会事件的发酵与舆情传播,网络论坛早已是不可或缺的媒体工其之一。本系统基于对网络论坛舆情... 详细信息

随着互联技术的普及和应用,网民在互联网上进行意见表达的需求日益增多,而各大网络论坛也早已成为资讯传播与意见讨论的公共平台。对于各种社会事件的发酵与舆情传播,网络论坛早已是不可或缺的媒体工其之一。本系统基于对网络论坛舆情监控的需求,基于Rabbit MQ队列管理服务,实现了一种高并发,高鲁棒性的系统后台爬虫方案,有针对性的对舆情信息进行爬取搜集,为后续分析系统提供可靠的第一手数据。

关键词： RabbitMQ 网络舆情分布式爬虫多线程爬虫策略消息确认心跳检测队列管理