检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

一种在线训练的自决策主题爬虫算法

北京航空航天大学学报 2023年

作者：熊观野杨百龙火箭军工程大学作战保障学院

隧道穿越问题是主题爬虫发展过程中无法回避的一个问题，为解决隧道穿越问题，提出一种基于博伊德环的主题爬虫自决策算法(FCIDOL)。算法以博伊德环为基本框架，按照“观察-评估-决策-行动”形成闭环，根据爬虫已完成的工作——记忆，... 详细信息

隧道穿越问题是主题爬虫发展过程中无法回避的一个问题，为解决隧道穿越问题，提出一种基于博伊德环的主题爬虫自决策算法(FCIDOL)。算法以博伊德环为基本框架，按照“观察-评估-决策-行动”形成闭环，根据爬虫已完成的工作——记忆，对观察到的当前状态进行评估，产生激进或保守策略的决策，引导爬虫执行寻找新的主题相关网页团，或专注于短期收益的行动，记忆的作用在于为评估网络提供训练材料，实现对网络的在线训练满足爬虫的冷启动。实验表明，FCIDOL相较于多种主题爬虫算法在不同主题环境下收获率有7.8%以上的提升，发现重复链接次数有15.6%以上的减少。

关键词：主题爬虫隧道穿越自决策在线学习冷启动

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

主题爬虫技术研究综述

计算机应用研究 2020年第4期37卷 961-965,972页

作者：潘晓英陈柳余慧敏赵逸喆肖康泞西安邮电大学计算机学院西安710121 西安邮电大学陕西省网络数据分析与智能处理重点实验室西安710121

随着移动互联网的普及以及网络信息指数的增长,如何有效地提取和利用这些信息面临巨大挑战。介绍了主题爬虫的工作原理、分类;回顾了近年来国内外关于主题爬虫的研究状况,分析了各种主题相似度的方法以及搜索策略,得出相比于普通的爬虫... 详细信息

随着移动互联网的普及以及网络信息指数的增长,如何有效地提取和利用这些信息面临巨大挑战。介绍了主题爬虫的工作原理、分类;回顾了近年来国内外关于主题爬虫的研究状况,分析了各种主题相似度的方法以及搜索策略,得出相比于普通的爬虫系统,基于网页内容和基于链接分析的爬虫系统的查准率、查全率都大幅提升;最后分析比较了主题网络爬虫两种动态搜索策略并指出了未来研究方向。

关键词：网络爬虫主题爬虫相似度网页内容链接分析

在线全文

学校读者我要写书评

暂无评论

主题爬虫搜索策略的设计与实现

主题爬虫搜索策略的设计与实现

作者：田磊北京邮电大学

学位级别：硕士

在互联网迅速发展的大背景下,垂直搜索引擎发挥着越来越重要的作用,其提供了更加专业化的主题爬虫搜索和信息检索服务。主题爬虫是垂直搜索引擎的基础和关键,其搜索策略直接影响检索结果的质量。现有的主题爬虫在搜索覆盖率、效率以及... 详细信息

在互联网迅速发展的大背景下,垂直搜索引擎发挥着越来越重要的作用,其提供了更加专业化的主题爬虫搜索和信息检索服务。主题爬虫是垂直搜索引擎的基础和关键,其搜索策略直接影响检索结果的质量。现有的主题爬虫在搜索覆盖率、效率以及主题判断精确度方面仍然存在可提升的空间。为了提高主题爬虫的整体性能,本文提出了一种主题爬虫搜索策略,主要研究成果如下。互联网蕴藏的信息是随时动态变化的,完全保证主题爬虫获取信息与互联网中信息的同步性比较困难。本文提出了一种更为合理的网页抓取优先级评估模型,从而达到最优的抓取效果。该模型从网页内容主题相关度、链接分析和网页更新频率三个维度衡量网页的重要性,使得重要的网页可以优先进行再次抓取和信息更新,从而尽可能与互联网的动态信息保持同步。为了提高主题爬虫的搜索覆盖率和主题判断的精确度,本文设计了一种更加专业化的主题爬虫搜索策略。该策略增加网页类型判断和正文提取,使得主题爬虫的主题判断更有针对性。同时,增大主题不相关网页的搜索深度,进而提升主题爬虫的搜索覆盖率。另外,通过设置网页抓取间隔和抓取优先级,使得主题爬虫的工作效果更加优秀。添加网页去重和反作弊技术,完善主题爬虫的功能。为了提高主题爬虫的搜索效率和拓展性,本文使用了 Hadoop和HBase的大数据组件来实现主题爬虫搜索策略。

关键词：垂直搜索引擎主题爬虫优先级评估搜索策略

基于网页空间进化算法的暴雨灾害主题爬虫策略

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机工程 2019年第2期45卷 184-190页

作者：刘景发李新蒋盛益南京信息工程大学计算机与软件学院南京210044 广东外语外贸大学信息科学与技术学院广州510006

针对单目标优化算法求解爬虫问题时难以获得最优加权因子和易于陷入局部最优的缺点,将多目标优化算法引入主题爬虫,提出一种基于多目标优化的网页空间进化算法。通过计算测试链接与种子链接库中链接的最短距离,将其与种子链接库中所有... 详细信息

针对单目标优化算法求解爬虫问题时难以获得最优加权因子和易于陷入局部最优的缺点,将多目标优化算法引入主题爬虫,提出一种基于多目标优化的网页空间进化算法。通过计算测试链接与种子链接库中链接的最短距离,将其与种子链接库中所有链接间的平均距离进行比较来更新种子链接库。针对多目标优化中Pareto最优解的选取问题,给出一种最近最远候选解法。实验结果表明,与宽度优先搜索等算法相比,该算法具有较高的爬准率和稳定性。

关键词：多目标优化主题爬虫网页空间进化算法 Pareto最优暴雨灾害

基于主题爬虫的食物营养科普信息监测系统研究

在线全文

学校读者我要写书评

暂无评论

基于主题爬虫的食物营养科普信息监测系统研究

作者：王辉黑龙江八一农垦大学

学位级别：硕士

现阶段,公众对于食品营养缺乏应有重视,营养宣传教育必不可少。近几年政府对于食品营养科普这方面关注也越来越多,而且随着互联网技术的快速发展和广泛应用,食物营养的科普信息在网络媒体上的宣传形式变的很多,但是质量参差不齐。由于... 详细信息

现阶段,公众对于食品营养缺乏应有重视,营养宣传教育必不可少。近几年政府对于食品营养科普这方面关注也越来越多,而且随着互联网技术的快速发展和广泛应用,食物营养的科普信息在网络媒体上的宣传形式变的很多,但是质量参差不齐。由于公众对于此类信息的认知匮乏,导致此类网络舆情也逐渐传播,对社会产生不良影响。因此对于食物营养科普信息的进一步监测管理十分重要,根据食物营养科普信息需要进行监测这一需求,本文设计并实现了基于主题爬虫的食物营养科普信息监测系统,开展食物营养科普信息监测,实现正确引导、科学处置,保障公众的营养健康安全。在对网络舆情分析系统主要技术研究的基础上,针对此类信息的实际需求,本文开展了以下几方面的工作:1.针对食物营养科普信息传播的广泛性以及缺少监管性等特点来进行需求分析,根据功能性和非功能性需求分析的结果,设计出了本系统详细的架构体系。按照层次化来进行构建,主要分为三层,分别为食物营养科普信息数据采集层,核心服务层（包含食物营养数据预处理以及相关算法实现）,功能展示层（展示食物营养科普信息数据分析结果,包括舆情动态,舆情属性等功能）。根据系统架构的设计完成了食物营养科普信息的数据采集,核心服务,功能展示等模块的设计,并完成了相应的食物营养科普信息数据库设计,包括爬取信息表、数据来源信息表等数据库表。2.对于食物营养科普信息监测系统主要功能的实现,需要进行相关技术与算法的研究与实现,主要包括:数据采集技术,文本聚类、文本分类、情感分析等算法。首先需要获取食物营养科普信息领域数据,用主题爬虫来获取,主题爬虫的数据来源是舆情高发的网站,本系统主要是:微博,微信公众号,百度贴吧,而食物营养科普主题的关键词的选取主要是通过营养学词典部分,保健食品功能,贴近于此领域的词汇（如:水果,农业等）来确定。数据获取完毕之后,需要对食物营养科普信息进行预处理包括分词处理,停用词处理等操作,然后进行算法的对比实验,通过精确率,召回率,F1值三大指标来进行衡量算法的优劣。实现话题跟踪与检测功能时,需要使用的是文本聚类和文本分类算法,文本聚类使用的算法有LDA主题模型,K-MEANS,DBSCN,通过指标的比较,DBSCN比较准确;文本分类使用的算法有SVM,KNN,Bayes,通过指标的比较,朴素贝叶斯更加准确。由此看出,把DBSCN与朴素贝叶斯应用到系统中。在实现食物营养科普信息舆情属性功能时,需要进行文本情感分析,使用的算法有LSTM,CNN,RNN,通过指标的比较,CNN较为准确,把CNN算法应用到系统当中。3.根据食物营养科普信息的需求分析,完成了系统的功能模块设计以及适用于本系统的算法选取实验,并以此为基础完成并实现了基于主题爬虫的食物营养科普信息监测系统,实现的主要功能包含:可视化展示、信息管理、系统管理、报表统计等。本系统选择B/S系统架构,前台使用Layui框架构建,后台使用Spring boot框架,以Java、Python作为开发语言,Java实现系统的开发,而系统中的主题爬虫以及算法设计是为Python。MySQL为系统数据库,数据库与网站本体部署在同一台物理服务器上。完成系统开发后需进行系统测试,测试结果显示此系统能够满足设计阶段确定的功能性需求和性能需求,可以进行基本的食物营养科普信息监测与分析。该系统已在农业农村部食物与营养发展研究所得到应用。实践表明,该系统可以满足使用人员对于食物营养科普信息监测与分析需求,能够及时了解食物营养相关科普动态。

关键词：食物营养主题爬虫数据分析舆情监测

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于主题爬虫的股票搜索平台的实现

基于主题爬虫的股票搜索平台的实现

作者：王厚轩华东师范大学

学位级别：硕士

近年来随着居民收入水平的不断提高,人们手中的闲钱逐渐增多、投资意识也在不断地增强。纵观各种投资品类的历史数据,长期来看股票投资的回报率是最高的,选择这一投资方式的人也是最多的,股票相关资讯的数据量在迅速增长,但是面对投资... 详细信息

近年来随着居民收入水平的不断提高,人们手中的闲钱逐渐增多、投资意识也在不断地增强。纵观各种投资品类的历史数据,长期来看股票投资的回报率是最高的,选择这一投资方式的人也是最多的,股票相关资讯的数据量在迅速增长,但是面对投资者搜索需求,财经网站匹配的搜索结果却不能让人满意。在财经网站随意搜索一个股票的信息,得到的结果往往偏离主题严重,大多页面都与主题无关。如何对财经网站的数据进行挖掘整理,进而为投资者提供更精准的财经信息一直是研究的重点。为了改善上述现状,本文对传统的PageRank网页排序算法进行了研究和改进。以雪球网为信息来源,设计并实现了基于主题爬虫的股票搜索平台。本文的主要工作内容包括:1.研究了PageRank算法并对其进行改进,提出了SI-PageRank算法。新算法首先针对PageRank算法存在的主题漂移问题,加入了主题相似度判定方法,该方法使用TF-IDF技术提取页面的股票投资相关的关键词,进而使用空间向量模型算法更准确地计算出页面关键词和主题关键词的相似度。其次针对偏重旧网页的问题,加入了时间因子权重,对新发布的网页权重进行补偿,在一定程度上平衡了新旧网页的权重。最后,为了使搜索结果更加准确和权威,加入了作者身份因子和关键词位置因子。使新算法更加符合股票搜索这一主题的搜索工作。2.对平台进行功能测试和性能测试,保证平台实现了预期的效果。对改造前后的算法做了对比测试,实验结果显示改进后的算法在股票搜索领域有不错的效果,主题鲜明、作者权威度高的页面的排名更加靠前,相同样本条件下,改进后算法能较好地改善主题偏移现象和偏重旧网页现象,返回的数据与主题的相关度更高、数据也更准确。

关键词：主题爬虫 PageRank算法主题相似度多线程网页排序

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多目标蚁群算法的主题爬虫策略

计算机工程 2020年第9期46卷 274-282页

作者：东熠刘景发刘文杰南京信息工程大学计算机与软件学院南京210044 广东外语外贸大学广州市非通用语种智能处理重点实验室广州510006 广东外语外贸大学信息科学与技术学院广州510006

基于关键词匹配检索的传统搜索引擎爬全率和爬准率较低,而使用基于语义检索的主题爬虫方法容易偏离主题与陷入局部最优。针对该问题,提出一种采用多目标蚁群优化算法的主题爬虫方法。构建主题爬虫领域本体和主题向量,以链接的锚文本相... 详细信息

基于关键词匹配检索的传统搜索引擎爬全率和爬准率较低,而使用基于语义检索的主题爬虫方法容易偏离主题与陷入局部最优。针对该问题,提出一种采用多目标蚁群优化算法的主题爬虫方法。构建主题爬虫领域本体和主题向量,以链接的锚文本相关度、链接所在网页主题相关度以及链接指向网页主题相关度为指标判断链接是否与主题相关,并建立链接主题相关度的多目标优化模型,将基于多目标优化的蚁群算法引入主题爬虫的链接选择过程,采用非支配排序和最近最远候选解法选取Pareto最优链接,以引导主题爬虫搜索方向并提升全局搜索性能。实验结果表明,与FCSA、WSE等传统主题爬虫方法相比,该方法爬准率更高,并且能更快抓取到主题相关度高的网页。

关键词：主题爬虫蚁群算法多目标优化暴雨灾害本体构建

在线全文

学校读者我要写书评

暂无评论

主题爬虫系统中的关键技术研究

主题爬虫系统中的关键技术研究

作者：李灏舟北京邮电大学

学位级别：硕士

随着网络技术日新月异的发展,互联网上的网页数量和信息爆炸式得增长着。为了满足人们个性化的搜索需求,垂直搜索引擎应运而生。垂直搜索引擎只对相关的主题进行收集和检索,可以帮助人们更快速,更精准得找到相关主题的信息。主题爬虫是... 详细信息

随着网络技术日新月异的发展,互联网上的网页数量和信息爆炸式得增长着。为了满足人们个性化的搜索需求,垂直搜索引擎应运而生。垂直搜索引擎只对相关的主题进行收集和检索,可以帮助人们更快速,更精准得找到相关主题的信息。主题爬虫是垂直搜索引擎收集数据的核心模块,负责收集和主题相关的数据信息。论文首先简要介绍了爬虫的诞生背景,通用爬虫的模型、基础原理和局限性,进而介绍了主题爬虫和通用爬虫的异同以及关键技术。详细梳理并重点研究了主题判别模块的相关知识和主题爬行策略。针对过去的研究中,价值链接预测模块的薄弱、主题判别和索引页判断都是在具体网页中完成,导致主题爬虫资源浪费的问题以及传统的主题判别方法判断准确率不高的问题做了以下工作。（1）使用一种比传统向量空间法更精细的连续性分布式词向量来表示文本特征。并构建基于卷积神经网络的短文本分类器来进行主题判别。（2）提出了一种仅使用锚文本信息就可以判断网页类型（内容型/索引型）的分类方法,并利用基于锚文本信息的网页类型判断方法和基于卷积神经网络的短文本分类器设计了一个基于锚文本的主题爬虫系统。该主题爬虫只使用锚文本的信息就可以判断相应页面是否是主题相关以及是什么类型,优化了爬虫逻辑。（3）利用python语言对以上设计的分类算法和爬虫系统进行了实现,分别对卷积神经网络分类器、网页类型分类器,以及主题爬虫系统进行了测试实验表明分类器的准确率和主题爬虫的收获率均在90%以上。基于本论文的研究成果,结合科研项目申报的实际需求,将本文设计的主题爬虫系统应用到一个科研服务平台中,完成科研资讯和相关科研项目信息的收集工作。

关键词：主题爬虫词向量卷积神经网络索引页判别

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

主题爬虫关键技术研究

主题爬虫关键技术研究

作者：王聪睿石家庄铁道大学

学位级别：硕士

互联网是一个含有海量信息资源的共享平台,用户从该平台上查找信息需要借助搜索引擎,但是随着用户专业性、个性化需求的提高,只能提供粗略、普遍查询结果的通用搜索引擎已经不能满足用户的搜索需求,因此出现了另一种搜索引擎——垂直搜... 详细信息

互联网是一个含有海量信息资源的共享平台,用户从该平台上查找信息需要借助搜索引擎,但是随着用户专业性、个性化需求的提高,只能提供粗略、普遍查询结果的通用搜索引擎已经不能满足用户的搜索需求,因此出现了另一种搜索引擎——垂直搜索引擎。主题爬虫作为垂直搜索引擎的重要组成部分,为垂直搜索引擎提供专业的网页资源,主题爬虫的性能直接影响了垂直搜索引擎的优劣。论文主要围绕主题爬虫的关键技术进行研究,主要内容包括:(1)传统的基于关键词的主题描述方法关键词数量多、缺乏关联性,降低了主题描述的准确性,针对传统方法的这一不足,通过训练主题文档获得主题关键词集合,然后通过上下位词、同义词的替换整合,在降低向量维度的同时,提高主题描述的准确性。(2)分析了传统的TF-IDF权重计算方法,针对该方法“一视同仁”与类间高频词项提取不佳的不足,将位置函数和调节因子引入权重计算方法,提出了一种改进的权重计算方法M-TFIDF,提高了权重计算的精度。通过构建主题向量与网页向量,根据两个向量的夹角判断网页的主题相关性。(3)重点研究了基于文本内容的网页搜索策略Shark-Search与基于链接的网页搜索策略HITS,针对前者缺乏全局性与后者容易发生主题漂移现象的不足,提出了一种两者结合的网页搜索策略(M-SH)。同时该策略改善了Shark-Search与HITS的局限性,增加了URL地址并改进了锚文本等主题相关度预测,并将主题相关网页的URL加入扩展集合。改进的网页搜索策略M-SH提高了预测URL主题相关度的准确性。(4)从线下与线上两方面进行了对比实验,一方面进行主题相关性判断实验,另一方面对开源网络爬虫NWeb Crawler进行了二次开发,进行综合爬取实验。通过将词项整合、M-TFIDF、M-SH分别与原有方法进行对比实验,从收获率、召回率、F值三个方面验证了改进方法具有良好的性能。

关键词：主题爬虫主题描述相关度计算主题预测