检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

网络资源增量采集方法的探究和实践

图书情报导刊 2021年第8期6卷 33-37页

作者：赵丹阳中国国家图书馆北京100081

随着互联网信息的爆炸式增长,网络资源存档的数据范围在不断扩大,数据采集频率也在提高,这给服务器存储空间、采集服务器运行负载和网络带宽都带来了相当大的压力和挑战。因此,实践增量采集策略、剔除重复数据的采集是网络信息资源保存... 详细信息

随着互联网信息的爆炸式增长,网络资源存档的数据范围在不断扩大,数据采集频率也在提高,这给服务器存储空间、采集服务器运行负载和网络带宽都带来了相当大的压力和挑战。因此,实践增量采集策略、剔除重复数据的采集是网络信息资源保存的必要策略。基于增量采集的研究和实践,详细介绍了增量采集的策略和技术实现,通过增量采集实例效果分析,说明增量采集不但可以使采集机制更加灵活,而且可以有效缓解服务器存储空间和网络带宽的压力。

关键词：网络信息存档网络爬虫增量采集

Web信息增量采集与保存管理平台的设计与实现

在线全文

学校读者我要写书评

暂无评论

无线互联科技 2022年第23期19卷 68-71页

作者：赵丹阳国家图书馆北京100081

随着网络的普及和发展,互联网资源已经成为人类文明记忆的载体,及时并完整的保存网络信息资源变得尤为重要。文章结合国家图书馆网络信息资源采集与保存工作的发展历程、技术发展和互联网信息更新快等特点,提出基于Heritrix开源架构的... 详细信息

随着网络的普及和发展,互联网资源已经成为人类文明记忆的载体,及时并完整的保存网络信息资源变得尤为重要。文章结合国家图书馆网络信息资源采集与保存工作的发展历程、技术发展和互联网信息更新快等特点,提出基于Heritrix开源架构的网络信息增量采集与保存管理平台的设计和架构,并详细介绍平台在网络资源增量采集和增量回显一站式服务的实现技术,提升国家图书馆网络资源保存工作效率和服务质量的同时,以期为业界提供有益的参考和借鉴。

关键词： Web信息抓取增量采集增量回显 Heritrix 平台构建

维普期刊数据库博看期刊

在线全文

学校读者我要写书评

暂无评论

互联网网站存档增量采集研究

数字图书馆论坛 2020年第12期 17-21页

作者：杨云鹏国家图书馆北京100081

互联网网站存档随着互联网的普及,每年的存储量都在快速增长,导致服务器的存储空间、运行负载和网络带宽已无法满足采集量的增长速度。因此,采集系统过滤掉采集周期内重复的文档实现增量采集将是解决这些问题的关键。本文首先讨论增量... 详细信息

互联网网站存档随着互联网的普及,每年的存储量都在快速增长,导致服务器的存储空间、运行负载和网络带宽已无法满足采集量的增长速度。因此,采集系统过滤掉采集周期内重复的文档实现增量采集将是解决这些问题的关键。本文首先讨论增量采集的采集策略和工具,然后根据采集策略选取合适的工具进行实际采集验证增量采集效果。通过对采集系统添加附加工具的形式实现互联网网站存档增量采集,并对采集的结果进行分析讨论,实现减轻服务器的运行负载、减少网络带宽的占用、降低互联网网站存档存储空间和提高采集资源展示质量的目标。

关键词：互联网网站存档增量采集采集策略网络抓取

在线全文

学校读者我要写书评

暂无评论

网页增量式采集技术研究

网页增量式采集技术研究

作者：龚诚哈尔滨工业大学

学位级别：硕士

网页增量采集系统是信息检索领域中一个重要的研究方向。增量采集的目的是采集变化的网页、新出现的网页和消失的网页,其中最重要的就是新出现网页的增量采集。这种采集方式能有效地缩短采集周期,实时更新网页数据,所以在大规模搜索引... 详细信息

网页增量采集系统是信息检索领域中一个重要的研究方向。增量采集的目的是采集变化的网页、新出现的网页和消失的网页,其中最重要的就是新出现网页的增量采集。这种采集方式能有效地缩短采集周期,实时更新网页数据,所以在大规模搜索引擎和垂直搜索中有着广泛的应用。本文针对新网页增量采集过程中的三大任务,即增量采集网页树、主题团网页采集和网页树剪枝进行了深入的研究,并实现了一个增量采集新网页的系统。由于以网站首页为根的网页树中各层次的网页类型不同,因此无法直接按照层次进行采集。在增量采集网页树中,本文提出了基于网页树的增量采集,首先通过目录型网页识别技术识别出网站中的目录型网页,得到以目录型网页为根的网页树,然后应用目录型网页更新时间预测技术计算出采集网页树的时间。通过这种处理,将不同更新周期的网页分成不同的网页树,而且网页树中每层的网页类型相似,便于按层采集。在主题团网页采集中,由于从目录型网页向下采集一层的方法只能采集到主题团中的一个网页,主题团中的其他网页都被漏掉了,所以造成了对新网页的采集召回率不高。本文介绍了主题团的定义、主题团的链接特征以及主题团中网页的采集方法。在网页树剪枝中,由于并不是网页树的每个分支都是新网页,为了避免采集旧的网页分支,通过已访问URL缓存和URL中日期识别技术对网页树进行剪枝,由此提高了对新网页采集的准确率。应用了上述技术的增量网页采集系统对网站中新出现的网页的采集准确率和召回率都得到了很大的提高,本系统对新网页采集的平均准确率是92.12%,平均召回率是93.38%。

关键词：增量采集网页树主题团改进LRU 搜索引擎

增量式Web信息采集与信息提取系统的研究与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

增量式Web信息采集与信息提取系统的研究与实现

作者：李莎莎武汉理工大学

学位级别：硕士

随着网络的迅猛发展,人们越来越依赖从网络上获取信息。网络信息资源的保存寿命通常只有几十天,随着时间的推移,大量旧的网络信息资源正在被新的网络信息淹没。如何更迅速更准确地从互联网上采集有用的信息成为研究的热点。大规模的非... 详细信息

随着网络的迅猛发展,人们越来越依赖从网络上获取信息。网络信息资源的保存寿命通常只有几十天,随着时间的推移,大量旧的网络信息资源正在被新的网络信息淹没。如何更迅速更准确地从互联网上采集有用的信息成为研究的热点。大规模的非增量式采集技术已经发展很成熟。为了避免因重复搜集未变化的网页而带来时间上的浪费,增量采集技术应运而生。为了提高更新采集的效率和信息抽取的抽准率,本文主要针对增量更新的Web信息采集及基于隐马尔夫模型的信息提取进行了研究。本文分析了Web信息采集系统的研究背景、研究意义、发展现状以及其面临的各种困难和挑战,阐述了信息采集系统的工作原理和网络爬虫的工作流程,在研究信息采集系统以及信息抽取的核心技术的基础上结合增量信息采集系统的需求,明确了系统开发过程中要解决的问题,提出了具体的设计方案,构建了一个性能良好,具有可扩展性的增量信息采集及信息提取系统。该系统包括如下几个模块：页面采集、页面解析、URL去重、页面去重和更新检测。论文的主要工作以及创新如下： 1.引入了目录型网页,提高了发现新网页的效率,采用FWKNN算法有效地识别了目录型网页。 2.针对MD5算法过于苛刻的问题,本文采取基于网页框架和规则的方法先对网页去噪后,再对网页正文计算得出唯一的MD5值。此方法在一定程度上提高了网页相似性分析的准确率。 3.在预测网页的变化频率方面,通过分析泊松模型存在的缺点,引入了更新频率计算窗口,提出内容分析和网页隶属分析,避免了建立模型前需要大量的训练数据,能更准确地预测网页变化频率。 4.在研究隐马尔可夫模型的基础上,改进了基于HMM的信息抽取方法,对含有固定格式的信息项采用正则表达式处理,并对未知观测值概率进行了平滑处理。实验表明该方法获得了更好的抽取效果。最后,通过改进的Web增量采集及信息提取系统的实验,分析了运行的数据,证明系统已成功达到了预期的目标。

关键词：增量采集 Web信息采集信息抽取

基于OutbackCDX的增量式Web信息采集研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

山东理工大学学报（社会科学版） 2020年第4期36卷 99-105页

作者：高婷白如江山东理工大学档案馆山东理工大学科技信息研究所

当前开源网络爬虫存在不能实现增量信息采集的问题。通过调研IIPC合作的第一次世界大战、Twittervane、Memento三个网络信息存档项目,发现目前各类型存档项目存在增量采集困难的情况。在分析OutbackCDX和UKWA-Heritrix系统基础上,提出... 详细信息

当前开源网络爬虫存在不能实现增量信息采集的问题。通过调研IIPC合作的第一次世界大战、Twittervane、Memento三个网络信息存档项目,发现目前各类型存档项目存在增量采集困难的情况。在分析OutbackCDX和UKWA-Heritrix系统基础上,提出了一种基于OutbackCDX和UKWA-Heritrix增量采集方案,该方案能够在不需要爬虫程序重启的情况下实现定题、增量采集,并以ISO标准格式WARC(Web ARChive)为存储格式,实现不同类型系统直接的数据交换。

关键词：网络信息档案保存增量采集网络爬虫

国家图书馆网络信息资源采集与保存平台关键技术实现

在线全文

学校读者我要写书评

暂无评论

图书馆 2021年第3期 45-50页

作者：魏大威季士妍国家图书馆北京100081

文章介绍了国家图书馆网络信息资源采集与保存发展历程和技术发展,分析了基于开源架构进行定制开发的网络信息资源采集与保存平台的构建架构、功能特点,介绍了网络信息资源增量采集、增量回放显示功能实现的关键技术和方法,并对网络信... 详细信息

文章介绍了国家图书馆网络信息资源采集与保存发展历程和技术发展,分析了基于开源架构进行定制开发的网络信息资源采集与保存平台的构建架构、功能特点,介绍了网络信息资源增量采集、增量回放显示功能实现的关键技术和方法,并对网络信息资源采集与保存未来的发展进行了思考。

关键词：网络信息采集 Heritrix 增量采集增量回放国家图书馆

面向食品安全新闻舆情的主题爬虫的设计与实现

在线全文

学校读者我要写书评

暂无评论

面向食品安全新闻舆情的主题爬虫的设计与实现

作者：朱丹中山大学

学位级别：硕士

近年来,食品安全事件频繁发生,一系列食品安全事件触目惊心,让消费者陷入了极度不安。食品安全问题,需要从源头和传播过程中全面监管和遏制,为此,国家“十二五”科技支撑项目提出食品安全全程溯源以及舆情监控的新思路,依托此项目,本文... 详细信息

近年来,食品安全事件频繁发生,一系列食品安全事件触目惊心,让消费者陷入了极度不安。食品安全问题,需要从源头和传播过程中全面监管和遏制,为此,国家“十二五”科技支撑项目提出食品安全全程溯源以及舆情监控的新思路,依托此项目,本文参与的供港食品安全舆情监控系统,从热点话题检测、热词检测、正负舆情检测、舆情预警等多个角度,提供全面且及时的食品安全舆情监控功能,提高了监管部门对食品安全舆情的监管能力。作为舆情监控系统中的信息来源,本文所设计的主题爬虫部分,能够从互联网上全面、迅速地采集结构化的食品安全新闻信息,为监控系统提供及时可靠的信息来源。通过学习和总结国内外舆情监控系统的实现方法以及主题爬虫相关技术,结合整个平台的需求,本文设计了功能完善的主题爬虫部分,主要的工作和创新点如下:设计完整的爬虫处理链,将爬虫处理链分为信息采集、信息抽取和主题过滤三部分,并实现了与爬虫对应的Web用户交互部分。在信息采集模块:基于Heritrix开源爬虫框架,结合新闻站点的特点,提出自适应更改抓取时间的抓取控制方法,确保监控站点更新的内容能够被及时获取;修改Heritrix的链接处理模块,使用嵌入式数据库Berkeley DB,实现系统的增量抓取;定制爬虫URL处理链,增加站点范围过滤以及采集格式规范化处理;优化爬虫URL处理链,缩短改进了对URL的处理流程。在信息抽取模块:基于HTMLParser中Filter的设计思路,设计了将HTML标签和属性结合的新的信息抽取方式,实现对信息的精确抽取;加入了字节流编码统一,繁简体统一等细节处理;实现从“时间来源”节点中智能分离新闻发布时间和引用来源。在主题过滤模块:按照监控站点类别,设计针对食品安全站点的全站抓取和针对普通站点的按主题过滤的抓取方式;在按主题过滤方式中,针对食品安全主题和新闻页面的特殊特点,提出按照新闻标题计算主题相关度的方法,并结合标题简短的特点,为标题设计二级主题词主题相关度计算法,使得爬虫的命中率达到90%以上。根据新闻舆情的特殊特点,提出智能推荐监控站点的最新功能,扩大监控站点范围,拓宽信息来源。至今为止,本文设计实现的主题爬虫部分,已经能够对腾讯网、新浪网、网易新闻、食品伙伴网、香港食物安全中心等十七个大中型网站实现7天*24小时不间断监控,采集总数据量达50多万条,其中食品安全新闻9500多条,且具有较高的主题命中率和查全率。

关键词：食品安全新闻舆情主题爬虫 Heritrix框架增量采集

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

网络舆情检测与控制关键技术研究

网络舆情检测与控制关键技术研究

作者：宋保江哈尔滨工业大学

学位级别：硕士

随着中国网民数量的不断增长,论坛、博客、微博等网络媒体作为民意表达最为集中、信息传播最为畅通的一个“场所”,越来越受到网民的热衷。网络舆情检测与控制涉及到的关键技术,例如,信息的采集与抽取,话题的聚类与分析以及舆情控管等技... 详细信息

随着中国网民数量的不断增长,论坛、博客、微博等网络媒体作为民意表达最为集中、信息传播最为畅通的一个“场所”,越来越受到网民的热衷。网络舆情检测与控制涉及到的关键技术,例如,信息的采集与抽取,话题的聚类与分析以及舆情控管等技术,是学术界研究的热点。论文中,将以109所高校论坛作为研究对象,通过对当前信息采集技术以及信息抽取技术的应用与改进,获取能够反映大学生最新思想动态的舆情信息;通过对舆情控管过程中遇到的相关问题进行讨论,提出了一套完整的舆情控制解决方案。论文中,将对网络舆情检测与控制中涉及到的三种关键技术:信息采集、信息抽取以及舆情控管展开详细的讨论。信息采集部分将采集过程分为了两部分:离线部分和在线部分。离线部分,首先,通过对样本网页的采集,获取到采集器的采集路径以及网页属性信息;然后,通过对关键资源的识别,得到了能够抽取它们的路径。另外,通过与信息抽取技术结合,将得到的发言时间及有效信息含量应用到了基于泊松模型的时间模型中,得到增量采集的合理时机。在线部分,将使用离线部分的结果指导采集器的工作,极大地提高了信息采集的准确率以及降低了采集器的负担。信息抽取部分,通过利用帖子中存在的网页结构相似性,结合用户创建信息的特点,提出了索引路径定位标题、主题和回复信息的算法,并对回复信息可能存在的干扰,进行深度噪音去除。舆情控管部分,充分利用论坛提供的操作接口,通过对验证码、身份隐藏等问题的讨论,最终得到一个可以针对不同论坛实施舆情干预的统一解决方案。

关键词：网络舆情增量采集信息抽取舆情控管