检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

分布式全文检索中缓存系统研究与实现

分布式全文检索中缓存系统研究与实现

作者：张德强哈尔滨工业大学

学位级别：硕士

缓存技术是提高响应速度、处理效率及系统性能的关键性技术,在分布式全文检索过程中,具有重要的应用价值。研究分布式全文检索中的缓存技术,具有很高的理论价值和应用基础。本课题通过分析用户查询行为,设计了基于用户查询日志的缓存系... 详细信息

缓存技术是提高响应速度、处理效率及系统性能的关键性技术,在分布式全文检索过程中,具有重要的应用价值。研究分布式全文检索中的缓存技术,具有很高的理论价值和应用基础。本课题通过分析用户查询行为,设计了基于用户查询日志的缓存系统,经实验测试,此系统在提高舆情采集系统查询响应时间和处理效率,以及改善舆情采集系统搜索引擎性能上,具有良好效果。根据舆情采集系统实际情况和具体需求,设计了分布式缓存系统的体系结构,重点包括分布式缓存系统协作机制、数据同步、缓存结构和替换算法等关键环节。在本论文中,设计了双级缓存结构。在此结构中采用了静态和动态两种不同类型缓存,通过统计用户查询行为规律,提取查询热度最高的一部分查询,对缓存数据进行初始化分配。处理用户查询时,检索次序为静态缓存、动态缓存和底层索引库。由于静态缓存中存放热度最高的查询,并采取动态缓存辅助,结合行之有效的缓存替换算法,在命中率、缓存效率和时间开销等指标上,与采用其它缓存结构的分布式缓存系统相比,理论和实验上均有一定优势。同时,通过分析传统缓存替换算法理论基础和优缺点,在LRU算法和LFU算法基础上,提出一个基于评分机制的缓存替换算法。该算法兼顾了静态缓存和动态缓存间替换,以及动态缓存内替换两方面。与单纯采用传统动态缓存替换算法相比,命中率更优。

关键词：分布式检索缓存系统缓存结构替换算法命中率

基于云平台的分布式索引与检索系统的设计与实现

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于云平台的分布式索引与检索系统的设计与实现

作者：杨建丹东北大学

学位级别：硕士

随着计算机技术的发展和互联网时代的到来,互联网上的信息呈爆炸式增长。面对这些海量数据,随着数据文件的增多,索引时间呈线性增长;当承载高访问量或者索引数据规模很大时,检索服务器无法在有限的时间内处理请求。如何快速的建立索引... 详细信息

随着计算机技术的发展和互联网时代的到来,互联网上的信息呈爆炸式增长。面对这些海量数据,随着数据文件的增多,索引时间呈线性增长;当承载高访问量或者索引数据规模很大时,检索服务器无法在有限的时间内处理请求。如何快速的建立索引以及如何高效的检索成为极其关键的问题。另一方面,现在的搜索引擎(如Google和百度),检索结果只包含网页数据,而没有结构化数据,用户必须选择某个网页寻找所需要的结构化信息,检索结果不能直观的展现事物的详细信息,用户体验效果不理想。解决这两方面的问题对从互联网上获取信息具有极其重要的意义。为了解决上述问题,本文设计并实现了一种分层的基于云计算平台的分布式索引与检索系统。首先,针对数据量大和单机索引慢的问题,提出了一种使用Lucene并行建立倒排索引的方法,该方法运行在Hadoop集群的多个节点上,使多台机器同时建立索引,大大加快了索引建立的速度。其次,提出了一种基于Katta的分布式检索方法,成功解决了高访问量和索引数据规模大导致的检索慢问题。检索时一方面分级缓存检索结果,如果缓存命中则直接返回缓存结果,未命中时才检索索引;另一方面将索引分布到Katta集群的多个节点上并备份索引文件,检索时多个节点同时搜索,提高了检索速度以及系统的可靠性可扩展性。再次,提出了一种以树形结构展示结构化数据,以类百度和谷歌的形式展示网页数据的数据展示方法,改善了用户查询体验。最后通过对网页数据进行分析,选择包含手机和公司信息的网页数据对系统进行了全面的测试。通过实验及实际应用证明,本文所设计的系统可以很快地对海量数据建立索引,并能够快速地响应查询,查询结果中直观的展示结构化数据,同时具有良好的可扩展性及容错性。

关键词：云计算分布式检索并行索引 Hadoop Lucene 倒排索引

基于P2P网络的分布式军事情报检索方法与原型系统研究

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于P2P网络的分布式军事情报检索方法与原型系统研究

作者：刘显伟国防科学技术大学

学位级别：硕士

情报在信息战中地位日趋重要,情报处理能力成为影响战争胜负的关键因素。情报检索是情报处理的重要组成部分,提高情报检索效率对提升情报处理能力、夺取战争胜利具有重要意义。从信息化战争的发展趋势看,未来的情报检索将主要基于分布... 详细信息

情报在信息战中地位日趋重要,情报处理能力成为影响战争胜负的关键因素。情报检索是情报处理的重要组成部分,提高情报检索效率对提升情报处理能力、夺取战争胜利具有重要意义。从信息化战争的发展趋势看,未来的情报检索将主要基于分布式系统——尤其是P2P网络进行。因此,本文着重研究P2P网络中军事情报检索相关问题,主要包括以下五方面工作: 1.分析军事情报在信息化战争中作用、军事情报与指挥控制关系,结合军事情报检索的影响因素,总结军事情报检索特点;2.针对信息化战争中情报大量涌现的问题,提出文本情报自动标引算法,辅助进行情报处理,这种方法更好地考虑文献的词频、结构等影响因素;3.提出查询分解方法进行查询优化。从用户角度来看,查询中不同查询词之间权重是不同的,查询分解算法能更好反映用户查询需求;4.提出P2P网络中分布式军事情报检索方法,此方法可有效解决在结构化P2P网络中利用倒排索引处理通配符查询时所造成的负载不均衡和索引项过多的不足;5.对分布式军事情报原型系统进行设计研究,并对本文提出的分布式军事情报检索方法的性能进行分析。

关键词：军事情报 P2P 信息检索分布式检索通配符查询自动标引

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于分布式的农业信息检索系统的设计与实现

电脑知识与技术 2017年第1期13卷 237-238页

作者：靳晟李永可李悦陈燕红新疆农业大学新疆乌鲁木齐830052 乌鲁木齐气象卫星地面站新疆乌鲁木齐830011

垂直信息检索是针对某一行业的专业检索技术,为用户提供高相关度信息检索服务。本文通过对分布式系统hadoop、搜索引擎、分布式数据库、倒排索引等技术的研究,开发设计了分布式农业信息检索系统,为用户提供专业的农业信息检索服务。系... 详细信息

垂直信息检索是针对某一行业的专业检索技术,为用户提供高相关度信息检索服务。本文通过对分布式系统hadoop、搜索引擎、分布式数据库、倒排索引等技术的研究,开发设计了分布式农业信息检索系统,为用户提供专业的农业信息检索服务。系统主要包括分布式平台模块,分布式网络采集器模块,分布式检索系统等模块。

关键词：分布式平台网络爬虫分布式检索

在线全文

学校读者我要写书评

暂无评论

基于主题模型的资源选择算法

华南理工大学学报（自然科学版） 2017年第3期45卷 48-53页

作者：董守斌谢一帆袁华陈建豪华南理工大学计算机科学与工程学院∥广东省计算机网络重点实验室广东广州510006

在具有多个真实搜索引擎的联邦检索环境下,基于小文档的资源选择算法由于难以估计每个搜索引擎的真实网页数量,因此准确率较低.针对这个问题,文中提出了基于主题模型的资源库描述方法,利用LDA主体模型获取每个资源库的描述词;在此基础... 详细信息

在具有多个真实搜索引擎的联邦检索环境下,基于小文档的资源选择算法由于难以估计每个搜索引擎的真实网页数量,因此准确率较低.针对这个问题,文中提出了基于主题模型的资源库描述方法,利用LDA主体模型获取每个资源库的描述词;在此基础上提出新的资源选择算法,结合垂直领域权重和词向量计算资源库和查询请求之间的相关度,并根据相关度大小获取最终资源选择结果.实验结果表明,基于主题模型的资源选择算法能很好地提高资源选择效果,可有效应用于分布式搜索引擎的联邦检索环境.

关键词：分布式检索资源选择主题模型垂直领域词向量

基于TAG的电力网格分布式资源管理的研究与实现

在线全文

学校读者我要写书评

暂无评论

计算机科学 2008年第10期35卷 115-121页

作者：严涛吕琦司春锋陆桑璐陈道蓄南京大学计算机软件新技术国家重点实验室南京210093 南京大学计算机科学与技术系南京210093

电力系统对全网范围内分布、异构、海量数据全面共享和集成的需要催生了网格技术和传统电力调度监控技术的结合---电力网格。电力网格通过统一的软件平台连结电力调度中心,整合分布的软硬件资源,提供信息和计算的共享。对电力网格平台... 详细信息

电力系统对全网范围内分布、异构、海量数据全面共享和集成的需要催生了网格技术和传统电力调度监控技术的结合---电力网格。电力网格通过统一的软件平台连结电力调度中心,整合分布的软硬件资源,提供信息和计算的共享。对电力网格平台的资源管理机制进行了研究,提出了一种基于TAG(标签)的信息分类模式,克服了传统树型分类的缺点;设计实现了一套由多台RSS Server(资源监控服务器)协同完成的分布式资源存储与检索机制。并在此基础上,分析了TAG分类模式和分布式检索策略的优点。性能比较和系统运行表明该方案是有效和可行的。

关键词：电力网格 TAG 资源管理分布式检索