检索结果-南通市图书馆

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

索引构建与搜索算法的研究与实现

索引构建与搜索算法的研究与实现

作者：胡朝义电子科技大学

学位级别：硕士

随着因特网的飞速发展,网络上面的信息资源海量增长,用户在获取信息的同时也面临一个重大的问题:如何在互联网上面的海量数据中快速准确查询到自己所感兴趣的相关信息呢?而信息检索系统正是解决用户在因特网上面进行快速信息查询的一个... 详细信息

随着因特网的飞速发展,网络上面的信息资源海量增长,用户在获取信息的同时也面临一个重大的问题:如何在互联网上面的海量数据中快速准确查询到自己所感兴趣的相关信息呢?而信息检索系统正是解决用户在因特网上面进行快速信息查询的一个有效方式。信息检索是按照一定的策略对特定的信息的收集,如用网络爬虫对互联网上面的网页、doc格式文档、pdf格式文档等一系列资源进行爬取,对收集回来的信息进行处理和组织后为用户提供信息查询服务。信息检索克服了数据库查询当中存在的一些不足之处,为数据的检索提供了更为方便快捷的方式,因此现在越来越多的领域和部门开始涉及到信息检索领域。另外,信息检索系统不仅可以部署在网络环境中,而且在个人PC机上也能够得到比较广泛地应用。目前,对信息检索的各种研究以及理论上的探讨都在蓬勃地开展。信息检索是以用户为中心的一个快速检索服务系统,主要是为用户提供快速准确的信息查询服务。在这一过程当中,高准确度及低响应时间是用户最为关心的系统功能,也会是衡量系统优秀与否的最重要标识。而信息检索当中的索引构建与搜索又是信息检索系统当中的两个重要的组成部分,如何去设计高性能的索引构建、信息搜索算法就变得越发的重要。本论文详细地讨论了文本的全文检索的索引构建与搜索过程,并对一些性能较高的索引构建、信息搜索算法原理进行了研究并进行了一些改进实现。一般信息检索系统当中的字典文件都是采用的B树,但是字典文件当中的词汇Term是需要频繁变动的,若采用B树,其树节点的变化会引起一系列的判断（如判断是否需要裂解树,是否需要合并树等一系列的操作,这些都需要消耗一定的系统资源）,本论文在构建字典文件的时候采用了二层文件结构,既能够满足一定的词汇量规模,又能达到高效定位相关信息的双重需求。

关键词：信息检索索引构建搜索评分

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于T-reap理论的关系数据库索引构建

中国索引 2019年 217-225页

作者：高宾张思龙国防大学政治学院军事信息与网络舆论系

随着时代的发展和社会的进步,数据库索引在人们的生活和工作中发挥着越来越重要的作用。在关系数据库中,T-reap索引作为一种新型的数据检索方式,由于其具有"单独唯一的对数据库(表)中的一个或一类数据进行排序的存储结构",因而在实际应... 详细信息

随着时代的发展和社会的进步,数据库索引在人们的生活和工作中发挥着越来越重要的作用。在关系数据库中,T-reap索引作为一种新型的数据检索方式,由于其具有"单独唯一的对数据库(表)中的一个或一类数据进行排序的存储结构",因而在实际应用中逐渐体现出它的优越性。当前,深入研究基于T-reap理论下的关系数据库索引构建,不仅对索引的创新有促进作用,同时对实际工作具有十分重要的现实指导意义。

关键词： T-reap理论数据库索引构建

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于固态硬盘的倒排索引构建与维护策略研究

基于固态硬盘的倒排索引构建与维护策略研究

作者：陈雪帆华中科技大学

学位级别：硕士

信息检索系统中最核心的数据结构是倒排索引。随着信息化水平的不断提高，索引数据也越来越庞大，必须保存在辅助存储器中。目前常用的辅存设备是磁盘，磁盘虽然具有容量大、便宜等优点，但受制于其机械特性，磁盘与CPU和内存之间速度... 详细信息

信息检索系统中最核心的数据结构是倒排索引。随着信息化水平的不断提高，索引数据也越来越庞大，必须保存在辅助存储器中。目前常用的辅存设备是磁盘，磁盘虽然具有容量大、便宜等优点，但受制于其机械特性，磁盘与CPU和内存之间速度差距愈发明显，造成了信息检索系统的I/O瓶颈问题。另一方面，基于闪存的固态硬盘（Solid State Drivers，简称SSD）成为了存储领域的一个研究热点。与传统的机械式硬盘相比，SSD最显著的优点是读写速率高。对信息检索系统而言，使用SSD代替磁盘来存储倒排索引数据，可以极大地提高系统的整体性能。但是现有的倒排索引管理策略都是基于磁盘的，SSD却具有许多与磁盘显著不同的特性，若直接使用不仅无法充分利用SSD的优点，还会减少其使用寿命。首先，通过实验详细分析了现有索引策略在SSD上的缺点和不足之处，从中发现基于原地更新思想的索引管理方法随机写操作过多、性能较差;而另一类基于合并更新思想的方法写入SSD的数据量过大，给SSD带来额外的损耗。这些问题都是由于没有充分考虑SSD的特性所造成的。因此，根据实验分析的结果，提出沿用合并更新的思想，但需要进行改进从而减少其额外写入的技术路线。然后，分别提出了基于SSD的倒排索引的构建与更新策略：基于分块存储的索引构建策略与基于混合式合并的索引维护策略。基于分块存储的索引构建策略将待写入SSD的内存索引按术语预先分块存储，然后对产生的临时索引块只进行部分合并操作。基于混合式合并的索引维护策略不仅避免了对SSD有伤害的随机写操作，而且将术语按记录列表数据的规模分为两类，并对两类术语应用不同的基于合并更新的管理策略。最后，通过对比实验对上述索引构建与维护策略进行了性能评估。结果表明上述两种策略不仅维持了高效的索引读写，同时大幅减少了针对SSD的写操作的数量，减少了对SSD的损耗。因此与传统方法相比，新策略能够更好地适用于SSD。

关键词：信息检索固态硬盘倒排索引索引构建索引维护

基于标签图理论的RDF数据索引构建及查询方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于标签图理论的RDF数据索引构建及查询方法研究

作者：朱元超国防科学技术大学

学位级别：硕士

由于具备很强的通用性,RDF语言在很多领域都获得了广泛的应用,用RDF描述的数据规模也在不断扩大。如果不设计优秀的索引方案,利用针对RDF数据的SPARQL查询语言对大规模数据进行查询的话效率将非常低下。RDF数据和SPARQL查询都具有一种... 详细信息

由于具备很强的通用性,RDF语言在很多领域都获得了广泛的应用,用RDF描述的数据规模也在不断扩大。如果不设计优秀的索引方案,利用针对RDF数据的SPARQL查询语言对大规模数据进行查询的话效率将非常低下。RDF数据和SPARQL查询都具有一种图结构,所以基于图模型的RDF数据存储和查询成为一种直观、有效的方法,而查询过程则抽象为子图匹配过程。由于对大型图的子图匹配非常耗时,索引技术成为解决这个问题的关键。在现有的索引设计方案VS-tree[30]中,由于过量的匹配造成时间消耗。为解决这个问题,本文提出了一种新的查询算法,并且对索引的维护提供了方案,有效解决了这个问题。本文的主要工作体现在:(1)针对图数据原有的存储方案存储量大、遍历和查找困难的缺陷,本文提出两种存储方案,使得存储的数据量大幅减少,并且遍历和查找效率并不明显降低,在某些特殊情况下,如查询变量较多时效果更好。对原有的特征值距离度量方式和索引节点分裂方法不合理导致节点分裂操作频繁进行的情况,提出了一种新的特征值距离度量方式和索引节点分裂算法,能够有效减少节点分裂操作,降低索引构建时间。(2)对原有的查询算法重复查询次数较多的情况,设计了一种新的查询算法,能够消耗更少内存,减少查询次数,提高查询效率,并对这种现象的原因进行了剖析。对与原有的RDF索引维护技术没有提出节点合并的概念,过量的数据删除将破坏索引结构的问题,设计了一种节点合并方式,能够维持索引结构的平衡性,减少冗余的索引节点。

关键词： RDF数据索引构建子图匹配

面向动态文档集的大规模文本索引构建技术的研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向动态文档集的大规模文本索引构建技术的研究

作者：葛付江哈尔滨工业大学

学位级别：硕士

在动态文档集环境中,索引的组织方式需要在检索效率和更新效率上进行调节与折衷。为了提高索引效率,索引的索引项数据用拉链方式分块存放,但会降低检索效率;反之亦然。索引模型的设计往往围绕索引和检索效率的平衡;传统索引模型中为了... 详细信息

在动态文档集环境中,索引的组织方式需要在检索效率和更新效率上进行调节与折衷。为了提高索引效率,索引的索引项数据用拉链方式分块存放,但会降低检索效率;反之亦然。索引模型的设计往往围绕索引和检索效率的平衡;传统索引模型中为了优先保证检索效率,将索引更新的实时性放在一个次要的位置,但文本检索系统应用环境的日益多样化,对检索的实时性提出了新的要求。本文研究大规模文本在线索引的构造方法,在动态文档集环境中,系统在构建倒排索引的同时提供检索服务,动态文档集中的文档更新可以及时在索引库中同步更新;通过索引维护策略的研究和对比,本文设计了一个优化的索引模型,在保证检索效率的前提下,使索引系统的实时性有了很大提高;提出了一种基于完全树的在线索引构建方法,利用完全树的特征控制索引合并过程,以减少索引合并代价,同时可以调节索引和检索的性能平衡,与以前方法相比,具有更高的性能和更好的规模可扩展性,并在理论和实验中验证了这种索引维护方法的高效性。以此索引模型实现的系统为平台,进行了索引与检索的效率平衡、检索性能预测的相关实验,研究索引和检索这两个指标在动态文档集中的平衡关系,对比了几种检索性能预测方法的效果和效率,通过对检索前查询预测机制的分析,为系统在检索模型上的扩展提供了实验分析和平台。

关键词：动态文档集索引构建索引合并、在线索引

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

学习索引研究综述

计算机科学 2023年第1期50卷 1-8页

作者：王艺潭王一舒袁野东北大学计算机科学与工程学院沈阳110169 北京理工大学计算机学院北京100081

大数据时代数据呈爆发式增长,传统索引结构难以处理庞大复杂的数据,为解决这一问题,学习索引应运而生,并成为当前数据库领域的研究热点之一。学习索引利用机器学习模型进行索引构建,通过对数据和物理位置之间的关系进行训练和学习得到... 详细信息

大数据时代数据呈爆发式增长,传统索引结构难以处理庞大复杂的数据,为解决这一问题,学习索引应运而生,并成为当前数据库领域的研究热点之一。学习索引利用机器学习模型进行索引构建,通过对数据和物理位置之间的关系进行训练和学习得到学习模型,掌握二者之间的分布特点和规律,从而实现对传统索引的改进和优化。大量实验表明,与传统索引相比,学习索引可以适应大规模数据集,提供更好的搜索性能,具有更低的空间要求。文中详细介绍了学习索引的应用背景,梳理了现有的学习索引模型;根据数据类型的不同,将学习索引分为一维和多维两种类别,并对每种类别中学习索引模型的优缺点和可以支持的查询进行了详细的介绍和分析;最后对学习索引的未来研究方向进行了展望,以期为相关研究提供参考。

关键词：学习索引机器学习索引构建数据结构数据库

维普期刊数据库

在线全文

学校读者我要写书评

暂无评论

基于区块链的日志安全存储方法研究

计算机科学 2020年第S02期47卷 388-395页

作者：刘静黄菊赖英旭秦华曾伟北京工业大学信息学部北京100124 中国联通北京市分公司网络优化中心北京101109

随着计算机科学的高速发展,告警日志的数量呈几何的增长趋势,告警日志记录着攻击行为的相关信息,容易受到数据窃取和恶意篡改,同时告警日志中包含大量的无关告警,导致日志分析的准确性不高。为解决告警日志的安全存储和数据提取两方面... 详细信息

随着计算机科学的高速发展,告警日志的数量呈几何的增长趋势,告警日志记录着攻击行为的相关信息,容易受到数据窃取和恶意篡改,同时告警日志中包含大量的无关告警,导致日志分析的准确性不高。为解决告警日志的安全存储和数据提取两方面的问题,文中提出了一种基于区块链的日志安全存储方法,使用基于区块链的分布式存储架构保存告警日志,采用查询区块索引库的方式代替传统的区块链顺序检索,提高了告警日志的检索速度。通过对攻击源地址的威胁评估,构建密文索引结构存储在区块头中,并根据告警日志之间的相关性分析,实现攻击场景告警日志的关联检索。由实验结果可知,使用基于区块链的日志安全存储方法存储告警日志,存储过程中的区块生成效率并不会由于密文索引构建而大幅度下降,告警日志的检索效率较高并能够检索获得相关攻击场景的告警日志。

关键词：安全存储区块链告警关联攻击场景索引构建

维普期刊数据库

在线全文

学校读者我要写书评

暂无评论

大规模动态图上位置查询处理的关键技术研究

大规模动态图上位置查询处理的关键技术研究

作者：李晗笑天津大学

学位级别：硕士

在现实世界中,绝大多数图数据都在随时间发生动态演化。近年来,随着大规模“动态图”数据的不断涌现,面向大规模动态图数据的查询处理逐渐成为图数据管理中非常重要的一类任务。其中,面向大规模图上的位置查询处理是一个十分重要的研究... 详细信息

在现实世界中,绝大多数图数据都在随时间发生动态演化。近年来,随着大规模“动态图”数据的不断涌现,面向大规模动态图数据的查询处理逐渐成为图数据管理中非常重要的一类任务。其中,面向大规模图上的位置查询处理是一个十分重要的研究方向,该方向主要包括两类图数据上基础的查询问题:顶点可达性查询与k-近邻查询。对于动态图上的可达性查询问题,我们重点关注结构变化动态图上基于历史区间的可达性查询,即:给定动态图的拓扑结构会随时间发生变化,且对于变化过程中的一段历史区间,判断顶点u和v在此历史区间内是否可达。当前仅有极少数工作涉及针对该方向的研究,且其大都侧重于利用增量式更新策略快速重建任意时刻图快照,进而在重建图快照上完成可达性查询。然而,重建大规模动态图的快照需要昂贵的代价,这在现实应用场景下是难以接受的。仅有少量工作考虑通过构建查询索引的方式来回答用户给定查询,然而其构建的查询索引大都包含各类约束条件,进而限制了查询的性能。对于动态图上的k-近邻查询,我们更关注于内容变化的动态图,即:图中边上的权重会随着时间发生改变。在该问题中,用户给定出发时刻,查询需要返回在该时刻出发时距离查询点q最近邻的k个对象。基于内容变化的动态图的特点往往被刻画成时间依赖图模型,这也导致现有的大量基于构建静态查询索引的k-近邻查询算法无法适用于该时间依赖图模型。本文对上述两个问题分别设计了相应的高效查询算法,具体的工作如下:1.该课题中,我们设计了一种兼具合理时空开销和查询可用性的全新可达性查询索引架构,并基于图着色问题给出了相应的优化策略,使其能够有效地解决结构变化动态图上两类基于历史区间可达性的查询问题。2.针对内容变化的动态图上的k-近邻查询,我们在原有索引框架的基础上提出了一种全新的二级索引架构,进一步提高了查询效率。本文主要研究面向大规模图上的位置查询处理,并围绕顶点可达性查询与k-近邻查询两类图数据上基础的查询问题分别设计了相应的高效查询算法,并通过在多个真实数据集上进行大量实验验证了其有效性及高效性。

关键词：图数据可达性查询 k-近邻查询索引构建

基于Hadoop技术的Web电子产品信息检索系统研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

信息与电脑 2022年第12期34卷 82-84,88页

作者：王思尧北京天融信网络安全技术有限公司广西南宁530000

为使网络商业信息具备海量化、类型多元化、结构多样化等特性,迅速且精确获取产品信息并及时加以呈现,本文基于Hadoop技术设计Web电子产品信息检索系统,对系统的数据抓取性能、索引构建性能进行了对比分析测试实验。实验结果表明,Anchor... 详细信息

为使网络商业信息具备海量化、类型多元化、结构多样化等特性,迅速且精确获取产品信息并及时加以呈现,本文基于Hadoop技术设计Web电子产品信息检索系统,对系统的数据抓取性能、索引构建性能进行了对比分析测试实验。实验结果表明,Anchor-Hop-T模型相比较Anchor-Hop模型,查准率相对更高,花费时间也较短。

关键词： Hadoop技术 Web电子产品信息检索索引构建

维普期刊数据库