检索结果-南通市图书馆

基于近邻图的结构化和非结构化数据混合查询研究

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于近邻图的结构化和非结构化数据混合查询研究

作者：王梦召杭州电子科技大学

学位级别：硕士

自互联网时代起,数字、符号、标签等结构化数据和图像、视频、文本等非结构化数据爆发性增长。这两类数据的高效精准混合查询是实现高质量信息检索的一项关键技术,也是目前工业界亟需突破的瓶颈。当前混合查询方法主要是分别查询结构化... 详细信息

自互联网时代起,数字、符号、标签等结构化数据和图像、视频、文本等非结构化数据爆发性增长。这两类数据的高效精准混合查询是实现高质量信息检索的一项关键技术,也是目前工业界亟需突破的瓶颈。当前混合查询方法主要是分别查询结构化和非结构化数据再进行结果合并重排,即前者主要通过传统数据库查询实现,后者主要将非结构化数据向量化并通过近似最近邻搜索(Approximate Nearest Neighbor Search,ANNS)实现。然而,这种分离式的混合查询限制了大规模数据场景下查询效率和精度。针对上述问题,本文主要开展了如下研究工作:(1)研究提出一种基于近邻图ANNS的原生混合查询(Native Hybrid Query,NHQ)方案,通过结构化和非结构化数据各自相似度计算及融合,设计了包括复合索引和联合剪枝两个模块的混合查询框架。该框架可应用当前各种近邻图ANNS算法将异构数据嵌入到一个复合索引中,查询时在复合索引上联合剪枝结构化信息不匹配和非结构化信息不相似的对象以高效获取查询结果。(2)针对当前近邻图ANNS算法的性能问题,通过改进选边和路由策略提出一种可导航近邻图算法(Navigable Proximity Graph,NPG)。NPG的选边策略同时考虑近邻图邻居之间距离和分布并确保邻居分布多样性以避免冗余计算,路由策略根据不同路由阶段的特点设计搜索算法。实验表明,与当前最优近邻图ANNS算法相比,NPG实现了更好的索引构建和搜索性能。(3)基于NPG的混合查询方法优化及实现。对于NHQ复合索引模块,采用一种集成异构数据的选边策略在确保顶点与其邻居融合距离相近的同时又均匀化邻居的分布;对于联合剪枝模块,采用一种集成异构数据的两阶段路由策略用于适配不同阶段的路由特征。实验表明,在相同精度的情况下,基于NPG的混合查询方法的查询效率高于现存主流方法一个数量级以上。最终,本文将实现的混合查询方法应用到图像检索和专家检索系统中。与现存图像检索相比,本文通过附加标签约束在保持检索效率不变的情况下提升了图像检索结果的精度。与现有专家检索方法相比,本文的方法不仅有效实现了根据技术方法描述文本+结构化标签约束的专家精准检索,而且具有更快的索引构建速度以及更优的检索效率和精度。

关键词：非结构化数据近似最近邻搜索混合查询近邻图

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

文档-关系数据查询执行技术研究与实现

计算机科学与探索 2020年第8期14卷 1315-1326页

作者：马志程袁海峰谷洋刘亚茹张孝国网甘肃省电力公司电力科学研究院兰州730070 数据工程与知识工程教育部重点实验室(中国人民大学) 北京100872 中国人民大学信息学院北京100872

随着大数据时代的到来,各类互联网应用产生了丰富的数据类型。将多种多样结构的数据进行一体化存储、查询和组织是新时代下的大数据管理系统的研究热点。对关系数据库和NoSQL文档数据库加以统一管理,将支持结构化数据和半结构化数据的... 详细信息

随着大数据时代的到来,各类互联网应用产生了丰富的数据类型。将多种多样结构的数据进行一体化存储、查询和组织是新时代下的大数据管理系统的研究热点。对关系数据库和NoSQL文档数据库加以统一管理,将支持结构化数据和半结构化数据的两种不同的数据库引擎集成在大数据管理系统中,实现了查询引擎ENTIA来执行查询处理。基于全局视图对用户提供统一的查询接口,终端用户无需关心数据的类型、结构以及物理存储位置,只需根据业务需求向ENTIA发出请求即可。进行了大量的前期实验,基于启发式规则进行查询优化,单个查询被重写为可以并行执行的多个查询子任务,将计算推向合适的数据库引擎,充分利用系统计算资源,大大提高了系统的查询性能。以关系数据库PostgreSQL和文档数据库MongoDB两个对等引擎为代表,实现了ENTIA对多数据类型的查询能力以及查询优化能力。通过功能符合实验测试了ENTIA能够正确地执行混合查询,以多组性能对比实验证明了优化方法的有效性。

关键词：关系数据库文档数据库混合查询查询优化

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于Web的进城务工管理系统的研究与实现

商场现代化 2008年第20期 92-93页

作者：孙香花重庆长江师范学院

设计了一个基于Web的农民进城务工管理系统,并成功应用于涪陵农业局的管理中,同时设计了高效的数据备份。本文介绍了该系统的功能、结构、关键技术和数据的备份,及在其他的相关领域中的重大参考价值。

关键词：混合查询进城务工数据备份

基于语义网技术的高校多媒体学习资源查询系统设计

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

中国教育信息化（高教职教） 2014年第4期 35-38页

作者：李又玲成都师范学院四川成都611130

本文提出的多媒体学习资源查询系统,构建了同时支持两种元数据标准——IEEE LOM与MPEG-7的多媒体学习资源本体,以混合查询技术解决了"新"、"旧"资源并存的问题,为用户提供了支持语义查询、关键字查询、基于内容的查询的统一查询接口,并... 详细信息

本文提出的多媒体学习资源查询系统,构建了同时支持两种元数据标准——IEEE LOM与MPEG-7的多媒体学习资源本体,以混合查询技术解决了"新"、"旧"资源并存的问题,为用户提供了支持语义查询、关键字查询、基于内容的查询的统一查询接口,并且系统资源将以移动Agent方式和关联数据方式对外开放,允许机器自动检索与引用资源。本系统对其他相关研究具有可借鉴的价值。

关键词：语义网 MPEG-7 混合查询学习资源