检索结果-南通市图书馆

基于NoSQL数据库的农田物联网云存储系统设计与实现

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

农业工程学报 2019年第1期35卷 172-179页

作者：许鑫时雷何龙张浩马新明河南农业大学信息与管理科学学院郑州450002 河南粮食作物协同创新中心郑州450002 农业部黄淮海农业信息技术科学观测实验站郑州450002

为了解决农田物联网大量图像、视频和传感器等结构化和非结构化数据实时处理与写入问题,该文基于分布式存储与NoSQL(NotOnlySQL)技术,结合农田物联网数据特征,利用HDFS(HadoopDistributedFileSystem)和HBase(Hadoop Database)存储非结... 详细信息

为了解决农田物联网大量图像、视频和传感器等结构化和非结构化数据实时处理与写入问题,该文基于分布式存储与NoSQL(NotOnlySQL)技术,结合农田物联网数据特征,利用HDFS(HadoopDistributedFileSystem)和HBase(Hadoop Database)存储非结构化和结构化数据,基于Redis缓存服务,设计了三层物联网数据云存储框架,实现了海量农田物联网数据存储中的业务处理、事务处理、图片打包与索引、负载均衡等关键技术。面对复杂业务下的事务数据一致性,该文采用基于HLock的乐观锁机制,实现了HBase对强事务性的支持,经过与传统MySQL集群事务对比测试,当数据量级在500万时,数据读取效率提升达35.75%。为了提高农田物联网中大量的小图片和小文件处理效率,基于图片打包合并策略,利用SequenceFile技术实现物联图片的快速索引读写技术,与原生HDFS存储效率相比,读写效率提升30%以上。该研究可以为海量农业物联网数据的存储和管理提供技术参考和理论支撑。

关键词：农田数据存储系统管理物联网 NoSQL Hadoop HBase 云存储

Uniform Query Framework for Relational and NoSQL Databases

在线全文

学校读者我要写书评

暂无评论

Computer Modeling in Engineering & Sciences 2017年第2期113卷 171-181页

作者： J.B.Karanjekar M.B.Chandak Shri Ramdeobaba College of Engineering and Management NagpurIndia and Izel Technologies Pvt Ltd.PuneIndia Shri Ramdeobaba College of Engineering and Management NagpurIndia

As the data managed by applications has evolved over the years with the arrival of Web 2.0,a large number of new databases have been developed to manage various types of data.While the traditional relational databases continue to exist,NoSQL databases which are document oriented or key-value stores or columnar continue to evolve and are embraced very rapidly across the industry.It is not just the type of data handled by these databases that is different but also the query language they use is also different.This paper talks about a uniform query framework that can be used for traditional relational databases and NoSQL databases.This query framework can also perform joins,aggregates,filter on data from various data sources in a single query.

关键词： NoSQL RDBMS data tetrieval inter-database joins SQL Cassandra MongoDB Calcite MySQL

Key-Value型NoSQL本地存储系统研究

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

计算机学报 2018年第8期41卷 1722-1751页

作者：马文龙朱妤晴蒋德钧熊劲张立新孟潇包云岗中国科学院计算技术研究所先进计算机系统研究中心北京100190 中国科学院大学北京100049 工业和信息化部信息中心北京100846

NoSQL系统因其高性能、高可扩展性的优势在大数据管理中得到广泛应用,而key-value(KV)模型则是NoSQL系统中使用最广泛的一种存储模型.KV型本地存储系统对于以机械磁盘为持久化存储的情形,存在许多性能优化技术,但这些优化技术面对当前... 详细信息

NoSQL系统因其高性能、高可扩展性的优势在大数据管理中得到广泛应用,而key-value(KV)模型则是NoSQL系统中使用最广泛的一种存储模型.KV型本地存储系统对于以机械磁盘为持久化存储的情形,存在许多性能优化技术,但这些优化技术面对当前的硬件发展新趋势,如多核处理器、大内存和低延迟闪存、非易失性内存NVM(Non-Volatile Memory)等,难以充分发挥新硬件的优势,如数据索引、并发控制、事务日志管理等技术在多核架构下存在多核扩展性问题,又如数据存储策略不适应闪存SSD(Solid State Drive)的新存储特性而产生了IO利用率低效的问题.针对多核处理器、大内存和闪存、NVM等硬件发展新趋势,文中面向当前的大数据应用背景,综述了KV型本地存储系统在索引技术、并发控制、事务日志管理和数据放置等核心模块上的最新优化技术和系统研究成果.从处理器、内存和持久化存储的角度概括了KV型本地存储系统当前存在的最优技术,总结了当前研究尚未解决的技术挑战,并对KV型本地存储系统在CPU缓存高效性、事务日志扩展性和高可用性等方面的研究进行了展望.

关键词： NoSQL 键值存储多核扩展性并发数据结构日志结构合并型存储 SSD/NVM

基于NoSQL的分布式R*树索引构建与应用研究

在线全文

学校读者我要写书评

暂无评论

地理与地理信息科学 2021年第5期37卷 9-15,22页

作者：孙乐乐金宝轩云南师范大学地理学部云南昆明650500 云南省自然资源厅云南昆明650224

针对当前空间填充曲线(Space-Filling Curve,SFC)类NoSQL空间索引对复杂几何索引支持较差、字典序映射成本较高等问题,该文提出一种基于NoSQL的分布式R*树空间索引。基于NoSQL的分区存储模式,通过优化后的STR(Sort Tile Recursive)均衡... 详细信息

针对当前空间填充曲线(Space-Filling Curve,SFC)类NoSQL空间索引对复杂几何索引支持较差、字典序映射成本较高等问题,该文提出一种基于NoSQL的分布式R*树空间索引。基于NoSQL的分区存储模式,通过优化后的STR(Sort Tile Recursive)均衡策略配置分布式R*树,借助R*树路径实现索引、数据的编码存储,并提出批处理模式的索引并行构建方法;借助NoSQL的SSPT(Server-Side Scripts)计算框架构建查询、应用并行处理机制。选用土地利用、规划数据进行对比实验,结果表明:该索引的平均构建耗时为GeoMesa的30.0%,500万量级下耗时仅为GeoMesa的18.6%;执行MBR查询、多边形几何查询、最邻近查询的平均耗时分别为GeoMesa的26.5%、53.4%、52.3%;执行自然资源开发项目合规性审查应用的平均耗时分别为ArcGIS、GeoMesa的10.6%、72.7%。该索引在构建性能、空间查询性能以及应用性能方面均具有优越性,能为基于NoSQL的海量空间数据高性能存储、检索与应用提供一种优良解决方案。

关键词： NoSQL R*树空间索引内存式索引空间查询 STR

在线全文

学校读者我要写书评

暂无评论

大规模装备监测数据的NoSQL存储方案

计算机集成制造系统 2013年第12期19卷 3008-3016页

作者：钟雨黄向东刘丹黄宇霞田炜王建民清华大学软件学院北京100084 三一智能研究院湖南长沙410100

面向大规模机械装备监测数据管理中遇到的海量数据存储、快速读写响应、大规模数据分析等难题,提出使用基于NoSQL(Not only SQL)的LaUD-MS系统进行监测数据管理的存储架构。设计一种多列族自由表模型,并通过理论和实验对其读写性能进行... 详细信息

面向大规模机械装备监测数据管理中遇到的海量数据存储、快速读写响应、大规模数据分析等难题,提出使用基于NoSQL(Not only SQL)的LaUD-MS系统进行监测数据管理的存储架构。设计一种多列族自由表模型,并通过理论和实验对其读写性能进行分析对比,证明了本存储方案能够解决海量监测数据的存储难题,并满足面向维护、维修和大修服务的查询需求。

关键词：监测数据大数据 NoSQL 多列族自由表

基于本体和NoSQL的机械产品方案设计的知识表示与存储研究

在线全文

学校读者我要写书评

暂无评论

情报学报 2017年第3期36卷 285-296页

作者：吴鹏刘恒旺丁慧君南京理工大学经济管理学院南京210094

在机械产品方案设计中涉及大量半结构化或者非结构化知识,现有的知识表示方式无法支撑设计知识的有效共享与重用,知识存储模式无法适应设计知识的复杂性特征。本文运用基于本体和NoSQL方法对机械产品方案设计知识和设计案例进行知识表... 详细信息

在机械产品方案设计中涉及大量半结构化或者非结构化知识,现有的知识表示方式无法支撑设计知识的有效共享与重用,知识存储模式无法适应设计知识的复杂性特征。本文运用基于本体和NoSQL方法对机械产品方案设计知识和设计案例进行知识表示与存储,提出了基于FBS模型的机械产品方案设计本体构建方法,以及基于本体和NoSQL的机械产品方案设计存储模型。在此基础之上,以某机械产品为例,完成了本体构建和设计知识存储系统的构建,并与传统的关系型数据库的知识存储与查询系统进行了对比分析,实现了产品方案设计知识的语义化表示以及合理高效的存储,有效地支撑设计知识的共享与重用。

关键词：产品设计知识表示知识存储本体 NoSQL MongoDB

在线全文

学校读者我要写书评

暂无评论

基于NoSQL的特色数据库系统研究

图书馆工作与研究 2018年第S1期 97-99+124页

作者：赵永强天津科技大学图书馆

目前大多数高校采用的关系型特色数据库系统面对大数据时出现了瓶颈。本文通过分析关系型特色数据库系统瓶颈,研究了基于NoSQL的特色数据库系统,阐述了其优势,指出该系统能够满足大数据对特色数据库系统的要求。

关键词：特色数据库大数据 NoSQL MongoDB

基于分布式NoSQL数据库的档案大数据存储与检索方案研究

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

计算机应用与软件 2019年第5期36卷 15-20页

作者：施晓峰浦东新区档案局上海200135

随着数字档案资源体系建设的不断加快,档案数据的种类日趋丰富,数量迅猛增长,呈现出大数据的特征。传统关系型数据库与集中式存储在档案大数据处理方面存在着适应性、可靠性和扩展性不足的问题。针对当前遇到的问题,通过分析传统档案数... 详细信息

随着数字档案资源体系建设的不断加快,档案数据的种类日趋丰富,数量迅猛增长,呈现出大数据的特征。传统关系型数据库与集中式存储在档案大数据处理方面存在着适应性、可靠性和扩展性不足的问题。针对当前遇到的问题,通过分析传统档案数据存储模式的局限性,将分布式NoSQL数据库、分布式文件系统、分布式搜索引擎应用于档案大数据的管理。设计一套基于分布式NoSQL数据库的档案大数据存储与检索方案,并开发原型系统进行验证。

关键词：档案大数据 NoSQL 分布式数据库

在线全文

学校读者我要写书评

暂无评论

支持大数据管理的NoSQL系统研究综述

软件学报 2013年第8期24卷 1786-1803页

作者：申德荣于戈王习特聂铁铮寇月东北大学信息科学与工程学院辽宁沈阳110004

针对大数据管理的新需求,呈现出了许多面向特定应用的NoSQL数据库系统.针对基于key-value数据模型的NoSQL数据库的相关研究进行综述.首先,介绍了大数据的特点以及支持大数据管理系统面临的关键技术问题;然后,介绍了相关前沿研究和研究挑... 详细信息

针对大数据管理的新需求,呈现出了许多面向特定应用的NoSQL数据库系统.针对基于key-value数据模型的NoSQL数据库的相关研究进行综述.首先,介绍了大数据的特点以及支持大数据管理系统面临的关键技术问题;然后,介绍了相关前沿研究和研究挑战,其中典型的包括系统体系结构、数据模型、访问方式、索引技术、事务特性、系统弹性、动态负载均衡、副本策略、数据一致性策略、基于flash的多级缓存机制、基于MapReduce的数据处理策略和新一代数据管理系统等;最后给出了研究展望.

关键词： NoSQL key-value存储大数据管理