检索结果-南通市图书馆

检索条件"主题词=类文件系统的数据结构"

共 1 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

面向大数据分析的存储优化算法分析

面向大数据分析的存储优化算法分析

引用

作者：崔营哈尔滨工程大学

学位级别：硕士

随着科技的进步以及网络的普及,人们的日常工作、生活会产生海量的数据信息。如何高效的挖掘这些海量数据信息的隐藏信息,是企业、政府机构未来发展的关键,这就需要大数据分析技术。大数据分析的前提是如何高效的存储和查询这些数据信... 详细信息

随着科技的进步以及网络的普及,人们的日常工作、生活会产生海量的数据信息。如何高效的挖掘这些海量数据信息的隐藏信息,是企业、政府机构未来发展的关键,这就需要大数据分析技术。大数据分析的前提是如何高效的存储和查询这些数据信息。在分布式存储系统中,为了提高大数据分析效率,必须提高存储系统的访问效率。本文的应用场景是基于在数据类型确定,数据文件的内容特点明确,数据文件内容大小不确定,但是大部分文件较小且用户对于数据访问的需求特别高。本文针对这一应用场景,提出了结合工程实践的解决方案。本文针对结构化的大数据模型,提出了1种类文件系统的数据结构进行数据存储,通过建立数据存储单元、数据文件、数据页、数据行、数据字段等多级存储结构,实现数据的层次存储,同时该存储结构通过建立多级索引文件来提高查询效率。该模型支持行存储与列存储模式和数据压缩。用户可以自主选择压缩模式。针对该模型,本文给出了对应的存储算法。在此基础上,为了精确管理存储过程中的内存开销,本文引入了固定大小的内存池的方法来改进存储算法。同时为了保证数据的查询效率,本文又引入了有限内存池的动态索引算法,在一定程度上充分利用内存,同时提高查询速度。测试结果显示,利用该数据存储模型,对比传统存储模型极大提高了存储速度和查询速度,但是压缩效率降低也是无法避免的。引入有限内存池的动态索引算法,改良的LRU和LFU的混合算法,可以大大提升查询效率和有效文件的命中率。

关键词：类文件系统的数据结构内存池动态索引 LRU和LFU混合算法

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

全选清除本页清除全部题录导出标记到“检索档案”

共1页 << < 1 > >>

回到顶部

执行限定条件

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：