检索结果-南通市图书馆

云环境下直方图立方压缩存储与增量更新及查询研究与实现

在线全文

学校读者我要写书评

暂无评论

云环境下直方图立方压缩存储与增量更新及查询研究与实现

作者：陈昌宁东北大学

学位级别：硕士

随着大数据和云计算时代到来,像联机分析处理(On Line Analytical Processing, OLAP)这种需要大量计算和存储开销的问题变得简单许多。然而受数据海量化和高维化影响,OLAP技术在计算和存储方面仍然面临严峻的挑战,分布式环境下的处理方... 详细信息

随着大数据和云计算时代到来,像联机分析处理(On Line Analytical Processing, OLAP)这种需要大量计算和存储开销的问题变得简单许多。然而受数据海量化和高维化影响,OLAP技术在计算和存储方面仍然面临严峻的挑战,分布式环境下的处理方式只是缓解上述挑战。本文提出了直方图数据立方体的压缩架构,分别从直方数据图立方体的底层存储结构,内容压缩,整体压缩三个方面进行了优化处理。首先底层存储结构上,本文基于直方图数据立方体和封闭数据立方体技术对于直方图数据立方体的存储结构进行改进,提出了封闭元祖+直方图的底层存储结构;内容压缩上,本文根据直方图数据立方体的统计结构信息提出计数倒转的压缩方法;整体压缩上,本文借用文件压缩进一步压缩直方图数据立方体;综合上述三种压缩技术,本文实现了对直方图数据立方体的高效压缩。构建数据立方体在时间上是一种很大的开销,前人大多都是在研究如何用尽可能少的时间构建一个完全数据立方体,而数据立方体是面向企业应用的,企业会有不断的新数据需要累加到数据立方体中。本文对数据立方体增量更新的收益与代价进行了分析研究,对数据立方体增量构建方法进行了探索,本文提出了封闭数据立方体增量更新时没有删除只有增加和更新的规律,并在MapReduce分布式环境下实现了MRC-IncreUp算法。封闭数据立方体的查询实现才是OLAP的最终目的,本文提出了基于查询键的直接查询和基于封闭原则编码分类的分类查询,另外为了实现交互式查询,本文引入了Impala大数据实时查询系统,并提出了利用Impala系统完成交互式查询的架构和查询优化策略。本文在TPC-DS测试数据集上通过实验证明了：对数据立方的压缩情况,以及增量更新相对于重新计算的优势和查询算法及实现的相对于以前查询算法的高效性。

关键词： OLAP 封闭数据立方体直方图数据立方体 MapReduce 增量更新查询压缩存储

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一种点阵式汉字的压缩存储与伸缩的新方法

微型计算机 1989年第3期9卷 82-83页

作者：王成耀

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

压缩存储约化法在水准网间接平差中的应用

内陆地震 1987年第4期 375-385页

作者：江在森国家地震局第二测量大队

本文提出了压缩存储约化法求解对称变带宽方程组的一种实用计算公式和程序编制。该方法的计算精度高于广义平方根分解法并探讨了压缩存储约化法在水准网间接平差中的应用。利用法方程系数阵的变带宽稀疏对称性,应用该法可使元素存入量... 详细信息

本文提出了压缩存储约化法求解对称变带宽方程组的一种实用计算公式和程序编制。该方法的计算精度高于广义平方根分解法并探讨了压缩存储约化法在水准网间接平差中的应用。利用法方程系数阵的变带宽稀疏对称性,应用该法可使元素存入量由原来的n×n减少到5n—100n,大大节省了存储量和计算时间。文中提出了作水准网的静态与动态秩亏网平差时,由程序自动提取法方程系数阵的压缩存储信息、用观测值信息直接累加式组成压缩存储的法方程系数阵及协因数阵的快速求出等具体计算方法。这些方法通用于任何水准网,可编通用程序。文中列举了应用压缩存储约化法的效益,在PDP—11/23机(内存256KB)上双精度解算1366阶法方程的动态秩亏网平差,只占终端时间158分钟。而解算502阶法方程的静态平差,仅占终端时间9分钟。本文最后给出了算例。

关键词：秩亏网平差约化法方程水准网高程控制网静态平差间接平差观测值测定值压缩存储

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

压缩存储约化法在水准网间接平差中的应用

大地测量与地球动力学 1988年第1期 99-107页

作者：江在森国家地震局第二测量大队

本文提出了压缩存储约化法求解对称变带宽方程组的一种实用计算公式和程序编制,探讨了压缩存储约化法在水准网间接平差中的应用。利用法方程系数阵的变带宽稀疏对称性,可使元素存入量由原来的n×n减少到5n～10n,大大节省了存储量和计算... 详细信息

本文提出了压缩存储约化法求解对称变带宽方程组的一种实用计算公式和程序编制,探讨了压缩存储约化法在水准网间接平差中的应用。利用法方程系数阵的变带宽稀疏对称性,可使元素存入量由原来的n×n减少到5n～10n,大大节省了存储量和计算时间。

关键词：秩亏网平差约化水准网高程控制网间接平差法方程式静态平差协因数阵压缩存储

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

压缩存储求解法及在充模流动分析中的应用

南昌工程学院学报 2005年第2期24卷 33-37页

作者：江顺亮南昌大学计算机系

为了增加一维压缩存储求解法的适应性和通用性,提出了一种稀疏矩阵的拟一维压缩存储求解法.该方法是用多个相同大小的存储空间来替代单个的相当大的存储空间,同时存储顺序尽量与计算时的访问顺序相同.该方法用于充模流动分析时,获得了... 详细信息

为了增加一维压缩存储求解法的适应性和通用性,提出了一种稀疏矩阵的拟一维压缩存储求解法.该方法是用多个相同大小的存储空间来替代单个的相当大的存储空间,同时存储顺序尽量与计算时的访问顺序相同.该方法用于充模流动分析时,获得了比较理想的计算效果.

关键词：压缩存储指控体积法充模分析

RDF图模型支持下的知识图谱数据索引与压缩存储算法

在线全文

学校读者我要写书评

暂无评论

渤海大学学报（自然科学版） 2021年第3期42卷 277-282页

作者：鲁富宇冷泳林渤海大学信息科学与技术学院辽宁锦州121013

知识图谱在人工智能的语义搜索、智能问答、数据分析等方面展现出巨大的价值.RDF(Resource description framework)是语义Web提供的一种存储和管理知识图谱的通用框架.随各领域知识的不断完善和扩大,知识图谱的高效检索愈加重要,研究者... 详细信息

知识图谱在人工智能的语义搜索、智能问答、数据分析等方面展现出巨大的价值.RDF(Resource description framework)是语义Web提供的一种存储和管理知识图谱的通用框架.随各领域知识的不断完善和扩大,知识图谱的高效检索愈加重要,研究者提出了很多建立在RDF数据模型基础上的索引及存储方案.针对目前知识图谱数据检索时产生的大量的自连接和高数据冗余等问题,提出了一种基于路径的索引树(P-tree)及建立在该索引结构上的三元组压缩和检索算法(CRK2-triples),来实现对知识图谱数据的快速检索.实验选择包含标准SPARQL查询的数据集,并将实验结果同三种有代表性的RDF数据存储索引方案进行比较.结果表明P-tree索引及CRK2-triples压缩检索算法在处理复杂查询和大规模数据集上有较大的优势.

关键词：知识图谱 RDF 索引压缩存储

基于十字链表与三元组表的稀疏矩阵压缩存储实例研究

在线全文

学校读者我要写书评

暂无评论

软件导刊 2017年第11期16卷 22-25页

作者：周张兰长江大学计算机科学学院湖北荆州434023

十字链表和带行链接信息的三元组表是稀疏矩阵的两种压缩存储方法。十字链表为链式存储结构,带行链接信息的三元组表为顺序存储结构。在MovieLens数据集上设计了分别采用十字链表和带行链接信息的三元组表对以用户为行、项目为列、用户... 详细信息

十字链表和带行链接信息的三元组表是稀疏矩阵的两种压缩存储方法。十字链表为链式存储结构,带行链接信息的三元组表为顺序存储结构。在MovieLens数据集上设计了分别采用十字链表和带行链接信息的三元组表对以用户为行、项目为列、用户评分为矩阵元的稀疏矩阵进行压缩存储,并在这两种存储结构上实现用户相似度计算算法。通过测试分析和比较了两种不同的压缩存储方法在创建及相似度计算上的执行效率,并探讨了各自的特点及适用条件。

关键词：稀疏矩阵十字链表三元组表压缩存储

基于小波变换特征提取技术实现用电负荷数据压缩与脱敏存储

在线全文

学校读者我要写书评

暂无评论

电子设计工程 2019年第8期27卷 104-109,114页

作者：杨维张弦王乐之程飞飞国家电网有限公司客户服务中心天津300000 南瑞集团有限公司江苏瑞中数据股份有限公司江苏南京210012

本文应用小波变换技术对电力用户每15分钟采集一次的用电负荷数据的特征进行了梳理,选择小波变换算法开展用电负荷数据的特征提取,优化数据存储方式实现数据压缩与脱敏存储,用以解决海量用电负荷指标数据的存储问题。结果表明,通过小波... 详细信息

本文应用小波变换技术对电力用户每15分钟采集一次的用电负荷数据的特征进行了梳理,选择小波变换算法开展用电负荷数据的特征提取,优化数据存储方式实现数据压缩与脱敏存储,用以解决海量用电负荷指标数据的存储问题。结果表明,通过小波变换可以有效提取数据特征,压缩存储空间约50%,并实现数据脱敏。本文所研发的基于小波变换特征提取技术实现用电负荷数据压缩与脱敏存储的技术具有潜在的应用价值和推广价值,并能够产生较高的经济效益。

关键词：小波变换特征提取用电负荷数据压缩存储数据脱敏

在线全文

学校读者我要写书评

暂无评论

用dBASEⅡ实现压缩存储

微计算机应用 1986年第3期 42-47页

作者：谭国真齐齐哈尔华安机械厂研究所

一、前言在处理线性并列表和多维数组时,如果若干个结点具有相同的值,那么可以不存储这些结点,以节省大量的存储空间。采取这种数据结构时,一个重要的问题是如何有效地实现各种运算。本文对dBASEⅡ关系式数据库管理系统如何节省存储空... 详细信息

一、前言在处理线性并列表和多维数组时,如果若干个结点具有相同的值,那么可以不存储这些结点,以节省大量的存储空间。采取这种数据结构时,一个重要的问题是如何有效地实现各种运算。本文对dBASEⅡ关系式数据库管理系统如何节省存储空间、加快运算速度,给出

关键词：压缩存储 dBASE 数据结构数据库管理系统运算速度存储空间命令集存储模式存储结构算法描述