检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

多维数据压缩存储方法研究

信息记录材料 2024年第1期25卷 200-202页

作者：王凯张立博李昌伟李帅王林中国绿发投资集团有限公司北京100010

为提高多维数据压缩存储性能,本文利用模型视图控制器(model view controller, MVC)架构建立了多维数据的压缩存储方法。在该方法中,主要通过多维矢量矩阵进行多维数据压缩、通过关系数据库进行多维数据存储。从对比试验结果看,所提出... 详细信息

为提高多维数据压缩存储性能,本文利用模型视图控制器(model view controller, MVC)架构建立了多维数据的压缩存储方法。在该方法中,主要通过多维矢量矩阵进行多维数据压缩、通过关系数据库进行多维数据存储。从对比试验结果看,所提出的多维数据压缩存储方法存储时间短且压缩效率高,可为后续类似研究提供参考。

关键词：多维数据 MVC架构压缩存储

RDF图模型支持下的知识图谱数据索引与压缩存储算法

在线全文

学校读者我要写书评

暂无评论

渤海大学学报（自然科学版） 2021年第3期42卷 277-282页

作者：鲁富宇冷泳林渤海大学信息科学与技术学院辽宁锦州121013

知识图谱在人工智能的语义搜索、智能问答、数据分析等方面展现出巨大的价值.RDF(Resource description framework)是语义Web提供的一种存储和管理知识图谱的通用框架.随各领域知识的不断完善和扩大,知识图谱的高效检索愈加重要,研究者... 详细信息

知识图谱在人工智能的语义搜索、智能问答、数据分析等方面展现出巨大的价值.RDF(Resource description framework)是语义Web提供的一种存储和管理知识图谱的通用框架.随各领域知识的不断完善和扩大,知识图谱的高效检索愈加重要,研究者提出了很多建立在RDF数据模型基础上的索引及存储方案.针对目前知识图谱数据检索时产生的大量的自连接和高数据冗余等问题,提出了一种基于路径的索引树(P-tree)及建立在该索引结构上的三元组压缩和检索算法(CRK2-triples),来实现对知识图谱数据的快速检索.实验选择包含标准SPARQL查询的数据集,并将实验结果同三种有代表性的RDF数据存储索引方案进行比较.结果表明P-tree索引及CRK2-triples压缩检索算法在处理复杂查询和大规模数据集上有较大的优势.

关键词：知识图谱 RDF 索引压缩存储

基于压缩存储技术求解压力Poisson方程的BiCGSTAB算法

在线全文

学校读者我要写书评

暂无评论

计算机应用研究 2018年第1期35卷 113-115页

作者：桂洲王企鲲上海理工大学能源与动力工程学院上海200093

基于投影算法所得压力Poisson方程进行数值离散,对离散系统形成的稀疏线性方程组,由于线性方程组的系数矩阵存在大量的零元素,为降低内存存储,以一维稀疏存储结构对大规模的系数矩阵进行压缩处理,只存储非零元素;同时,以具有优化性质的B... 详细信息

基于投影算法所得压力Poisson方程进行数值离散,对离散系统形成的稀疏线性方程组,由于线性方程组的系数矩阵存在大量的零元素,为降低内存存储,以一维稀疏存储结构对大规模的系数矩阵进行压缩处理,只存储非零元素;同时,以具有优化性质的BiCGSTAB算法求解压力Poisson方程,显著提高了计算效率。在相同初始条件下,利用Fortran90完成超松弛迭代法的程序求解压力Poisson方程数值离散所得到的线性方程组进行求解对比。结果表明基于压缩存储的BiCGSTAB算法在求解稀疏线性方程组具有明显的优势,该算法求解速度快、高效、可靠。

关键词：泊松方程压缩存储 BiCGSTAB算法超松弛迭代法线性方程组

基于HBase的电力数据压缩存储系统设计与实现

在线全文

学校读者我要写书评

暂无评论

基于HBase的电力数据压缩存储系统设计与实现

作者：张家伟中国科学院大学(中国科学院沈阳计算技术研究所)

学位级别：硕士

改革开放以来,我国生产力急速增长,从一个完全封闭的国家,张开了拥抱世界的胸怀。大规模的基础建设导致能源消耗急剧增加,因此,电力行业必然是爆发式发展与进步,由此每天产生数以亿计的数据量。而对如此海量的数据,如不能高效快速的存取... 详细信息

改革开放以来,我国生产力急速增长,从一个完全封闭的国家,张开了拥抱世界的胸怀。大规模的基础建设导致能源消耗急剧增加,因此,电力行业必然是爆发式发展与进步,由此每天产生数以亿计的数据量。而对如此海量的数据,如不能高效快速的存取,不仅浪费大量存储设备,同时也导致数据查询缓慢,影响电力调度,从而导致电网调度管理低效,不合理等情况。此外,城市用电系统需要根据不同地区、不同时段、不同用途等进行实时的电力调度,这对电力数据的实时性要求非常高。不仅如此,对电力调度数据的准确性也是同样的高要求。这就要求对电力数据的压缩存储不仅要考虑压缩率,还要考虑在节约存储空间的基础上,还有做到无损压缩和快速存取。那么到底如何才能在对电力调度数据进行压缩存储时,能兼顾压缩速度与压缩率呢?针对国家电网某分公司调度全业务数据管理平台的建设这一项目,本文着重研究并解决海量调度数据压缩存储问题,通过对HBase这一非关系型数据库的研究与应用,我们发现可以利用其列存的特性,设计并实现电力调度数据的高效压缩存储,实现高压缩率、快速存取的目标。本文从对数据计算流程的优化、HBase表设计、基于数据分类的压缩算法选取、Hadoop与HBase环境搭建以及电力数据压缩存储实现等几个步骤实现了电力数据的压缩存储系统。本文在对数据进行压缩时,针对不同数据选取了不同的压缩算法,采用的是基于访问频率的冷热数据分类方法,同时采用朴素贝叶斯方法对数据进行压缩算法选取。实验通过采用国家电网某公司2020年历史电力调度数据,共抽取了六组实验数据,分别从压缩前后存储空间、存储速度以及查询性能三个维度进行了测试,最终实现了电力数据压缩存储系统,达到了项目的高效存储目标。

关键词： HBase 压缩存储大数据电力数据

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

多维对称空间的压缩存储及其应用研究

多维对称空间的压缩存储及其应用研究

作者：黄海平湘潭大学

学位级别：硕士

自然界中到处都存在着对称性，对于具有对称性的信息，在存储时可根据它的特征进行压缩存储。比如，如果平面图形在二维坐标系中是对称的，则可以只存储一半（不考虑对角线）的信息就可以表示出这个图形，即可以存储为一个上（或下）三... 详细信息

自然界中到处都存在着对称性，对于具有对称性的信息，在存储时可根据它的特征进行压缩存储。比如，如果平面图形在二维坐标系中是对称的，则可以只存储一半（不考虑对角线）的信息就可以表示出这个图形，即可以存储为一个上（或下）三角矩阵。类似的如果三维坐标系是对称的，就可以只存储1/6（不考虑对角线）的信息，至于怎么存储却并不像二维对称那样简单。在现实世界中，我们能够观察到的也就是三维，加上时间也才四维，但是在很多领域，经常需要处理三维及三维以上的信息，有时候这些多维信息，在维与维之间存在着对称性。如果能够像上（下）三角矩阵剥离二维对称一样去剥离多维信息中的对称性，将可以极大地减少信息量，进而降低存储空间和处理时间。本文针对上述问题，如果“多维空间”各维间具有对称性，则其冗余程度是非常大的，较为系统的介绍了消除其冗余性的方法，即称为“多维对称空间压缩存储”的方法，并且设计了“遍历多维对称空间正对角面”的几种高效的方法。首先，比较详细的分析了“多维空间”的对称性，通过坐标映射的方式设计了多维对称空间的压缩存储方法;然后分别设计了针对规整对称空间正对角面，规整对称空间，非对称空间，非规整对称空间的压缩存储方法;最后，还设计了“规整对称空间正对角面遍历”的方法。此外，本文还将所设计的“多维对称空间的压缩存储方法”应用在小规模的多目标0-1背包问题中，并经过实验验证了它的正确性与有效性。实验结果表明，所设计的压缩存储方法是很有效的。所设计的“多维对称空间的压缩存储方法”是一个非常有用的算法工具，可以极大的减少某些特定问题的内存需要，进而大大减少时间耗费。

关键词：对称信息多维空间压缩存储

反射地震走时层析成像中的大型稀疏矩阵压缩存储和求解

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

地球物理学进展 2008年第3期23卷 674-680页

作者：成谷张宝金中山大学地球科学系广州510275 广州海洋地质调查局广州510760

反射地震走时层析成像是一种精度较高的速度求取方法,最终可归结为线性方程组的求解.方程组具有很大的维数,常规解法需要很大的存储量和计算量.本文考虑到当投影函数取为走时残差,图象函数取为慢度残差时,灵敏度矩阵中的元素表示射线经... 详细信息

反射地震走时层析成像是一种精度较高的速度求取方法,最终可归结为线性方程组的求解.方程组具有很大的维数,常规解法需要很大的存储量和计算量.本文考虑到当投影函数取为走时残差,图象函数取为慢度残差时,灵敏度矩阵中的元素表示射线经过网格的长度的特殊物理意义,采用行索引的压缩存储方式,在射线追踪正演模拟过程中直接压缩存储灵敏度矩阵,在层析反演过程中利用压缩后的矩阵进行求解,大大降低了存储量和计算量.

关键词：反射地震走时层析稀疏矩阵压缩存储压缩求解

云环境下直方图立方压缩存储与增量更新及查询研究与实现

在线全文

学校读者我要写书评

暂无评论

云环境下直方图立方压缩存储与增量更新及查询研究与实现

作者：陈昌宁东北大学

学位级别：硕士

随着大数据和云计算时代到来,像联机分析处理(On Line Analytical Processing, OLAP)这种需要大量计算和存储开销的问题变得简单许多。然而受数据海量化和高维化影响,OLAP技术在计算和存储方面仍然面临严峻的挑战,分布式环境下的处理方... 详细信息

随着大数据和云计算时代到来,像联机分析处理(On Line Analytical Processing, OLAP)这种需要大量计算和存储开销的问题变得简单许多。然而受数据海量化和高维化影响,OLAP技术在计算和存储方面仍然面临严峻的挑战,分布式环境下的处理方式只是缓解上述挑战。本文提出了直方图数据立方体的压缩架构,分别从直方数据图立方体的底层存储结构,内容压缩,整体压缩三个方面进行了优化处理。首先底层存储结构上,本文基于直方图数据立方体和封闭数据立方体技术对于直方图数据立方体的存储结构进行改进,提出了封闭元祖+直方图的底层存储结构;内容压缩上,本文根据直方图数据立方体的统计结构信息提出计数倒转的压缩方法;整体压缩上,本文借用文件压缩进一步压缩直方图数据立方体;综合上述三种压缩技术,本文实现了对直方图数据立方体的高效压缩。构建数据立方体在时间上是一种很大的开销,前人大多都是在研究如何用尽可能少的时间构建一个完全数据立方体,而数据立方体是面向企业应用的,企业会有不断的新数据需要累加到数据立方体中。本文对数据立方体增量更新的收益与代价进行了分析研究,对数据立方体增量构建方法进行了探索,本文提出了封闭数据立方体增量更新时没有删除只有增加和更新的规律,并在MapReduce分布式环境下实现了MRC-IncreUp算法。封闭数据立方体的查询实现才是OLAP的最终目的,本文提出了基于查询键的直接查询和基于封闭原则编码分类的分类查询,另外为了实现交互式查询,本文引入了Impala大数据实时查询系统,并提出了利用Impala系统完成交互式查询的架构和查询优化策略。本文在TPC-DS测试数据集上通过实验证明了：对数据立方的压缩情况,以及增量更新相对于重新计算的优势和查询算法及实现的相对于以前查询算法的高效性。

关键词： OLAP 封闭数据立方体直方图数据立方体 MapReduce 增量更新查询压缩存储

基于小波变换特征提取技术实现用电负荷数据压缩与脱敏存储

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

电子设计工程 2019年第8期27卷 104-109,114页

作者：杨维张弦王乐之程飞飞国家电网有限公司客户服务中心天津300000 南瑞集团有限公司江苏瑞中数据股份有限公司江苏南京210012

本文应用小波变换技术对电力用户每15分钟采集一次的用电负荷数据的特征进行了梳理,选择小波变换算法开展用电负荷数据的特征提取,优化数据存储方式实现数据压缩与脱敏存储,用以解决海量用电负荷指标数据的存储问题。结果表明,通过小波... 详细信息

本文应用小波变换技术对电力用户每15分钟采集一次的用电负荷数据的特征进行了梳理,选择小波变换算法开展用电负荷数据的特征提取,优化数据存储方式实现数据压缩与脱敏存储,用以解决海量用电负荷指标数据的存储问题。结果表明,通过小波变换可以有效提取数据特征,压缩存储空间约50%,并实现数据脱敏。本文所研发的基于小波变换特征提取技术实现用电负荷数据压缩与脱敏存储的技术具有潜在的应用价值和推广价值,并能够产生较高的经济效益。

关键词：小波变换特征提取用电负荷数据压缩存储数据脱敏

在线全文

学校读者我要写书评

暂无评论

基于改进遗传算法的C-TRDM压缩存储

计算机工程 2009年第21期35卷 178-180页

作者：王智文刘美珍蔡启先谢国庆广西工学院计算机工程系柳州545006 厦门大学智能科学与技术系厦门361005 广西工学院图书馆柳州545006 福建师范大学软件学院福州350007

针对时态数据库中存在数据冗余、数据量快速增长等问题,结合现有压缩技术,提出基于改进遗传算法的C-TRDM压缩存储技术。将各个时刻的时态关系数据分解为最小粒度的数据并进行编码,采用改进的遗传算法来计算待压缩数据中的最优存储数据... 详细信息

针对时态数据库中存在数据冗余、数据量快速增长等问题,结合现有压缩技术,提出基于改进遗传算法的C-TRDM压缩存储技术。将各个时刻的时态关系数据分解为最小粒度的数据并进行编码,采用改进的遗传算法来计算待压缩数据中的最优存储数据以提高压缩比。算法的快速收敛性使去除数据冗余的速度得到提高。

关键词：时态关系数据模型改进遗传算法压缩存储