检索结果-南通市图书馆

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于alluxio的异步存储优化

东南大学学报（自然科学版） 2018年第2期48卷 248-252页

作者：温东新董文菁曹瑞张展哈尔滨工业大学计算机科学与技术学院哈尔滨150001

为了减缓与底层存储直接传输数据的网络压力,保证异步传输速度与数据可靠性,综合分析了生成文件的操作是否可重算和重算时间等条件,采用传数据和传操作相结合的方式进行数据持久化.相对于传数据,传操作利用底层存储的计算资源,以较小数... 详细信息

为了减缓与底层存储直接传输数据的网络压力,保证异步传输速度与数据可靠性,综合分析了生成文件的操作是否可重算和重算时间等条件,采用传数据和传操作相结合的方式进行数据持久化.相对于传数据,传操作利用底层存储的计算资源,以较小数据传输代价完成部分数据的持久化.对于无法重计算恢复的文件,采用同步与异步相结合的策略保证文件的可靠性.实验结果表明,结合文件操作的异步存储策略Async-Store的运行时间比单纯的同步策略缩短41%,并在一定程度上保证了数据的可靠性.相比异步策略,同步与异步相结合的策略Async&Sync通过牺牲少量性能完全保证数据的可靠性,其运行时间较同步策略缩短26%.

关键词：异步存储 alluxio 数据可靠性世系关系底层资源

在线全文

学校读者我要写书评

暂无评论

基于alluxio的新闻文本存储优化方法

中国传媒大学学报（自然科学版） 2023年第6期30卷 12-18页

作者：桂静王永滨中国传媒大学媒体融合与传播国家重点实验室北京100024 中国传媒大学计算机与网络空间安全学院北京100024

新闻数据的指数级增长对新闻的高效存储和管理提出了重大挑战。为解决存储与计算分离模式下新闻文本的存储与读访问瓶颈问题,提出了一种基于数据编排平台alluxio的新闻文本存储优化方法。首先,利用alluxio对不同存储系统中的新闻文本进... 详细信息

新闻数据的指数级增长对新闻的高效存储和管理提出了重大挑战。为解决存储与计算分离模式下新闻文本的存储与读访问瓶颈问题,提出了一种基于数据编排平台alluxio的新闻文本存储优化方法。首先,利用alluxio对不同存储系统中的新闻文本进行缓存并提供统一命名空间,加速了计算应用的数据访问。其次,为了解决新闻文本存储在远程场景下所面临的读访问性能瓶颈问题,对新闻文本进行了基于目录聚合的合并,并利用最小完美哈希算法对新闻文本元数据构建索引,实现了新闻文本的快速检索。

关键词：分布式系统新闻数据小文件存储缓存 alluxio

基于alluxio远程场景下缓存策略的优化

在线全文

学校读者我要写书评

暂无评论

计算机应用研究 2018年第10期35卷 3025-3028页

作者：董文菁温东新张展哈尔滨工业大学计算机科学与技术学院哈尔滨150001

当今时代数据呈现出指数级增长效应,更多的组织采用多数据中心和分布式来存储数据,alluxio作为以内存为中心的虚拟分布式存储系统,整合了底层大数据生态系统。在alluxio与底层存储结合的远程场景中,由于网络的延迟,使得I/O速度成为影响... 详细信息

当今时代数据呈现出指数级增长效应,更多的组织采用多数据中心和分布式来存储数据,alluxio作为以内存为中心的虚拟分布式存储系统,整合了底层大数据生态系统。在alluxio与底层存储结合的远程场景中,由于网络的延迟,使得I/O速度成为影响对外服务的重要因素之一。针对以上研究提出一种基于alluxio远程场景下的缓存策略CPR,利用存储系统中数据块之间的关联性指导数据预取与替换,采用分组思想提高关联规则的利用率,启用后台线程实时更新规则集,并通过仿真实验验证策略的有效性。仿真结果表明,CPR策略指导下的I/O性能要优于alluxio现有的缓存策略和一些基于数据块间关联规则的缓存策略。

关键词：数据块关联规则 alluxio 数据预取数据替换

基于alluxio的数据高可用部署策略的研究与优化

在线全文

学校读者我要写书评

暂无评论

基于Alluxio的数据高可用部署策略的研究与优化

作者：徐新钧哈尔滨工业大学

学位级别：硕士

随着存储着海量数据的分布式文件系统的进一步发展,为了满足各种企业、学术机构等组织对数据存取速度的需求,诞生了内存分布式文件系统这一概念。以开源的alluxio为代表的内存分布式文件系统的逐渐发展,被人们运用到了日常生活中的方方... 详细信息

随着存储着海量数据的分布式文件系统的进一步发展,为了满足各种企业、学术机构等组织对数据存取速度的需求,诞生了内存分布式文件系统这一概念。以开源的alluxio为代表的内存分布式文件系统的逐渐发展,被人们运用到了日常生活中的方方面面,但这也暴露出了不少问题。本文以海量数据系统的可用性为研究目标,对比分析其他系统上的确保数据可靠性的机制,结合alluxio自身特性,就数据部署策略方面提出改进的措施,以此来提高alluxio自身的可用性,并且确保对上层计算框架更好的支持。alluxio系统作为大数据生态系统的中间层,链接着上层计算框架与底层存储系统。当其正支持着上层计算框架对数据的读取时,若底层存储系统或者与之的通信网络发生故障,alluxio中的数据的可靠性将不能从底层存储中获得保障,便会使系统不可用。同时考虑到远端调用在维护数据一致性的巨大消耗,建立或完善alluxio内部对数据可用性的保障机制是十分必要的。所有的冗余措施都会占用alluxio本就不多的内存存储,本文对此提出了一种改进思想。其主要分为两点,其一是将数据按热度进行划分,对热点数据以alluxio层次化存储的方式固定到内存来提高内存空间的利用率进而提高系统整体的执行效率;其二是以数据块为粒度,通过设定合适的副本个数结合alluxio并行化的读取措施进一步提高热点数据的读取效率,降低冷门数据占用的存储空间,也通过冗余措施确保了系统的可用性。这样当alluxio在面对底层存储失联,自身节点故障等问题是仍能维持对上层计算框架的服务并坚持到故障被修复。基于上述的优化思想,在对alluxio的源码进行解读后,本文在外部建立了一套按数据块预测读取频率来分类的计算模块与进行副本个数管理的动态调整模块;在内部改写了其自带的数据分配策略,添加了数据分层持久化的内容,同时对异常进行了监控,并以此实现了故障处理模块。最后,本文以一种模仿实际数据访问分布的读取算法对完成的热点数据分层部署策略和数据块副本动态调整策略进行测试,在与其他策略对比分析后,成功验证了本文策略的在提高系统响应效率、降低系统负载的有效性;在故障模拟后,通过分析任务的执行情况,也成功验证了本文策略对系统可用性提高上的有效性。

关键词： alluxio 数据部署热点数据动态副本数据可用性

基于alluxio的数据高可用管理技术的研究与优化

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Alluxio的数据高可用管理技术的研究与优化

作者：董文菁哈尔滨工业大学

学位级别：硕士

随着存储硬件成本的不断降低,大数据生态系统的复杂变化,计算框架与存储系统的多样性和异构性发展,基于内存的分布式文件系统,数据库等一系列产品孕育而生,用来整合整个大数据生态系统,更好的服务于外界业务。可用性是评价海量存储系统... 详细信息

随着存储硬件成本的不断降低,大数据生态系统的复杂变化,计算框架与存储系统的多样性和异构性发展,基于内存的分布式文件系统,数据库等一系列产品孕育而生,用来整合整个大数据生态系统,更好的服务于外界业务。可用性是评价海量存储系统性能的重要指标之一。本文将从提高海量存储系统可用性的角度出发,研究当前开源的基于内存的虚拟分布式存储系统alluxio,主要研究alluxio上关于数据管理机制的可用性优化技术,以此来提高alluxio与底层存储相结合的海量存储系统在远程环境下的可用性。本文将alluxio与底层存储结合的海量存储系统的可用性状态作为研究点,结合当前其他分布式文件系统或基于内存的数据库系统的一些可用性技术,分析远程环境下由于网络等不可预估因素形成的底层数据不可访问的数据不可用状态和异步存储下由于异步机制等原因形成的数据不可用现象,基于以上问题,提出了本文的优化策略,主要有两点:一是缓存预取与替换,将需要的数据预先提取保存到alluxio上,同时增加alluxio中热数据容量,减轻网络拥塞时的数据传输压力,减少访问底层存储次数,当底层数据不可访问时延长对外服务时间。二是优化异步存储过程,提出结合操作的异步存储优化策略,即当操作明确、具有幂等性且底层有相应计算资源时,可直接利用alluxio向底层存储发送命令而非数据,减轻传输大量数据带来的网络压力,同时将异步与同步相结合进一步保证持久化数据的可用性。基于上述优化思想,本文提出了以下策略:基于数据块间关联规则的数据预取与替换策略和结合操作的异步存储优化策略。较为完善的解决了上述提出的问题。最后,通过实验进行了相关优化技术的综合分析。根据实验结果,得出基于关联规则的数据预取与替换策略能够在远程场景下进行数据预取,避免由于网络等原因导致的对外业务不可用,同时由于将热数据长久的保留在alluxio中,降低了应用访问数据的延迟,减少了访问底层存储的次数,缓解了网络高负载时的通信压力,降低整个系统发生宕机情况的故障率,从而提高了系统对外业务的可用性。异步存储策略能够在异步情况下尽可能的保证数据的可用性,减轻网络传输数据的压力,同时能保证数据完整一致性等性能要求,这样既保证了程序要求的性能又保证了数据的可用性。

关键词： alluxio 数据管理数据预取异步存储数据可用性

基于alluxio+Docker的分布式文件系统设计及应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

电子技术与软件工程 2019年第21期 160-161页

作者：李晓炀内蒙古自治区气象信息中心

本文针对用户访问数据的管理及性能,提出了基于alluxio+Docker的分布式文件系统。通过对alluxio、Docker的整合应用,提供高效、灵活、可扩展的分布式文件系统,通过该系统改善气象生态系统的性能,提供更健壮和强大的基础架构。

关键词：分布式文件系统 alluxio Docker

在线全文

学校读者我要写书评

暂无评论

矢量瓦片并行构建与分布式存储模型研究

地球信息科学学报 2020年第7期22卷 1487-1496页

作者：聂沛陈广胜景维鹏东北林业大学信息与计算机工程学院哈尔滨150040 黑龙江省林业生态大数据存储与高性能(云)计算工程研究中心哈尔滨150040

矢量瓦片体积小、生成效率高、支持动态交互,较传统栅格瓦片有诸多优势,是下一代互联网地图服务研究的重点。为了解决当前矢量瓦片研究中处理速度慢,扩展性差等问题,本文利用并行计算框架Spark进行矢量瓦片快速构建,通过自定义转换函数... 详细信息

矢量瓦片体积小、生成效率高、支持动态交互,较传统栅格瓦片有诸多优势,是下一代互联网地图服务研究的重点。为了解决当前矢量瓦片研究中处理速度慢,扩展性差等问题,本文利用并行计算框架Spark进行矢量瓦片快速构建,通过自定义转换函数,将原始矢量数据GeoJson转换成mvt瓦片集;对于生成的矢量瓦片集,本文基于分布式内存文件系统alluxio设计一个瓦片存储模型-VectorTileStore,模型以键值对进行数据存储,瓦片元数据占据前八个键值对,单个瓦片占据一个键值对,在数据写入的同时,基于键构建一个哈希索引,用于快速访问,模型兼容海量瓦片的组织存储,具有很强的扩展性。通过实验结果表明,本文提出的矢量瓦片并行构建算法较单机构建算法运行时间平均减少49.6%,分布式存储模型VectorTileStore较传统方案更适合海量矢量瓦片存储,存取时间效率更高。

关键词：矢量瓦片 web地图服务并行处理 Spark 分布式存储 alluxio

在线全文

学校读者我要写书评

暂无评论

分布式文件系统在脉冲星数据处理中的应用

信息技术与信息化 2023年第3期 70-73页

作者：刘懿德于徐红刘志杰贵州师范大学贵州省信息与计算科学重点实验室贵州贵阳550001

随着500 m口径球面射电望远镜(fi ve hundred meters aperture spherical telescope,FAST)巡天扫描的数据量不断增加,现有分布式计算集群所采用的文件存储系统逐渐成为限制计算速度的瓶颈之一。通过对计算集群架构的分析,将脉冲星数据... 详细信息

随着500 m口径球面射电望远镜(fi ve hundred meters aperture spherical telescope,FAST)巡天扫描的数据量不断增加,现有分布式计算集群所采用的文件存储系统逐渐成为限制计算速度的瓶颈之一。通过对计算集群架构的分析,将脉冲星数据处理与分布式文件系统技术相结合,针对目前计算集群中存在的问题,提出使用alluxio+HDFS的分布式文件系统代替原先使用的Lustre文件系统,并根据脉冲星数据处理计算的特点和文件系统机制重新设计了任务分配算法和计算任务。实验表明使用该存储系统能够在相同的网络环境下提高网络带宽和节点内存利用率,减少网络传输时延及冗余磁盘读写开销,提高集群脉冲星数据处理的整体计算效率。

关键词：脉冲星数据处理分布式文件系统 alluxio HDFS

在线全文

学校读者我要写书评

暂无评论

仿真模型数据高通量共享与并发访问

仿真模型数据高通量共享与并发访问

作者：赵伟北京理工大学

学位级别：硕士

根据高性能计算和高通量计算的概念,结合当前复杂仿真系统的应用特点,给出了高通量仿真的定义。高通量仿真指的是利用大量的计算资源,在较长的时间内,以较高的运算效率完成大规模仿真任务的计算机仿真过程。高通量仿真与以往的仿真系统... 详细信息

根据高性能计算和高通量计算的概念,结合当前复杂仿真系统的应用特点,给出了高通量仿真的定义。高通量仿真指的是利用大量的计算资源,在较长的时间内,以较高的运算效率完成大规模仿真任务的计算机仿真过程。高通量仿真与以往的仿真系统相比有较大的不同。高通量仿真系统应用范围更广,不再是针对特定的领域。而且高通量仿真中,涉及了知识背景各异的用户,不同的用户的关注层面差别巨大。仿真过程对于用户来说,需要并发运行大量耦合性弱的仿真作业,而且系统在执行这些仿真作业时往往需要实例化大量复用的仿真模型,处理和分析海量的数据。总的来说,高通量仿真具有:异构、高吞吐、高并发、高可靠性等特点。高通量仿真过程中可能存在对于I/O的频繁访问,而且仿真过程一般运行在异构的、动态的分布式系统中,那么I/O的访问效率可能会成为仿真效率高低的关键因素。在仿真过程中,如果分布式文件系统的读写效率较低,那么在整个仿真过程中,可能会将大量的时间消耗在I/O访问过程中,因此,需要有一种方法来改善分布式文件系统的读写速率,并且在读写速率提升的同时,还要保证其高可靠性,这是本文研究的最根本所在。仿真过程中,对于I/O的访问,一定会涉及到模型的进程对于I/O的访问,本文首先会构建一个高通量仿真支撑平台,在此平台中,上层封装了仿真推进引擎,仿真推进过程是一个多进程推进的过程,在多进程协同运行的过程中,必须有一个避免死锁的方法,本文利用空消息算法来有效避免死锁的发生,系统的下层就是实际的物理存储,如果想提升物理介质的存储速度,更换物理存储是最直接的方式,在本系统中,使用了内存作为文件系统,但是由于内存的易失性,单纯使用内存可靠性难以保证,而通过利用alluxio可以有效避免内存的缺陷。本文所构建的高通量仿真支撑平台优点如下:(1)可以满足高通量仿真过程中,模型进程对于I/O的高并发访问。(2)在本文所设计的高通量仿真支撑平台时,抛弃了传统的基于HDFS的分布式文件系统,而选择采用基于内存的分布式文件系统,由于内存介质的读写速率远远高于磁盘,所以在面对高并发访问时,其效率会比传统的基于磁盘的分布式文件系统高很多。(3)高通量仿真支撑平台的底层存储采用分层结构,上层为内存,下层为HDD,这样做既保证了I/O访问的效率,又保证了分布式文件系统对于数据的存储量。本文实现了一个仿真支撑平台,此平台是面向高通量仿真而设计的,结合高通量仿真过程中高并发、高吞吐量的实际情况,系统实现时对分布式文件系统进行优化,最终解决仿真过程中频繁对I/O访问所带来的瓶颈问题,提升仿真的效率。本系统用C++编程实现了仿真推进引擎和避免死锁的空消息算法,然后用Java语言实现了对文件系统的访问,通过代理将两者相结合实现了仿真过程中对于分布式文件系统的高并发访问。本文中实现的高通量仿真支撑平台可以有效的改善访问I/O带来的瓶颈,和传统的大数据仿真相比,会有更高的效率。

关键词： alluxio 高通量仿真 I/O访问文件系统