检索结果-南通市图书馆

国外科技新书评介 2012年第1期 31-32页

作者：胡光华原中国科学院物理学研究所

分布式计算领域涉及了横跨多种处理平台计算与信息存取的各个方面，而这些平台是由各种形式的通信网络连接起来构成的，包括局域的和广域的。自从20世纪70年代因特网出现起，分布式处理方面的应用就在稳步增长。

关键词：分布式计算分布式处理信息存取网络连接因特网平台广域局域

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

新型分布式计算系统中的异构任务调度框架

软件学报 2022年第3期33卷 1005-1017页

作者：刘瑞奇李博扬高玉金李长升赵恒泰金福生李荣华王国仁北京理工大学计算机学院北京100081 东北大学计算机科学与工程学院辽宁沈阳110819

随着大数据和机器学习的火热发展,面向机器学习的分布式大数据计算引擎随之兴起.这些系统既可以支持批量的分布式学习,也可以支持流式的增量学习和验证,具有低延迟、高性能的特点.然而,当前的一些主流系统采用了随机的任务调度策略,忽... 详细信息

随着大数据和机器学习的火热发展,面向机器学习的分布式大数据计算引擎随之兴起.这些系统既可以支持批量的分布式学习,也可以支持流式的增量学习和验证,具有低延迟、高性能的特点.然而,当前的一些主流系统采用了随机的任务调度策略,忽略了节点的性能差异,因此容易导致负载不均和性能下降.同时,对于某些任务,如果资源要求不满足,则会导致调度失败.针对这些问题,提出了一种异构任务调度框架,能够保证任务的高效执行和被执行.具体来讲,该框架针对任务调度模块,围绕节点的异构计算资源,提出了概率随机的调度策略resource-Pick_kx和确定的平滑加权轮询算法.Resource-Pick_kx算法根据节点性能计算概率,进行概率随机调度,性能高的节点概率越大,任务调度到此节点的可能性就越高.平滑加权轮询算法在初始时根据节点性能设置权重,调度过程中平滑加权,使任务调度到当下性能最高的节点上.此外,对于资源不满足要求的任务场景,提出了基于容器的纵向扩容机制,自定义任务资源,创建节点加入集群,重新完成任务的调度.通过实验在benchmark和公开数据集上测试了框架的性能,相比于原有策略,该框架性能提升了10%-20%.

关键词：任务调度负载均衡自动扩容分布式计算异构任务

在线全文

学校读者我要写书评

暂无评论

分布式计算环境下的栅格数据存储策略

国防科技大学学报 2017年第6期39卷 51-58页

作者：张剑波夏灯城赵加奥李谢清崔永键袁国斌中国地质大学信息工程学院湖北武汉430074

针对传统的栅格数据存储策略不能满足分布式计算环境下粗粒度数据访问需求,应对海量栅格数据计算时效率低下的问题,结合分布式文件系统的存储特点,同时考虑地图代数算子在Map/Reduce阶段以栅格瓦片为单位的计算特点,提出一种基于Hadoop... 详细信息

针对传统的栅格数据存储策略不能满足分布式计算环境下粗粒度数据访问需求,应对海量栅格数据计算时效率低下的问题,结合分布式文件系统的存储特点,同时考虑地图代数算子在Map/Reduce阶段以栅格瓦片为单位的计算特点,提出一种基于Hadoop分布式文件系统的栅格瓦片存储策略。围绕栅格数据瓦片分割、压缩瓦片数据组织与存储、分布式文件输入输出接口改进等方面对该存储策略加以实现,并使用基于该存储策略的地图代数局部算子的分布式计算流程加以验证。理论分析与实验结果表明,该策略能够显著提高分布式计算环境下空间分析算子的运算速度。

关键词：分布式计算栅格数据存储策略地图代数

“分布式计算与开发模式”综合设计性实验案例

在线全文

学校读者我要写书评

暂无评论

实验技术与管理 2019年第10期36卷 197-200页

作者：杨丹张晶赵骥王刚辽宁科技大学软件学院

针对面向计算机专业本科生开设的"分布式计算与开发模式"专业课的特点和大纲要求,设计了该综合设计性实验.该实验在Windows系统下,使用Hadoop分布框架和Eclipse快速开发平台,实现了地震数据集的统计任务.对实验目的、任务要求、实验方... 详细信息

针对面向计算机专业本科生开设的"分布式计算与开发模式"专业课的特点和大纲要求,设计了该综合设计性实验.该实验在Windows系统下,使用Hadoop分布框架和Eclipse快速开发平台,实现了地震数据集的统计任务.对实验目的、任务要求、实验方法和步骤、算法流程等进行了详细介绍.实践结果表明,通过此综合设计性实验,学生的实验积极性和对分布式计算的掌握程度大大提高.

关键词：分布式计算综合设计性实验 Hadoop MapReduce

在线全文

学校读者我要写书评

暂无评论

分布式计算中统计方法的拓展

统计与决策 2021年第8期37卷 54-58页

作者：任图南中国银联博士后科研工作站上海201201 复旦大学网络空间安全博士后科研流动站上海200433

在数据体量逐渐增大的时代,处理大体量数据已经成为科学研究必需的途径。分布式计算为处理这样的大体量数据提供了方案,但站在统计学的角度,分布式计算所带来的便捷性也会造成统计学性质的损失。文章针对分布式计算与统计理论结合问题... 详细信息

在数据体量逐渐增大的时代,处理大体量数据已经成为科学研究必需的途径。分布式计算为处理这样的大体量数据提供了方案,但站在统计学的角度,分布式计算所带来的便捷性也会造成统计学性质的损失。文章针对分布式计算与统计理论结合问题进行综述,并分析了这些方法的优势和不足,指出了在这一领域进一步研究的方向。

关键词：分布式计算 One-shot方法高维稀疏回归

在线全文

学校读者我要写书评

暂无评论

分布式计算综合实验平台的设计与实现

分布式计算综合实验平台的设计与实现

作者：崔洋洋西安电子科技大学

学位级别：硕士

随着移动互联网技术的飞速发展,许多互联网企业产生的数据量以指数级别快速增长。在这种情况下,有些应用需要非常巨大的计算能力才能完成,传统的集中式计算技术已经无法满足大量数据存储与处理的需求了。而分布式计算可以将大型任务或... 详细信息

随着移动互联网技术的飞速发展,许多互联网企业产生的数据量以指数级别快速增长。在这种情况下,有些应用需要非常巨大的计算能力才能完成,传统的集中式计算技术已经无法满足大量数据存储与处理的需求了。而分布式计算可以将大型任务或数据切分成很多小的子任务分配给其他的机器处理,并把所有的计算结果进行综合起来得到最终结果,从而大大提高了计算效率。在此背景下,高校信息化进程不断推进,各大高校都希望能够加强对大数据、分布式计算等方面的人才培养力度,教学实验平台作为高校教学过程中非常重要的一项应用也应当紧跟步伐。然而经研究发现,高校实验室具有典型的用户多、难管理等特点,在进行分布式计算实验时,每个用户都需要在单台计算机上利用多个虚拟机搭建集群环境,配置环境复杂,需占用大量时间,且运行分布式算法程序效率低下,效果难以满意。另外,教师在进行实验考核时往往需要花费大量时间去人工检查源代码,效率极低。虽然目前已经出现很多相关的实验平台,但其中大部分都将重点放在如何高效利用与管理实验资源,而在如何高效处理分布式计算实验与辅助实验考核方面还不完善,功能有所欠缺。本文通过分析现有高校实验室建设现状,针对上述问题,将云计算与高校教育进行有效的结合,设计并实现了基于Hadoop的分布式计算综合实验平台。在该平台上,用户无需搭建实验环境,通过浏览器即可直接提交程序代码到平台,平台会自动完成计算。同时,该平台提供对用户实验过程监控、实验结果的记录及对用户完成实验情况进行自动统计等功能。本论文的主要工作如下:（1）分布式集群部署方案的设计与实现。本文研究了HDFS、MapReduce、Yarn等Hadoop相关组件的核心架构设计与基本原理,利用一台主机上的三台虚拟机部署分布式集群环境。（2）远程调用方案的设计与实现。研究常用的网络传输协议,通过比较其优缺点,提出本文的构想方案,利用较安全的SSH协议进行加密连接,进行远程任务调用,通过Web服务器直接将任务远程提交到分布式集群并执行。（3）任务调度与监控方案的设计与实现。针对平台中任务的执行流程,设计一种基于线程池的任务调度方案,用于协调多个用户提交的任务与分布式集群的负载均衡。最后针对该分布式计算综合实验平台,本文利用三台虚拟机搭建了实验环境,并对其开展测试。实验结果表明,该平台能够有效地完成分布式计算任务,实现了在多用户间以共享平台软硬件资源的方式完成计算并验证实验结果,同时提供了辅助实验考核等功能,解决了实验环节部署难、效率低及资源利用率低等方面的问题,大大减轻了教师的压力。

关键词：分布式计算 Hadoop HDFS MapReduce 高校教育

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

分布式计算模式下推荐系统模块研究与设计

分布式计算模式下推荐系统模块研究与设计

作者：胡成凯兰州交通大学

学位级别：硕士

互联网时代下的信息数据量快速增长,提高了用户查找信息的难度。推荐算法作为一种基于数据的信息过滤与处理技术,为解决此类问题提供了基础理论支撑,并在多种场景得到了良好的应用。本论文以电影作为推荐对象,通过情感分析方式改善电影... 详细信息

互联网时代下的信息数据量快速增长,提高了用户查找信息的难度。推荐算法作为一种基于数据的信息过滤与处理技术,为解决此类问题提供了基础理论支撑,并在多种场景得到了良好的应用。本论文以电影作为推荐对象,通过情感分析方式改善电影评分矩阵的稀疏性,研究融合多种推荐算法建立混合推荐模型,设计实现了分布式计算模式下的个性化电影推荐系统。论文通过对国内外研究的历史和现状进行综述,分析目前存在的问题,提出了改进意见和思路,并阐明论文研究内容、研究目的和研究价值。论文对相关的概念和基础理论进行了概述,包括实验数据的获取方式、文本的处理流程、情感分析的研究现状和基本方法、传统推荐系统算法和目前存在的问题、以及分布式框架Spark的基本结构和功能。为有效改善原评分矩阵稀疏性对推荐结果的影响,情感分析部分对电影评论文本进行了细粒度情感分析。根据情感分析结果分别建立用户关注模型和电影特征模型,计算出情感预测评分矩阵;再将该矩阵按照矩阵填充算法填充入原始评分矩阵中,以改善原始矩阵稀疏性问题。在推荐系统模块设计部分,详细介绍了基于物品的协同过滤算法(Item CF)和隐语义模型协同过滤算法(LFM)。以优化后的稠密电影评分矩阵为基础,分别通过掺杂混合和加权混合的方式融合LFM和Item CF,建立新的混合电影推荐算法。在实验验证部分通过情感分析,预测用户评分结果;采用均方根误差(RMSE)确定LFM的隐含主题个数;以准确率和召回率两个指标作为评价依据,分别对混合电影推荐系统和单个电影推荐系统,以及掺杂混合方式和加权混合方式的推荐效果进行了比较分析;为验证分布式计算对于推荐系统运算效率的提升,利用分布式计算框架Spark运行混合电影推荐系统模块,同时与分布式计算框架Hadoop和单机在运算速度方面进行了对比,并展示了推荐结果。本文研究结果表明,掺杂混合和加权混合推荐系统算法在准确率、召回率两个指标方面相较于单一的传统推荐算法都有明显提升,且加权混合模型相比于掺杂混合模型更为出色,有助于提高推荐系统的推荐质量。在处理大数据量的电影推荐系统时,结果显示,Spark相较于Hadoop和单机,可以更有效的缩短运行时间,解决了单个计算机运算速度和资源的不足,有助于实现稳定的快速推荐系统。

关键词：情感分析隐语义模型协同过滤混合推荐系统分布式计算

分布式计算技术在交通一卡通清分管理系统中的应用研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机应用与软件 2018年第3期35卷 102-105,113页

作者：方秋水陈卫国何建兵徐锋广东岭南通股份有限公司广东广州510110

随着城市交通一卡通应用规模的扩大,通卡企业积累了庞大的交易数据。但由于大部分企业还不具备有效的方式处理和利用一卡通数据,这样不仅造成了数据资源的浪费,还大大制约了交通信息化的发展。在互联网大数据技术快速发展的背景下,针对... 详细信息

随着城市交通一卡通应用规模的扩大,通卡企业积累了庞大的交易数据。但由于大部分企业还不具备有效的方式处理和利用一卡通数据,这样不仅造成了数据资源的浪费,还大大制约了交通信息化的发展。在互联网大数据技术快速发展的背景下,针对现有的发展情况通过研究一卡通数据技术应用特点提出基于分布式计算技术架构的清分管理应用,实现对全省交通一卡通交易数据进行信息化管理,为各地市的交通一卡通企业提供统一化、标准化的清分服务。研究结果表明,构建一个面向全省的交通一卡通清分管理系统可以进一步提升交通一卡通大数据处理和价值转化能力,为政府部门、应用企业、商户提供精确的决策支持,增强公共服务能力。

关键词：交通一卡通清分管理分布式计算 Storm算法

在线全文

学校读者我要写书评

暂无评论

分布式计算中共识算法的研究

分布式计算中共识算法的研究

作者：赵守月江南大学

学位级别：硕士

共识算法在分布式计算中处于核心地位,主要解决多个计算节点如何在故障存在的情况下,就计算期间所需数值达成一致的问题。目前,Multi-Decree Paxos（Multi-Paxos）算法在共识算法领域占据主导地位,但其单领导者设计策略不仅存在单点故... 详细信息

共识算法在分布式计算中处于核心地位,主要解决多个计算节点如何在故障存在的情况下,就计算期间所需数值达成一致的问题。目前,Multi-Decree Paxos（Multi-Paxos）算法在共识算法领域占据主导地位,但其单领导者设计策略不仅存在单点故障的风险,也会对算法性能产生影响。针对Multi-Paxos单领导者设计缺陷,研究人员提出了许多算法变种。其中,Iulian Moraru等人在the Twenty-Fourth ACM Symposium on Operating Systems Principles（SOSP 2013）上提出的Egalitarian Paxos（EPaxos）算法具有优异的性能,得到了业内的广泛关注。EPaxos不设置领导者,所有节点均可处理客户端命令。在客户端命令无冲突的情况下,算法性能优异,但客户端命令冲突的情况会对算法性能产生影响。本文在EPaxos算法的基础上,以提升共识算法性能为目标进行研究,主要研究工作和创新点如下:（1）针对客户端命令冲突影响EPaxos延迟性能的问题,以低延迟为设计目标,将EPaxos算法和Multi-Paxos算法相结合,提出了共识算法Modified Egalitarian Paxos（MEPaxos）。首先,综合考虑节点的负载情况、网络的实时情况以及客户端命令的处理情况,提出系统平均延迟的计算方法;接着,对二阶段提交算法进行改进,提出转换算法;最后,根据系统平均延迟的计算结果,利用转换算法自动选择系统平均延迟较优的算法模式执行。理论分析与实验结果表明,MEPaxos算法下,系统延迟性能得到了提升。（2）针对客户端命令冲突影响EPaxos算法性能的问题,兼顾延迟与吞吐量性能,在EPaxos算法的基础上,引入分区处理的思想,提出了共识算法Partition Processing Egalitarian Paxos（PPEPaxos）。首先,设计并实现了实时监控系统,从各节点处获取当前客户端命令的处理情况,据此判断是否需要进行分区处理;接着,提出分区方案决策算法,对需要进行分区处理的情况,利用分区方案决策算法生成具体的分区方案;最后,通知各节点分区方案,各节点根据分区方案,对客户端命令进行分区处理。理论分析和实验结果表明,PPEPaxos算法下,系统延迟和吞吐量性能均有了提升。（3）从理论与实验两方面,对MEPaxos和PPEPaxos进行对比分析。首先,分析MEPaxos与PPEPaxos处理客户端命令的流程;接着,根据客户端命令处理流程,结合二者详细的算法步骤,从应用范围、延迟性能以及吞吐量性能三方面对MEPaxos和PPEPaxos进行理论分析对比;最后,对MEPaxos和PPEPaxos进行延迟与吞吐量实验,验证理论分析的结果。

关键词：分布式计算共识算法 Paxos 延迟吞吐量

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

分布式计算在合成孔径雷达成像中的应用研究

分布式计算在合成孔径雷达成像中的应用研究

作者：李长树桂林电子科技大学

学位级别：硕士

合成孔径雷达(Synthetic Aperture Radar,SAR)成像技术在现实中已经得到了广泛的应用,但是随着应用场景的复杂化,SAR成像的计算量越来越大,引发了一系列问题,限制了其在现实中的进一步应用。鉴于分布式计算在需要巨大计算量的场景中得... 详细信息

合成孔径雷达(Synthetic Aperture Radar,SAR)成像技术在现实中已经得到了广泛的应用,但是随着应用场景的复杂化,SAR成像的计算量越来越大,引发了一系列问题,限制了其在现实中的进一步应用。鉴于分布式计算在需要巨大计算量的场景中得到了应用,且实现了海量数据的快速处理和计算能力的灵活扩展。本文介绍了SAR的后向投影(Back Projection,BP)算法和压缩感知(Compressive Sensing,CS)成像方法的基本原理,基于MapReduce分布式计算框架的并行化计算能力,提出了两种SAR成像分布式并行化计算方法。1.BP算法在SAR成像中适用性广,但是SAR采用BP算法成像时,存在计算量大,成像耗时长和信号处理平台计算能力扩展性不足的问题。针对上述问题,本文提出了基于MapReduce的SAR后向投影快速成像方法。该方法将BP算法的方位向成像任务划分成若干个成像单元,进行分布式并行化方位向成像计算,最后将所有成像单元的计算结果进行相参累加。在该方法中,采用数字标记的方法记录每个脉冲对应天线阵元的位置信息,实现数据的独立处理;采用combiner函数对成像单元内的计算结果进行提前聚合,解决后期数据聚合时间较长的问题。实验验证了该方法的成像准确性和加速性能,该方法的方位向成像在由4台物理计算机搭建的Hadoop分布式计算平台中进行,其计算速度是单机计算的BP成像方法方位向成像的3.7倍,可见,该方法可以实现BP成像的加速。2.现有SAR系统中为了缩减采样点数,近场常用CS成像方法,但是SAR采用该方法存在计算时间较长和信号处理平台计算能力扩展性不足的问题。为了解决上述问题,本文提出了基于MapReduce的SAR压缩感知快速成像方法。该方法应用两次MapReduce计算过程,依次将距离向成像和方位向成像的迭代重构实现分布式并行化计算。在该方法中,采用序号标记的方法,实现分布式并行化重构后的数据能够按重构前的行顺序进行排序。实验验证了该方法成像的准确性和加速性能,该方法在4个计算节点的分布式计算集群中运行时,其计算速度是单机计算的SAR压缩感知成像的1.4倍,可见,该方法可以实现CS成像的加速。

关键词：合成孔径雷达成像分布式计算 MapReduce 后向投影压缩感知成像