检索结果-南通市图书馆

现代电子技术 2021年第2期44卷 65-68页

作者：汪鑫芦立华上海电机学院上海201306

由于传统倾斜数据的连接负载平衡方法设置的负载布局位置不佳,导致对负载偏移的控制效果差,因此针对mapreduce平台上的倾斜数据,提出连接负载的新式平衡方法。优化设置mapreduce系统前端分发器和末端服务器,根据泊松流设置任务分配控制... 详细信息

由于传统倾斜数据的连接负载平衡方法设置的负载布局位置不佳,导致对负载偏移的控制效果差,因此针对mapreduce平台上的倾斜数据,提出连接负载的新式平衡方法。优化设置mapreduce系统前端分发器和末端服务器,根据泊松流设置任务分配控制条件;提取倾斜数据特征,利用评价函数设置平衡约束指标;计算信息熵控制负载偏移量,使用平衡布局概率得出布局最优位置。实验结果表明,所提出负载平衡方法的负载偏移量比传统方法的测试结果低,证明该方法对负载偏移量的控制效果更好,符合现阶段的平衡控制要求。

关键词：倾斜数据负载平衡 mapreduce平台任务分配特征提取负载偏移控制评价函数

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于mapreduce和Spark的大规模压缩模糊K-近邻算法

引用

计算机工程 2020年第11期46卷 139-147页

作者：王谟瀚翟俊海齐家兴河北大学数学与信息科学学院河北保定071002 河北大学河北省机器学习与计算智能重点实验室河北保定071002

压缩模糊K-近邻(CFKNN)算法仅适用于中小数据环境,且其样例选择采用静态机制,导致算法不能对阈值进行动态调整从而选出最优样例。为此,对CFKNN算法进行改进,将其扩展到大规模数据环境,提出分别基于mapreduce和Spark的2种大规模压缩模糊K... 详细信息

压缩模糊K-近邻(CFKNN)算法仅适用于中小数据环境,且其样例选择采用静态机制,导致算法不能对阈值进行动态调整从而选出最优样例。为此,对CFKNN算法进行改进,将其扩展到大规模数据环境,提出分别基于mapreduce和Spark的2种大规模压缩模糊K-近邻算法。在样例选择阈值设置方面,引入动态机制,使得所选样例更具代表性。在具有7个数据节点的大数据平台上进行实验,结果表明,与CFKNN算法相比,所提2种算法具有更高的分类精度和加速比。2个平台相比,mapreduce产生的中间文件数目多于Spark,而Spark在运行时间和同步次数上优于mapreduce。

关键词： mapreduce平台 Spark平台模糊K-近邻样例选择动态机制

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

利用快速无偏分层图抽样算法的mapreduce负载平衡方法

引用

计算机应用与软件 2021年第11期38卷 288-294,313页

作者：杜鹃张卓曹建春黄河水利职业技术学院河南开封475004 郑州大学河南郑州450001

提出一种基于快速无偏分层图抽样的mapreduce负载平衡方法。将聚类算法融合到mapreduce连接操作中,提出mapreduce并行聚类连接算法的实现方法;根据聚类结果动态调整抽样率的无偏分层图抽样算法,从而实现连接操作目标数据的准确、平衡抽... 详细信息

提出一种基于快速无偏分层图抽样的mapreduce负载平衡方法。将聚类算法融合到mapreduce连接操作中,提出mapreduce并行聚类连接算法的实现方法;根据聚类结果动态调整抽样率的无偏分层图抽样算法,从而实现连接操作目标数据的准确、平衡抽样。通过合成数据集和真实数据集下的数据处理实验,与Hash连接算法及基于NS抽样的聚类算法进行对比,验证了所提出的算法方案在不同数据倾斜程度下都具有良好的负载平衡性能,其运行效率也没有因为新采样算法的采用而受到影响。

关键词：大数据数据倾斜负载平衡无偏分层图抽样 mapreduce平台 Hash连接算法 NS抽样聚类

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

利用自注意力机制的大规模网络文档情感分析

引用

计算机工程与设计 2021年第9期42卷 2642-2648页

作者：夏辉丽杨立身薛峰郑州经贸学院计算机与人工智能学院河南郑州451191 河南理工大学计算机科学与技术学院河南焦作454003

针对社交网络文档(推文)情感分类复杂且准确度低的问题,基于mapreduce平台,提出一种利用自注意力双向分层语义模型的大规模网络文档情感分析方法。通过相似度计算对所有待分析的推文进行预归类,利用自注意力双向分层语义模型进行语义分... 详细信息

针对社交网络文档(推文)情感分类复杂且准确度低的问题,基于mapreduce平台,提出一种利用自注意力双向分层语义模型的大规模网络文档情感分析方法。通过相似度计算对所有待分析的推文进行预归类,利用自注意力双向分层语义模型进行语义分类,准确分辨推文中词汇的情感类别,利用Hadoop框架和Hadoop分布式文件系统(HDFS)以及mapreduce编程模型实现提出的推文情感分类方法。实验结果表明,提出方法能够准确对大规模推文和词汇语义进行辨识,具有较高的计算效率,提高了情感分析的求解速度和准确度。

关键词： mapreduce平台情感计算深度学习自注意力双向分层语义模型分布式文件系统(HDFS) 情感分类词汇语义

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于mapreduce的关联规则技术在电力营销大数据中的应用

引用

山西电力 2020年第1期 45-49页

作者：何壮壮国网太原供电公司

随着智能电网建设的不断深入和推进,积累的电力营销数据呈指数级增长,如何从这些历史数据中挖掘出"宝藏",已经成为坚强智能电网建设的迫切需求。基于mapreduce平台将关联规则挖掘技术运用于电力营销大数据的分析之中,首先采用并行K-mean... 详细信息

随着智能电网建设的不断深入和推进,积累的电力营销数据呈指数级增长,如何从这些历史数据中挖掘出"宝藏",已经成为坚强智能电网建设的迫切需求。基于mapreduce平台将关联规则挖掘技术运用于电力营销大数据的分析之中,首先采用并行K-means聚类算法将数据离散化处理,再运用并行FP-growth算法挖掘关联关系。按照行业和月份对用电市场进行细分,挖掘各个行业内用户的分类属性(用户属性、市场属性等)与决策属性(分时用电量)之间的强关联规则,并对当前电力市场的特征做出科学的描述,从而降低营销成本,提高营销效率。

关键词： mapreduce平台电力营销数据关联规则并行K-means算法并行FP-growth算法

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：