检索结果-南通市图书馆

控制与决策 2024年第5期39卷 1612-1619页

作者：李玉崔书琳赵泉华辽宁工程技术大学测绘与地理科学学院辽宁阜新123000

大尺度遥感图像分割对单机处理方式而言是巨大挑战. Spark平台为在单机上构建用于大数据处理的分布式计算环境提供了可能.当Spark平台内置的k-means算法用于数字图像处理时,其中的Spark Shuffle弹性分布式数据集(RDD)分区一般采用缺省设... 详细信息

大尺度遥感图像分割对单机处理方式而言是巨大挑战. Spark平台为在单机上构建用于大数据处理的分布式计算环境提供了可能.当Spark平台内置的k-means算法用于数字图像处理时,其中的Spark Shuffle弹性分布式数据集(RDD)分区一般采用缺省设置,尽管这种RDD设置简单便捷,但对大尺度图像分割任务容易造成“多分区、小数据”现象,极大影响图像分割速度.为此,采用覆盖部分上海市区的WorldView-3遥感图像为测试数据,在k-means算法初始化聚类中心阶段自定义影响RDD分区的参数***,在迭代计算阶段调用coalesce()算子减少分区数;与串行k-means算法对比验证单机处理大数据的可行性与有效性,与优化前的Spark并行k-means算法对比实现了大尺度遥感图像快速分割.实验结果表明,在k-means算法初始化聚类中心和迭代计算阶段,将RDD分区数设置在CPU核数的1~10倍,总用时由优化前的145 s缩减到97 s,尤其在初始化聚类中心阶段的时间效率上,优化后是优化前的500~1 000倍.

关键词： Spark平台单机大数据处理大尺度遥感图像 RDD优化图像分割并行k-means算法

来源：

维普期刊数据库

同方期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于优化Spark RDD分区的遥感图像快速分割

基于优化Spark RDD分区的遥感图像快速分割

引用

作者：崔书琳辽宁工程技术大学

学位级别：硕士

大尺度遥感图像分割对单机处理方式而言是巨大挑战。作为熟知的并行处理数据平台,Spark框架为在单机上构建用于大数据处理的分布式计算环境提供了可能。Spark框架自身包括多项工作负载,其中的Spark机器学习库(Machine Learning Library,... 详细信息

大尺度遥感图像分割对单机处理方式而言是巨大挑战。作为熟知的并行处理数据平台,Spark框架为在单机上构建用于大数据处理的分布式计算环境提供了可能。Spark框架自身包括多项工作负载,其中的Spark机器学习库(Machine Learning Library,MLlib)提供许多实现机器学习的算法,如Spark并行k-means算法。当该算法用于数字图像处理时,其中的Spark Shuffle弹性分布式数据集(Resilient Distributed Dataset,RDD)分区一般采用缺省设置,尽管这种RDD设置简单、便捷、无需人为干预,但对大尺度图像分割任务容易造成“多分区、小数据”现象,极大影响图像分割速度。为此,论文分析了Spark在执行任务时各阶段的耗时,提出在k-means算法初始化聚类中心阶段自定义影响RDD分区的参数***,避免由于Shuffle过程造成的大量不必要的通信开销。迭代计算任务本身就需要反复地获取缓存数据,Spark框架已经解决了该阶段磁盘读取的耗时问题,但该阶段仍需要大量地通信。此时,在迭代计算阶段调用coalesce()算子减少RDD的分区数,避免了从大量RDD分区中读取数据,从而达到在并行框架下更为快速地实现大尺度遥感图像分割的目的。为验证Spark框架在单机模式下的有效性和实用性,论文采用覆盖部分上海市区的大尺度World View-3遥感图像为测试数据,通过在同一组图像上进行串行k-means算法和Spark并行k-means算法分割,从时间效率和分割精度两个角度对比分析两种算法。单从精度角度,对比分析了经典的均值漂移算法和并行k-means算法,综合验证了Spark单机模式下的可行性与有效性。论文根据Spark RDD对程序执行时间影响的分析,验证了本文优化策略的优势,并分别统计相似地物不同尺寸和相同尺寸不同地物图像执行时间,根据10次分割求执行时间均值,确定了合理的RDD分区数设置范围。实验结果表明,在k-means算法初始化聚类中心和迭代计算阶段,将RDD分区数设置在CPU核数的1-10倍,总用时由优化前的145s缩减到97s,较设置为其它分区数总用时的平均值减少12.34-20.61%,尤其在初始化聚类中心阶段的时间效率上,优化后是优化前的500-1000倍。该论文有图49幅,表8个,参考文献64篇。

关键词： Spark平台大尺度遥感图像 RDD优化图像分割并行k-means算法

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于MapReduce的关联规则技术在电力营销大数据中的应用

引用

山西电力 2020年第1期 45-49页

作者：何壮壮国网太原供电公司

随着智能电网建设的不断深入和推进,积累的电力营销数据呈指数级增长,如何从这些历史数据中挖掘出"宝藏",已经成为坚强智能电网建设的迫切需求。基于MapReduce平台将关联规则挖掘技术运用于电力营销大数据的分析之中,首先采用并行k-mean... 详细信息

随着智能电网建设的不断深入和推进,积累的电力营销数据呈指数级增长,如何从这些历史数据中挖掘出"宝藏",已经成为坚强智能电网建设的迫切需求。基于MapReduce平台将关联规则挖掘技术运用于电力营销大数据的分析之中,首先采用并行k-means聚类算法将数据离散化处理,再运用并行FP-growth算法挖掘关联关系。按照行业和月份对用电市场进行细分,挖掘各个行业内用户的分类属性(用户属性、市场属性等)与决策属性(分时用电量)之间的强关联规则,并对当前电力市场的特征做出科学的描述,从而降低营销成本,提高营销效率。

关键词： MapReduce平台电力营销数据关联规则并行k-means算法并行FP-growth算法

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：