检索结果-南通市图书馆

维普期刊数据库博看期刊

基于spark框架的船舶电力数据预处理技术

在线全文

学校读者我要写书评

暂无评论

船电技术 2024年第7期44卷 69-72页

作者：谢宽杨哲 91404部队河北秦皇岛066000

为了解决因船舶电力数据数量大、类型混杂等特点造成的系统状态预测不精准的问题,引入了数据预处理技术;归纳总结了数据预处理技术的主要过程,和每一过程的目的及处理方法;针对船舶电力数据的特点和预处理现状,提出了船舶电力数据预处... 详细信息

为了解决因船舶电力数据数量大、类型混杂等特点造成的系统状态预测不精准的问题,引入了数据预处理技术;归纳总结了数据预处理技术的主要过程,和每一过程的目的及处理方法;针对船舶电力数据的特点和预处理现状,提出了船舶电力数据预处理方案;为进一步提升预处理效率,采用了spark框架作为数据预处理平台,介绍了spark框架的运行流程,并与船舶电力数据预处理方案结合,给出了基于该框架的预处理实施流程;提高了船舶电力数据质量和可用性,为后续的研究工作奠定了基础。

关键词：船舶电力数据数据预处理 spark框架流程

spark框架下基于对比散度的网络服务TLRBM推荐算法

在线全文

学校读者我要写书评

暂无评论

计算机应用与软件 2019年第8期36卷 293-299页

作者：那勇吉林省远程教育技术科技创新中心吉林广播电视大学远程教育技术中心

为提高Web服务推荐算法的可靠性和时效性,提出一种spark框架下基于对比散度的网络服务推荐算法。基于用户之间的直接信任关系,构建信任网络无向图模型,提出一种基于两层受限玻尔兹曼机的Web服务质量预测模型TLRBM(Two Layers Restricted... 详细信息

为提高Web服务推荐算法的可靠性和时效性,提出一种spark框架下基于对比散度的网络服务推荐算法。基于用户之间的直接信任关系,构建信任网络无向图模型,提出一种基于两层受限玻尔兹曼机的Web服务质量预测模型TLRBM(Two Layers Restricted Boltzmann Machine Model),并将该模型应用于Web服务质量预测。为提高算法处理Web服务大数据的能力,采用对比散度算法CD(Contrastive Divergence)来提高收敛速度,并采用spark框架实现TLRBM的并行化执行,大幅度提升了Web服务推荐算法的计算速度。通过在Epinions数据集上的仿真测试,验证了该算法在Web服务推荐算法的可靠性和时效性上的性能优势。

关键词： spark框架并行化 Web服务玻尔兹曼机推荐算法云计算大数据

spark框架下混合SACS-GS的大数据清洗方法

在线全文

学校读者我要写书评

暂无评论

西南师范大学学报（自然科学版） 2020年第7期45卷 123-129页

作者：何翼田华铜仁学院大数据学院贵州铜仁554300

提出一种spark框架下自适应布谷鸟搜索(self-adaptive cuckoo search,SACS)和引力搜索(Gravitational Search,GS)算法的混合SACS-GS方法,并给出了spark框架下SACS-GS方法大数据清洗方案.首先提出自适应布谷鸟算法,给出两种改进的搜索策... 详细信息

提出一种spark框架下自适应布谷鸟搜索(self-adaptive cuckoo search,SACS)和引力搜索(Gravitational Search,GS)算法的混合SACS-GS方法,并给出了spark框架下SACS-GS方法大数据清洗方案.首先提出自适应布谷鸟算法,给出两种改进的搜索策略,通过线性递减概率规则将两种策略结合起来,形成自适应搜索策略,避免种群早熟和提高收敛速度,然后引入自适应发现概率,提高种群的多样性.SACS算法混合GS算法得到SACS-GS方法,该方法通过引力搜索算法的局部搜索能力来确定自适应布谷鸟算法的全局范围,并找到使卵生长和成熟的最佳解决方案,有效地识别大数据中的错误数据.实验结果表明,SACS-GS方法具有较高的大数据异常检测精度,且精度高于其他现有方法,处理时间低于其他方法.

关键词：大数据清洗 spark框架自适应布谷鸟算法引力搜索算法异常检测

spark框架下利用分布式NBC的大数据文本分类方法

在线全文

学校读者我要写书评

暂无评论

计算机应用研究 2019年第12期36卷 3705-3708,3712页

作者：臧艳辉赵雪章席运江佛山职业技术学院广东佛山528137 华南理工大学广州510641

针对现有面向大数据的计算框架在可扩展性机器学习研究中面临的挑战,提出了基于MapReduce和Apache spark框架的分布式朴素贝叶斯文本分类方法。通过研究MapReduce和Apache spark框架的适应性来探索朴素贝叶斯分类器(NBC),并研究了现有... 详细信息

针对现有面向大数据的计算框架在可扩展性机器学习研究中面临的挑战,提出了基于MapReduce和Apache spark框架的分布式朴素贝叶斯文本分类方法。通过研究MapReduce和Apache spark框架的适应性来探索朴素贝叶斯分类器(NBC),并研究了现有面向大数据的计算框架。首先,基于朴素贝叶斯文本分类模型将训练样本数据集分为m类;进一步在训练阶段中,将前一个MapReduce的输出作为后一个MapReduce的输入,采用四个MapReduce作业得出模型。该设计过程充分利用了MapReduce的并行优势,最后在分类器测试时取出最大值所属的类标签值。在Newgroups数据集进行实验,在所有五类新闻数据组上的分类都取得了99%以上的结果,并且均高于对比算法,证明了提出方法的准确性。

关键词：文本分类 MapReduce spark框架分布式朴素贝叶斯分类器机器学习

基于spark框架的能源互联网电力能源大数据清洗模型

在线全文

学校读者我要写书评

暂无评论

电测与仪表 2018年第2期55卷 39-44页

作者：曲朝阳张艺竞王永文赵莹东北电力大学信息工程学院吉林吉林132012

对能源大数据清洗可提高能源大数据质量的正确性、完整性、一致性、可靠性。针对能源大数据清洗过程中的提取统一异常检测模式困难、异常数据修正连续性及准确性低下等问题,提出了一种基于spark框架的能源能源大数据清洗模型。首先基于... 详细信息

对能源大数据清洗可提高能源大数据质量的正确性、完整性、一致性、可靠性。针对能源大数据清洗过程中的提取统一异常检测模式困难、异常数据修正连续性及准确性低下等问题,提出了一种基于spark框架的能源能源大数据清洗模型。首先基于改进CURE聚类算法获取正常簇;其次,实现了正常簇的边界样本获取方法,并设计了基于边界样本的异常识别算法;最后通过指数加权移动平均数实现了异常数据修正。通过对某风电场风力发电监测数据进行了数据清洗实验分析,验证了清洗模型的高效性、准确性。

关键词：能源大数据数据清洗异常识别异常修正 spark框架

在线全文

学校读者我要写书评

暂无评论

基于spark框架的电力大数据清洗模型

电测与仪表 2017年第14期54卷 33-38页

作者：王冲邹潇国网内蒙古东部电力有限公司信息通信分公司呼和浩特010020 兰州大学数学与统计学院兰州730000

针对电力大数据清洗过程中的提取统一异常检测模式困难、异常数据修正连续性及准确性低下等问题,提出了一种基于spark框架的电力大数据清洗模型。首先基于改进CURE聚类算法获取正常簇;其次,实现了正常簇的边界样本获取方法,并设计了基... 详细信息

针对电力大数据清洗过程中的提取统一异常检测模式困难、异常数据修正连续性及准确性低下等问题,提出了一种基于spark框架的电力大数据清洗模型。首先基于改进CURE聚类算法获取正常簇;其次,实现了正常簇的边界样本获取方法,并设计了基于边界样本的异常识别算法;最后通过指数加权移动平均数实现了异常数据修正。通过对某风电场风力发电监测数据进行了数据清洗实验分析,验证了清洗模型的高效性、准确性。

关键词：电力大数据数据清洗异常识别异常修正 spark框架

基于spark框架的电网运行异常数据辨识与修正方法

在线全文

学校读者我要写书评

暂无评论

科学技术与工程 2019年第25期19卷 211-219页

作者：曲朝阳朱润泽曲楠曹令军吕洪波胡可为东北电力大学计算机学院吉林132012 吉林省电力大数据智能处理工程技术研究中心吉林132012 国网江苏省电力公司检修分公司南京210000 国网吉林省电力有限公司长春130000

由于电网运行数据具有多源、异构、高维等典型大数据特征,使得传统检测方法已无法实现异常数据高效辨识;因此提出一种基于spark框架的电网运行异常数据辨识与修正新方法。首先,提出了并行化最小生成树方法对待检测数据进行初始聚类;在... 详细信息

由于电网运行数据具有多源、异构、高维等典型大数据特征,使得传统检测方法已无法实现异常数据高效辨识;因此提出一种基于spark框架的电网运行异常数据辨识与修正新方法。首先,提出了并行化最小生成树方法对待检测数据进行初始聚类;在此基础上结合并行K-means算法对数据进行二次聚类实现异常数据辨识;然后,在spark框架下设计了基于径向基函数(RBF)神经网络的异常数据修正模型,实现对异常数据修正。最后,利用某省调度中心SCADA数据对方法的有效性进行了验证,结果表明所提方法能够有效处理电网运行异常数据,具有实际应用价值。

关键词：电网运行异常数据 spark框架最小生成树 K-means RBF神经网络

基于spark框架的大数据K-prototypes聚类算法

在线全文

学校读者我要写书评

暂无评论

西南师范大学学报（自然科学版） 2019年第7期44卷 63-68页

作者：龚静铜仁学院大数据学院

大数据具有数据量大及混合类型的属性,基于MapReduce的K-prototypes并行大规模混合数据方案的缺点是时间和内存的限制,导致这些方案不适合处理大数据.为了解决这个问题,该文提出一种新的基于spark的k-prototypes聚类方法,该方法使用了... 详细信息

大数据具有数据量大及混合类型的属性,基于MapReduce的K-prototypes并行大规模混合数据方案的缺点是时间和内存的限制,导致这些方案不适合处理大数据.为了解决这个问题,该文提出一种新的基于spark的k-prototypes聚类方法,该方法使用了重新聚集技术,利用spark框架的内存操作来构建大规模混合数据分组.在模拟和实际数据集上的实验表明,该文方法可行,且提高了现有K-prototypes方法的效率.

关键词：大数据混合数据 K-prototypes spark框架

spark框架下保护数据差分隐私的遗传聚类算法

在线全文

学校读者我要写书评

暂无评论

电脑知识与技术 2019年第2期15卷 198-200页

作者：张玉婷海军通信总站二大队北京100000

针对分布式计算框架下海量数据聚类分析过程中的数据隐私泄露问题,提出了一种spark下支持差分隐私保护的遗传k-means聚类算法。首先利用遗传算法实现对k-means聚类方案的全局寻优,提高算法的准确率;并采用种群迁移策略将遗传k-means算... 详细信息

针对分布式计算框架下海量数据聚类分析过程中的数据隐私泄露问题,提出了一种spark下支持差分隐私保护的遗传k-means聚类算法。首先利用遗传算法实现对k-means聚类方案的全局寻优,提高算法的准确率;并采用种群迁移策略将遗传k-means算法部署于spark框架中,实现基于内存读写的分布式聚类;然后利用差分隐私保护的Laplace spark每轮迭代的mapvalues算子中,对各聚簇中记录数量num和聚簇中各记录之和sum上添加随机噪声。根据差分隐私保护的性质,通过理论分析证明了算法达到ε-差分隐私保护要求。最后实验分析表明了算法在spark框架下的时效性高于MapReduce框架,其运行时间主要受迭代次数的影响,并且得出了使算法隐私性和准确性达到平衡的最优隐私保护预算取值。

关键词：数据分析 k-means聚类 spark框架差分隐私遗传算法