检索结果-南通市图书馆

基于spark框架的电网运行异常数据辨识与修正方法

在线全文

学校读者我要写书评

暂无评论

科学技术与工程 2019年第25期19卷 211-219页

作者：曲朝阳朱润泽曲楠曹令军吕洪波胡可为东北电力大学计算机学院吉林132012 吉林省电力大数据智能处理工程技术研究中心吉林132012 国网江苏省电力公司检修分公司南京210000 国网吉林省电力有限公司长春130000

由于电网运行数据具有多源、异构、高维等典型大数据特征,使得传统检测方法已无法实现异常数据高效辨识;因此提出一种基于spark框架的电网运行异常数据辨识与修正新方法。首先,提出了并行化最小生成树方法对待检测数据进行初始聚类;在... 详细信息

由于电网运行数据具有多源、异构、高维等典型大数据特征,使得传统检测方法已无法实现异常数据高效辨识;因此提出一种基于spark框架的电网运行异常数据辨识与修正新方法。首先,提出了并行化最小生成树方法对待检测数据进行初始聚类;在此基础上结合并行K-means算法对数据进行二次聚类实现异常数据辨识;然后,在spark框架下设计了基于径向基函数(RBF)神经网络的异常数据修正模型,实现对异常数据修正。最后,利用某省调度中心SCADA数据对方法的有效性进行了验证,结果表明所提方法能够有效处理电网运行异常数据,具有实际应用价值。

关键词：电网运行异常数据 spark框架最小生成树 K-means RBF神经网络

spark框架下保护数据差分隐私的遗传聚类算法

在线全文

学校读者我要写书评

暂无评论

电脑知识与技术 2019年第2期15卷 198-200页

作者：张玉婷海军通信总站二大队北京100000

针对分布式计算框架下海量数据聚类分析过程中的数据隐私泄露问题,提出了一种spark下支持差分隐私保护的遗传k-means聚类算法。首先利用遗传算法实现对k-means聚类方案的全局寻优,提高算法的准确率;并采用种群迁移策略将遗传k-means算... 详细信息

针对分布式计算框架下海量数据聚类分析过程中的数据隐私泄露问题,提出了一种spark下支持差分隐私保护的遗传k-means聚类算法。首先利用遗传算法实现对k-means聚类方案的全局寻优,提高算法的准确率;并采用种群迁移策略将遗传k-means算法部署于spark框架中,实现基于内存读写的分布式聚类;然后利用差分隐私保护的Laplace spark每轮迭代的mapvalues算子中,对各聚簇中记录数量num和聚簇中各记录之和sum上添加随机噪声。根据差分隐私保护的性质,通过理论分析证明了算法达到ε-差分隐私保护要求。最后实验分析表明了算法在spark框架下的时效性高于MapReduce框架,其运行时间主要受迭代次数的影响,并且得出了使算法隐私性和准确性达到平衡的最优隐私保护预算取值。

关键词：数据分析 k-means聚类 spark框架差分隐私遗传算法

基于spark框架的FP-Growth大数据频繁项集挖掘算法

在线全文

学校读者我要写书评

暂无评论

计算机应用研究 2018年第10期35卷 2932-2935页

作者：邵梁何星舟尚俊娜浙江建设职业技术学院教育技术中心杭州311231 浙江工业大学学生处杭州311231 杭州电子科技大学通信工程学院杭州310018

针对大数据中的频繁项集挖掘问题,提出一种基于spark框架的FP-Growth频繁项集并行挖掘算法。首先,根据垂直布局思想将数据按照事务标志符垂直排列,以此解决扫描整个数据集的缺陷;然后,通过FPGrowth算法构建频繁模式树,并生成频繁1-项集... 详细信息

针对大数据中的频繁项集挖掘问题,提出一种基于spark框架的FP-Growth频繁项集并行挖掘算法。首先,根据垂直布局思想将数据按照事务标志符垂直排列,以此解决扫描整个数据集的缺陷;然后,通过FPGrowth算法构建频繁模式树,并生成频繁1-项集;接着,通过扫描垂直数据集来计算项集的支持度,从而识别出非频繁项,并将其从数据集中删除以降低数据尺寸;最后,通过迭代过程来生成频繁k-项集。在标准数据集上的实验结果表明,该算法能够有效挖掘出频繁项集,在执行时间方面具有很大的优越性。

关键词：大数据频繁项集挖掘 spark框架 FP-Growth算法垂直布局

在线全文

学校读者我要写书评

暂无评论

基于spark框架的生态风险预测研究

基于Spark框架的生态风险预测研究

作者：王超华中科技大学

学位级别：硕士

近年来,随着对生态环境保护的重视程度日益增高,生态环境的变化以及人类活动对生态环境造成的负面影响日益受到人们的广泛关注。与此同时,资源环境保护与生态文明建设已成为我国新时代发展建设的重要组成部分,生态风险评价与预测是其中... 详细信息

近年来,随着对生态环境保护的重视程度日益增高,生态环境的变化以及人类活动对生态环境造成的负面影响日益受到人们的广泛关注。与此同时,资源环境保护与生态文明建设已成为我国新时代发展建设的重要组成部分,生态风险评价与预测是其中重要的一环。通过构建定量化的评价指标体系,对生态环境以及生态保护取得的进展和成效进行科学客观的评估,为环境保护与生态修复、风险源的规避减缓与适应、生态风险防控,以及生态风险管理机制研究提供决策与数据支持。本文以spark大数据集群下的生态风险预测为核心研究目标,在梳理分析了生态风险评估领域研究成果的基础上,构建了基于生态功能重要性和生态环境敏感性的生态风险评价指标体系,搭建了基于熵值法的压力-状态-响应生态风险评估模型,实现了基于深度学习神经网络的生态风险预测算法,探索了基于spark框架的生态风险预测算法并行处理的研究,设计完成了模型算法的实验与分析,针对大数据集深度学习任务所存在的训练时间长的问题提供了一种可行的解决方案。本文主要的研究工作和成果如下:(1)通过对生态风险评估理论及评估模型的学习和梳理,结合研究区域生态环境的实际情况,分析建立了基于生态功能重要性和生态环境敏感性的评价指标体系,以及基于熵值法和压力-状态-响应的生态风险评估模型。该模型不仅考虑了多风险源对生态环境的影响,而且弥补了传统评估模型在多风险源间相互作用方面的不足,同时评价指标权重的确定由数据本身计算,减少了人为确定权重的工作量及主观性,从而拓展了模型的适用范围、提高了评估工作的效率。(2)通过对深度学习在生态风险预测方面的应用研究,总结了循环神经网络(RNN)、长短期记忆神经网络(LSTM)以及注意力机制(AM)的特点,在LSTM模型的基础上引入注意力机制。Att LSTM在时间序列预测上表现出巨大的潜力,论文基于Python编程语言设计实现了Att LSTM的生态风险预测算法,并对单一LSTM模型及Att LSTM模型进行对比分析,验证了Att LSTM模型的可行性与有效性。(3)通过实验验证该生态风险预测模型的效果以及spark集群环境并行处理模式下的执行效率,并对实验结果进行了分析和讨论。实验结果表明,基于spark集群的深度学习平台对预测模型的并行化处理具有良好的加速比,能有效提高大数据集的并行处理能力。(4)在本文研究成果的基础上设计开发了“青海城市云大数据生态保护决策支持系统”,将生态风险评估及预测的算法模型进行了集成和封装,对于生态风险评估及预测具有一定的适用性、拓展性和可移植性,同时对于其他领域的分布式深度学习任务具有一定的参考价值。

关键词：大数据技术 spark框架生态风险评估及预测长短期记忆神经网络注意力机制

基于spark框架的视频大数据并行处理策略及应用研究

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Spark框架的视频大数据并行处理策略及应用研究

作者：虞家睿浙江工业大学

学位级别：硕士

作为一种重要的数据来源,视频数据具有体量巨大、产生速度极快、价值稀疏和完全非结构化等大数据的典型特征,是大数据技术研究的重要内容之一。为快速获得视频数据处理与分析结果,提高视频数据处理性能成为当前视频大数据技术研究的热... 详细信息

作为一种重要的数据来源,视频数据具有体量巨大、产生速度极快、价值稀疏和完全非结构化等大数据的典型特征,是大数据技术研究的重要内容之一。为快速获得视频数据处理与分析结果,提高视频数据处理性能成为当前视频大数据技术研究的热点和难点。spark是一种重要的基于内存的并行计算框架,通过内存计算极大地提升了大数据处理性能。为此,本文基于spark框架构建了视频大数据处理总体框架,针对视频处理算法的不同特点给出了基于spark框架的视频处理算法并行化策略,并对若干电梯视频处理算法进行了并行化,为提高电梯视频数据处理性能提供了关键技术支持。本文的主要研究内容和成果包括:（1）针对视频大数据特点与电梯环境,设计了基于spark框架的视频大数据并行处理框架,该框架包括视频数据分发层、视频数据传输层、视频数据处理层和视频数据应用层,能够应用于分布式环境下的电梯视频监控,对采集的电梯视频进行实时处理和分析。（2）针对典型视频分析算法不存在帧间依赖关系的特点,提出了一种基于spark框架的视频帧间无关分析算法并行策略。采用数据级并行机制,将视频数据流切分为相互独立的数据块,通过集群横向扩展模式提高算法分析性能。以电梯乘客数视频分析算法为例,对该并行策略进行了评价,在集群为2节点、5节点和10节点时,总体性能分别提高了185%、255%和481%。（3）针对典型视频分析算法存在帧间依赖关系的特点,提出了一种基于spark框架的视频帧间相关分析算法并行策略。采用流水线并行机制,构建视频分析算法关键算子间的依赖关系,然后将关键算子映射到spark集群的不同节点,各算子以流水线模式并行执行,提高了视频分析算法的性能。以电梯门异常检测视频分析算法为例,对该并行策略进行了评价,在集群节点为2节点、5节点和10节点时,总体性能分别提高145%、181%和254%。以电梯视频监控为应用对象,开发了基于spark的电梯视频数据并行处理原型系统,包括电梯乘客数监测模块、电梯门异常监测模块、电梯遗落物监测模块、故障电梯分布可视化模块等主要模块,提高了电梯视频数据处理性能,为构建智能电梯大数据平台提供了技术支持。

关键词： spark框架视频大数据帧间相关分析帧间无关分析电梯视频

基于spark框架的电网技改大修项目后评价系统设计与实现

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

电气技术 2021年第7期22卷 19-25页

作者：杨桦董祯孙祎耿茜李天然国网河北省电力有限公司电力科学研究院石家庄050011 国网河北省电力有限公司石家庄050021

项目后评价是项目管理过程的重要环节,目前电网技改大修项目只选取部分重点项目开展后评价试点,无法反映项目整体执行效果。本文介绍基于spark框架开发技改大修项目后评价系统的过程,该系统利用大数据技术处理后评价基础数据,采用多层... 详细信息

项目后评价是项目管理过程的重要环节,目前电网技改大修项目只选取部分重点项目开展后评价试点,无法反映项目整体执行效果。本文介绍基于spark框架开发技改大修项目后评价系统的过程,该系统利用大数据技术处理后评价基础数据,采用多层次模糊综合评价法对项目执行效果进行打分,为技改大修项目的常态化开展提供了技术保障。

关键词：项目后评价电网技改大修项目全寿命周期管理 spark框架多层次模糊综合评价法投资预测

在多项式空间中full spark框架的构造

在线全文

学校读者我要写书评

暂无评论

汕头大学学报（自然科学版） 2016年第1期31卷 7-12页

作者：王莉莉杨守志汕头大学数学系

Hilbert空间中的full spark框架在框架理论中具有很好的性质—最大鲁棒性.本文所做的一个重要工作是将序列空间中的full spark框架推广到了函数空间中,先后构造出了一元n次多项式空间H_n(x)及m元n次多项式空间H_n(x_1,x_2,…,x_m)空间中... 详细信息

Hilbert空间中的full spark框架在框架理论中具有很好的性质—最大鲁棒性.本文所做的一个重要工作是将序列空间中的full spark框架推广到了函数空间中,先后构造出了一元n次多项式空间H_n(x)及m元n次多项式空间H_n(x_1,x_2,…,x_m)空间中的full spark框架,并举出了一些实例.

关键词：框架 full spark框架多项式空间

spark框架下混合SACS-GS的大数据清洗方法

在线全文

学校读者我要写书评

暂无评论

西南师范大学学报（自然科学版） 2020年第7期45卷 123-129页

作者：何翼田华铜仁学院大数据学院贵州铜仁554300

提出一种spark框架下自适应布谷鸟搜索(self-adaptive cuckoo search,SACS)和引力搜索(Gravitational Search,GS)算法的混合SACS-GS方法,并给出了spark框架下SACS-GS方法大数据清洗方案.首先提出自适应布谷鸟算法,给出两种改进的搜索策... 详细信息

提出一种spark框架下自适应布谷鸟搜索(self-adaptive cuckoo search,SACS)和引力搜索(Gravitational Search,GS)算法的混合SACS-GS方法,并给出了spark框架下SACS-GS方法大数据清洗方案.首先提出自适应布谷鸟算法,给出两种改进的搜索策略,通过线性递减概率规则将两种策略结合起来,形成自适应搜索策略,避免种群早熟和提高收敛速度,然后引入自适应发现概率,提高种群的多样性.SACS算法混合GS算法得到SACS-GS方法,该方法通过引力搜索算法的局部搜索能力来确定自适应布谷鸟算法的全局范围,并找到使卵生长和成熟的最佳解决方案,有效地识别大数据中的错误数据.实验结果表明,SACS-GS方法具有较高的大数据异常检测精度,且精度高于其他现有方法,处理时间低于其他方法.

关键词：大数据清洗 spark框架自适应布谷鸟算法引力搜索算法异常检测

基于spark框架的BP神经网络多分类算法的研究与实现

在线全文

学校读者我要写书评

暂无评论

信息与电脑 2020年第8期32卷 46-47页

作者：王明松三亚学院海南三亚572000

BP神经网络是一种按误差逆传播算法训练的多层前馈网络,在人工智能领域应用广泛。spark框架是当今使用广泛的大数据分布式计算的应用框架。利用spark分布式计性能优势计算BP网络的连接权重,是需要探讨和解决的问题。

关键词： BP神经网络 spark框架分类算法