检索结果-南通市图书馆

基于改进K-Means和DNN算法的电力数据异常检测

在线全文

学校读者我要写书评

暂无评论

南京理工大学学报 2023年第6期47卷 790-796,858页

作者：常荣徐敏云南电网有限责任公司玉溪供电局云南玉溪653100

为获取较高的数据辨识效率,结合spark架构理论,该文提出了一种基于改进K-Means和深度神经网络(DNN)算法的电力数据异常检测技术。首先,利用改进K-Means聚类算法对初始聚类中心的选取和样本权值进行适应性改进,实现各聚类子类的并行运算... 详细信息

为获取较高的数据辨识效率,结合spark架构理论,该文提出了一种基于改进K-Means和深度神经网络(DNN)算法的电力数据异常检测技术。首先,利用改进K-Means聚类算法对初始聚类中心的选取和样本权值进行适应性改进,实现各聚类子类的并行运算,从而提升异常数据的辨识效率。其次,该文建立了基于DNN算法的电力异常数据的修正模型,对辨识出的异常数据进行修正,针对现有聚类算法和异常值检测算法的参数难以控制且算法的随机性欠缺等问题,该文在DNN训练层中增加了反馈关联层,并使用改进粒子群算法对该算法的网络模型中的权值空间进行深度优化。最后,以某调度中心的监控与数据采集(SCADA)系统数据为样本开展算例验证,仿真结果说明该文方法能高效处理电网运行大数据的异常情况,数据成功修复率可维持在91%以上,对数据修复后预测的准确率平均达到95.2%。

关键词：电力大数据异常检测 spark架构 K-Means算法深度神经网络

在线全文

学校读者我要写书评

暂无评论

基于云计算系统的空间查询处理方法

测绘科学 2016年第12期41卷 273-278页

作者：陈逸然黄舟北京大学遥感与地理信息系统研究所

针对传统的关系型空间数据库已经不能很好地适应于超大规模高并发空间查询访问的处理需要的问题,该文着眼于解决大数据时代下地理信息服务所面临的日益严峻的大规模空间查询访问需求,探索了一套基于spark架构的空间查询实现技术,并给出... 详细信息

针对传统的关系型空间数据库已经不能很好地适应于超大规模高并发空间查询访问的处理需要的问题,该文着眼于解决大数据时代下地理信息服务所面临的日益严峻的大规模空间查询访问需求,探索了一套基于spark架构的空间查询实现技术,并给出相应的解决方案。提出一个基于spark并提供类SQL访问接口的空间查询实现模型Geospark SQL,解决了以下关键问题:数据的外包矩形数据生成和标准地理信息数据对spark的导入导出方法;spark空间查询算子实现方法;spark空间索引与查询优化方法。Geospark SQL模型在初步实验中,已可以满足实时性的要求,对复杂的空间查询也能有良好的性能表现。

关键词：大数据 spark架构空间关系空间查询云计算

在线全文

学校读者我要写书评

暂无评论

基于人工智能的电商大数据分类与挖掘算法

现代电子技术 2020年第14期43卷 170-172,176页

作者：龙睿上海师范大学上海200233

针对当前电商大数据背景下的数据分类与挖掘中存在递归效率低、周期频繁、冗余度高等问题,文中提出一种基于人工智能的大数据分类和挖掘算法。该算法采用快速spark架构,在将获取到的电商大数据进行智能spark分类的基础上,通过设置根据... 详细信息

针对当前电商大数据背景下的数据分类与挖掘中存在递归效率低、周期频繁、冗余度高等问题,文中提出一种基于人工智能的大数据分类和挖掘算法。该算法采用快速spark架构,在将获取到的电商大数据进行智能spark分类的基础上,通过设置根据数据管辖维度进行控制的纵向序列,可以在较大程度上提高数据挖掘的效率。在数据挖掘的过程中构建各类数据所对应的挖掘模式,从而能够在最短的时间内生成用户行为树,降低数据挖掘中的冗余度。在数据分类时,将用户行为树及其数据的集合进行依次映射,从而解决因频繁搜索导致的周期收敛困难的问题。使用旅游业电商数据对所提算法进行仿真验证,结果表明,该算法在数据挖掘中消耗时间短、准确度高。

关键词：数据挖掘数据分类电商大数据人工智能 spark架构仿真验证

在线全文

学校读者我要写书评

暂无评论

面向大数据的两种混合加密算法的研究

面向大数据的两种混合加密算法的研究

作者：曹语默陕西科技大学

学位级别：硕士

近年来,随着互联网的蓬勃发展,人们更依赖通过网络进行交流、购物等行为。这使得数据量呈现指数增长,于是大数据应运而生。大数据具有开放性、交互性和全球性的特点,并且有巨大的价值,甚至有人将大数据比作石油、黄金。大数据成为公司... 详细信息

近年来,随着互联网的蓬勃发展,人们更依赖通过网络进行交流、购物等行为。这使得数据量呈现指数增长,于是大数据应运而生。大数据具有开放性、交互性和全球性的特点,并且有巨大的价值,甚至有人将大数据比作石油、黄金。大数据成为公司、企业和国家关注的重点。但大数据带来机遇的同时也带来了新的挑战,目前面向大数据的加密算法存在密钥长度短、加密速度慢等缺点。大数据环境下如何保护数据安全成为最重要的问题之一。只有解决好信息安全这一发展瓶颈,才能让信息技术得以快速广泛的发展。本文在对现有数据加密算法和文献进行研究后,创新性的提出了基于流密码的改进DES算法和基于超混沌与圆锥曲线的混合加密算法,两种算法均在安全性上有所提高。将两种加密算法在spark平台上进行并行计算,提高了加密速度。论文具体研究内容如下:（1）提出一种基于流密码的改进DES的加密算法。通过对DES加密算法中密钥生成过程的研究,发现DES子密钥之间具有很强的关联性,容易被穷举搜索等方法破译,因此提出基于流密码的DES改进方案。该改进方案通过RC4算法生成伪随机序列,将该序列作为DES加密的子密钥,用于对DES加密算法的明文进行加密。将随机选取密钥使用RSA加密随密文一起传输,用于对密文的解密。该改进方案使DES的每一个明文分组都使用不同的加密密钥进行加密,同时密钥长度增加到768位,使得破译一组加密密钥的穷举次数达到2768,大大增加了 DES的破译难度。（2）提出基于超混沌与圆锥曲线的混合加密算法。通过分析一维混沌系统设计的加密算法密钥长度短、密钥空间小等缺陷,提出运用四维超混沌设计加密算法,起到增大密钥空间的作用。首先运用两个超混沌系统产生一个无关联性的超混沌序列,然后将明文与超混沌序列执行异或操作实现首次加密,再将加密后的密文作为圆锥曲线加密的明文进行二次加密。通过实验对比分析可知,一方面该算法具有密钥空间大、密文统计特性良好、密钥敏感性高的优点;另一方面经过双重加密后的明文与密文之间没有直接联系,无法通过选择特殊的明文、密文对的办法破解密钥序列,且算法中的非线性运算,能抵御选择明文攻击,提高了算法安全性。（3）通过spark对两种加密算法进行并行试验。由于spark在并行计算方面有速度快、简洁易用、通用性和运行模式多等优势。通过对基于流密码的改进DES的加密算法和基于超混沌与圆锥曲线的混合加密算法进行并行算法理论分析,分别对两种加密算法进行并行计算。实验结果表明,针对相同大小的数据集,随着计算节点个数的增加,加密时间在逐渐变短。在加速比方面,随着计算节点个数的增加,加速比也在逐渐增大,达到了提高加密速度的目的。

关键词： DES加密超混沌系统伪随机序列 spark架构并行计算

spark平台下基于聚类挖掘的影视资源智能推荐

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

信息技术 2021年第9期45卷 30-33,38页

作者：张敏程鹏翔陕西艺术职业学院影视系西安710054

为了从海量的网络影视资源中快速准确地向用户推荐其感兴趣的视频,提出了一种spark平台下基于邻近传播(AP)聚类的智能推荐方案。数据存储采用了分布式文件系统,并在弹性分布式数据集中采用AP聚类进行资源实时推荐,加快聚类速度。此外,... 详细信息

为了从海量的网络影视资源中快速准确地向用户推荐其感兴趣的视频,提出了一种spark平台下基于邻近传播(AP)聚类的智能推荐方案。数据存储采用了分布式文件系统,并在弹性分布式数据集中采用AP聚类进行资源实时推荐,加快聚类速度。此外,将明可夫斯基(Minkowski)相似性度量引入到AP聚类中,替换原有的欧氏距离度量来构建相似度,以提高其聚类精度。在常用电影数据集MovieLens上进行实验验证。结果表明,spark平台有效提升了聚类计算的效率。同时,相比于AP聚类和K-均值聚类算法,改进AP聚类的推荐准确率更高。

关键词：智能推荐邻近传播聚类 spark架构分布式数据集相似性度量

Azure云平台Apache spark集群的使用

在线全文

学校读者我要写书评

暂无评论

电脑编程技巧与维护 2016年第13期 49-51页

作者：隋瑞红山东科技职业学院山东潍坊261053

阐述在微软云平台Azure HDinsight中使用spark集群,并结合一个事例使用Jupyter notebook来运行spark查询SQL。

关键词： Azure HDinsight云平台 spark架构

在线全文

学校读者我要写书评

暂无评论

一种个性化智慧教育云服务模式的设计

焦作大学学报 2021年第2期35卷 98-101页

作者：周明芳拜亚萌焦作大学河南焦作454003

针对目前高校智慧校园大数据存储和计算效率不高的问题,文章构建了基于spark分布式数据存储服务体系架构的个性化智慧教育云服务模式,为学生、教师、教育管理者和服务资源供应商提供多方协同的数字化生态环境。通过搭建实验集群,分别对... 详细信息

针对目前高校智慧校园大数据存储和计算效率不高的问题,文章构建了基于spark分布式数据存储服务体系架构的个性化智慧教育云服务模式,为学生、教师、教育管理者和服务资源供应商提供多方协同的数字化生态环境。通过搭建实验集群,分别对采用spark和Hadoop的MapReduce框架的智慧校园云服务平台的数据并行处理能力进行对比测试。结果表明,同一组数据集在两个平台上进行Kmeans聚类推荐计算,spark架构在计算时间和计算效率方面具有明显的优势。

关键词：智慧教育云服务 spark架构