检索结果-南通市图书馆

滨州学院学报 2023年第6期39卷 86-91页

作者：贾淑滟山西旅游职业学院计算机科学系山西太原030031

针对大数据分析过程易受数据维度的影响,造成大数据分析平台运行时间长、数据分析平均绝对误差高的问题,构建了基于spark技术的大数据智能分析平台。先采用局部约束学习方法降低大数据维度,再利用spark技术建立兼具应用服务层、权限管... 详细信息

针对大数据分析过程易受数据维度的影响,造成大数据分析平台运行时间长、数据分析平均绝对误差高的问题,构建了基于spark技术的大数据智能分析平台。先采用局部约束学习方法降低大数据维度,再利用spark技术建立兼具应用服务层、权限管理层、中间服务层和基础资源层的平台分层架构,参考映射-归约数据网络质量分析系统,结合数据分析编排器设计平台后台分析服务器,实现了基于spark技术的大数据智能分析平台的构建。所构建平台加速比参数大于9,运行速度较快,运行效率在99%左右,数据分析平均绝对误差为0.5%~0.8%。

关键词：局部约束学习方法数据维度 spark技术平台分层架构

基于spark的智慧校园数据挖掘技术应用研究

在线全文

学校读者我要写书评

暂无评论

邯郸职业技术学院学报 2022年第1期35卷 23-25,41页

作者：常明杰邯郸职业技术学院河北邯郸056005

基于邯郸职业技术学院智慧校园建设背景下,构建基于spark的智慧校园智能数据挖掘应用平台,将数据挖掘技术应用与智慧校园信息化建设中所有终端采集的不同类型数据源数据进行数据挖掘和分析处理。数据挖掘平台将学院各业务系统及物联终... 详细信息

基于邯郸职业技术学院智慧校园建设背景下,构建基于spark的智慧校园智能数据挖掘应用平台,将数据挖掘技术应用与智慧校园信息化建设中所有终端采集的不同类型数据源数据进行数据挖掘和分析处理。数据挖掘平台将学院各业务系统及物联终端设备所产生的各种源数据,进行存储、清洗、集成、转换、归约、分析、评估,最终实现可视化。平台分析和挖掘范围涉及学院教学、科研、管理和服务等。

关键词：智慧校园 spark技术数据挖掘

在线全文

学校读者我要写书评

暂无评论

spark技术在海洋档案全文检索中的应用

科教文汇 2019年第24期 86-87页

作者：孙杰国家海洋局东海信息中心(国家海洋局东海档案馆)

随着信息技术的不断发展,全文检索技术在档案信息管理中的应用逐渐成熟。本文阐述了传统全文检索的缺点及spark技术在海洋档案全文检索中的应用优势,并对其发展进行讨论。

关键词：全文检索 spark技术海洋档案

大数据时代Hadoop和spark技术研究

在线全文

学校读者我要写书评

暂无评论

品牌研究 2020年第4期 88-90页

作者：王玉河源职业技术学院

在我国信息技术水平的日益提升下,为了能够提高大数据的利用率,需要建立起专门的平台对大数据进行计算与处理。其中以Hadoop技术与spark技术颇具代表性,本文将通过结合相关研究资料,分别从核心技术、技术升级、生态系统与技术应用等方... 详细信息

在我国信息技术水平的日益提升下,为了能够提高大数据的利用率,需要建立起专门的平台对大数据进行计算与处理。其中以Hadoop技术与spark技术颇具代表性,本文将通过结合相关研究资料,分别从核心技术、技术升级、生态系统与技术应用等方面出发,着重围绕大数据时代下的Hadoop技术与spark技术进行简要分析研究。

关键词：大数据时代 Hadoop技术 spark技术

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于spark技术在智慧城市系统中的应用

电子技术与软件工程 2018年第18期 58-59页

作者：石磊深圳市赛为智能股份有限公司广东省深圳市518052

随着信息技术的不断发展,城市信息化应用水平不断提升,智慧城市建设应运而生。建设智慧城市在实现城市可持续发展、引领信息技术应用、提升城市综合竞争力等方面具有重要意义。在建设智慧城市中所需要一系列软硬件支持,其中技术层面需... 详细信息

随着信息技术的不断发展,城市信息化应用水平不断提升,智慧城市建设应运而生。建设智慧城市在实现城市可持续发展、引领信息技术应用、提升城市综合竞争力等方面具有重要意义。在建设智慧城市中所需要一系列软硬件支持,其中技术层面需要物联网、云计算等新一代信息技术的支撑。其中智慧城市系统中的应用之间的数据传递、转换、过滤等一系统服务都需要软件技术支撑。spark是一个轻量级Java Web框架,可用来快速开发Web应用,并作为RESTful服务为智慧城市各应用提供高效快速访问接口。

关键词： spark技术 RESTful服务智慧城市

在线全文

学校读者我要写书评

暂无评论

基于spark的地震数据重建方法的并行化

科学技术与工程 2023年第8期23卷 3168-3176页

作者：廉西猛中国石油化工股份有限公司胜利油田分公司物探研究院东营257022

地震勘探技术发展早已进入TB(terabytes)级数据时代,并逐步迈向PB(petabytes)级。为提升海量数据处理效率,将地震数据处理算法进行并行化是一种广泛采用的手段。但是一些复杂度较高的算法,诸如地震数据重建类方法等,并行化难度较大,加... 详细信息

地震勘探技术发展早已进入TB(terabytes)级数据时代,并逐步迈向PB(petabytes)级。为提升海量数据处理效率,将地震数据处理算法进行并行化是一种广泛采用的手段。但是一些复杂度较高的算法,诸如地震数据重建类方法等,并行化难度较大,加速效果不理想。spark作为一种面向大数据处理的通用分布式并行计算技术,可以应用于并可简化地震数据处理算法并行化过程。借助于spark的优势,通过两个实例讨论了基于spark的地震数据重建并行化方法,提出了对于具有复杂输入输出组织数据方式的算法的并行化方法,提升了算法效率。研究成果为该类算法的spark并行化开发提供了有益借鉴。

关键词：地震数据重建 spark技术并行面元均化五维规则化

在线全文

学校读者我要写书评

暂无评论

针对配电变压器的数据清洗方法

电网技术 2017年第3期41卷 1008-1014页

作者：刘沅昆栾文鹏徐岩王鹏郭屾华北电力大学电气与电子工程学院中国电力科学研究院配电研究所

配电变压器作为配用电系统的关键环节,由于分布面广、网络结构复杂、运行环境恶劣等客观条件的制约,其数据在实际运行中常存在大量异常和缺失情况。为解决上述问题,以现实中的配电变压器数据为研究样本,首先分析了配电变压器数据异常和... 详细信息

配电变压器作为配用电系统的关键环节,由于分布面广、网络结构复杂、运行环境恶劣等客观条件的制约,其数据在实际运行中常存在大量异常和缺失情况。为解决上述问题,以现实中的配电变压器数据为研究样本,首先分析了配电变压器数据异常和数据丢失2类情况的产生原因,之后采用小样本数据进行算法研究,针对配电变压器数据异常问题提出基于Kernel Smoothing技术的异常数据识别方法,针对配电变压器数据丢失问题提出了基于Pearson相关系数与回归模型相结合的缺失数据恢复方法。为验证所提方法能够满足TB级数据的运算效率,采用6台服务器搭建spark并行计算结构,对大样本的配电变压器数据进行了异常数据的识别和缺失数据的恢复,相关结果证明了所提方法的实际价值。

关键词：配电变压器数据清洗 spark技术大数据

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

电商用户行为大数据平台的构建与优化

电脑编程技巧与维护 2022年第5期 93-95页

作者：徐希炜张卫荣昌厚峰潍坊职业学院山东潍坊262737

项目数据来源于互联网电商网站的用户行为数据,包括访问行为、购物行为、广告点击行为等数据,对上述行为数据采用离线计算和实时计算方式,以期通过大数据技术提升公司效益,并根据行为数据分析结果改进产品设计,涉及的大数据技术包括Spar... 详细信息

项目数据来源于互联网电商网站的用户行为数据,包括访问行为、购物行为、广告点击行为等数据,对上述行为数据采用离线计算和实时计算方式,以期通过大数据技术提升公司效益,并根据行为数据分析结果改进产品设计,涉及的大数据技术包括spark技术生态栈中的spark Core、spark SQL、spark Streaming 3大技术框架,业务模块主要包括用户分析、转化率统计、热门商品离线统计、广告流量实时统计,提出了系统性能调优、troubleshooting以及数据倾斜处理的解决思路。

关键词：平台构建 spark技术电商用户数据倾斜性能调优

在线全文

学校读者我要写书评

暂无评论

基于spark的配电网数据挖掘及处理研究

通信电源技术 2022年第10期39卷 5-8页

作者：吕颖利李志强济源职业技术学院河南济源459000

以配电网非标数据为切入点展开研究,提出了基于spark技术的配电网数据挖掘和处理技术。将非标准数据按照国际标准的规定进行统一格式转换,解决了非标数据不能直接应用于系统的问题,避免缺陷数据对电网运行产生负面影响;同时采用粒子群... 详细信息

以配电网非标数据为切入点展开研究,提出了基于spark技术的配电网数据挖掘和处理技术。将非标准数据按照国际标准的规定进行统一格式转换,解决了非标数据不能直接应用于系统的问题,避免缺陷数据对电网运行产生负面影响;同时采用粒子群优化算法对配电网拓扑数据中的负荷聚类中心进行优化,规避离群样本对后续电力负荷预测模型造成的消极影响。

关键词： spark技术配电网数据挖掘电力负荷