检索结果-南通市图书馆

A hierarchical indexing strategy for optimizing apache spark with HDFS to efficiently query big geospatial raster data

引用

International Journal of Digital Earth 2020年第3期13卷 410-428页

作者： Fei Hu Chaowei Yang Yongyao Jiang Yun Li Weiwei Song Daniel Q.Duffy John L.Schnase Tsengdar Lee NSF Spatiotemporal Innovation Center and Dept.of Geography and GeoInformation Sciences George Mason UniversityFairfaxVAUSA Center for Open-Source Data and AI Technologies IBMSan FranciscoCAUSA Office of Computational and Information Sciences and Technology NASA Goddard Space Flight CenterGreenbeltMDUSA NASA Center for Climate Simulation Goddard Space Flight CenterGreenbeltMDUSA Earth Science Division NASA HeadquartersWashingtonDCUSA

Earth observations and model simulations are generating big multidimensional array-based raster ***,it is difficult to efficiently query these big raster data due to the inconsistency among the geospatial raster data model,distributed physical data storage model,and the data pipeline in distributed computing *** efficiently process big geospatial data,this paper proposes a three-layer hierarchical indexing strategy to optimize apache spark with Hadoop Distributed File System(HDFS)from the following aspects:(1)improve I/O efficiency by adopting the chunking data structure;(2)keep the workload balance and high data locality by building the global index(k-d tree);(3)enable spark and HDFS to natively support geospatial raster data formats(e.g.,HDF4,NetCDF4,GeoTiff)by building the local index(hash table);(4)index the in-memory data to further improve geospatial data queries;(5)develop a data repartition strategy to tune the query parallelism while keeping high data *** above strategies are implemented by developing the customized RDDs,and evaluated by comparing the performance with that of spark SQL and *** proposed indexing strategy can be applied to other distributed frameworks or cloud-based computing systems to natively support big geospatial data query with high efficiency.

关键词： Big data hierarchical indexing multi-dimensional apache spark HDFS distributed computing GIS

来源：

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

Applying apache spark on Streaming Big Data for Health Status Prediction

引用

Computers, Materials & Continua 2022年第2期70卷 3511-3527页

作者： Ahmed Ismail Ebada Ibrahim Elhenawy Chang-Won Jeong Yunyoung Nam Hazem Elbakry Samir Abdelrazek Information Systems Department Faculty of Computers and InformationMansoura UniversityMansoura35516Egypt Department of Computer Science Faculty of Computers and InformationEl-Zagazig UniversityZagazigSharqiyah44519Egypt Medical Convergence Research Center Wonkwang UniversityIksanKorea Department of Computer Science and Engineering Soonchunhyang UniversityAsanKorea

Big data applications in healthcare have provided a variety of solutions to reduce costs,errors,and *** work aims to develop a real-time system based on big medical data processing in the cloud for the prediction of health *** the proposed scalable system,medical parameters are sent to apache spark to extract attributes from data and apply the proposed machine learning *** this way,healthcare risks can be predicted and sent as alerts and recommendations to users and healthcare *** proposed work also aims to provide an effective recommendation system by using streaming medical data,historical data on a user’s profile,and a knowledge database to make themost appropriate real-time recommendations and alerts based on the sensor’s *** proposed scalable system works by tweeting the health status attributes of *** cloud profile receives the streaming healthcare data in real time by extracting the health attributes via a machine learning prediction algorithm to predict the users’health ***,their status can be sent on demand to healthcare ***,machine learning algorithms can be applied to stream health care data from wearables and provide users with insights into their health *** algorithms can help healthcare providers and individuals focus on health risks and health status changes and consequently improve the quality of life.

关键词： Big data streaming processing healthcare data machine learning IoT data processing apache spark

来源：

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

Efficient Feature Extraction Using apache spark for Network Behavior Anomaly Detection

引用

Tsinghua Science and Technology 2018年第5期23卷 561-573页

作者： Xiaoming Ye Xingshu Chen Dunhu Liu Wenxian Wang Li Yang Gang Liang Guolin Shao School of Cybersecurity Chengdu University of Information Technology Chengdu 610225 and the College of Computer Science Sichuan University Chengdu 610065 China College of Cybersecurity Sichuan University Chengdu 610065 China School of Management Chengdu University of Information Technology Chengdu 610103 China College of Compute Science Sichuan University Chengdu 610065 China

Extracting and analyzing network traffic feature is fundamental in the design and implementation of network behavior anomaly detection methods. The traditional network traffic feature method focuses on the statistical features of traffic volume. However, this approach is not sufficient to reflect the communication pattern features. A different approach is required to detect anomalous behaviors that do not exhibit traffic volume changes, such as low-intensity anomalous behaviors caused by Denial of Service/Distributed Denial of Service （DoS/DDoS） attacks, Internet worms and scanning, and BotNets. We propose an efficient traffic feature extraction architecture based on our proposed approach, which combines the benefit of traffic volume features and network communication pattern features. This method can detect low-intensity anomalous network behaviors and conventional traffic volume anomalies. We implemented our approach on spark Streaming and validated our feature set using labelled real-world dataset collected from the Sichuan University campus network. Our results demonstrate that the traffic feature extraction approach is efficient in detecting both traffic variations and communication structure changes. Based on our evaluation of the MIT-DRAPA dataset, the same detection approach utilizes traffic volume features with detection precision of 82.3% and communication pattern features with detection precision of 89.9%. Our proposed feature set improves precision by 94%.

关键词： feature extraction graph theory network behavior anomaly detection apache spark

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

Deep LearningModel for Big Data Classification in apache spark Environment

引用

Intelligent Automation & Soft Computing 2023年第9期37卷 2537-2547页

作者： T.M.Nithya R.Umanesan T.Kalavathidevi C.Selvarathi A.Kavitha Department of Computer Science and Engineering K.Ramakrishnan College of EngineeringTrichyTamilnadu620009India Department of Information and Communication Engineering Anna UniversityChennaiTamilnadu600025India Department of Electronics and Instrumentation Engineering Kongu Engineering CollegeErodeTamilnadu638060India Department of Computer Science and Engineering M.Kumarasamy College of EngineeringKarurTamilnadu639113India Department of Electronics and Communication Engineering K.Ramakrishnan College of EngineeringTrichyTamilnadu620009India

Big data analytics is a popular research topic due to its applicability in various real time *** recent advent of machine learning and deep learning models can be applied to analyze big data with better *** big data involves numerous features and necessitates high computational time,feature selection methodologies using metaheuristic optimization algorithms can be adopted to choose optimum set of features and thereby improves the overall classiﬁcation *** study proposes a new sigmoid butterﬂy optimization method with an optimum gated recurrent unit(SBOA-OGRU)model for big data classiﬁcation in apache *** SBOA-OGRU technique involves the design of SBOA based feature selection technique to choose an optimum subset of *** addition,OGRU based classiﬁcation model is employed to classify the big data into appropriate ***,the hyperparameter tuning of the GRU model takes place using Adam ***,the apache spark platform is applied for processing big data in an effective *** order to ensure the betterment of the SBOA-OGRU technique,a wide range of experiments were performed and the experimental results highlighted the supremacy of the SBOA-OGRU technique.

关键词： Big data apache spark classiﬁcation feature selection gated recurrent unit adam optimizer

来源：

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

基于apache spark的配电网大数据预处理技术研究

引用

华北电力大学学报（自然科学版） 2021年第2期48卷 40-46,54页

作者：徐宁王艳芹董祯王勇国网河北省电力有限公司经济技术研究院河北石家庄050000 国网河北省电力有限公司河北石家庄050000

随着配电网采集的数据规模日益增大,如何高效地预处理配电网数据成为目前配电网数据分析面临的重要问题之一。考虑到配电网大数据的复杂性,提出了基于apache spark的大规模数据并行预处理的方法。首先,为了更有效地处理配电网大数据,以S... 详细信息

随着配电网采集的数据规模日益增大,如何高效地预处理配电网数据成为目前配电网数据分析面临的重要问题之一。考虑到配电网大数据的复杂性,提出了基于apache spark的大规模数据并行预处理的方法。首先,为了更有效地处理配电网大数据,以spark为计算引擎搭建了大数据并行计算平台;接着,分析了目前配电网大数据面临的一些普遍性问题,提出了针对这些问题的数据治理方案;然后,结合spark计算引擎,介绍了配电网大数据预处理的具体流程;最后通过实验验证了数据预处理对配电网数据预测的精确度提升,以及分布式计算平台在数据预处理方面的速度优势。

关键词：配电网大数据数据预处理并行计算 apache spark

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于apache spark的半参数支持向量回归机及其在NOx排放建模中的应用

基于Apache Spark的半参数支持向量回归机及其在NOx排放建模中的...

引用

作者：胡志南京邮电大学

学位级别：硕士

电力行业是我国国民经济发展的基石,而其中火力发电占总发电量的绝大部分。但在国家全面倡导节能减排的大环境下,火力发电过程中会生成以NOx为主的污染物,对环境污染最大,且最难以处理。因此建立火电厂的NOx排放模型能够促使企业严格执... 详细信息

电力行业是我国国民经济发展的基石,而其中火力发电占总发电量的绝大部分。但在国家全面倡导节能减排的大环境下,火力发电过程中会生成以NOx为主的污染物,对环境污染最大,且最难以处理。因此建立火电厂的NOx排放模型能够促使企业严格执行环保政策,,实现经济高效可持续发展。在已有的NOx排放建案例中,以支持向量机为代表的一系列NOx排放建模方法取得了优异的建模效果。支持向量机在统计学习理论基础上发展的一种机器学习算法,具有理论完备、适应性强等优点,因此在深度学习和人工智能高速发展的今天仍保持较高的活跃度。考虑到从火电厂DCS系统采集的数据过于庞大,而串行机制的支持向量机算法仍无法胜任大规模数据的建模任务,因此本文对支持向量机的并行化算法进行了深入的研究。其中,基于大数据平台的并行化技术备受关注,如,Hadoop和apache spark是其中最具代表性的大数据处理平台。但由于Hadoop计算延迟较高,无法胜任实时、快速和迭代的计算任务,因此采用了具有高效性、易用性、通用性的apache spark对算法进行并行化改进。综上,本文针对火电厂中的大规模数据NOx排放建模问题,对传统支持向量回归机进行改进,并基于apache spark将其并行化实现,进一步提高其处理大规模数据的能力。论文的主要工作和研究成果如下:（1）通过构造支持向量回归机权系数向量的可调预定义值向量,并利用模糊C均值算法确定预定义值向量中的基向量,提出了一种半参数支持向量回归机。并给出了基于迭代重加权最小二乘的半参数支持向量回归机求解策略。通过数值实例实验证明了半参数支持向量回归机算法的有效性,该算法可在不损失精度的情况下,降低计算复杂度且复杂度可控;（2）为进一步提高半参数支持向量回归机算法处理大规模数据的能力,基于apache spark和数据集划分的思想,给出了半参数支持向量回归机基于apache spark的并行化实现。（3）以某电厂600MW锅炉为研究对象,利用本文所提算法,成功建立了其NOx排放模型。本文首先利用变量重要性投影进行变量选择,确定输入变量;接着对确定的变量利用Pearson算法进行时延分析。最终利用所提算法建立了火电厂NOx排放模型。实验结果表明并行机制的半参数支持向量回归机建模效率高,特别是在数据量增大时,本文建立的模型其优势更为显著。

关键词：半参数支持向量回归机并行化大规模数据 apache spark NOx排放建模

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于apache spark的公共自行车使用状况分析

基于Apache Spark的公共自行车使用状况分析

引用

作者：贾志立太原理工大学

学位级别：硕士

随着我国乃至世界范围内的城镇化进程的推进,城市交通正面临前所未有的压力。一方面交通拥堵造成了极大的时间浪费,由此带来不可预估的直接或间接的经济损失;另一方面大量的用车还带来了极大的环境污染。近几年来公共自行车作为一种新... 详细信息

随着我国乃至世界范围内的城镇化进程的推进,城市交通正面临前所未有的压力。一方面交通拥堵造成了极大的时间浪费,由此带来不可预估的直接或间接的经济损失;另一方面大量的用车还带来了极大的环境污染。近几年来公共自行车作为一种新型的公共交通出行方式受到了广泛的关注。它扩展了传统公共交通,如公交车、地铁等不能触及的城市交通出行的末端,很大程度的解决了公共交通“最后一公里”的问题。但是由于城市出行的不确定性,特别是潮汐现象等造成了公共自行车经常出现“借车难”和“还车难”的现象。本文针对公共自行车历史数据量大、数据结果展示复杂、影响公共自行车使用的因素复杂等诸多问题,对第三代公共自行车的使用特性和使用量预测进行了基于apache spark大数据平台的分析与研究。本文主要完成的研究内容如下:(1)阐述了公共自行车作为城市出行中重要的组成部分对绿色出行、倡导低碳生活的重要意义,以及在大数据时代背景下,公共自行车项目使用大数据工具的必要性。(2)通过对大数据工具的梳理,搭建了以apache spark为核心的公共自行车使用分析的大数据处理平台,并通过***、Carto、Python和R等工具和编程语言实现数据的可视化展示。(3)以美国纽约市的Citi Bike公共自行车系统的开源数据作为本文实验数据,使用spark SQL和spark Dataframe编程实现对公共自行车用户和站点两个角度的使用状况的统计与分析。总结了不同用户类型对公共自行车使用的影响;并使用K均值聚类算法对站点的使用规律做了分析。(4)基于spark MLlib机器学习库,使用随机森林和梯度提升回归树两种算法实现对Citi Bike每日使用量的预测。以历史天气数据为决策树特征进行模型建立,并对所建立模型结果进行了评价,验证了所选算法的可靠性。

关键词：公共自行车大数据分析 apache spark 可视化分析聚类分析决策树回归分析随机森林梯度提升回归树

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于apache spark的增强型奇异协同过滤推荐系统

基于Apache Spark的增强型奇异协同过滤推荐系统

引用

作者： ADEM SEID AHMED 北京交通大学

学位级别：硕士

近年来,由于互联网用户数量的增加和互联网技术的进步,数据量以前所未有的速度爆炸式增长。这些用户不仅可以从互联网上获得数据,还可以通过Facebook,WhatsApp,QQ,微信,Twitter,YouTube等社交媒体服务,通过搜索,博客和发布图片和视频等... 详细信息

近年来,由于互联网用户数量的增加和互联网技术的进步,数据量以前所未有的速度爆炸式增长。这些用户不仅可以从互联网上获得数据,还可以通过Facebook,WhatsApp,QQ,微信,Twitter,YouTube等社交媒体服务,通过搜索,博客和发布图片和视频等各种活动生成大量数据。人们不断被来自社交媒体的电子邮件或消息所困扰。这将会导致信息超载,即由于存在太多信息而导致人们难以理解问题并做出决策。每分钟,娱乐媒体,视频监控摄像机,传感器,手机,电信设备,医疗保健数据库,商业交易,社交媒体以及机器对机器数据中的信息都会产生大量数据。克里斯安德森2006年在他名为“长尾巴”的书中提到,“我们正在离开信息时代,进入推荐时代”。推荐系统是向用户提供有兴趣物品建议的工具和技术。推荐系统提供的建议旨在帮助用户进行各种决策过程,例如在亚马逊,阿里巴巴和eBay网上购物时购买什么商品;在Google新闻和Yahoo!新闻上阅读哪些新闻报道;在***,Pandora和Spotify等在线音乐流媒体网站上收听什么音乐;在YouTube和Netflix上观看哪些视频或电影;阅读什么书或什么研究论文,甚至推荐哪些人给其他社交网络如Facebook等。从20多年前由马龙,格兰特,图巴克,布罗布斯特和科恩创建的第一个使用社交过滤的系统Information Lens开始,在线推荐书籍,歌曲或电影已经走过了很长的历史。如今,推荐系统可以在我们经常访问的大多数基于互联网的应用程序中找到,帮助我们找到我们可能感兴趣的信息,同时让我们避免信息过载的问题。目前,推荐系统已经成为不同行业中大多数大公司(例如,亚马逊,Netflix,Google,Facebook,YouTube和Spotify)的必备工具。推荐系统可以为提供商带来的收入的增长,为用户带来体验质量的提升。在Netflix上,2/3的电影都是推荐观看的,推荐为谷歌的新闻点击率(CTR)提高了 38%,在亚马逊35%的销售额来自推荐,在ChoiceStream,如果能找到他们喜欢的音乐,28%的人会购买更多的音乐。推荐系统可以大致分为四大类,即基于内容的推荐系统,基于协作过滤的推荐安系统,基于知识的推荐系统和混合的推荐系统。其中,协作过滤算法(CF)可以分为两大类,称为基于模型的方法和基于记忆的方法。在CF方法中,基于记忆的方法既简单又有效。虽然CF方法已被许多现实世界的巨头组织广泛使用,包括谷歌,Netflix和亚马逊,但没有足够的可以成为用于提供推荐的细节。CF技术使用评分数据库(用户-项目矩阵)。传统的基于记忆的CF技术通过利用共同评分项目上的评分来计算两个用户之间的相似度,而忽略仅从任一用户观察到的评分。我们称这些比较评级为双重评级,而非比较评级为单一评级。单一评级协同过滤试图把除了双重评级之外,那些由单一方面用户提供的评级也包含进来。这种技术首先估计单数评级的未分级分数,将其转化为双分级。然后他们执行CF过程。尽管该技术试图通过结合单数评级来解决现有CF的问题,但该方法还忽略了另一个问题,即由不相似的用户或邻居提供的评级。传统的CF和单数CF产生评级预测时都丢弃了由不相似的用户或邻居提供的评级。我们提出的方法与其他方法不同,因为它不仅利用相似用户提供的评级,而且利用不相似的用户或邻居提供的评级。来自不相似用户的评分对所产生的推荐质量同样具有重要的作用。其主要目标是在计算每个用户的相似度并为目标用户生成一个预测时,使用不相似的用户或邻居提供的评级。大多数基于CF的算法都存在数据稀疏性,可扩展性和冷启动的问题。为了克服基于内存的推荐算法的这些缺点,一系列研究集中在增强型奇异协同过滤Enhanced Singular Collaborative Filtering(ESCF)上,旨在寻求更加准确和可扩展的方法。在现实世界的数据集中,用户可能通常只对数千或数百万项目中的一小部分项目提供反馈评级,这往往会导致用户项目评分矩阵变得非常稀疏。当两个用户共同评分的项目数量很少,无法计算两个用户之间的相似度时,像奇异协同过滤这样的方法通过转换单一评级至双重评级来解决数据稀疏和冷启动的问题,然后计算相似度。这种方法可以为数据集生成更多的评分,并在一定程度上解决了数据稀疏性问题,提高了预测的准确性。但是,此类方法在生成预测以提供高质量的推荐时也没有包含不不相似的用户或邻居提供的评分。为了克服这个限制,本文所提出的ESCF方法利用由相似用户以及不相似用户提供的所有评级来为目标用户提供高质量的推荐。我们还进一步证明,我们提出的方法可以比现有的传统CF方法更好地在冷启动条件下工作。在CF算法中,计算用户的相似性是昂贵的,因为需要搜索整个数据库以找到目标用户的相似邻居。它的计算量随着项目和用户数量的增长而线性增长。因此

关键词：推荐系统基于内存的协同过滤 apache spark 分布式框架 MovieLens MovieTweetings

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于apache spark的大数据电能质量干扰源分析

引用

自动化与仪器仪表 2024年第9期 365-369页

作者：胡长武李鹏侯凯国网宁夏电力有限公司中卫供电公司宁夏中卫755000

电能质量监测规模的日益扩大导致电能质量数据的海量增加,现有的配电网电能质量监测系统难以实现大数据电能质量的有效分析。在此背景下,研究利用apache spark构建电能质量大数据计算框架,并以此设计了针对电能质量干扰源分析的大数据... 详细信息

电能质量监测规模的日益扩大导致电能质量数据的海量增加,现有的配电网电能质量监测系统难以实现大数据电能质量的有效分析。在此背景下,研究利用apache spark构建电能质量大数据计算框架,并以此设计了针对电能质量干扰源分析的大数据电能质量干扰源分析系统。系统验证分析显示,配电网电压变化主要是因为短时间的越限电压事件影响。不同方法对比显示,研究提出的系统精确率、召回率和F1值分别增加了0.37%、2.28%、1.32%。结果表明,研究提出的电能质量干扰源分析系统具有良好的分析能力,且0~4点的越上限电压事件和越下限电压事件是导致配电网电压变化的主要因素,电网公司应加强对该时段越限电压事件的关注并制定合理的防治与维护措施。

关键词：大数据 apache spark 电能电量电压变化干扰源分析配电网

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

An Adaptive Scalable Data Pipeline for Multiclass Attack Classification in Large-Scale IoT Networks

引用

Big Data Mining and Analytics 2024年第2期7卷 500-511页

作者： Selvam Saravanan Uma Maheswari Balasubramanian Department of Computer Science and Engineering Amrita School of ComputingAmrita Vishwa VidyapeethamBengaluru 560035India

The current large-scale Internet of Things(IoT)networks typically generate high-velocity network traffic *** use IoT devices to create botnets and launch attacks,such as DDoS,Spamming,Cryptocurrency mining,Phishing,*** service providers of large-scale IoT networks need to set up a data pipeline to collect the vast network traffic data from the IoT devices,store it,analyze it,and report the malicious IoT devices and types of ***,the attacks originating from IoT devices are dynamic,as attackers launch one kind of attack at one time and another kind of attack at another *** number of attacks and benign instances also vary from time to *** phenomenon of change in attack patterns is called concept ***,the attack detection system must learn continuously from the ever-changing real-time attack patterns in large-scale IoT network *** meet this requirement,in this work,we propose a data pipeline with apache Kafka,apache spark structured streaming,and MongoDB that can adapt to the ever-changing attack patterns in real time and classify attacks in large-scale IoT *** concept drift is detected,the proposed system retrains the classifier with the instances that cause the drift and a representative subsample instances from the previous training of the *** proposed approach is evaluated with the latest dataset,IoT23,which consists of benign and several attack instances from various IoT *** classification accuracy is improved from 97.8%to 99.46%by the proposed *** training time of distributed random forest algorithm is also studied by varying the number of cores in apache spark environment.

关键词： Internet of Things(IoT) concept drift apache spark MongoDB apache Kafka streaming

来源：

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

在线全文

在线全文

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

在线全文

在线全文

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：