检索结果-南通市图书馆

基于sparkr的水文传感器数据的异常检测方法

在线全文

学校读者我要写书评

暂无评论

计算机应用 2019年第2期39卷 436-440页

作者：刘子豪李凌叶枫江苏科技大学计算机学院江苏镇江212003 河海大学计算机与信息学院南京211100

为了高效地从海量的水文传感器数据中检测出异常值,提出一种基于sparkr的水文时间序列异常检测方法。首先,对数据进行清洗后,采用滑动窗口配合自回归积分滑动平均模型(ARIMA)在sparkr平台上进行预测;然后,对预测的结果计算置信区间,将... 详细信息

为了高效地从海量的水文传感器数据中检测出异常值,提出一种基于sparkr的水文时间序列异常检测方法。首先,对数据进行清洗后,采用滑动窗口配合自回归积分滑动平均模型(ARIMA)在sparkr平台上进行预测;然后,对预测的结果计算置信区间,将在区间范围以外的判定为异常值;最后,基于检测结果,利用K均值算法对原数据进行聚类,同时计算其状态转移概率,对检测出的异常值进行质量评估。以在滁河获取的水文传感器数据为实验数据,分别在运行时间和异常值检测效果这两个方面进行了实验。结果显示:利用sparkr对百万级数据进行计算时,利用双节点计算的时间要长于单节点;但是对千万级数据进行计算时,双节点比单节点计算时间上更少,最多减少了16. 21%,且评估过后的灵敏度由之前的5. 24%提高到了92. 98%。实验结果表明,在sparkr下,根据水文数据的特点并结合预测检验和聚类校验的方法对千万级水文时间序列进行检测时,能有效提高传统方法的计算效率,并且在灵敏度方面相比传统方法也有显著提升。

关键词： sparkr 自回归积分滑动平均模型异常检测水文时间序列 K均值

网络金融信息情感分析及其与股票市场波动关联关系研究 ——基于sparkr的实现

在线全文

学校读者我要写书评

暂无评论

网络金融信息情感分析及其与股票市场波动关联关系研究 ——基于S...

作者：马驰宇合肥工业大学

学位级别：硕士

随着互联网技术的飞速发展,人们越来越习惯通过其获取自己所需的信息并发表自己观点。在金融领域,网络金融信息已成为金融信息一种新的重要表现形式。以股票市场为例,财经新闻、券商的在线投资报告、专家的在线股评、个人投资者参与互... 详细信息

随着互联网技术的飞速发展,人们越来越习惯通过其获取自己所需的信息并发表自己观点。在金融领域,网络金融信息已成为金融信息一种新的重要表现形式。以股票市场为例,财经新闻、券商的在线投资报告、专家的在线股评、个人投资者参与互动的论坛、博客等每天都会实时产生大量与股票交易相关的信息。众所周知,这些信息里包含的评论、观点对股票市场有着影响;同时,股价的大幅波动也会影响网络金融信息的内容和情感。所以,网络金融信息与股票市场有着一定的关联关系。研究这种关联关系有助于提升投资者投资行为的科学性,也有助于为监管者提供决策依据。网络金融信息来源广泛、数据量巨大,且多为半结构化、非结构化数据,这给网络金融信息内容挖掘特别是情感分析增加了难度,也影响了分析其与市场关联性的准确性。基于此论文尝试通过搭建sparkr平台并研究相关的情感词选择和情感分类算法提高网络金融信息分析的准确性并进而实证分析了信息情感与市场的关联关系。论文首先定义了金融大数据分析框架,明确了分析思路;其次从信息量和信息情感两个方面分析网络金融信息情感的计算,定义了三种情感计算方法,尤其是给出了如何利用机器学习方式构建金融特征词词典;然后给出了网络金融信息获取、数据预处理、特征选择与情感计算所需技术并给予了其在sparkr平台上的分布式实现;最后从五个角度实证研究了网络金融信息与股市的关联关系,并对研究结果给出了详细的解释说明;最后,通过四组对比实验证明了论文方案的有效性。论文的研究为需求者如何快速获取所需网络金融信息,并分析其情感以及其与股票市场的关联关系提供参考。此外,论文通过对比新闻信息量、新闻情感信息量、新闻特征词强度与上证50指数的波动图也发现新闻情感信息量最能刻画网络金融信息与市场的关联关系,而为特征词加权很难显著提高刻画的准确度。

关键词：网络金融信息情感分析分布式计算 sparkr 文本挖掘

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于sparkr的藻类生长模型及预测

基于SparkR的藻类生长模型及预测

作者：秦业海广西大学

学位级别：硕士

藻类生长影响因子的识别和建模预测一直是藻类水华防治的研究重点,水质监测及自动化的发展所引领即将到来的水质大数据时代需要一种大数据与传统分析结合的数据分析平台,对于藻类生长这一复杂系统演化过程需要一种直观的描述方式。针对... 详细信息

藻类生长影响因子的识别和建模预测一直是藻类水华防治的研究重点,水质监测及自动化的发展所引领即将到来的水质大数据时代需要一种大数据与传统分析结合的数据分析平台,对于藻类生长这一复杂系统演化过程需要一种直观的描述方式。针对这些问题,本文做了如下研究:(1)通过组合大数据生态圈的多个组件在虚拟机上部署集群环境,以MySQL+Hive+sparkr为主体框架搭建了一整套从数据的输入、存储、调度到应用分析的sparkr水质分析平台。大数据技术与R语言分析进行结合,满足水质监测数据可靠存储、统一调度和数据量可伸缩性分析的需求。同时应用ECHarts技术实现了水质数据可视化查询展示。(2)为避免环境及人为等不定因素的干扰,在室内模拟草、藻型人工湖环境,设计了室内模拟培养的实验组及重复实验组,监测未植苦草的对照组和植有苦草的苦草组的各项指标。通过sparkr平台对数据进行处理和调度,对结果进行藻类生长的过程分析、相关性分析,应用Adaptive-Lasso算法识别出对照组和苦草组藻类生长主要影响因子,并建立Adaptive-Lasso回归方程进行验证,在集群环境中应用GBRT算法建立藻类预测模型。通过对比分析证明苦草对水体环境具有一定的除磷、除氮和抑藻作用,对照组的藻类主要影响因子分别为pH、溶解氧、浊度、电导率、总磷、总氮,苦草组的为pH、溶解氧、浊度、电导率、总磷、总氮,经重复实验验证,两组的GBRT藻类预测模型未来3天的相对误差均值分别为15.3%、14.8%。(3)应用WASP模型的EUTRO富营养化模块来构建藻类生长模型,结合实验数据,选取了藻类生长、氨氮、总磷和溶解氧模块构建模型和进行参数率定,并对相应模型进行了检验。以藻类能量值为属性指标,结合模型与藻类活动行为,对藻类抽象为智能体主体并定义行为规则,同时将氨氮、总磷和溶解氧抽象为主体,结合多智能体层和环境层共同构建多智能体模型,最后通过NetLogo平台对藻类生长多智能体模型进行仿真。

关键词：藻类生长影响因子模型预测 sparkr 数据分析平台多智能体

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于sparkr的人工水体藻类建模预测

环境与发展 2019年第4期31卷 130-132页

作者：秦业海李修华艾矫燕付旭生林春焕广西大学电气工程学院

为探究水质分析与大数据技术结合的可行方案,以MySQL+Hive+sparkr为主体框架搭建一整套从数据输入、存储、调度到应用的sparkr水质分析平台。设置室内培养模拟人工湖藻类生长实验组及其重复实验组,监测各项指标数据,通过sparkr平台,在... 详细信息

为探究水质分析与大数据技术结合的可行方案,以MySQL+Hive+sparkr为主体框架搭建一整套从数据输入、存储、调度到应用的sparkr水质分析平台。设置室内培养模拟人工湖藻类生长实验组及其重复实验组,监测各项指标数据,通过sparkr平台,在本地应用Adaptive-Lasso算法识别出对照组和苦草组藻类生长主要影响因子,并建立回归方程进行验证,在集群分布式部署GBTs藻类预测模型,经重复试验验证预测模型未来3天的相对误差均值分别为15.3%、14.8%。

关键词：藻类生长模型 sparkr Adaptive-Lasso GBTs

在线全文

学校读者我要写书评

暂无评论

基于sparkr的用户用电行为分析

电力信息与通信技术 2017年第5期15卷 44-48页

作者：毛艳芳王栋冯鹏季润阳朱喆华李珺涵杨佩国网南通运营监测(控)中心江苏南通260000 全球能源互联网研究院江苏南京210000

为了协助供电公司对用电客户的行为进行准确描述,进一步指导发电端合理、有效地调整发电策略,提出了一种基于sparkr的并行化K-means聚类算法对台区用电行为特性和用电负荷特性进行分类和分析的方法。文章通过提取南通市供电公司全量台... 详细信息

为了协助供电公司对用电客户的行为进行准确描述,进一步指导发电端合理、有效地调整发电策略,提出了一种基于sparkr的并行化K-means聚类算法对台区用电行为特性和用电负荷特性进行分类和分析的方法。文章通过提取南通市供电公司全量台区的用电数据,进行一系列清洗、归一化等处理后,依据台区的用电负荷曲线特性,利用R语言平台和Spark计算引擎实现K-means的并行化处理,对台区进行分类,最终得到4类不同用户及其用电特性,并结合地市的地域特性针对不同类型的负荷曲线进行了验证及分析。对典型用户的信息核验与验证结果表明,文章所提方法聚类分析结果的准确率可达95%以上。

关键词： sparkr 并行化 K-means聚类归一化用电行为