检索结果-南通市图书馆

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于spark的层次化项集挖掘算法

计算机工程与设计 2019年第4期40卷 989-993页

作者：吴梓宏程良伦王卓薇广东工业大学计算机学院广东广州510006

现有并行FP-Growth算法在挖掘项之间具有层次关系的事务数据时存在冗余项集大、效率低的缺点。针对上述问题,提出一种基于spark的改进FP-Growth并行算法,建立词典树与FP-tree结合的双层层次化结构(词典频繁模式树,LFP-tree)。在具有主... 详细信息

现有并行FP-Growth算法在挖掘项之间具有层次关系的事务数据时存在冗余项集大、效率低的缺点。针对上述问题,提出一种基于spark的改进FP-Growth并行算法,建立词典树与FP-tree结合的双层层次化结构(词典频繁模式树,LFP-tree)。在具有主次层次关系的事务数据库中挖掘对象与属性的关联规则,减少多余搜索时间,利用spark框架在内存计算和迭代计算上的优势完成剪枝、候选项集生成等工作。实验结果表明,该算法显著减少冗余项集的产生,在效率上优于FP-growth算法。

关键词：项集挖掘层次化结构频繁模式增长 spark框架词典频繁模式树

基于Web日志的用户行为大数据分析——spark网络用户行为分类

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于Web日志的用户行为大数据分析——Spark网络用户行为分类

作者：宋芷萱沈阳师范大学

学位级别：硕士

近年来,大数据作为当下热门话题被人津津乐道,来自全球管理咨询公司的麦肯锡如此说道:“数据早已广泛的运用到现今的每一个职业,化为当前最紧要的生产要素。挖掘大数据所隐含的内容、有效的使用大数据,能够促进了生产力的增加”。随着... 详细信息

近年来,大数据作为当下热门话题被人津津乐道,来自全球管理咨询公司的麦肯锡如此说道:“数据早已广泛的运用到现今的每一个职业,化为当前最紧要的生产要素。挖掘大数据所隐含的内容、有效的使用大数据,能够促进了生产力的增加”。随着“大数据时代”的到来,大数据的普遍使用,使得数据的数量成倍的增加,以前我们会认为这些数据是一些没有用的网上垃圾,但随着技术的发展和对数据的收集与分析,才深刻的认识到数据在生活中的重要作用,并且可以指导一些企业的发展方向。当下如何使用这些数据,并从这些数据当中发现一些隐含的规律,成为目前研究的一个热点问题。网络运营商就是执行网络运营和为用户供给服务的一个实体,在为用户供给服务的同时,还会保存用户查看网页的所有数据,并且依靠这些数据,用户的所有行为习惯都会被网络运营商获知,这样更加有利于针对不同的用户推销他们更加倾向于购买的产品,从而使得网站营销更加精确、有针对性。因此,本篇论文便是以某电商网站的Web日志记录为例,提取这些数据所包含的用户特征属性,并且我们可以使用对属性特征加权的朴素贝叶斯分类器,来对不同的用户的消费倾向性进行归类预测。本文通过以下几点来实现:(1)从Web日志预处理、用户特征属性提取和用户行为分析三个方面着手,挖掘出Web日志中关于大数据的用户行为记录,并详细的从这三个方面入手,重点突出地介绍前两个方面。(2)对冗余数据等不需要的数据进行清理、辨认是否为独立用户、识别是否为新操作等数据预处理操作进行详细的分析,提出了基于spark的特征属性提取方法,对于用户访问所产生的Web日志,进行提取用户的特征属性,比如说商品的种类,用户的地理位置,访问及其等待的时间。(3)依据贝叶斯分类所需要属性之间条件独立作出更改,设计了基于特征属性加权的朴素贝叶斯分类器。使用获取的有关用户行为的属性值,利用特征属性加权的朴素贝叶斯分类器计算分析,实现对用户的高低消费行为倾向性进行分类。(4)基于spark框架下,对不同的电商网站的Web日志,进行对网络用户的行为大数据分析,我们根据爬虫得到的用户在网站的浏览和购买记录,可以对用户的购买意向进行预测。

关键词： Web日志挖掘数据预处理朴素贝叶斯分类 spark框架用户行为分析

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

spark计算引擎的内存优化技术研究

Spark计算引擎的内存优化技术研究

作者：张伟哈尔滨工程大学

学位级别：硕士

随着互联网的广泛普及、物联网的兴起与通信技术的快速发展,用户产生的数据呈指数上涨态势,传统的单台高性能服务器已不能满足对超大规模数据进行处理。因此,以集群为单位的大数据分布式系统应运而生,其中Hadoop与spark为目前最流行的... 详细信息

随着互联网的广泛普及、物联网的兴起与通信技术的快速发展,用户产生的数据呈指数上涨态势,传统的单台高性能服务器已不能满足对超大规模数据进行处理。因此,以集群为单位的大数据分布式系统应运而生,其中Hadoop与spark为目前最流行的分布式计算框架,与采用基于磁盘和网格计算的Hadoop相比,基于内存计算的spark计算速度比Hadoop快一个数量级以上,可显著减少数据传输和运算时间。在spark快速发展的同时,如何充分利用其内存资源,提高内存使用效率,值得进行深入研究。论文对spark内存管理进行了深入研究。针对spark框架原理和源代码进行深入研究,为了能判断内存管理方案的优劣,需要获取应用的具体执行情况,因此设计了一个性能分析系统,分别包含了spark源码插桩层、数据整理层和数据可视化层。根据spark1.6及之后版本拥有两种不同的内存管理方案,分析了新旧内存管理方案的具体实现方式,通过理论推导得出新内存管理方案存在在内存较小的情况下应用较易运行失败的不足,并通过实验验证了新内存管理方案在该方面存在不足;针对新内存管理方案该方面存在的不足进行了改进,使改进后的内存管理方案能在较小内存时成功运行。在分析新旧内存管理方案原理时,发现两种方案的核心都是使用静态配置算法实现。由于静态配置算法并不能根据应用运行过程中两种内存需求比例的不断变化而动态调整配置比例大小。本文提出了一种基于溢出历史的自适应内存动态配置算法AMDAAH。该算法能够根据应用在运行过程中需要的不同内存类型的相对大小动态调整各内存类型比例关系,从而提高内存的使用效率;并将其分别与先来先服务算法、静态配置算法进行性能比较,实验验证了AMDAAH算法能够在sparkPi和PageRank两种不同类型的应用中都能表现出较好的内存使用效率,整体性能最优。

关键词： spark框架内存管理 AMDAAH算法性能分析 Hadoop

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

移动云平台的ITS大数据调用策略研究

移动云平台的ITS大数据调用策略研究

作者：杨越南京大学

学位级别：硕士

当前,交通监测数据日趋庞杂,路网监测评估与数据处理发布己逐步采取了一系列的手段,而城市交通问题仍日益突出。其症结之一,在于如何高效地处理海量交通数据,实时分析、挖掘、调用,为驾乘提供必要的信息服务[¨。论文依托省科技厅《公... 详细信息

当前,交通监测数据日趋庞杂,路网监测评估与数据处理发布己逐步采取了一系列的手段,而城市交通问题仍日益突出。其症结之一,在于如何高效地处理海量交通数据,实时分析、挖掘、调用,为驾乘提供必要的信息服务[¨。论文依托省科技厅《公路交通传感网信息检测·挖掘·汇聚·发布与辅助决策示范系统》示范工程项目,介绍了国内外智能交通系统中移动采集技术及云计算技术的应用现状,分析了在移动云环境中传输和处理海量交通数据的难点。提出了移动云环境中的优化负载均衡策略,建立了预测评估移动监测数据模型,及其实时数据处理平台,并予路网仿真验证。就流媒体传输需要占用大量带宽,传统流媒体服务器无法提供高并发量服务的难题,提出了基于Reactor模型的流媒体服务器架构,克服了传统多线程模型面临的线程调度开销及同步死锁问题,并采用基于网络状况的自适应缓存机制,实现了云环境中实时稳定的流媒体服务。就移动云环境中资源利用率不平衡问题提出了基于优化遗传算法的负载均衡策略。通过采用多目标的适应度函数及自适应的交叉变异算子,解决了传统调度策略收敛速度慢、易于陷入局部收敛等问题,契合了移动云环境中的资源异质性和动态性特征。就海量交通数据的实时分析和处理问题,基于spark框架构建了分布式云平台,通过使用基于内存的分布式系统实现海量数据的实时处理,克服了传统框架无法进行实时任务的问题,采用EM算法分析移动设备采集的GPS数据,对路网状况进行实时评估和预测,并通过web接口进行发布。综上,论文研究成果具有重要的理论意义和应用价值。其创新点在于：1)针对基于多线程模型的服务器所面临的进程调度开销及同步死锁问题,采用了基于Reactor模型的I/O复用方式提供高并发服务。2)针对移动云平台中的资源利用率低的问题,优化了传统遗传算法,实现动态负载均衡,克服了移动云环境中计算资源的异质性和动态性问题。3)基于spark框架实现了海量交通数据实时处理集群,通过构建基于内存的分布式系统,能够在秒量级迭代执行针对海量交通数据的机器学习算法。

关键词：移动云计算 spark框架路网评估优化遗传算法并发服务器

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

事件知识图谱并行化研究及应用

事件知识图谱并行化研究及应用

作者：罗钰敏电子科技大学

学位级别：硕士

事件作为人类认知世界的基础,已得到越来越多研究者的关注。知识图谱的发展为计算机形式化描述现实世界事物提供了载体,构建基于事件的知识图谱成为研究者关注的方向之一。互联网的发展在改变人类生活方式的同时,也带来了巨大数据规模,... 详细信息

事件作为人类认知世界的基础,已得到越来越多研究者的关注。知识图谱的发展为计算机形式化描述现实世界事物提供了载体,构建基于事件的知识图谱成为研究者关注的方向之一。互联网的发展在改变人类生活方式的同时,也带来了巨大数据规模,给以互联网为数据来源的事件知识图谱构建带来巨大性能挑战。本文从提升事件知识图谱构建效率出发,分析了图谱构建各阶段影响性能的若干关键技术,提出了基于spark的并行化解决方案,具体研究包括以下几方面:1.在图谱构建文本特征提取阶段,针对大规模数据对文本特征提取的挑战,从两方面开展了研究工作。(1)为提升大规模中文文本分词速度,研究并提出基于spark的并行中文分词方法。(2)以并行中文分词结果为输入,在spark MLlib库Word2Vec词向量训练实现方案上,研究并提出了提升Word2Vec训练性能的优化方案—LB-Word2Vec。通过一系列对比实验验证了以上两点研究都取得了不错效果,其中在有6个计算节点的集群下,并行中文分词比单机分词速度提升约3倍,LB-Word2Vec训练出的词向量模型在保证准确率基本不变的前提下,比未优化的并行Word2Vec速度提升近3倍,比单机Word2Vec速度提升近5倍。2.在图谱构建文本过滤阶段,针对时间复杂度为O(n)的文本过滤算法在日益增长的数据规模下性能出现瓶颈问题,基于spark实现了文本过滤算法的并行化且对实现方案进行了性能调优。经过一系列对比实验验证了并行文本过滤算法虽未降低算法的时间复杂度但性能表现更优越,在计算节点为2个的集群中,并行文本过滤算法比单机方法提升了2倍的速度。3.在图谱构建事件抽取阶段,针对大规模数据对事件抽取效率的挑战,基于TensorFlowOnspark改进了现有事件抽取算法并在此基础上实现了一个定制的并行事件抽取平台。实验结果表明,虽然并行事件抽取算法在模型训练阶段因数据输入方式的限制速度提升不明显,但模型准确率与单机基本一致,而在基于训练出的模型的事件抽取阶段,提出的数据分发机制在拥有2个计算节点的集群下,事件抽取速度比单机提升2倍左右。4.基于Play2框架设计并实现了一个并行计算平台。该平台主要实现可视化提交与管理spark作业、对外提供并行计算服务等功能,避免了命令行提交作业的复杂性,方便了作业在Web端的管理及外部环境对并行计算服务的访问。

关键词：事件知识图谱 spark框架并行化数据并行性能调优

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于大数据的短时交通流预测与控制研究

基于大数据的短时交通流预测与控制研究

作者：李屿焘江苏科技大学

学位级别：硕士

随着人工智能的兴起,针对如今交通拥堵和交通压力激增的状况,研究人员在交通领域提出了智能交通系统。拥有准确度高、时效性快的交通流预测系统是智能交通系统运行的必要条件,通过准确实时的交通流量预测,预测目标道路未来5分钟至半小... 详细信息

随着人工智能的兴起,针对如今交通拥堵和交通压力激增的状况,研究人员在交通领域提出了智能交通系统。拥有准确度高、时效性快的交通流预测系统是智能交通系统运行的必要条件,通过准确实时的交通流量预测,预测目标道路未来5分钟至半小时内的交通流量,根据预测值提前使用交通控制管理系统对路面交通状况进行调控,从而达到缓解拥堵,提高交通通行效率的目的。因此,本文对短时交通预测算法在优化预测准确性、时效性方面进行改进,对减少区域内交通延误时间来展开研究工作。(1)针对目前交通流数据的爆炸性增长、预测精准性不高和预测速度较慢等的问题,提出了一种融合多种因素的组合预测模型,首先采用K-means++对时间特征因子进行聚类,降低不同分类器之间的相关性,然后利用随机森林算法构建预测模型。实验表明,相比于传统的智能预测模型,此模型预测精度有明显的提高。另外,为了解决预测时间过长问题,本文选择具有分布式并行处理能力的spark计算框架对随机森林算法进行并行算法训练,在保证模型预测精度的前提下,缩短预测所需时间。通过实验分析,达到了对于交通流准确预测和快速预测的要求。(2)建立了以区域内交叉口车辆延误时间最短的交通协调控制模型,针对传统时延模型Webster算法未考虑道路流量饱和状态和HCM2000算法未考虑内部道路之间相位差因素,提出了改进的延误模型。将区域内交通分为内部道路交通流和外部进口道路交通流,分析汽车延误状态和相位差协调机制,关联区域路网交叉口,建立区域交通协调控制模型。(3)在区域交通协调控制模型上,利用改进的遗传算法对区域内各个交叉口的周期、相位和相位差进行参数优化,求解最优的参数模型以减少车辆平均延误时间。在算法的设计中,本文首先总结了遗传算法作为优化求解方法的优势和局限性,并据此提出了遗传算法关于遗传算子参数取值方法的改进,将交叉和变异概率与种群的适应度相联系,提高了算法收敛速度和运行效率,也提高了在求解全局最优解过程中的鲁棒性。(4)使用VISSIM交通仿真系统对一个含有四交叉口的路网区域进行建模仿真,根据实地采样数据、传统协调延误模型求解结果和本文提出的优化模型求解结果进行仿真运行,输入各交叉口的延误时间和相位时间。实验证明,本文的方案能够有效缩短区域内车辆的延误时间。

关键词：短时交通流预测遗传算法区域控制 spark框架参数优化

基于spark动态选择缓存替换策略的DBSCAN算法优化研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Spark动态选择缓存替换策略的DBSCAN算法优化研究

作者：尹杰武汉纺织大学

学位级别：硕士

近年来,大数据技术不断发展,spark成为目前大数据领域较为常用的计算框架。其设计内存计算提升执行性能,但RDD缓存替换会影响任务运行效率。DBSCAN聚类算法可在有噪声点的数据集中发现任意类簇,但传统聚类存在不足且spark Mllib没有实... 详细信息

近年来,大数据技术不断发展,spark成为目前大数据领域较为常用的计算框架。其设计内存计算提升执行性能,但RDD缓存替换会影响任务运行效率。DBSCAN聚类算法可在有噪声点的数据集中发现任意类簇,但传统聚类存在不足且spark Mllib没有实现并行计算。据此对spark缓存替换与DBSCAN聚类算法并行优化展开研究。根据spark缓存替换LRU算法存在的问题,提出动态选择RDD缓存替换算法DSR-CRA。综合七项RDD缓存影响因子,并结合改进Topsis综合评价RDD排序权重模型ITCE-RRWM,降低人为干预产生的权重波动,使排序模型符合RDD客观影响因素。算法通过设定阈值命中次数展开动态选择缓存替换,并提出预留Reserve内存空间策略,对重复使用RDD分区设置标识,目的是为提升RDD缓存命中率及任务执行效率。针对传统方式计算DBSCAN密度聚类效率较低,全局阈值造成聚类准确率较低等问题,提出spark并行化改进聚类算法SDKB-DBSCAN。考虑spark集群分布式特点,提出不规则动态分区策略,并行化结合核密度估计伴随均值模型自适应确定各分区阈值参数,以及不规则分区边界单元合并算法。并行化设计spark迭代模型结合DSR-CRA缓存替换算法,目的是为提升聚类算法准确率以及运行效率。通过对比实验,动态选择RDD缓存替换算法运行效率较对比算法平均提升2.9%,实验表明DSR-CRA算法有效提升了执行效率;并行化改进DBSCAN算法相较串行聚类算法执行效率提升7.8倍,聚类准确率相较对比算法平均提升6.3%,实验表明并行化改进DBSCAN算法有效提升了执行效率以及聚类准确率。

关键词： spark框架缓存替换算法动态选择 DBSCAN聚类算法并行化计算

大数据环境下基于差分隐私的数据发布及算法评估系统

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

大数据环境下基于差分隐私的数据发布及算法评估系统

作者：王佳莹内蒙古大学

学位级别：硕士

随着信息技术的普及和发展,各行各业积累了大量而丰富的数据,这些数据中通常包含了许多个人隐私信息,直接对其进行发布或分析都可能造成隐私的泄露。差分隐私作为一种较新的隐私保护模型,能够防止攻击者拥有任意背景知识下的攻击,有效... 详细信息

随着信息技术的普及和发展,各行各业积累了大量而丰富的数据,这些数据中通常包含了许多个人隐私信息,直接对其进行发布或分析都可能造成隐私的泄露。差分隐私作为一种较新的隐私保护模型,能够防止攻击者拥有任意背景知识下的攻击,有效解决数据发布和分析中的隐私威胁问题。本文设计并实现了大数据环境下基于差分隐私的数据发布及算法评估系统,用于解决大数据背景下数据发布与隐私保护之间的问题,研究内容如下:首先针对大规模数值型数据的处理问题,选用了spark分布式计算框架快速高效地处理数据,根据数据维度及发布需求的不同,设计了两种数据处理算法预处理原始数据,用于得到发布数据的原始计数值。其次为避免敏感数据信息在发布过程中遭到泄露,本系统采用非交互式保护框架,引入四种基于不同发布策略的差分隐私数据发布算法用于进行数据发布,并将发布结果通过可视化的形式展示出来。最后根据度量差分隐私算法性能的标准,从算法误差和算法性能方面来实现对隐私保护算法的评估。综上所述,本系统能满足大数据环境下大规模数值型数据的数据处理和数据发布的需求,为数据分析师和数据所有者提供一个基于差分隐私的数据发布与算法评估的可视化平台,以帮助其选择合适的差分隐私算法来提高数据的可用性并保证数据中的敏感信息不会被泄露。

关键词： spark框架 Django 差分隐私保护数据发布算法评估

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于机器学习的肝硬化疾病预测研究

基于机器学习的肝硬化疾病预测研究

作者：陈志屹湖南大学

学位级别：硕士

医院每时每刻都在产生大量的数据,包括临床实验数据、疾病诊断数据、生化检验数据、仪器检查数据等。基于机器学习发掘医疗数据中潜在的有价值关联数据和知识,用于预测疾病的形成机理和发展趋势,为提高疾病的诊断效率和准确率提供数据... 详细信息

医院每时每刻都在产生大量的数据,包括临床实验数据、疾病诊断数据、生化检验数据、仪器检查数据等。基于机器学习发掘医疗数据中潜在的有价值关联数据和知识,用于预测疾病的形成机理和发展趋势,为提高疾病的诊断效率和准确率提供数据支持。目前,医院的海量各类数据大多仅用于查询服务,对大量历史医疗数据的深度分析和利用有待于加强。论文整理分析了 4033份真实慢性肝病CT检查报告,就已完成结构化处理的CT报告文本属性特征进行归一化处理。通常,医生描述CT报告文本时难免有主观经验判断,经CT报告文本结构化处理后,部分描述特征会存在异词同义现象,医生描述病情的不同用词,实际表达同一医学概念。“未见异常”和“正常”是一个概念。因此,构造机器学习样本集需要进行归一化处理。论文采用了 spark Mllib机器学习算法,对机器学习样本集进行量化处理,以支持spark Mllib机器学习算法数据类型。论文运用spark MLlib决策树机器学习算法、随机森林算法、支持向量机算法和朴素贝叶斯算法建立慢性肝硬化疾病预测模型,并进行了预测评估实验研究,比较4种算法预测模型的准确率、召回率、F-Measure值、AUC值,综合评估后选择采用决策树和支持向量机学习模型作为慢性肝硬化预测模型。论文运行spark分机器学习算法,就真实试验数据进行预测分析与评估,构建了肝硬化的分类模型,具有一定的实践应用价值。受论文整理的实验研究数据的局限,机器学习预测模型只能达到预测肝硬化和非肝硬化两类类型疾病,且预测准确率达到98%,具有一定的实践应用价值。

关键词：慢性肝病预测分析机器学习肝硬化 spark框架