检索结果-南通市图书馆

作者：徐晋中国民航大学

学位级别：硕士

近年来,随着移动互联网的发展与壮大,智能手机也得到迅速的发展。目前Android系统占据了全球手机操作系统市场份额的一大部分且仍有不断上升的趋势,与此同时,Android也成为了恶意软件泛滥的主要平台。Android恶意软件的恶意行为多种多样... 详细信息

近年来,随着移动互联网的发展与壮大,智能手机也得到迅速的发展。目前Android系统占据了全球手机操作系统市场份额的一大部分且仍有不断上升的趋势,与此同时,Android也成为了恶意软件泛滥的主要平台。Android恶意软件的恶意行为多种多样,给用户甚至整个社会都带来了巨大的危害和经济损失。因此,如何将Android恶意软件快速高效的分析并检测出来已经成为目前的研究热点。首先对Android平台进行归纳总结,分析了Android的系统架构和应用程序组件,然后对使用到的机器学习算法以及spark并行环境框架进行分析,为后续研究打下基础。然后,针对随机森林算法的投票原则无法区分强分类器与弱分类器差异的缺陷进行改进,提出一种加权投票改进方法,并在此基础上提出了一种用于检测Android恶意软件的改进随机森林分类模型(Improved Random Forest Classification Model,IRFCM)。IRFCM选取***文件中的Permission信息和Intent信息作为特征属性,并通过特征选择算法进行优化生成特征向量集合,最后应用该模型对最终生成的特征向量集合进行分类检测,实验结果表明IRFCM具有较好的分类精度和分类效率。最后,针对大数据环境下应用程序安装包反编译过程耗时长和特征提取慢的问题,将IRFCM与spark框架相结合,设计实现并行环境下的Android恶意软件检测。将样本数据转换为spark框架下的弹性分布式数据集(Resilient Distributed Dataset,RDD),并在虚拟机集群环境中并行地对RDD进行特征提取和分类检测,并行环境下的实验结果与单机环境相比,有效提高了Android恶意软件的检测效率。

关键词：恶意软件随机森林加权投票分类检测 spark框架

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

城市路网中的同行车辆挖掘方法研究

城市路网中的同行车辆挖掘方法研究

作者：邢帅珂福建师范大学

学位级别：硕士

随着人们生活水平的不断提高,国内机动车保有量持续上升,机动车辆已成为民众的主要出行交通工具之一。与此同时,与车辆相关的违法犯罪等行为也随之激增,更好地管理道路车辆及相应的违法犯罪行为已成为管理部门和执法部门亟待解决的问题... 详细信息

随着人们生活水平的不断提高,国内机动车保有量持续上升,机动车辆已成为民众的主要出行交通工具之一。与此同时,与车辆相关的违法犯罪等行为也随之激增,更好地管理道路车辆及相应的违法犯罪行为已成为管理部门和执法部门亟待解决的问题。而随着以5G、人工智能和物联网等为代表的技术手段日趋完善,为解决这一系列问题提供必要的技术基础。现今,城市道路网络中的自动监测卡口识别系统每天能产生海量的交通轨迹大数据,即车牌识别数据,这为研究城市道路中的行驶车辆相关问题提供充足的数据。同行车辆的挖掘是交通轨迹大数据的研究方向之一,它的应用场景通常为城市路网中驾车共同作案的行为。对于这类违法行为,传统做法是对涉案车辆人工排查,费时费力且准确度不高。对路网中车牌识别数据的研究,可以提升对违法车辆组的识别率,节省办案人员时间和精力,辅助交通执法和公安部门做出正确决策。本文是在spark计算框架下,提出一种分布式并行化的FP-Growth关联算法挖掘同行车辆的方法,提升识别效率。在此过程中提出同行片段的数据结构,主要用来存储监测卡口在某时间阈值内通过的全部机动车辆信息,舍弃监测卡口的位置信息和机动车辆经过监测卡口的时间信息,以减少数据的存储空间。接着对得到的同行车辆结果进行处理,主要是运用关联规则中置信度的原理剔除随机同行车辆。最后对同行车辆行驶轨迹进行可视化展示,进一步验证本文方法的可行性。

关键词：同行车辆同行片段 FP-Growth算法 spark框架

多维数据发布的差分隐私保护系统的研究与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

多维数据发布的差分隐私保护系统的研究与实现

作者：王晓男北京邮电大学

学位级别：硕士

越来越多的诸如医疗信息、消费数据和行动轨迹等敏感信息,在被分享、传播和分析研究的过程中,泄露了个人隐私,进而对被泄露者的生活造成了重大影响和困扰。现有的研究中,针对多维数据的隐私保护方法尚存在很多问题,主要体现在数据可用... 详细信息

越来越多的诸如医疗信息、消费数据和行动轨迹等敏感信息,在被分享、传播和分析研究的过程中,泄露了个人隐私,进而对被泄露者的生活造成了重大影响和困扰。现有的研究中,针对多维数据的隐私保护方法尚存在很多问题,主要体现在数据可用性差和隐私保护效果不佳等方面上,亟待解决。针对这个问题,本课题采用差分隐私的思想,对多维数据发布的隐私保护进行了研究和实现。首先,提出了一种普遍意义的多维数据的差分隐私保护方法,将k-means聚类算法应用于首次分区过程,改进了它的距离划分方法,降低了近似误差;并引入信息增益和信息熵,改进了 kd-Tree算法。实验表明,相对于其他方法,该方法平均查询耗时和平均查询误差分别降低了 18.0%和12.4%。其次,针对多维顺序数据这一特殊数据形式,提出了一个改进的多维顺序数据发布差分隐私保护模型,在正阳性、假阳性和误弃性等指标上得到了明显的改进,并依靠严格的数学逻辑推理和证明,保证改进的模型符合差分隐私的要求,达到了特定隐私预算的隐私保护水平。实验表明,针对计数查询任务,模型平均查询误差降低了 22.5%;针对频繁序列模式挖掘的任务,模型正阳性提高了 16.9%,假阳性和误弃性降低了 66.9%。最后,在spark平台,依靠大数据技术实现了一个极具现实使用价值的系统,系统可实现对多维顺序数据发布的差分隐私保护,在处理计数查询和模式挖掘这两个主要的数据挖掘任务时,相对误差率维持在0.01到0.02之间,正阳性在91.3%以上。

关键词：差分隐私拉普拉斯机制 k-means 分区 kd-Tree 分区噪声前缀树一致性约束 spark框架

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

分布式环境下时态大数据的分析研究

分布式环境下时态大数据的分析研究

作者：张伟上海交通大学

学位级别：硕士

时态数据是无处不在的,现如今海量的时态数据正在被生成。海量时态数据的管理非常重要,并且具有挑战性。面对海量的时态数据,分布式系统是一个不错的选择。然而,现有的分布式解决方案或者尚不能原生地支持时态大数据查询,或者因基于磁... 详细信息

时态数据是无处不在的,现如今海量的时态数据正在被生成。海量时态数据的管理非常重要,并且具有挑战性。面对海量的时态数据,分布式系统是一个不错的选择。然而,现有的分布式解决方案或者尚不能原生地支持时态大数据查询,或者因基于磁盘而存在I/O瓶颈,不能满足时态大数据高效率和可扩展性的处理需求。本论文提出了一个分布式环境下基于spark的二级索引系统框架以处理时态大数据。其使用全局索引——局部索引结构,在有效过滤候选分区的同时,使用局部索引算法加速分区内时态数据的检索,显著提高了时间旅行、时态聚集和时态连接等时态操作的查询效率。此外,为了更有效地使用全局索引,我们设计了时态数据分区算法,优化候选分区的过滤。通过充分的实验对比,实验结果表明该系统框架可以提供低延迟和高吞吐量的时态大数据查询。

关键词：时态大数据时态查询分布式内存计算二级索引分区方法 spark框架

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向大数据的Lazy关联分类算法研究

面向大数据的Lazy关联分类算法研究

作者：杨浩敏重庆大学

学位级别：硕士

关联分类算法具有较高的分类准确度、较好的扩展性,受到广大研究人员和工程师的喜爱。关联分类算法可以分为显式关联分类和Lazy关联分类。当面对大数据的时候,显式关联分类没有办法避免生成庞大候选关联规则集的问题并容易出现Small Dis... 详细信息

关联分类算法具有较高的分类准确度、较好的扩展性,受到广大研究人员和工程师的喜爱。关联分类算法可以分为显式关联分类和Lazy关联分类。当面对大数据的时候,显式关联分类没有办法避免生成庞大候选关联规则集的问题并容易出现Small Disjunction现象。Lazy关联分类使用待分类样本对训练集做投影操作,使得训练集大大减小,训练集与待分类样本关联度增大,很好地解决了显式关联分类存在的问题。然而面对大数据,在Lazy关联分类算法中,每个待分类样本都要对训练样本进行投影并构建一个分类器,对多个待分类样本进行分类时效率很低;分布式关联规则挖掘算法能够提升Lazy关联分类算法关联规则挖掘环节的效率,使其适用于大数据数据挖掘,但针对Lazy关联分类算法特有的投影操作,并未见分布式实现;面对大数据,必须使用大数据出库框架,Map Reduce框架不太适用迭代式计算,需要寻找新的框架来实现Lazy关联分类以适应大数据环境。因此,本文提出基于spark的分布式Lazy关联分类算法-SDLAC算法,使用聚合方法来克服Lazy关联分类对多个待分类样本进行分类时效率低下的问题,使用分布式投影来解决C-DMA算法应用于Lazy关联分类时的不足,使用spark框架克服Map Reduce框架的不足,以期使得Lazy关联分类适用于大数据场景并能够应用到实际当中去。分析与实验结果表明:SDLAC算法在准确率上高于CBA算法,与Lazy关联分类算法的准确率差不多;SDLAC算法的运行效率大大的高于CLAC算法(本文实验对比算法,代表现有研究最好水平,未有人实现)。所以,SDLAC算法是适合大数据环境的分类算法。本文的主要贡献是:①明确了Lazy关联分类算法面对大数据环境的不足之处。②提出SDLAC算法,将C-DMA算法应用到Lazy关联分类算法中去,并使用聚合方法、分布式投影和spark框架进一步提升算法的运行效率,实现了面向大数据的Lazy关联分类算法。③实验表明:SDLAC算法在准确率上高于CBA算法,与Lazy关联分类算法的准确率差不多;SDLAC算法的运行效率大大的高于CLAC算法(本文实验对比算法,代表现有研究最好水平,未有人实现)。所以,SDLAC算法是适合大数据环境的分类算法。

关键词：聚合方法分布式投影 spark框架 C-DMA算法 Lazy方法关联分类

基于spark的超大文本分类方法的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Spark的超大文本分类方法的设计与实现

作者：宋福星北京交通大学

学位级别：硕士

互联网技术飞速发展,衍生出了海量的网络文本数据。但是大部分海量数据没有经过处理和分类,导致了垃圾邮件、广告推送等不良网络行为的出现,使得人们很难从海量数据中提取出有用信息,浪费了大量时间精力去处理垃圾信息。因此,如何对海... 详细信息

互联网技术飞速发展,衍生出了海量的网络文本数据。但是大部分海量数据没有经过处理和分类,导致了垃圾邮件、广告推送等不良网络行为的出现,使得人们很难从海量数据中提取出有用信息,浪费了大量时间精力去处理垃圾信息。因此,如何对海量文本数据进行高效的分类,具有重要理论意义和应用价值。论文首先分析了传统的文本分类算法存在的问题:(1)提取特征向量速度慢,效率低。因为海量数据的特征空间趋近无穷开放,但是传统的文本表示算法使用批处理的方式进行离线的特征提取,不仅计算效率低,而且内存占用大,甚至导致内存溢出等严重问题。(2)传统的分类器不适合在大数据计算框架中进行计算。海量数据通常使用分布式并行计算的方式进行处理,而传统的分类算法,例如SVM,朴素贝叶斯分类器,并不适合分布式并行计算。另外,深度学习算法,虽然广泛运用在语义识别中,但是应用在文本分类系统时却是成效甚微,反而需要耗费很长时间进行模型训练,收益并不明显。因此,针对以上问题,论文主要在文本表示、分类器设计两个方面进行研究和探索,主要工作如下:(1)在文本表示方面,提出了基于流数据的在线分域特征选择算法(OFFS算法)。该算法对向量空间模型进行改进,可以对流数据进行实时的特征提取,快速生成文本向量。解决了传统特征提取算法效率低、耗费内存等问题。(2)在分类器设计方面,设计出基于BP神经网络与OFFS算法相结合的OFFS-BP神经网络文本分类器。该分类器适应了分布式并行计算环境,减少模型训练时间,能够兼顾计算效率和分类准确率。(3)基于spark平台,实现了 OFFS-BP神经网络分类器。首先利用spark Streaming子框架实现OFFS算法;然后使用spark MLlib子框架实现BP神经网络分类器;最后将sparkStreaming和spark MLlib框架通过spark编程模型RDD进行无缝连接。多种数据集实验表明,论文提出的OFFS-BP神经网络分类器更适合大数据,且计算耗时更少,分类更高效。

关键词：大数据文本分类在线特征提取神经网络 spark框架

数据挖掘离群点检测算法及其在电力设备故障检测中的应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

数据挖掘离群点检测算法及其在电力设备故障检测中的应用

作者：冯玉伟北京邮电大学

学位级别：硕士

我们生活在数据爆炸的时代,随着社会经济和互联网的快速发展,人们在社会生活的过程中产生海量数据。数据挖掘的诞生就是为了从这些海量数据中发掘出有价值的信息,而近年来兴起的云计算又为数据挖掘注入了新的发展领域。电力行业作为支... 详细信息

我们生活在数据爆炸的时代,随着社会经济和互联网的快速发展,人们在社会生活的过程中产生海量数据。数据挖掘的诞生就是为了从这些海量数据中发掘出有价值的信息,而近年来兴起的云计算又为数据挖掘注入了新的发展领域。电力行业作为支持国民经济的基础性行业,其对于国民经济的重要性不言而喻,对电力数据进行数据挖掘的需求迫在眉睫。然而目前对电力行业的数据挖掘和云计算应用研究还处于起步阶段。基于上述的背景,本文对数据挖掘及其在电力行业的应用进行研究。针对电力设备故障检测问题,当设备发生故障时,其运行数据与正常数据有明显差异。利用这一特性,提出对电力设备数据进行离群点挖掘。本文首先介绍了离群点的定义和分类,研究相关的离群点算法,并比较算法的优缺点。然后对本文使用的分布式计算平台Hadoop和spark的架构和核心概念进行研究和介绍。接着,本文对基于聚类的离群点检测算法进行深入的分析和研究,并对算法的聚类阶段和离群点检测阶段分别进行了研究和优化。对于聚类算法,采用将Canopy预聚类算法和K-Means聚类算法结合的策略,避免了 K-Means算法的输入参数需要人工指定和初始聚类中心随机选取的弊端,提高了算法的稳定性和效率;对于离群点检测算法,对FindCBLOF算法进行优化,将聚类中心的K近邻引入到离群度计算中,减少了算法的偶然性误差,提高了算法的稳定性。然后,本文对优化后的离群点检测算法进行了分布式实现的研究,利用Hadoop HDFS和spark RDD编程接口对算法进行分布式实现,并给出算法分布式实现的设计思路和伪代码描述。最后对离群点算法进行分布式环境下实验,对实际的电力设备数据进行离群点挖掘实验,并对不同规模的数据集进行多次实验和比较。结果表明,本文研究的离群点检测算法可以有效地检测出电力设备故障,并且通过分布式实现,借助分布式计算框架有效地降低了程序处理时间,使之能够有效地处理大数据集。本文的研究为电力设备故障提供了一种快速、有效、高扩展性的检测方案,应用前景广阔,具有很好的实用价值。

关键词：数据挖掘离群点算法分布式计算设备故障检测 spark框架

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于spark的文本特征提取方法研究

基于Spark的文本特征提取方法研究

作者：徐冠华曲阜师范大学

学位级别：硕士

特征提取作为文本处理的关键步骤,是文本挖掘、信息检索、自然语言处理(Natural language processing,NLP)、文本情感分析、网络舆情监控等方面的研究热点。特征提取的基本任务是从文本的多维特征空间集中筛选出有效的特征,过滤冗余信息... 详细信息

特征提取作为文本处理的关键步骤,是文本挖掘、信息检索、自然语言处理(Natural language processing,NLP)、文本情感分析、网络舆情监控等方面的研究热点。特征提取的基本任务是从文本的多维特征空间集中筛选出有效的特征,过滤冗余信息,组成一个更小的特征空间子集,降低特征空间维度。但随着文本信息爆炸式的呈现以及各类机器学习技术的不断优化,对文本处理的要求也越来越高。传统特征提取算法选择的特征空间子集仍存在特征冗余、噪声多、高维度等特点,影响文本分类的效率和准确率,无法满足海量文本的处理需求。同时,大数据处理技术的应用逐渐成熟,能够有效解决目前大数据的存储和处理需求。因此,利用并行分布式框架解决文本处理等问题成了一种有效方案。针对汉语语言的逻辑关系和句法分析,本文在对文本特征提取基本理论知识的研究上,为优化特征子集,增加文本分类的正确率,结合spark计算框架,主要完成了以下工作:第一,系统介绍了文本特征提取方法的相关算法和文本分类的关键技术以及并行计算spark框架基本原理。首先,介绍了文本特征提取相关概念和基本算法。通过对Filter过滤式和Wrapper封装式两类特征提取方法进行对比分析,结合国内外对常用特征提取算法的改进和创新进行详细性总结,综述了经典的常用特征提取算法。其次,对并行计算框架spark的生态系统、运行架构以及核心组件RDD做了具体介绍。第二,特征提取算法选择的特征空间集,往往具有很大的冗余性和高维度性等特点,基于以上特征,考虑汉语内在的逻辑关系,在改进特征提取信息增益的基础上,提出一种高效的文本特征提取算法。该方法通过将文本语义关系规则融入词频加权计算,结合信息增益方法得到最优特征子集。为了适应文本数据规模大的特点,进一步结合spark计算框架,对此进行文本分类正确性的实验测试,验证算法的有效性。本文在对特征提取算法以及spark计算框架理论的基础上,重点研究结合语义规则的特征提取算法对特征子集的优化以及应用。实验的结果表明,本文提出的方法能够有效降低特征子集的维度,提升文本分类的准确率,对大规模数据的文本处理具有一定的借鉴意义。

关键词：特征提取语义分析信息增益文本分类 spark框架

基于spark的并行化FP-Growth算法研究与应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Spark的并行化FP-Growth算法研究与应用

作者：罗卓雅大连海事大学

学位级别：硕士

传统的单机数据挖掘算法由于硬件资源的限制,在分析海量数据时,挖掘效率并不能令人满意。spark是基于内存计算的分布式计算引擎,就是为了处理海量数据而生的技术,比Hadoop的MapReduce快很多。将算法基于spark实现并行化可以有效的提高... 详细信息

传统的单机数据挖掘算法由于硬件资源的限制,在分析海量数据时,挖掘效率并不能令人满意。spark是基于内存计算的分布式计算引擎,就是为了处理海量数据而生的技术,比Hadoop的MapReduce快很多。将算法基于spark实现并行化可以有效的提高算法对海量数据的分析效率。FP-Growth是关联规则领域近几年提出并被广泛应用的算法。FP-Growth算法因为要用内存缓存迭代过程中的FP-Tree结构,在面对海量数据进行挖掘时,FP-Growth会遇到内存瓶颈。为了解决内存瓶颈,本文提出基于spark将FP-Growth算法实现并行化,并命名为SpaFP(spark-FP-Growth)算法。通过实验比较,SpaFP算法的挖掘耗时更少,运算速度更快。因为SpaFP算法在数据分组过程中没有考虑均衡问题,可能会使某个运算节点迭代时间过长,影响整个算法的运算效率;同时传统的FP-Growth算法的项头表结构是一个数组,在迭代构建FP-Tree时匹配查找结点元素的时间复杂度高。为了提高SpaFP算法的运算效率,本文提出对SpaFP结合两方面进行优化:(1)提出一种均衡分组策略,把未分组的负载权值最大的项放在负载权值总和最小的组里面实现均衡分组;(2)提出一种新的FP-Growth的项头表结构,通过在项头表结构中加入一张哈希表达到快速访问元素的地址的目的,从而降低时间复杂度;命名为EHSpaFP(Equal-Head-SpaFP)算法。对挖掘数据规模、集群节点数量、支持度、加速比四个方面比较算法,通过用十万条和百万条数据实验,验证优化方法都有效,EHSpaFP算法具备非常高效的计算效率。最后本文提出一种将spark中的主题模型LDA和EHSpaFP算法相结合的文本主题深度挖掘应用,可以挖掘出大量文本中的主题知识,并且能从松散的主题词汇中挖掘出潜在的主题知识关联规则然后进行分析,也是一种海量文本信息知识发现的新思路。对一万多篇有关“一带一路”的新闻报道文本主题深度挖掘,得到海量新闻报道中隐含的主题知识关联规则以及主题知识的描述结果。

关键词： spark框架关联规则 FP-Growth算法并行化

基于spark和B/S架构的全链路压力测试系统的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Spark和B/S架构的全链路压力测试系统的设计与实现

作者：桂晨华中科技大学

学位级别：硕士

随着互联网时代的快速发展和服务质量需求的提高,压力测试成为大型活动如双十一等上线前必不可缺的关键步骤。对于日益增长的互联网服务的压力测试需求,传统的压力测试框架受到了极大的挑战,目前业界提出了一种广泛适用的压测测试理念,... 详细信息

随着互联网时代的快速发展和服务质量需求的提高,压力测试成为大型活动如双十一等上线前必不可缺的关键步骤。对于日益增长的互联网服务的压力测试需求,传统的压力测试框架受到了极大的挑战,目前业界提出了一种广泛适用的压测测试理念,即全链路压力测试。全链路压力测试是针对实际的业务需求和场景,模拟海量用户请求对整个业务链进行压力测试的过程。为了方便快捷地进行全链路压力测试,本文设计和实现了一个基于spark和B/S架构的全链路压测系统。首先对全链路压力测试的研究和发展进行了充分的调研,并对系统的用户角色和基本功能进行了需求分析,把系统分为管理控制台、压测引擎和压测服务插件三个模块。管理控制台提供在线管理压测链路和查看压测报告的功能。压测引擎是基于spark Streaming实时流设计的压测计算框架,用于管理压测任务调度、压力控制和压测结果计算。压测服务插件用于管理多种压测服务方法,将压测服务插件式接入压测引擎。全链路压测系统通过管理控制台启动压测引擎对待压测服务进行压力测试,并将压测结果可视化展现在管理控制台中;同时通过压测服务的插件化方法,可以快速地添加新的压测服务插件到压测系统,旨在提供更多的压力测试服务类型支持。本系统的管理控制台基于B/S模式,使用SpringBoot框架和Vue框架实现微服务化和前后端分离,以降低系统耦合性,获得良好的性能和可扩展性。本系统的压测引擎和压测服务插件基于spark框架进行实现,支持实时的压测数据计算和存储,以及插件化管理压测服务。该系统已正式上线于爱奇艺的云平台私有云基础服务中,负责数个业务的日常压测工作,取得了良好的口碑和用户反馈。

关键词：全链路压测压测引擎 SpringBoot框架 Vue框架 spark框架