检索结果-南通市图书馆

基于Spark的fp-growth算法的并行化实现与优化

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Spark的Fp-Growth算法的并行化实现与优化

作者：付永刚华中科技大学

学位级别：硕士

随着计算机技术尤其是网络技术的发展,计算机需要处理的数据也呈现急速的增长。传统的数据挖掘算法基本上都是串行的算法,运行在单机上,由于硬件资源的限制,面对海量的数据,这些算法并不能高效的进行数据挖掘。为了提高传统的数据挖掘... 详细信息

随着计算机技术尤其是网络技术的发展,计算机需要处理的数据也呈现急速的增长。传统的数据挖掘算法基本上都是串行的算法,运行在单机上,由于硬件资源的限制,面对海量的数据,这些算法并不能高效的进行数据挖掘。为了提高传统的数据挖掘算法对大数据的处理能力,需要实现算法的并行化,结合分布式技术,利用多台机器的资源来高效的进行数据挖掘。Apache Spark是基于内存计算的大数据并行计算框架,该分布式框架着眼于大数据处理,通过将中间结果缓存在内存以减少磁盘I/O,比基于磁盘的MapReduce框架在性能上有了数量级的提升,因此可以利用Spark相比于Hadoop的平台优势来提高算法的并行计算效率和并行化性能。fp-growth算法是一种被广泛应用的频繁模式挖掘算法,在挖掘频繁模式时效率较高。但针对海量数据规模进行挖掘时,算法会遇到内存瓶颈。为了解决在面对海量数据时的内存瓶颈。结合Spark平台的优势,经典的fp-growth算法的各个步骤可以实现并行化。并且基于现有的并行的fp-growth算法可以提出一个更加完善的分组策略,提高算法的负载均衡性,并对基于Spark平台的fp-growth并行化算法和应用了负载均衡策略的并行算法与基于Hadoop平台的fp-growth算法进行比较。实验结果表明基于Spark实现的并行化fp-growth算法在处理大数据时具有很大的优势,对海量数据的处理能力和性能都得到了提高。

关键词： Spark 数据挖掘 fp-growth算法并行化负载均衡

云平台下医疗大数据的fp-growth算法的优化研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

云平台下医疗大数据的FP-Growth算法的优化研究

作者：毛振平华北水利水电大学

学位级别：硕士

随着医疗卫生行业的信息化发展事业的飞速发展,医疗数据已不是传统意义上大数据的数量上的“大”,其集成更加广泛、存储形式更加多样等等。医疗大数据具有巨大的潜在价值,尽管我国拥有着海量的大数据,但当下对数据的挖掘分析力度还不够... 详细信息

随着医疗卫生行业的信息化发展事业的飞速发展,医疗数据已不是传统意义上大数据的数量上的“大”,其集成更加广泛、存储形式更加多样等等。医疗大数据具有巨大的潜在价值,尽管我国拥有着海量的大数据,但当下对数据的挖掘分析力度还不够,因此在各个医院大量信息还在“沉默不醒”。如何对日益增长的海量医疗数据进行有效的挖掘,显得尤为重要。本文采用Hadoop平台对挖掘关联规则算法进行研究和改进。自从韩家炜提出fp-growth算法之后,许多国内外学者对该算法展开研究,并提出了很多改进算法,比如HPfp算法、MR-VER算法等。但仍然存在一些不足之处,例如,数据规模过大时无法构造基于内存的fp-tree、需要重复迭代遍历全局fp-tree造成资源浪费。针对此类问题,提出了基于数据划分且不生成全局fp-tree的PL-fpgrowth算法。该算法采用并行地挖掘局部fp-tree,解决了内存不足无法构造全局fp-tree的问题,在挖掘局部频繁项时,不需要挖掘其它节点数据信息,减少了节点间的通信开销。PL-fpgrowth算法运用MapReduce并行计算模型,但该算法存在构建和挖掘局部fp-tree时没有考虑局部支持度的问题。针对PL-fpgrowth算法的遗留问题,提出了负载均衡的LBPL-fpgrowth算法。该算法根据计算的节点最小支持度计数,在构建局部fp-tree时进行预剪枝,挖掘局部频繁项集时保留满足局部最小支持度计数的频繁项集。减少了构建和挖掘局部fp-tree的空间时间消耗,节省了传递非频繁项集的节点间通信开销。LBPL-fpgrowth算法运用MapReduce计算框架,在实际运行之前综合评估Hadoop集群节点的性能,考虑节点间性能差异,采用负载均衡的策略缩短集群整体工作响应时间。最后通过Hadoop平台,对PL-fpgrowth算法和LBPL-fpgrowth算法进行了多组实验,经过实验结果的对比分析,验证了算法的有效性和可扩展性。并证明了LBPL-fpgrowth算法执行效率更高。

关键词：医疗大数据 fp-growth算法 Hadoop 数据划分

基于fp-growth算法的AD候选基因交互与MRI影像的关联研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于FP-Growth算法的AD候选基因交互与MRI影像的关联研究

作者：高岳哈尔滨工程大学

学位级别：硕士

阿尔茨海默氏病（AD）作为引起痴呆的最常见类型,已经成为导致死亡的主要因素,其特征主要由生活不能自理、记忆力逐步衰退、认知功能退化等。由于缺乏有效的治疗,近几年来,因为患阿尔兹海默症而去世的人数上涨显著。当患者的患病症状十... 详细信息

阿尔茨海默氏病（AD）作为引起痴呆的最常见类型,已经成为导致死亡的主要因素,其特征主要由生活不能自理、记忆力逐步衰退、认知功能退化等。由于缺乏有效的治疗,近几年来,因为患阿尔兹海默症而去世的人数上涨显著。当患者的患病症状十分明显时,此时AD进程已经步入晚期,并且具有不可逆性,所以AD的早期诊断和预防具有重大意义。将神经影像学与基因组学相结合,研究影像表型与基因变异之间的关联研究,探讨基因变异如何影响大脑的结构和功能。在本论文中,使用来自同一组受试者的全基因组遗传数据与人脑成像数据,基于大脑成像遗传学,开发大脑成像探索。本文使用探索遗传变异与成像表型之间的方法,扩散加权磁共振成像数据,根据MNI空间进行标准化,提取得到灰质密度图。本文使用ADNI数据库下载的基因分型数据（ADNI-GO/2）,该数据库的主要目标是衡量早期AD的进展,分析AD候选基因清单后提取满足条件的位于24个AD基因中±20K bp的SNP。本文使用频繁项集挖掘算法分析磁共振成像数据与基因分型数据之间的全基因关联分析结果,获得具有显著关联的SNP频繁项集组合,并且由于选取算法同时具有挖掘关联规则的功能,得到了具有意义的SNP频繁项集组合的关联规则。利用阿尔茨海默病神经影像学倡议（ADNI）中的基因型以及MRI数据,使用全基因组关联分析方法对二者进行关联分析,对关联分析的结果处理,本文选择了应用频繁项集挖掘算法,不同于之前研究中的单一SNP对大脑影像影响的研究,本文寻求的是由于某些原因被忽视的,但当与其他SNP一起联合时候具有共同影响大脑影像的作用的多个SNP频繁项集组合,最后得到了符合支持度条件下的2-SNP组合12个,3-SNP组合8个以及4-SNP组合一个。为了验证找到的组合的意义,本文基于Mango软件对得到的SNP频繁项集组合分别进行了Slice大脑切片分析以及大脑不同角度的三维透视图。此外,分析了关联规则的意义,筛选的得到了4个更有意义的3-SNP组合,对其进行了映射分析,最后,对得到的4-SNP组合,基于SPRING网站,进行了Go-Term分析并且观察到找到的SNP频繁项集组合{rs6092321,rs7806,rs386274,rs6024860}映射的基因集合{RTF2,CSTF1,CASS4}共同影响了蛋白质复制的起始、稳定至终止。这将对AD的早期诊断和干预有重要意义。

关键词：阿尔兹海默病 fp-growth算法先验算法基因关联分析

基于fp-growth算法的高寒草地退化因素关联度分析

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

青海大学学报（自然科学版） 2019年第1期37卷 9-17页

作者：马蓉蓉杨国柱胡月明郭玉彬杨颢严晓霞李彩弟吴宇航青海大学生态环境工程学院青海西宁810016 华南农业大学资源环境学院广东广州510642 自然资源部建设用地再开发重点实验室广东广州510642 广东省土地信息工程技术研究中心广东广州510642 广东省土地利用与整治重点实验室广东广州510642 华南农业大学数学与信息学院广东广州510642

为探讨多因素组合作用下青海省高寒草地退化的情况,量化并挖掘多因素集与青海省草地退化之间的关联关系,文中以高寒草地为研究对象,通过收集2005—2014年青海省气象数据、社会经济等各方面的数据并进行分级,以草地NDVI指数为退化评价指... 详细信息

为探讨多因素组合作用下青海省高寒草地退化的情况,量化并挖掘多因素集与青海省草地退化之间的关联关系,文中以高寒草地为研究对象,通过收集2005—2014年青海省气象数据、社会经济等各方面的数据并进行分级,以草地NDVI指数为退化评价指标,采用fp-growth算法来分析高寒草地植被覆盖退化与影响因子之间的关联性,经过置信度筛选得到以下结果:影响青海省高寒草地退化的影响因素集为[G4,Q1,J2],即当GDP均值在较高水平(157.8亿元～191.76亿元)、气温均值在较低水平(-15.77～-8.94℃)以及降水均值在较低水平(385.18～1 570.80 mm)的同时发生条件下,草地盖度较低,草地容易产生退化的情况。该结果具有较高的置信度,验证了fp-growth算法在草地退化多因素组合研究中的可行性。

关键词：高寒草地 fp-growth算法关联性分析 NDVI草地植被指数

改进fp-growth算法在旅游线路规划中的应用研究

在线全文

学校读者我要写书评

暂无评论

计算机与现代化 2018年第2期 17-21,26页

作者：字云飞李业丽孙华艳张莉婧北京印刷学院信息工程学院北京102600

针对关联规则挖掘的fp-growth算法存在对海量数据存储时消耗极大内存开销的弊端,提出一种对fp-growth加入兴趣度的改进算法,然后与Apriori,fp-growth算法进行比较,改进后的算法极大减少了内存开销,同时提高了系统执行效率。并且提出改... 详细信息

针对关联规则挖掘的fp-growth算法存在对海量数据存储时消耗极大内存开销的弊端,提出一种对fp-growth加入兴趣度的改进算法,然后与Apriori,fp-growth算法进行比较,改进后的算法极大减少了内存开销,同时提高了系统执行效率。并且提出改进算法与旅游线路规划挖掘结合的理念,以云南旅游业作为旅游规划对象,充分应用旅游网站的大数据,设计一种旅游线路规划的挖掘系统,为旅游企业找出游客最喜欢的旅游线路以及景区之间的关联规则。

关键词：数据挖掘 fp-growth算法兴趣度旅游规划索引

基于fp-growth算法的XSS漏洞动态检测方法

在线全文

学校读者我要写书评

暂无评论

信息工程大学学报 2022年第5期23卷 586-593页

作者：肖斯文张斌信息工程大学河南郑州450001

为提高跨站脚本(XSS)漏洞动态检测方法的检测能力,提出一种基于fp-growth算法构造攻击向量库并利用web测试工具进行检测的XSS漏洞动态检测方法。首先,建立基于fp-growth算法的关联规则挖掘模型,利用模型挖掘大量XSS攻击实例间的关联规则... 详细信息

为提高跨站脚本(XSS)漏洞动态检测方法的检测能力,提出一种基于fp-growth算法构造攻击向量库并利用web测试工具进行检测的XSS漏洞动态检测方法。首先,建立基于fp-growth算法的关联规则挖掘模型,利用模型挖掘大量XSS攻击实例间的关联规则,并以此为基础构造一个内含更多种类攻击向量的攻击向量库;其次,设计注入点匹配规则和攻击向量验证规则并实现基于Selenium的XSS漏洞检测模块SmartXSS,以适应加载攻击向量库实施检测。实验结果表明,基于实验环境所提方法通过发送正常请求实施XSS漏洞检测的检测率可达88.89%,相比Wapiti等同类工具提高了22.22个百分点。

关键词： fp-growth算法 XSS漏洞动态检测关联规则挖掘

基于fp-growth算法的词性标注规则获取方法

在线全文

学校读者我要写书评

暂无评论

吉首大学学报（自然科学版） 2021年第4期42卷 38-43页

作者：莫礼平黄永琨吉首大学信息科学与工程学院湖南吉首416000

为了提高词性标注模型训练语料的质量,设计了一种利用fp-growth算法从训练语料库中自动获取词性标注规则的方法,并将该方法与基于Apriori算法的词性标注规则获取方法进行了对比实验.实验结果显示,对于0.1万、0.2万和1万词级的小规模语料... 详细信息

为了提高词性标注模型训练语料的质量,设计了一种利用fp-growth算法从训练语料库中自动获取词性标注规则的方法,并将该方法与基于Apriori算法的词性标注规则获取方法进行了对比实验.实验结果显示,对于0.1万、0.2万和1万词级的小规模语料库,2种方法获取的词性标注规则条数均相同,但基于fp-growth算法的时间耗费分别仅为基于Apriori算法的0.013866%,0.010399%,0.003132%;对于10万、100万词级的训练语料库,基于Apriori算法无法获取任何规则,但基于fp-growth算法依然可以在合理时间内获取有效的规则.这说明,基于fp-growth算法的词性标注规则获取方法是可行且高效的,满足在优化训练语料库时能从不同规模的语料库中自动获取词性标注规则的实际需求.

关键词：词性标注规则语料库关联规则挖掘 Apriori算法 fp-growth算法

改进fp-growth算法在气象预报中的应用

在线全文

学校读者我要写书评

暂无评论

计算机系统应用 2016年第10期25卷 199-204页

作者：刘娟宋安军上海海事大学信息工程学院上海201306

针对现在全球极端天气频发的现状,天气预报用来及时发现灾害天气的出现显得尤为重要.随着数据挖掘技术的迅速发展和广泛应用,采用了改进fp-growth算法挖掘出各种气象因子之间可能存在的关联,从而发现气象特点,对近期天气气象做出预报.... 详细信息

针对现在全球极端天气频发的现状,天气预报用来及时发现灾害天气的出现显得尤为重要.随着数据挖掘技术的迅速发展和广泛应用,采用了改进fp-growth算法挖掘出各种气象因子之间可能存在的关联,从而发现气象特点,对近期天气气象做出预报.经过仿真实验验证,改进后的算法在天气预报准确率有了明显的提高.

关键词：天气预报气象因子数据挖掘关联规则 fp-growth算法

基于fp-growth算法的四物汤类方配伍规律及应用研究

在线全文

学校读者我要写书评

暂无评论

世界科学技术-中医药现代化 2010年第6期12卷 909-914页

作者：陶静范欣生张欢段金廒王崇峻刘正南京中医药大学文献研究所南京210046 南京中医药大学江苏省方剂重点实验室南京210046 南京大学计算机软件新技术国家重点实验室南京210093

目的:运用数据挖掘方法,挖掘单味药、药对之间的关联关系,分析类方和药对内部的组成关系,探讨四物汤的配伍规律。方法:收集四物汤类方3487首,针对四物汤药物配伍和药对特征,对单味药、药对之间的关联关系,分别采用频繁模式、fp-growth... 详细信息

目的:运用数据挖掘方法,挖掘单味药、药对之间的关联关系,分析类方和药对内部的组成关系,探讨四物汤的配伍规律。方法:收集四物汤类方3487首,针对四物汤药物配伍和药对特征,对单味药、药对之间的关联关系,分别采用频繁模式、fp-growth算法。结果:获得置信度>0.15的四物汤配伍常用药有甘草、人参、肉桂、茯苓,常用药对有当归-甘草、川芎-甘草、地黄-甘草、芍药-甘草、人参-甘草、茯苓-甘草。结论:四物汤常用配伍主要有补益药、行气药、温里药、清热药、活血化瘀药,并由此形成常用药对,在妇科疾病的治疗中得到了广泛的应用。

关键词：四物汤类方数据挖掘 fp-growth算法