检索结果-南通市图书馆

基于启发式的SPARQL查询引擎的设计与实现

在线全文

学校读者我要写书评

暂无评论

基于启发式的SPARQL查询引擎的设计与实现

作者：董昕鹏中国科学院大学(中国科学院沈阳计算技术研究所)

学位级别：硕士

语义网自从建立以来已经被多个领域所应用,如生命科学、统计学、金融、开放科学和健康等。语义网使用资源描述框架(RDF)作为其数据格式来描述网络中的信息,其中RDF数据模型由三元组模式组成。SPARQL是语义网的标准查询语言,可用于查询RD... 详细信息

语义网自从建立以来已经被多个领域所应用,如生命科学、统计学、金融、开放科学和健康等。语义网使用资源描述框架(RDF)作为其数据格式来描述网络中的信息,其中RDF数据模型由三元组模式组成。SPARQL是语义网的标准查询语言,可用于查询RDF数据集。但是随着RDF数据集规模越来越大以及三元组模式的查询愈加复杂,SPARQL的查询效率逐渐降低,因此如何在海量的RDF数据集上进行高效的查询成为了一个具有挑战性的问题。针对目前SPARQL查询时间过长的问题,本文提出了一种基于启发式算法的SPARQL查询引擎,使用spark-MMAS-LKH优化算法对三元组模式进行重排序,通过计算三元组模式的成本矩阵大小从而进行找到最佳三元组连接顺序。本文将基于spark-MMAS-LKH算法的SPARQL查询引擎分为五个部分,其中spark-MMAS-LKH算法位于引擎的核心部分查询优化层,负责对三元组模式进行重排序。在查询优化层中将优化过程分为两个步骤:首先是构建三元组模式的初始权重矩阵(即成本矩阵),通过计算三元组模式的基数估计值和估算连接值来获取初始的权重矩阵;然后将权重矩阵作为参数带入到spark-MMAS-LKH混合优化算法中,将MMAS算法和LKH算法以中继模式进行混合杂交,并使用分布式框架spark中的RDD算子加快MMAS-LKH算法的迭代速度,从而完成对权重矩阵的优化,找到最优的三元组模式的连接顺序。为了验证本文设计的SPARQL引擎的影响性,将基于spark-MMAS-LKH算法的SPARQL查询引擎和其他优化引擎及未优化的原始引擎在公共数据集LUBM100进行比较,通过多次对不同形状和大小的三元组模式进行查询,从对比结果中可以看出本文提出的基于spark-MMAS-LKH优化算法的SPARQL引擎在大规模RDF数据集查询中起到了积极的影响并达到了预期的效果。

关键词：资源描述框架 SPARQL查询最大最小蚁群算法 LKH算法 spark框架

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向保险产品的个性化推荐系统的研究与实现

面向保险产品的个性化推荐系统的研究与实现

作者：张家鹏青岛大学

学位级别：硕士

随着科技的不断进步和信息技术的日益成熟,保险业也加入了互联网发展的浪潮,线上销售保险产品已成为保险销售的主要形式之一。但是,随着保险产品数量的急剧增加,投保人往往无从下手,而保险销售人员的推荐带有强烈的主观因素,难以为投保... 详细信息

随着科技的不断进步和信息技术的日益成熟,保险业也加入了互联网发展的浪潮,线上销售保险产品已成为保险销售的主要形式之一。但是,随着保险产品数量的急剧增加,投保人往往无从下手,而保险销售人员的推荐带有强烈的主观因素,难以为投保人提供精准的产品推荐。尽管推荐系统发展已经逐渐成熟,但仍存在一些问题,如冷启动问题、实效性不佳的问题以及单一推荐算法导致推荐效果不佳的问题等。为了解决这些问题,本课题设计并实现了一个保险推荐系统,旨在为投保人提供快速、准确、符合其偏好的产品推荐。该系统采用了多种推荐算法,并结合了人工智能和大数据技术,能够根据用户的历史数据、行为特征和偏好等多方面信息,精准地预测用户的需求,从而为其推荐最符合其需求的保险产品。通过该系统,投保人不仅能够更快地找到符合自己需求的产品,还能享受更加个性化的服务体验。本文主要做了以下工作:(1)针对传统的推荐算法存在的冷启动问题在离线推荐模块中提出了一种融合文档主题算法(LDA)和交替最小二乘算法(ALS)的协同过滤混合推荐算法,有效地缓解了传统的推荐系统中存在的冷启动问题;针对传统的推荐算法推荐的实效性问题在实时推荐模块中提出了一种融合专家信任的协同过滤算法(EOCF),该算法充分考虑了用户的相似度和产品的相似度,保证了推荐系统的实效性的同时有效提高了推荐结果的准确性。(2)在系统设计搭建过程中进行了本课题的可行性研究,证明了本课题具有较高的可行性,然后深入分析了用户的整体需求并对用户需求的主要倾向进行分类,在此基础上将系统的整体功能拆分成几个不同的功能模块,最后根据各功能模块的特点进行了总体的架构设计。(3)根据系统设计进行了保险推荐系统的具体搭建,通过采用目前流行的大数据平台框架spark结合Kafka、ElasticSearch、Redis等常用的大数据处理工具,构建了一套可靠高效的保险产品推荐系统。最后进行了完整的系统测试,主要包括并发测试、功能测试等,有效地保证了保险推荐系统的可靠性。

关键词：大数据分析保险产品推荐混合推荐算法 spark框架

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

不确定环境下大数据关联规则挖掘算法研究

不确定环境下大数据关联规则挖掘算法研究

作者：辛雪哈尔滨理工大学

学位级别：硕士

随着新媒体和互联网等行业的迅速发展,产生的数据越来越多,在大数据环境下快速高效地完成数据挖掘是当下的热点问题。关联规则挖掘是数据挖掘的重要分支,但传统的关联规则挖掘主要针对确定性问题,忽略了数据中的不确定性并且无法高效的... 详细信息

随着新媒体和互联网等行业的迅速发展,产生的数据越来越多,在大数据环境下快速高效地完成数据挖掘是当下的热点问题。关联规则挖掘是数据挖掘的重要分支,但传统的关联规则挖掘主要针对确定性问题,忽略了数据中的不确定性并且无法高效的从大数据集中挖掘有效信息。本文基于分布式spark框架,提出了不确定环境下的大数据关联规则挖掘算法,使其能够在现实中的不确定数据集、在大数据环境下高效地发现有效知识。首先分析了不确定关联规则的问题,包括不确定数据集的特性、关联规则挖掘模型、不确定环境下的期望支持度模型和期望相关性模型以及不确定前缀划分策略等。其次,根据对不确定关联规则的分析,提出两个关联规则挖掘的并行算法。其中Sp-IEB算法扫描一次数据库,使用基于位图的计算方式以及前缀划分策略将频繁项集分发到不同的计算节点中进行计算。在对比实验中验证了算法的效率、运行时CPU占用和I/O负载。Sp-UPPS算法将不确定水平数据集转换为垂直形式,扫描一次数据集。采用不确定前缀划分策略,减少搜索空间,将不确定项集分发到不同的计算节点中进行计算。在对比实验中验证了算法的效率、运行时内存消耗和I/O负载。然后,为了挖掘出不确定数据集中的全部关联规则,提出一种不确定正负关联规则挖掘并行算法--ECMA。利用期望相关性模型来判断项集之间的相关关系,解决了在计算正负关联规则时出现正项集和负项集都是频繁项集的弊端。使用不确定前缀划分策略分发频繁项集到不同计算节点并行计算。在实验中验证了数据集中正、负频繁项集的数量对比。最后,为了验证算法性能和有效性,将本文研究成果应用到省煤器关联规则挖掘系统的省煤器故障知识发现过程中,设计了数据预处理、数据挖掘和结果分析模块,采用Java语言进行开发。应用效果表明,本文算法可以高效准确的挖掘出与省煤器故障关联性强的属性。

关键词：大数据不确定数据集数据挖掘 spark框架

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于spark的并行划分聚类优化算法研究

基于Spark的并行划分聚类优化算法研究

作者：甘德瑾江西理工大学

学位级别：硕士

聚类算法是一种无监督的学习算法,它能根据数据的相似特征将数据集划分成不同的类别,同一类别下的对象具有一定的相似性,而不同类别对象之间则差异较大,从而能够发现样本数据潜在的分布模式。在聚类算法中,作为划分聚类算法中最为代表的... 详细信息

聚类算法是一种无监督的学习算法,它能根据数据的相似特征将数据集划分成不同的类别,同一类别下的对象具有一定的相似性,而不同类别对象之间则差异较大,从而能够发现样本数据潜在的分布模式。在聚类算法中,作为划分聚类算法中最为代表的K-Means算法与FCM算法更是凭借其聚类思想简单,聚类灵活性好,聚类可行性高等特点,受到人们广泛关注。随着5G时代的到来,数据规模爆炸式增长。面临高维特征的大数据集,传统的划分聚类算法存在着巨大的挑战。目前,已提出的并行划分聚类算法解决了传统的划分聚类算法计算代价大的问题。然而,传统的划分聚类算法在处理大数据时,仍然存在以下问题:(1)如何提升大数据环境下划分聚类算法聚类效果;(2)如何有效加快大数据环境下划分聚类算法计算效率;(3)如何有效提升划分聚类算法在spark下的并行化性能。为此,在研究划分聚类算法和spark计算框架的基础上,分别针对现有的划分聚类算法K-Means聚类算法与FCM聚类算法存在的缺陷提出了两种并行划分聚类算法:(1)一种基于spark和ASPSO算法的并行划分聚类PDC-SFASPSO算法;(2)一种基于spark和FA的并行FCM划分聚类算法SP-PFCM。这两种改进算法的主要研究工作如下:(1)基于spark和ASPSO的并行K-Means划分聚类算法针对划分聚类算法处理海量数据存在数据离散系数较大与抗干扰性差、局部簇簇数难以确定、局部簇质心随机性及局部簇并行化合并效率低等问题,提出了一种基于spark和ASPSO的并行划分聚类PDC-SFASPSO算法。首先,提出了基于皮尔逊相关系数PCCV网格划分策略获取数据离散系数较小的网格单元并进行离群点过滤,减小了数据离散系数并增强了算法的抗干扰性;其次,提出了基于核函数与高斯函数PFGF网格划分策略,获取局部聚类的簇数;再次,提出了基于粒子群优化的ASPSO算法,获取局部簇质心,解决了局部簇质心的随机性问题;最后,提出了基于簇半径与邻居节点CRNN合并策略对相似度大的簇进行并行化合并,提高了局部簇并行化合并的效率。实验结果表明,PDC-SFASPSO算法在大数据环境下进行数据的划分聚类具有较好的性能表现,适用于对大规模的数据集进行并行化聚类。(2)基于spark和FA的并行FCM划分聚类算法针对大数据环境下并行FCM聚类算法存在数据特征冗余过多、子空间节点负载不均衡、初始簇中心敏感、局部簇并行化合并效率低等问题,本文提出了一种基于spark和FA的并行FCM聚类算法SP-PFCM。首先,该算法提出基于多维尺度分析与BSP树的空间划分策略BSMB来获取高信息数据特征,避免了数据特征冗余过多,并结合BSP树进行数据的空间划分,保证了子空间节点的负载均衡;然后,提出基于FA优化算法的初始化策略ISFA获取簇中心预选点,结合FA优化算法对预选点进行迭代,获取初始化簇中心,解决了算法初始簇中心敏感的问题;最后,提出基于簇相似度方法的局部簇合并策略LCS获取簇与簇之间的交集节点,并设计簇的相似性度量函数CS对交集节点进行判断,结合spark并行计算框架将各个数据簇进行并行化合并,提高了局部簇并行化合并的效率。实验结果表明,SP-PFCM算法在大数据环境下进行并行FCM聚类具有较好的聚类效果与性能,适用于对大规模数据集进行并行化聚类。

关键词： spark框架并行划分聚类 K-Means算法粒子群优化算法

基于spark的并行频繁项集挖掘优化算法的研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Spark的并行频繁项集挖掘优化算法的研究

作者：吴斌江西理工大学

学位级别：硕士

频繁项集挖掘作为数据挖掘的主要手段之一,其动机是为了寻找数据中潜在的价值,帮助企业和机构调整工艺生产的进度、提高产品的质量、作出更有效的策略以满足客户的需求。近年来,随着各行业应用频繁项集挖掘算法,其问题也逐渐显露出来,... 详细信息

频繁项集挖掘作为数据挖掘的主要手段之一,其动机是为了寻找数据中潜在的价值,帮助企业和机构调整工艺生产的进度、提高产品的质量、作出更有效的策略以满足客户的需求。近年来,随着各行业应用频繁项集挖掘算法,其问题也逐渐显露出来,这些算法可以在数据规模较小的时候显现出优势,而由于存储和计算能力的上限,当数据量达到G级甚至更高的水平时,这些算法并不适合对海量数据进行挖掘。因此,将改进的频繁项集挖掘算法与分布式计算模型相结合,从而实现并行计算,并行计算的思想也因此成为当前研究的主要方向。目前已提出的基于spark的FP-Growth算法相较于传统FP-Growth算法,虽然解决了需要对数据库进行多次扫描的问题,且结合spark框架带来的并行化性能使得频繁项集挖掘效率得到了提升,但仍然面临如何有效提高创建条件FP-tree时空效率、如何降低节点间的通信开销、如何解决冗余搜索以及如何动态设置支持度阈值的问题。基于此,本文主要研究工作如下:针对基于spark的FP-Growth算法在大数据环境下存在创建条件FP-tree时空效率低,节点间通信开销大,以及冗余搜索等问题,提出了基于spark的并行频繁项集挖掘算法。首先,该算法提出非负矩阵分解策略,通过提供支持度计数查询和分解储存支持度计数的矩阵,解决了创建条件FP-tree的时空效率低的问题;其次,提出基于遗传算法的分组策略,均衡分配频繁1项集至各节点之间,解决了节点间的通信开销大的问题;最后,提出高效缩减树结构策略,缩减FP-tree树结构,解决了冗余搜索的问题。实验结果验证了该算法的可行性以及相较于其它挖掘算法的性能优势,所提算法能有效适应各种数据的频繁项集挖掘。针对大数据环境下基于spark的FP-Growth算法存在支持度阈值无法动态设置,节点间通信开销大,以及冗余搜索等问题。提出基于spark和遗传算法的并行频繁项集挖掘算法。首先,该算法提出基于动态规划的寻优策略,获得最优的支持度阈值,解决了支持度阈值无法动态设置的问题;其次,提出基于负载估计函数的分组策略,均匀分组频繁1项集,缩减各分组生成的FP-tree结构,解决了节点间的通信开销大的问题;最后,提出超团模式剪枝策略,修剪FP-tree,解决了冗余搜索的问题。实验结果验证了该算法的可行性以及相较于其它挖掘算法的性能优势,所提算法能有效适应各种数据的频繁项集挖掘。

关键词：大数据 spark框架并行频繁项集挖掘 FP-Growth算法

梯级水电站群长期优化调度云计算随机动态规划算法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

中国电机工程学报 2017年第12期37卷 3437-3448页

作者：周东清彭世玉程春田王健大连理工大学辽宁省大连市116024

为了应对随机动态规划算法在解决梯级水电站群长期发电优化调度时的"维数灾"问题,并行化方法得到了广泛研究。单机多核并行算法扩展性不强;传统的分布式并行算法编程复杂,缺少负载均衡和容错机制。云计算平台作为新的分布式计算平台能... 详细信息

为了应对随机动态规划算法在解决梯级水电站群长期发电优化调度时的"维数灾"问题,并行化方法得到了广泛研究。单机多核并行算法扩展性不强;传统的分布式并行算法编程复杂,缺少负载均衡和容错机制。云计算平台作为新的分布式计算平台能够充分利用资源,具有诸多优势。为了探索云平台下的分布式并行随机动态规划模型,该文基于消息传递接口(message passing interface,MPI)和spark框架分别实现了传统集群计算和云计算分布式随机动态规划算法,后者将计算模型转换为数据处理模型进行计算,并通过三库优化调度实验对算法进行了比较。算法分析及实验结果表明,基于云计算的分布式并行随机动态规划算法则可以有效利用云平台的优势,同时拥有完善的容错以及负载均衡机制,具有广阔的应用前景。

关键词：随机动态规划并行计算云计算消息传递接口(MPI) spark框架

在线全文

学校读者我要写书评

暂无评论

基于Scala的电影推荐系统的设计与实现

工业控制计算机 2022年第5期35卷 104-106页

作者：邓介一陈兰兰梁会军湖北民族大学信息工程学院湖北恩施445000

为解决在大数据环境下,网络信息快速膨胀导致的“信息过载”问题,即用户无法从海量信息中快速准确获取有用信息。提出在基于Scala语言的spark平台下,运用基于模型的协同过滤推荐算法,通过分析样本用户对电影的评分数据,建立电影的向量模... 详细信息

为解决在大数据环境下,网络信息快速膨胀导致的“信息过载”问题,即用户无法从海量信息中快速准确获取有用信息。提出在基于Scala语言的spark平台下,运用基于模型的协同过滤推荐算法,通过分析样本用户对电影的评分数据,建立电影的向量模型,最后根据与实时的用户数据的对比对用户进行电影推荐。实验结果表明基于模型的协同过滤算法的电影推荐系统能够准确地为用户推荐电影信息。

关键词： Scala 协同过滤 spark框架推荐算法最小交替二乘算法

基于spark的地震数据处理与分析系统设计与实现

在线全文

学校读者我要写书评

暂无评论

电脑编程技巧与维护 2022年第4期 119-121,134页

作者：刘海田智慧王宗超宋建威石悦张鹏阳安阳师范学院河南安阳455000

地震往往会造成十分严重的人员伤亡和财产损失,如能对已知地震数据进行系统的分析和研究,并从中找出一些规律,就能尽早地采取一些防震避震措施。通过使用大数据技术中的spark大数据处理框架技术对地震数据进行了详细的分析,并使用SSM框... 详细信息

地震往往会造成十分严重的人员伤亡和财产损失,如能对已知地震数据进行系统的分析和研究,并从中找出一些规律,就能尽早地采取一些防震避震措施。通过使用大数据技术中的spark大数据处理框架技术对地震数据进行了详细的分析,并使用SSM框架技术对大数据分析的结果进行了可视化展示。系统的实现对于人们防震避震和研究地震的特点具有十分重要的作用。

关键词：地震数据 spark框架 SSM框架防震避震

电网公司针对互联网企业投建光伏电站的应对策略

在线全文

学校读者我要写书评

暂无评论

上海电机学院学报 2022年第1期25卷 25-32页

作者：赵玉琢张延迟(指导) 上海电机学院电气学院上海201306

针对互联网企业的跨界竞争,分析了互联网企业投建光伏电站的运营模式。以增城物流园区屋顶光伏电站为例,从大数据技术和发用电模式两方面,对光伏电站和电网公司进行对比分析。通过计算增城物流园区案例的收益和电网公司的损失,证明互联... 详细信息

针对互联网企业的跨界竞争,分析了互联网企业投建光伏电站的运营模式。以增城物流园区屋顶光伏电站为例,从大数据技术和发用电模式两方面,对光伏电站和电网公司进行对比分析。通过计算增城物流园区案例的收益和电网公司的损失,证明互联网企业面对电网公司所存在的竞争力。针对互联网企业光伏电站的竞争,根据大数据服务需求,建立基于spark框架的电力服务平台,利用近邻传播(AP)聚类法分析用户行为,并基于迁移学习进行负荷预测,筛选可取对象以增强用户黏性。仿真算例分析验证了改进应对策略的有效性。

关键词：光伏电站 spark框架迁移学习近邻传播(AP)聚类法用户黏性