检索结果-南通市图书馆

基于apache-flink的增量协同过滤算法研究

在线全文

学校读者我要写书评

暂无评论

基于Apache-Flink的增量协同过滤算法研究

作者：刘泽宇湖南大学

学位级别：硕士

随着当今世界的互联网的迅速普及以及数据量的急剧增加,用户越来越难从海量数据中寻找到对自己有用的信息。为了帮助用户快速寻找到有用的信息,个性化推荐系统得到了越来越多的研究。协同过滤(Collaborative Filtering,CF)是构建推荐系... 详细信息

随着当今世界的互联网的迅速普及以及数据量的急剧增加,用户越来越难从海量数据中寻找到对自己有用的信息。为了帮助用户快速寻找到有用的信息,个性化推荐系统得到了越来越多的研究。协同过滤(Collaborative Filtering,CF)是构建推荐系统最著名的方法之一,而矩阵分解(Matrix Factorization,MF)模型是一种被广泛使用的协同过滤算法模型。基于矩阵分解的推荐算法在推荐系统领域能够取得不错的效果,然而,它比较难适应快速变化的现实世界数据。现实世界中,用户行为变化快速,当这些增量数据出现时,静态的推荐模型不能很好地适应。针对以上问题,本文主要的研究工作如下:针对增量协同过滤方法在流环境下的应用问题,本文基于apache flink提出了一个实时增量推荐框架:Realtime Incremental Recommendation Framework(RI RF)。该框架可以让本文提出的增量协同过滤算法能够处理流数据环境下的增量推荐问题。针对增量更新推荐模型问题,本文提出了一种将在线学习和离线训练结合的增量协同过滤的推荐方法,称为具有离线知识的随机梯度下降(Stochastic Gradient Descent,SGD)算法的在线版本:Online SGD with Offline Knowledge(OSGDO)。它能够在处理增量数据的同时,快速的更新推荐模型,从而更好的做出推荐。针对流处理环境下的集成学习问题,本文在增量Funk SVD(Singular Value Decomposition)以及增量Bias SVD算法基础上,结合了通用的Online Bagging机制提出了两种新颖的在线装袋增量推荐算法:Online Bagging Funk SVD(OBFSVD)和Online Bagging Bias SVD(OBBSVD)。在一定程度上,它们可以减少推荐模型预测的推荐结果的方差。本文在提出的RIRF框架上实现了提出的三种方法:OSGDO,OBBSVD以及OBFSVD。当增量数据到来时,本文提出的方法能够较好的增量学习新的数据并且同步更新推荐模型。实验结果表明,本文提出的动态、增量的训练方法比在所有数据上重新构建推荐模型更有效。同时,本文提出的算法在实践中表现良好,在使用著名的MovieLens以及Netflix数据集进行验证时可以达到较好的准确率。

关键词：推荐系统 apache flink 协同过滤矩阵分解集成学习增量学习

基于apache flink的RDF流数据查询

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机与现代化 2020年第11期 47-55页

作者：郑滔刘梦赤冯嘉美华南师范大学计算机学院广东广州510631

目前成熟的RDF流处理(RDF Stream Processing,RSP)系统由于集中式的设计而缺乏并行处理特性,因此在查询处理大量传入的RDF流数据时,均无法实现高吞吐和低延迟。为提高查询性能,本文对RSP查询过程和flink流计算结构进行研究,设计数据源... 详细信息

目前成熟的RDF流处理(RDF Stream Processing,RSP)系统由于集中式的设计而缺乏并行处理特性,因此在查询处理大量传入的RDF流数据时,均无法实现高吞吐和低延迟。为提高查询性能,本文对RSP查询过程和flink流计算结构进行研究,设计数据源、滤器、多路分区连接和投影4个逻辑操作符,并设计一种多流连接(Multi-Stream Join,MSJ)算法用于生成具有并行性的有向无环图的逻辑查询计划,最后以大数据流处理平台apache flink为底层实现逻辑操作符和逻辑查询计划。使用真实数据集SRBench和模拟数据集LUBMs进行实验验证。结果表明,与最成熟的系统C-SPARQL、CQELS相比,单机吞吐量增长高达10倍,5台机器集群的吞吐量增长高达28倍,同时在延时方面达到了毫秒级;在查询性能方面实现了处理大量RDF流数据时吞吐量的提高和延时的降低。

关键词： RDF流并行处理逻辑操作符多流连接 apache flink

在线全文

学校读者我要写书评

暂无评论

面向flink迭代作业的动态资源分配策略

软件学报 2022年第3期33卷 985-1004页

作者：岳晓飞史岚赵宇海季航旭王国仁东北大学计算机科学与工程学院辽宁沈阳110169 北京理工大学计算机学院北京100081

新兴分布式计算框架apacheflink支持在集群上执行大规模的迭代程序,但其默认的静态资源分配机制导致无法进行合理的资源配置来使迭代作业按时完成.针对这一问题,应该依靠用户来主动表达性能约束而不是被动地进行资源保留,故提出了一种... 详细信息

新兴分布式计算框架apacheflink支持在集群上执行大规模的迭代程序,但其默认的静态资源分配机制导致无法进行合理的资源配置来使迭代作业按时完成.针对这一问题,应该依靠用户来主动表达性能约束而不是被动地进行资源保留,故提出了一种基于运行时间预测的动态资源分配策略RABORP(resource allocation based on runtimeprediction),来为具有明确运行时限的flink迭代作业制定动态资源分配计划并实施.其主要思想是:通过预测各个迭代超步的运行时间,然后根据预测结果在迭代作业提交时和超步间的同步屏障处分别进行资源的初始分配和动态调整,以保证可使用最小资源集,使迭代作业在用户规定的运行时限内完成.通过在不同数据集下执行多种典型的flink迭代作业进行了相关对比实验,实验结果表明,所建立的运行时间预测模型能够对各个超步的运行时间进行准确预测,而且在单作业和多作业场景下,采用所提出的动态资源分配策略相比于目前最先进算法在各项性能指标上都有所提升.

关键词：迭代作业运行时间预测资源分配运行时限 apache flink

面向flink流处理框架的主动备份容错优化

在线全文

学校读者我要写书评

暂无评论

浙江大学学报（工学版） 2022年第2期56卷 297-305页

作者：刘广轩黄山胡佳丽段晓东大连民族大学计算机科学与工程学院辽宁大连116600 大数据应用技术国家民委重点实验室辽宁大连116600 大连市民族文化数字技术重点实验室辽宁大连116600

针对flink任务出现故障后因为全局卷回使流处理作业恢复效率低的问题,提出基于缓存队列的容错策略.在作业中找出恢复时间最长的算子作为关键算子,将其处理过的数据存储到缓存队列中,并为其进行主动备份,备份算子同时接受来自上游的数据... 详细信息

针对flink任务出现故障后因为全局卷回使流处理作业恢复效率低的问题,提出基于缓存队列的容错策略.在作业中找出恢复时间最长的算子作为关键算子,将其处理过的数据存储到缓存队列中,并为其进行主动备份,备份算子同时接受来自上游的数据以达到在故障后作业可以瞬时恢复的效果.为了解决主动备份带来的额外消耗,提出数据过滤算法,备份算子在每次处理数据前会到缓存组件中检索当前数据,以判断是否继续处理.当flink算子自身出现故障后,利用策略中的缓存队列与flink的JobManager将故障发生时的数据信息发送给备份算子,在备份算子接收到数据后,实现即时恢复的效果.利用4项评价指标对策略进行评估,结果表明,与flink1.8的故障恢复模式相比,所提策略在flink任务故障恢复速度上有显著提升,当故障次数分别为1、2、3、4时,恢复效率分别提高56.3%、51.3%、46.2%和45.8%;而在处理时延、CPU利用率以及内存使用率方面仅产生极小的代价.

关键词： apache flink 流处理容错主动备份故障恢复缓存队列

在线全文

学校读者我要写书评

暂无评论

分布式环境下大规模维表关联技术优化

计算机科学与探索 2022年第2期16卷 337-347页

作者：赵恒泰赵宇海袁野季航旭乔百友王国仁东北大学计算机科学与工程学院沈阳110169 北京理工大学计算机学院北京100081

分布式环境下大规模维表关联技术是当前在线大数据分析的关键技术之一,其广泛应用于实时推荐、实时分析等领域。维表关联是指将流数据和离线存储的维表数据进行关联,并根据这种关联进行数据处理。首先,对已有的维表连接技术方案进行了研... 详细信息

分布式环境下大规模维表关联技术是当前在线大数据分析的关键技术之一,其广泛应用于实时推荐、实时分析等领域。维表关联是指将流数据和离线存储的维表数据进行关联,并根据这种关联进行数据处理。首先,对已有的维表连接技术方案进行了研究,调研了相关的优化技术和主流分布式引擎的设计路线,主要通过优化维表数据查询提高性能,但传统的优化方式受到维表规模和数据流速的限制。其次,针对已有优化技术在分布式环境下对集群整体考虑使用的不足,提出了适用于对离线的批数据和实时的流数据进行混合计算的计算模型,然后提出了一种单点读取维表数据,切分后进行分发和计算的维表关联数据方式,并优化了维表关联计算逻辑,使之能适应更高的维表规模,且不再局限于对数据的连接。最后,在流计算引擎apache flink上实现了提出的维表关联技术和传统维表关联技术,通过实验在阿里巴巴“双十一”产生的数据上对吞吐量和延迟进行了对比,证明了对面向分布式流计算的维表关联技术的优化的有效性。

关键词：分布式计算维表关联缓存技术 apache flink

基于flink的k-支配skyline体并行求解算法

在线全文

学校读者我要写书评

暂无评论

计算机工程与科学 2023年第1期45卷 17-27页

作者：孙国璋黄山艾力卡木·再比布拉徐浩桐段晓东大连民族大学计算机科学与工程学院辽宁大连116600 大数据应用技术国家民委重点实验室(大连民族大学) 辽宁大连116600 大连市民族文化数字技术重点实验室(大连民族大学) 辽宁大连116600

k-支配skyline算法弱化了数据点之间的支配关系,更适合高维数据。k-支配skyline体适应于多名用户使用k-支配skyline算法查询,而现有的求解算法在时间效率和代码扩展性方面都有待提高。因此,提出了面向多用户的k-支配skyline体求解优化算... 详细信息

k-支配skyline算法弱化了数据点之间的支配关系,更适合高维数据。k-支配skyline体适应于多名用户使用k-支配skyline算法查询,而现有的求解算法在时间效率和代码扩展性方面都有待提高。因此,提出了面向多用户的k-支配skyline体求解优化算法MKSSOA,该算法对每名用户的候选集和中间集分别进行存储,同时在k-支配检查过程中利用2集合中数据点出现的先后次序将候选集中的非k-支配skyline点存储到对应用户的中间集中,以便下一名用户筛选使用,这样可以减少数据点之间的比较次数,避免重复计算,从而提升查询效率。同时,提出了面向多用户的k-支配skyline体并行求解算法MKSPSA,通过apache flink并行处理框架有效减少了数据点的比较时间。理论研究和实验结果显示,提出的算法具有较高的效率,能很好地处理多用户k-支配skyline问题。

关键词： k-支配 skyline查询多用户 apache flink 并行查询

面向flink的负载均衡任务调度算法的研究与实现

在线全文

学校读者我要写书评

暂无评论

计算机工程与科学 2022年第7期44卷 1141-1151页

作者：李文佳史岚季航旭罗意彭东北大学计算机科学与工程学院辽宁沈阳110169 辽宁工业大学软件学院辽宁锦州121000

apache flink是现在主流的大数据分布式计算引擎之一,其中任务调度问题是分布式计算系统中的关键问题。由于集群的异构性以及不同算子复杂度不同,大数据计算系统flink中不可避免地会出现负载不均的情况,针对这种问题,提出了基于资源反... 详细信息

apache flink是现在主流的大数据分布式计算引擎之一,其中任务调度问题是分布式计算系统中的关键问题。由于集群的异构性以及不同算子复杂度不同,大数据计算系统flink中不可避免地会出现负载不均的情况,针对这种问题,提出了基于资源反馈的负载均衡任务调度算法RFTS。通过实时资源监控、区域划分和基于人工萤火虫优化的任务调度算法3个模块,把负载过重的机器中处于等待状态的任务分配给负载较轻的机器,来实现集群的负载均衡,提高系统集群利用率和执行效率。最后通过基于TPC-C和TPC-H数据集的实验结果表明,RFTS算法从执行时间和吞吐量2个方面有效提升了apache flink计算系统的性能。

关键词： apache flink 基于资源反馈的负载均衡任务调度算法实时资源监控区域划分人工萤火虫优化算法

在线全文

学校读者我要写书评

暂无评论

flink水位线动态调整策略

计算机工程与科学 2023年第2期45卷 237-245页

作者：吕鹤轩黄山艾力卡木·再比布拉吴思衡段晓东大连民族大学计算机科学与工程学院辽宁大连116600 大数据应用技术国家民委重点实验室辽宁大连116600 大连市民族文化数字技术重点实验室辽宁大连116600

衡量大数据的数据挖掘性能有2个最重要的任务指标:一是实时性,二是准确性。流数据从数据产生到消息队列再通过数据源流入flink进行计算,这个过程中因为网络传输速度不同,不同节点的计算性能不同等原因,流数据进入计算框架的先后顺序和... 详细信息

衡量大数据的数据挖掘性能有2个最重要的任务指标:一是实时性,二是准确性。流数据从数据产生到消息队列再通过数据源流入flink进行计算,这个过程中因为网络传输速度不同,不同节点的计算性能不同等原因,流数据进入计算框架的先后顺序和数据产生的事件时间顺序会有局部乱序的现象。面对窗口作业的传统水位线机制在不确定乱序程度的流数据情况下无法同时兼顾作业结果的实时性和准确性。针对这个问题,建立了流数据微簇模型。通过局部乱序度算法,根据流数据微簇的流数据事件时间局部乱序程度计算出可以代表当前时刻流数据的乱序度。设计了水位线动态调整策略,使水位线根据流数据的乱序程度动态调整大小。最后,在apache flink框架中对基于事件时间窗口的水位线动态调整策略进行了实现。实验结果表明,弹性或不确定乱序流数据条件下,基于事件时间窗口的水位线动态调整策略可以有效地同时兼顾窗口作业的准确性和实时性。

关键词： apache flink 水位线乱序流数据事件时间

flink平台下的分布式平衡级联支持向量机

在线全文

学校读者我要写书评

暂无评论

云南大学学报（自然科学版） 2023年第5期45卷 999-1006页

作者：刘屹成刘晓燕严馨昆明理工大学信息工程与自动化学院云南昆明650500

支持向量机(Support Vector Machines,SVM)在分类和回归领域都是非常强大的工具,但在大数据环境下,其面临资源占用过高和寻优速度慢等问题.目前利用大数据框架实现的SVM,虽然优化了寻优速度慢的问题,但其预测精度与直接训练方式相比存... 详细信息

支持向量机(Support Vector Machines,SVM)在分类和回归领域都是非常强大的工具,但在大数据环境下,其面临资源占用过高和寻优速度慢等问题.目前利用大数据框架实现的SVM,虽然优化了寻优速度慢的问题,但其预测精度与直接训练方式相比存在一定的差距,此外其并没有对训练节点的资源进行合理配置.故提出一种flink平台下的分布式平衡级联向量机,该方式在之前的基础上将数据集分成含有相同比例样本的平衡子集,并对子集的训练参数进行放缩;同时,结合flink下迭代作业的动态资源分配策略,将各节点资源最小化为刚好满足训练需求.对该方法的有效性进行阐述,对比多个数据集在不同训练方式下的资源占用和模型精度,实验结果表明,采用所提出的训练方式能合理灵活地对资源进行配置,同时将模型预测精度误差降低到0.1%以内.

关键词： apache flink 支持向量机分布式计算细粒度资源管理平衡子集