检索结果-南通市图书馆

基于Spark框架和ASPSO策略的并行划分聚类算

在线全文

学校读者我要写书评

暂无评论

通信学报 2022年

作者：毛伊敏甘德瑾廖列法陈志刚江西理工大学信息工程学院中南大学计算机学院

针对划分聚类算法处理海量数据存在数据离散系数较大与抗干扰性差、局部簇簇数难以确定、局部簇质心随机性及局部簇并行化合并效率低等问题，提出了一种基于Spark框架和ASPSO策略的并行划分聚类PDC-SFASPSO算法。首先，提出了基于皮尔... 详细信息

针对划分聚类算法处理海量数据存在数据离散系数较大与抗干扰性差、局部簇簇数难以确定、局部簇质心随机性及局部簇并行化合并效率低等问题，提出了一种基于Spark框架和ASPSO策略的并行划分聚类PDC-SFASPSO算法。首先，提出了基于皮尔逊相关系数和方差的网格划分策略获取数据离散系数较小的网格单元并进行离群点过滤，解决了数据离散系数较大与抗干扰性差的问题；其次，提出了基于势函数与高斯函数的网格划分策略，获取局部聚类的簇数，解决了局部簇簇数难以确定的问题；再次，提出了基于粒子群优化的ASPSO策略，获取局部簇质心，解决了局部簇质心的随机性问题；最后，提出了基于簇半径与邻居节点的合并策略对相似度大的簇进行并行化合并，提高了局部簇并行化合并的效率。实验结果表明，PDC-SFASPSO算法在大数据环境下进行数据的划分聚类具有较好的性能表现，适用于对大规模的数据集进行并行化聚类。

关键词： Spark框架并行划分聚类网格划分 ASPSO策略并行化合并

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于互信息和融合加权的并行深度森林算法

计算机应用研究 2024年第2期41卷 473-481页

作者：毛伊敏李文豪江西理工大学信息工程学院江西赣州341000 韶关学院信息工程学院广东韶关512000

针对大数据环境下并行深度森林算法中存在不相关及冗余特征过多、多粒度扫描不平衡、分类性能不足以及并行化效率低等问题,提出了基于互信息和融合加权的并行深度森林算法(parallel deep forest algorithm based on mutual information ... 详细信息

针对大数据环境下并行深度森林算法中存在不相关及冗余特征过多、多粒度扫描不平衡、分类性能不足以及并行化效率低等问题,提出了基于互信息和融合加权的并行深度森林算法(parallel deep forest algorithm based on mutual information and mixed weighting,PDF-MIMW)。首先,在特征降维阶段提出了基于互信息的特征提取策略(feature extraction strategy based on mutual information,FE-MI),结合特征重要性、交互性和冗余性度量过滤原始特征,剔除过多的不相关和冗余特征;接着,在多粒度扫描阶段提出了基于填充的改进多粒度扫描策略(improved multi-granularity scanning strategy based on padding,IMGS-P),对精简后的特征进行填充并对窗口扫描后的子序列进行随机采样,保证多粒度扫描的平衡;其次,在级联森林构建阶段提出了并行子森林构建策略(sub-forest construction strategy based on mixed weighting,SFC-MW),结合Spark框架并行构建加权子森林,提升模型的分类性能;最后,在类向量合并阶段提出基于混合粒子群算法的负载均衡策略(load balancing strategy based on hybrid particle swarm optimization algorithm,LB-HPSO),优化Spark框架中任务节点的负载分配,降低类向量合并时的等待时长,提高模型的并行化效率。实验表明,PDF-MIMW算法的分类效果更佳,同时在大数据环境下的训练效率更高。

关键词： Spark框架并行深度森林互信息负载均衡

基于spark和NRSCA策略的并行深度森林算法

在线全文

学校读者我要写书评

暂无评论

计算机应用研究 2024年第1期41卷 126-133页

作者：毛伊敏刘绍芬江西理工大学信息工程学院江西赣州341000 韶关学院信息工程学院广东韶关512026

针对并行深度森林在大数据环境下存在冗余及无关特征过多、两端特征利用率过低、模型收敛速度慢以及级联森林并行效率低等问题,提出了基于spark和NRSCA策略的并行深度森林算法——PDF-SNRSCA。首先,该算法提出了基于邻域粗糙集和Fisher ... 详细信息

针对并行深度森林在大数据环境下存在冗余及无关特征过多、两端特征利用率过低、模型收敛速度慢以及级联森林并行效率低等问题,提出了基于spark和NRSCA策略的并行深度森林算法——PDF-SNRSCA。首先,该算法提出了基于邻域粗糙集和Fisher score的特征选择策略(FS-NRS),通过衡量特征的相关性和冗余度,对特征进行过滤,有效减少了冗余及无关特征的数量;其次,提出了一种随机选择和等距提取的扫描策略(S-RSEE),保证了所有特征能够同概率被利用,解决了多粒度扫描两端特征利用率低的问题;最后,结合Spark框架,实现级联森林并行化训练,提出了基于重要性指数的特征筛选机制(FFM-II),筛选出非关键性特征,平衡增强类向量与原始类向量维度,从而加快模型收敛速度,同时设计了基于SCA的任务调度机制(TSM-SCA),将任务重新分配,保证集群负载均衡,解决了级联森林并行效率低的问题。实验表明,PDF-SNRSCA算法能有效提高深度森林的分类效果,且对深度森林并行化训练的效率也有大幅提升。

关键词：并行深度森林算法 Spark框架邻域粗糙集正弦余弦算法多粒度扫描

基于Spark框架的电商实时推荐系统的设计与实现

在线全文

学校读者我要写书评

暂无评论

信息记录材料 2022年第3期23卷 87-89页

作者：张岩陕西国际商贸学院陕西咸阳712000

大数据时代背景下,基于Hadoop平台构建的电商推荐系统面临数据处理效率低下、难以根据用户实时行为进行推荐的问题。针对Hadoop平台存在的问题,本文提出了基于Spark框架构建的电商实时推荐系统,通过借助Spark框架平台及其组件采集用户... 详细信息

大数据时代背景下,基于Hadoop平台构建的电商推荐系统面临数据处理效率低下、难以根据用户实时行为进行推荐的问题。针对Hadoop平台存在的问题,本文提出了基于Spark框架构建的电商实时推荐系统,通过借助Spark框架平台及其组件采集用户行为日志数据,并进行用户隐性行为分析和离线推荐系统训练,提高了离线推荐系统效率。同时,借助spark Streaming流处理技术,实时推荐系统可对日志数据进行过滤,获取用户ID、商品ID等关键信息,并通过离线推荐结果与实时推荐结果整合,实现实时推荐系统商品排序动态交互调整,达到改善用户电商平台交互体验和电商平台转化率的目的。

关键词： Spark框架电商平台实时推荐

基于Spark框架的电力调度异常数据辨识方法

在线全文

学校读者我要写书评

暂无评论

电力系统装备 2023年第4期 36-38页

作者：宫玉洁王壮壮张为兵安徽继远软件有限公司安徽合肥230088

由于电网运行数据具有多源、异构、高维等特征,使得传统检测方法已无法实现异常数据高效辨识,因此文章提出一种基于Spark框架的电力调度异常数据辨识方法.首先对电力调度数据进行聚类,然后在Spark框架下通过K-means算法对异常数据进行辨... 详细信息

由于电网运行数据具有多源、异构、高维等特征,使得传统检测方法已无法实现异常数据高效辨识,因此文章提出一种基于Spark框架的电力调度异常数据辨识方法.首先对电力调度数据进行聚类,然后在Spark框架下通过K-means算法对异常数据进行辨识,最后通过试验验证该方法的辨识效果.

关键词： Spark框架调度辨识数据异常电力

基于Spark框架的图书馆个性化服务系统设计

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

信息与电脑 2022年第20期34卷 44-46页

作者：陆慧安徽财贸职业学院信息工程学院安徽合肥230601

为给图书馆用户提供更个性化的推荐服务,引进Spark框架设计图书馆个性化服务系统。首先,请求录入用户注册系统后在图书馆中的主动浏览行为,过滤无用信息,实现用户个性化行为提取;其次,设计图书馆服务类目服务请求分发程序,根据用户提出... 详细信息

为给图书馆用户提供更个性化的推荐服务,引进Spark框架设计图书馆个性化服务系统。首先,请求录入用户注册系统后在图书馆中的主动浏览行为,过滤无用信息,实现用户个性化行为提取;其次,设计图书馆服务类目服务请求分发程序,根据用户提出的主动服务需求,响应其请求并提供推荐服务;最后,引进协同过滤算法,设计面向用户的个性化服务项目主动推荐行为,完成系统开发。实验结果表明,开发的服务系统可以提高推荐服务项目与用户需求项目之间的适配度,从而满足图书馆用户对服务的个性化服务需求。

关键词： Spark框架服务类目建模服务系统图书馆

基于Spark框架的图书馆文献信息检索方法

在线全文

学校读者我要写书评

暂无评论

信息与电脑 2023年第8期35卷 60-62页

作者：翟小乐任云鹏蒋丽铭青岛酒店管理职业技术学院山东青岛266000

由于传统信息检索方法检索时间长,检索误差率高,研究基于Spark框架的图书馆文献信息检索方法。首先,预处理文献信息数据,结合信息相似度,提取特征数据集合中的敏感数据获得属性特征。其次,基于Spark框架批处理数据,训练待测样本进行目... 详细信息

由于传统信息检索方法检索时间长,检索误差率高,研究基于Spark框架的图书馆文献信息检索方法。首先,预处理文献信息数据,结合信息相似度,提取特征数据集合中的敏感数据获得属性特征。其次,基于Spark框架批处理数据,训练待测样本进行目标跟踪,寻找最优解集。对信息的特征进行查询,提取其中的关键词并在已建立的文本索引结构上进行检索和融合,运用K-Means聚类方法对融合结果进行重新排序。采用布尔查询机制构造文献检索模型,将不同信息数据多重倒排文献进行索引从而完成信息检索。实验结果表明,运用该方法检索时间最短,误差率最低,完成图书馆文献信息检索方法的优化。

关键词： Spark框架图书馆信息检索文献

Spark框架下利用分布式NBC的大数据文本分类方法

在线全文

学校读者我要写书评

暂无评论

计算机应用研究 2019年第12期36卷 3705-3708,3712页

作者：臧艳辉赵雪章席运江佛山职业技术学院广东佛山528137 华南理工大学广州510641

针对现有面向大数据的计算框架在可扩展性机器学习研究中面临的挑战,提出了基于MapReduce和Apache Spark框架的分布式朴素贝叶斯文本分类方法。通过研究MapReduce和Apache Spark框架的适应性来探索朴素贝叶斯分类器(NBC),并研究了现有... 详细信息

针对现有面向大数据的计算框架在可扩展性机器学习研究中面临的挑战,提出了基于MapReduce和Apache Spark框架的分布式朴素贝叶斯文本分类方法。通过研究MapReduce和Apache Spark框架的适应性来探索朴素贝叶斯分类器(NBC),并研究了现有面向大数据的计算框架。首先,基于朴素贝叶斯文本分类模型将训练样本数据集分为m类;进一步在训练阶段中,将前一个MapReduce的输出作为后一个MapReduce的输入,采用四个MapReduce作业得出模型。该设计过程充分利用了MapReduce的并行优势,最后在分类器测试时取出最大值所属的类标签值。在Newgroups数据集进行实验,在所有五类新闻数据组上的分类都取得了99%以上的结果,并且均高于对比算法,证明了提出方法的准确性。

关键词：文本分类 MapReduce Spark框架分布式朴素贝叶斯分类器机器学习

基于Spark框架的FP-Growth大数据频繁项集挖掘算法

在线全文

学校读者我要写书评

暂无评论

计算机应用研究 2018年第10期35卷 2932-2935页

作者：邵梁何星舟尚俊娜浙江建设职业技术学院教育技术中心杭州311231 浙江工业大学学生处杭州311231 杭州电子科技大学通信工程学院杭州310018

针对大数据中的频繁项集挖掘问题,提出一种基于Spark框架的FP-Growth频繁项集并行挖掘算法。首先,根据垂直布局思想将数据按照事务标志符垂直排列,以此解决扫描整个数据集的缺陷;然后,通过FPGrowth算法构建频繁模式树,并生成频繁1-项集... 详细信息

针对大数据中的频繁项集挖掘问题,提出一种基于Spark框架的FP-Growth频繁项集并行挖掘算法。首先,根据垂直布局思想将数据按照事务标志符垂直排列,以此解决扫描整个数据集的缺陷;然后,通过FPGrowth算法构建频繁模式树,并生成频繁1-项集;接着,通过扫描垂直数据集来计算项集的支持度,从而识别出非频繁项,并将其从数据集中删除以降低数据尺寸;最后,通过迭代过程来生成频繁k-项集。在标准数据集上的实验结果表明,该算法能够有效挖掘出频繁项集,在执行时间方面具有很大的优越性。

关键词：大数据频繁项集挖掘 Spark框架 FP-Growth算法垂直布局