检索结果-南通市图书馆

基于自动编码器和canopy-kmeans的混合推荐系统的研究与实现

在线全文

学校读者我要写书评

暂无评论

基于自动编码器和Canopy-Kmeans的混合推荐系统的研究与实现

作者：王惺西安电子科技大学

学位级别：硕士

协同过滤推荐算法是目前最常用的推荐算法。虽然协同过滤推荐算法已经得到了广泛的应用,但是其中仍然存在数据稀疏性问题和冷启动问题。数据稀疏性问题是由于用户只能对海量商品中非常少部分的商品进行评分,评分数据的稀疏性会非常高,... 详细信息

协同过滤推荐算法是目前最常用的推荐算法。虽然协同过滤推荐算法已经得到了广泛的应用,但是其中仍然存在数据稀疏性问题和冷启动问题。数据稀疏性问题是由于用户只能对海量商品中非常少部分的商品进行评分,评分数据的稀疏性会非常高,导致评分向量的稀疏性也非常高。冷启动问题是由于系统中不存在或者存在少量的目标用户的历史数据,导致推荐算法无法准确地分析目标用户的兴趣和爱好。这两个问题最终都会影响推荐算法的推荐效果。本文从这两个问题出发完成了以下的工作。1.本文提出了基于自动编码器的用户特征降维算法,该算法能够缓解推荐算法中的数据稀疏性问题和冷启动问题。自动编码器算法常用来对深度学习中的稀疏特征进行降维,将自动编码器引入到推荐算法中,对评分向量进行降维,使降维后的向量具有更强的表达能力,缓解了数据稀疏性问题。将用户个人信息的编码与评分向量进行拼接,使用自动编码器对拼接后的向量进行降维,得到了包含关键信息的向量,求解目标用户的最近邻集合。使用最近邻集合中其它用户的原始评分对目标用户未评分商品进行评分预测,从而缓解了冷启动问题。2.基于自动编码器的用户特征降维算法和canopy-kmeans聚类算法设计了一种混合推荐算法。引入canopy-kmeans聚类算法,利用簇内相似度高且簇间相似度低的特性,减少求解最近邻集合时的相似度计算次数,从而提升了求解目标用户的最近邻集合的效率。本文在Movielens数据集上与其它推荐算法进行了对比,实验结果表明本文提出的混合推荐算法能有效的缓解数据稀疏性问题和冷启动问题,并且该混合推荐算法比实验中的其它推荐算法具有更好的推荐效果。3.基于自动编码器和canopy-kmeans的混合推荐算法,结合Django框架设计并实现了一套电影推荐系统。对系统进行了需求分析,设计了系统的架构。整个系统分为表示层、业务逻辑层、数据存储层。表示层由前台系统和管理系统组成。前台系统中包括个性化推荐、按类别查询电影、按名称查询电影等功能。后台系统包括电影数据管理功能和用户数据管理功能。业务逻辑层由数据处理模块、推荐引擎模块、其它功能模块组成。数据处理模块对数据进行处理使其满足相应的格式要求。推荐引擎模块是系统的核心模块,负责推荐模型的训练和推荐结果的生成。其它功能模块对应的是表示层页面中的各项功能。数据存储层负责存储系统的数据。基于Django实现了系统的各个功能模块。使用Movielens数据集并给出测试用例,对系统的各项功能进行测试。测试结果表明该电影推荐系统能够实际应用并且满足设计阶段确定的需求。

关键词：自动编码器 canopy-kmeans 协同过滤推荐系统

基于改进canopy-kmeans的专家信息知识图谱的研究及应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于改进Canopy-Kmeans的专家信息知识图谱的研究及应用

作者：张文怡湖北大学

学位级别：硕士

新时代下,我国对科技创新持续重视,坚持科学技术是第一生产力的发展理念,各个行业亟需大量优秀专家和科研人员的加入。因此,建立专家信息宝库和进行有效的人才评价有助于便利领域专家信息的咨询、情报检索以及扩展学术合作等工作,也能... 详细信息

新时代下,我国对科技创新持续重视,坚持科学技术是第一生产力的发展理念,各个行业亟需大量优秀专家和科研人员的加入。因此,建立专家信息宝库和进行有效的人才评价有助于便利领域专家信息的咨询、情报检索以及扩展学术合作等工作,也能在一定程度上为政府提供决策支撑和促进各个领域人才资源的高效利用,具有重要的现实意义。本文将基于改进的canopy-kmeans聚类算法构建专家信息知识图谱并进行应用,主要内容包括:(1)提出改进的canopy-kmeans算法,并与K-means、canopy、DBSCAN和canopy-kmeans算法进行实验对照。改进的canopy-kmeans算法以补充后的成果的关键字作为聚类对象,通过交叉验证生成距离阈值以及使用Levenshtein距离算法计算成果距离。实验发现canopy-kmeans在能获取最优簇个数的情况下提高聚类结果准确率,而改进的canopy-kmeans在不低于canopy-kmeans算法的准确率前提下,还能够自动提取成果隐藏信息并生成成果的高领域相关度关键字,更适用于专家成果数据的聚类分析。(2)结合改进的canopy-kmeans聚类算法生成专家的融合实体,构建基于融合实体的专家信息知识图谱。通过数据获取、数据处理、信息抽取、知识融合等知识图谱构建过程,总计得到178261个专家及其成果实体、197817条实体关系并存入Neo4j图数据库。在可视化部分使用CQL语句对部分子图进行了查询展示,对比使用一般方法生成的专家信息知识图谱,基于融合实体的专家信息知识图谱能够将专家成果根据研究方向进行划分,展示效果更加直观。(3)梳理和分析现有基础指标、h指数和影响因子指标的评分依据和特点,提出基于RFM的专家评分指标体系,生成多维度专家评分策略。以专家信息知识图谱为数据源进行新指标和h指数、作者影响因子的得分对比实验,发现新指标的评分结果更加灵活、考虑因素更加丰富。最后使用Flask框架实现领域专家信息检索工具,展示专家RFM评分排名和成果信息,完成了对基于融合实体的专家信息知识图谱的应用。

关键词： canopy-kmeans 知识图谱 RFM数据分析专家评分指标

双MapReduce改进的canopy-kmeans算法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

西安工业大学学报 2016年第9期36卷 730-737页

作者：刘宝龙苏金西安工业大学计算机科学与工程学院西安710021

由于传统的canopy-kmeans算法在中心点的选取存在随机性,其迭代过程的冗余计算降低了算法的运行效率.文中基于＂最小最大原则＂和三角不等式原理,在Hadoop平台上提出了一种基于双MapReduce改进的canopy-kmeans算法.实验结果表明：设计... 详细信息

由于传统的canopy-kmeans算法在中心点的选取存在随机性,其迭代过程的冗余计算降低了算法的运行效率.文中基于＂最小最大原则＂和三角不等式原理,在Hadoop平台上提出了一种基于双MapReduce改进的canopy-kmeans算法.实验结果表明：设计的并行算法精确率在不同大小的数据集上平均提高了15.3%,加速比和扩展性随着数据规模和节点的不断增加也相应的提高了1.5~3倍,解决了canopy中心点选中存在的问题和迭代过程中冗余的距离计算.

关键词： canopy-kmeans 冗余计算 Hadoop平台双MapReduce

基于密度峰值优化的canopy-kmeans并行算法

在线全文

学校读者我要写书评

暂无评论

通信技术 2018年第2期51卷 312-317页

作者：李琪张欣张平康张航贵州大学大数据与信息工程学院贵州贵阳550025

随着数据规模的爆炸式增长,利用K-means等聚类算法挖掘大数据的潜在价值,已成为一个当前较为重要的研究方向。将canopy算法与K-means算法结合,可解决K个中心点的选取问题。而针对canopy-kmeans算法中初始中心点选取随机、算法受噪声点... 详细信息

随着数据规模的爆炸式增长,利用K-means等聚类算法挖掘大数据的潜在价值,已成为一个当前较为重要的研究方向。将canopy算法与K-means算法结合,可解决K个中心点的选取问题。而针对canopy-kmeans算法中初始中心点选取随机、算法受噪声点影响等问题,提出了一种利用密度峰值改进的M-canopy-kmeans算法,并采用Spark框架实现算法的并行化。实验结果表明,改进后的算法避免了canopy中心点选取的盲目性,且有效排除了样本中的噪声点,准确性、抗噪性都有明显提高,且在Spark并行框架中具有良好的加速比和扩展性。

关键词：密度峰值 Spark canopy-kmeans 聚类

基于canopy-kmeans算法的电力企业流量数据分析研究

在线全文

学校读者我要写书评

暂无评论

信息技术与网络安全 2022年第1期41卷 18-22页

作者：黄冠杰对外经济贸易大学统计学院北京100105

针对电力企业关键信息基础设施大量业务数据易遭受网络攻击的现象,基于各业务信息系统下已有的网络安全设备,通过辅助设备采集流量数据,采用canopy-kmeans算法进行数据分析研究。首先通过实验证明了canopy-kmeans算法在处理流量数据时,... 详细信息

针对电力企业关键信息基础设施大量业务数据易遭受网络攻击的现象,基于各业务信息系统下已有的网络安全设备,通过辅助设备采集流量数据,采用canopy-kmeans算法进行数据分析研究。首先通过实验证明了canopy-kmeans算法在处理流量数据时,相比传统K-means算法,具有更好的聚类效果,准确率提高约11%;然后以采集到的电力关键业务系统的流量数据为基础,基于canopy-kmeans算法进行挖掘分析实验,完成相同类型流量数据的聚类,分析出攻击流量与业务流量的特征项,排除部分误报信息,合理开展网络安全防护工作。

关键词：电力流量采集 canopy-kmeans 聚类流量分析

基于MapReduce的canopy-kmeans算法的并行化

在线全文

学校读者我要写书评

暂无评论

辽宁科技学院学报 2017年第1期19卷 4-5,13页

作者：张友海李锋刚安徽职业技术学院安徽合肥230011 合肥工业大学安徽合肥230009

数据挖掘的聚类算法canopy-kmeans是分析数据内在价值的常用工具之一,传统的基于集中控制的方式算法执行效率,在今天大数据环境下,有待改进。文章数据源为某省运营商在2014年7月经过脱敏后的话单信令数据,通过传统的集中控制方式和基于M... 详细信息

数据挖掘的聚类算法canopy-kmeans是分析数据内在价值的常用工具之一,传统的基于集中控制的方式算法执行效率,在今天大数据环境下,有待改进。文章数据源为某省运营商在2014年7月经过脱敏后的话单信令数据,通过传统的集中控制方式和基于MapReduce的方式。通过实验,我们可以看出使用MapReduce方式具有良好的可行性,而且执行效率也得到明显改善[1]。

关键词：聚类算法 canopy-kmeans MapReduce

基于Hadoop的物流历史数据聚类挖掘研究

在线全文

学校读者我要写书评

暂无评论

基于Hadoop的物流历史数据聚类挖掘研究

作者：苏金西安工业大学

学位级别：硕士

随着电商、物联网、云计算等一系列新型技术的发展与应用,如今的物流行业的数据增长已不再是线性的、缓慢的,它所呈现的是海量的、复杂的、实时的与爆炸性的。显然,传统的单机存储和串行的数据挖掘技术已无法满足当前物流行业的大数据... 详细信息

随着电商、物联网、云计算等一系列新型技术的发展与应用,如今的物流行业的数据增长已不再是线性的、缓慢的,它所呈现的是海量的、复杂的、实时的与爆炸性的。显然,传统的单机存储和串行的数据挖掘技术已无法满足当前物流行业的大数据处理需求。Hadoop则依然成为了当下社会发展的新趋势,它是一个开源的分布式平台,适用于大数据集的分布式计算。近年来,这一技术在数据挖掘领域逐渐发挥出其独特的优势。而K-means聚类算法就是一种有效的大数据挖掘算法,该算法实现简单且易于使用,但其在质心点及K值的选取上仍然存在很大的盲目性和不可预见性,经常导致聚类结果出现局部最优,且在距离计算过程中存在着复杂的冗余计算,收敛速度慢,聚类精度低,缺乏并行性和可扩展性,大大降低了算法的运行效率。针对传统K-means算法不足,本课题结合了“距离三角不等式原理”和“最小最大原则”的优点,在Hadoop云计算平台上提出了一种基于双MapReduce分布式编程模型改进的canopy-kmeans算法,并通过社发物流公司的真实历史数据验证了本文算法的正确性。具体的研究工作如下:首先,本文详细阐述了Hadoop生态系统,对其基本组件、构造模块以及工作机制进行了深入的剖析和研究;分析了大数据挖掘过程的标准流程;对传统K-means算法的设计思路和过程进行了深入的研究,探讨了已有研究成果的优缺点。其次,为了优化K值的选中问题,在Hadoop平台上基于最小最大原则对传统的canopy算法进行了改进,成功地解决了传统canopy算法中人为设置K值以及区域半径T1、T2的盲目性,为K-means聚类结果的准确性提供了可靠的理论依据。再次,为了解决传统K-means算法在迭代过程中存在的大量冗余计算,本文基于三角不等式原理的优点,在K-means算法迭代计算之前,增加了距离筛选判定,从而有效地减少了大量的冗余计算;另外,为了进一步提高该算法的运行效率,本文还在引入加权聚类准则函数的基础上,增加了收敛性判定,进而提高了聚类的质量和收敛速度,降低了数据对象的误分率。最后,设计并实现了基于双MapReduce编程模型改进的canopy-kmeans算法。为了进一步验证本文算法设计的可行性,搭建了Hadoop集群环境,以寻找社发物流公司的关键客户群体为例进行了大量的实验。实验结果表明,设计的并行算法在聚类结果的准确性、加速比、扩展性等方面都有显著的提高。成功地解决了K值及canopy中心点选中存在的问题,避免了迭代过程中冗余的距离计算,提高了原算法的收敛速度,并且数据规模越大、节点越多,改进的效果就越显著。

关键词： Hadoop canopy-kmeans 数据挖掘双MapReduce

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

公共交通运营大数据聚类分析方法及应用研究

公共交通运营大数据聚类分析方法及应用研究

作者：黄淼武汉轻工大学

学位级别：硕士

智能化的公共交通发展建设是当今智慧城市建设的主体之一,利用大数据分析技术辅助解决交通问题、提高公共交通工具运载效率,改善公共交通环境,实现智慧交通,是智能公共交通行业的发展诉求和趋向。Hadoop是一个开源的分布式云计算平台,... 详细信息

智能化的公共交通发展建设是当今智慧城市建设的主体之一,利用大数据分析技术辅助解决交通问题、提高公共交通工具运载效率,改善公共交通环境,实现智慧交通,是智能公共交通行业的发展诉求和趋向。Hadoop是一个开源的分布式云计算平台,能满足大数据处理需求,适用于大数据集的分布式处理。Hadoop在数据挖掘领域应用广泛,数据挖掘技术利用Hadoop平台作为数据处理载体,能提高数据处理效率。数据挖掘算法中运用普遍的K-means聚类算法能有效处理大数据集,简单易用,但其k值人为选取以及初始聚类中心随机选取使得算法存在较大的不稳定性,且在算法计算每个数据样本到质心的距离时会产生较多计算冗余使得算法运算效率大大降低。在大数据背景下,围绕智能公共交通的Hadoop数据分析系统和数据挖掘算法的K-means聚类算法研究,本文主要完成工作及创新点如下:(1)针对数据分析中需应用到的数据挖掘算法中的传统K-means聚类算法的K值人为选取以及初始聚类质心随机选取的问题,提出了一种改进的canopy-kmeans算法:在canopy算法中采用“中值与最大距离积法”原则以及在K-means算法迭代过程中加入距离计算判定方法。并利用Matlab进行了改进算法的仿真实验对比分析。实验证明改进算法更具有良好的时效性和准确性。(2)针对智能化公共交通发展现状分析了公共交通数据海量、分散、多源、异构等现状,根据Hadoop集群所具有的海量数据存储、分析以及集群的高扩展性等优势,设计并实现了以数据采集、数据存储和数据分析以及结果可视化展示四个模块组成的基于Hadoop框架技术的数据分析系统。(3)利用搭建的数据分析系统对仙桃市公交公司历史运营数据进行了分析实验:结合K-means聚类算法按照乘客出行人次和营收对公交线路进行了分类运算;利用MapReduce的编程计算模型对公交公司2018年第一季度公交乘客数、公交线路日收入对比、乘客24小时乘车波动进行了分析。实验结果证明系统具备实用性和有效性。同时,数据分析结果对公交公司运营有一定指导性意义。(4)设计了基于MapReduce改进的canopy-kmeans算法模型,并利用改进的canopy-kmeans聚类算法在数据分析系统上对公交公司历史相关运营数据进行了数据分析应用,并分析了并行化算法性能。应用及性能分析结果证明改进算法能进行良好的并行化运算且更高效。

关键词：智能交通大数据聚类分析 K-means canopy-kmeans

基于Spark的大数据并行聚类算法研究与改进

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Spark的大数据并行聚类算法研究与改进

作者：李琪贵州大学

学位级别：硕士

随着计算机与互联网技术的不断发展,数据的爆炸式增长推动了大数据时代的来临。利用数据挖掘技术来发现数据中的有用价值受到了越来越多的关注,而聚类分析则是数据挖掘技术中的一个重要分支。传统的聚类算法大多在单机上串行运行,由于... 详细信息

随着计算机与互联网技术的不断发展,数据的爆炸式增长推动了大数据时代的来临。利用数据挖掘技术来发现数据中的有用价值受到了越来越多的关注,而聚类分析则是数据挖掘技术中的一个重要分支。传统的聚类算法大多在单机上串行运行,由于受到内存大小、存储空间、计算能力等问题所限,已经无法满足处理海量数据的需求,而分布式计算技术的发展为解决这一问题提供了方向。本文结合Spark分布式计算框架,对聚类分析中的canopy-kmeans算法及CFSFDP算法进行了研究与改进,主要工作包括以下几个方面:(1)针对canopy-kmeans算法的初值选取仍具有一定的随机性,并且聚类结果较为受参数影响的问题。分别利用密度峰值和最大最小化准则的思想对算法进行了改进,在解决以上问题的同时,降低了噪声点对算法的干扰,最后用Spark框架实现了改进算法的并行化。(2)CFSFDP算法需要利用决策图人为选取初始中心点,这一步骤在可能产生人为主观误差同时,还使得算法无法实现自动的并行化计算。针对这一问题,本文利用斜率变化率的思想,找出聚类中心点与非聚类中心点间的分界点,从而使得算法可以通过计算自动确定聚类中心点,最后将算法使用Spark框架进行并行化实现。利用Spark on Yarn的集群进行验证后表明,基于密度峰值的改进canopykmeans算法与自动选取中心点的CFSFDP算法在集群中均具有良好的聚类效果与并行化性能。

关键词： Spark 聚类 canopy-kmeans CFSFDP 并行化