检索结果-南通市图书馆

作者：颜飞辽宁工业大学

学位级别：硕士

近年来,随着信息技术,特别是大数据和人工智能领域研究的飞速发展,海量数据的收集、存储、发布和分析变得越来越容易。从数据安全和个人隐私保护层面来看,大数据应用也带来了很大的数据安全隐患。在大数据所面临着诸多安全问题中,如何... 详细信息

近年来,随着信息技术,特别是大数据和人工智能领域研究的飞速发展,海量数据的收集、存储、发布和分析变得越来越容易。从数据安全和个人隐私保护层面来看,大数据应用也带来了很大的数据安全隐患。在大数据所面临着诸多安全问题中,如何从大数据中分析挖掘出更多的价值而又很好地保护数据的隐私安全显得尤为重要。因此,本文对大数据安全和隐私保护中的关键技术展开了以下研究:首先本文对大数据所面临的安全问题展开了深入分析。从对大数据生命周期模型出发,将大数据安全划分为数据存储安全、数据访问控制、抗大数据分析挖掘和数据发布隐私保护四个方面,对不同的阶段所应用的安全技术进行分析研究。最后,根据后续章节实验需求搭建部署了大数据安全与隐私保护数据处理平台。通过分析海量静态数据直方图发布过程中分组划分存在离群点的情况,以及离群点导致发布结果误差增大和离群点判定过程中计算效率低的问题,提出了一种适用于spark框架的满足差分隐私的直方图发布方法(SPDP-GS)。该方法利用改进的k-means算法对待发布直方图进行最优分组划分,实现快速聚合相似分组,达到最优分组融合。然后,对分组数据添加Laplace噪声,并将经过差分隐私保护处理后的数据进行发布。实验结果表明,SPDP-GS方法在海量数据的隐私保护处理中可提高发布数据的隐私性和发布效率,同时保证发布数据具有较好的可用性。针对动态数据需周期性的发布统计信息的需求,提出了一种利用分形维数和分组思想的基于差分隐私的数据流直方图发布方法(DP-FC)。该方法先利用滑动窗口对动态数据进行分割,然后将每个滑动窗口所承载的数据执行分形聚类操作,按照属性进行分类统计,从而构成不同的分组。再对每分组添加拉普拉斯噪声和执行分组融合优化,实现多维动态数据的差分隐私保护数据发布。实验结果表明,该方法可有效应对动态数据的隐私发布需求,同时保证发布数据具有较好的可用性。综上所述,本文对大数据安全与隐私保护关键技术展开了深入的研究。针对静态数据集的发布和动态数据的发布所存在的问题提出了基于差分隐私保护的数据发布方法,并利用所搭建平台进行实验验证。最后,对本文研究存在的不足之处予以说明,并对未来研究关注点作出分析。本研究结果可为大数据安全和隐私保护的研究提供思路,具有一定的借鉴意义。

关键词：大数据安全差分隐私保护 spark框架直方图发布分形维数

基于spark的个性化地点推荐系统的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Spark的个性化地点推荐系统的设计与实现

作者：杨朔青岛理工大学

学位级别：硕士

伴随着数据时代的到来,网络用户每天需要接收无数不同类别的信息,面临从海量信息中选取所需信息的困扰,这时推荐系统应运而生。在当下流行的大数据计算平台中,基于内存迭代计算的spark框架更符合推荐系统的要求,相比较传统的Hadoop Map ... 详细信息

伴随着数据时代的到来,网络用户每天需要接收无数不同类别的信息,面临从海量信息中选取所需信息的困扰,这时推荐系统应运而生。在当下流行的大数据计算平台中,基于内存迭代计算的spark框架更符合推荐系统的要求,相比较传统的Hadoop Map Reduce框架,spark框架中的多个master节点解决了Hadoop中易产生的单节点故障问题,具有更高的实时计算能力,可以大幅度提升推荐系统的运行效率。通过对spark框架下的个性化地点推荐系统现状分析,在了解系统设计相关技术的前提下,本文的研究重点为算法优化与系统搭建,针对用户的推荐需求,提出了离线推荐与在线推荐相结合的推荐引擎架构,完成了个性化地点推荐系统的设计与实现。为了改善传统基于LBSN的地点推荐算法中普遍存在的数据稀疏问题与冷启动问题,本文提出了融合用户偏好与上下文信息的加权矩阵分解算法,与传统的矩阵分解算法相比较,加权矩阵分解模型通过对用户-签到矩阵中的元素进行加权处理来缓解数据稀疏问题。在推荐系统的实现过程中,用户签到的影响因素主要包括用户偏好与上下文信息,其中用户偏好对签到行为的影响最大,本文使用的加权矩阵分解模型以用户偏好为基础构建目标函数,然后建模上下文信息对用户签到行为的影响,分别构建地理位置对用户签到行为的影响矩阵与社交网络对用户签到行为的影响矩阵,将这两个矩阵加入目标函数,来重新定义用户签到行为的影响因素,预测用户前往目标地点进行签到的概率,这种方式进一步提高了推荐算法的准确率与召回率。系统设计实现的整体架构分为数据源、数据仓库、核心业务与数据展示四个模块,模块间的稳定传输保证了推荐系统的顺利运行,其中推荐引擎部分根据需求的不同划分为在线推荐与离线推荐两部分,满足了推荐结果的准确性需求。最后在Gowalla数据集与Foursquare数据集的基础上对系统进行了实验测试,证明了本文所实现系统的高准确率与高召回率。

关键词：推荐系统 spark框架加权矩阵分解个性化地点推荐

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于两阶段行为模式的协同过滤推荐算法研究

基于两阶段行为模式的协同过滤推荐算法研究

作者：魏李婷扬州大学

学位级别：硕士

由于互联网中信息爆炸式的增长,导致用户很难直接发现有用的信息。为此,根据用户的历史行为数据进行建模的推荐系统吸引了学者的广泛关注,可以一定程度上缓解信息过载的问题。各种类型的推荐算法中,协同过滤推荐算法以其可理解性强、无... 详细信息

由于互联网中信息爆炸式的增长,导致用户很难直接发现有用的信息。为此,根据用户的历史行为数据进行建模的推荐系统吸引了学者的广泛关注,可以一定程度上缓解信息过载的问题。各种类型的推荐算法中,协同过滤推荐算法以其可理解性强、无需语义分析等特点成为目前使用最广泛的推荐算法之一。但是,随着数据规模的增大,协同过滤算法面临着数据稀疏,实时性以及准确性和多样性的权衡等方面的问题。另外,与之前的评分预测相比,Top-N推荐形式更符合当前协同过滤推荐算法的需求。因此,本文主要针对协同过滤算法存在的部分问题,研究协同过滤算法在Top-N的推荐算法。本文主要的研究工作是:(1)提出了基于两步预测的二分网络Top-N推荐算法。已有的基于二分网络的协同过滤推荐算法只考虑了用户选择,忽略了用户评分。利用本文的用户行为中存在的两阶段的行为,提出了基于两步预测的二分网络Top-N推荐算法。该算法先利用NBI算法预测用户对产品进行评分的概率,然后利用两步预测将其与协同过滤算法结合进行推荐。在MoiveLens数据集上的实验表明,该算法提高了推荐的准确度。(2)提出了一种基于属性比重相似性的两步预测Top-N推荐算法。在处理极端不均匀和稀疏的用户评分数据时,传统的协同过滤推荐算法不能很好的进行相似性计算。为此,考虑用户对某一类的产品更感兴趣和一个产品可能同属于不同的属性,同时,结合用户两阶段行为模式,本文提出一种基于属性比重相似性的两步预测Top-N推荐算法。在MoiveLens数据集上的实验表明,算法能提高协同过滤算法的Top-N推荐的准确率和多样性。(3)基于spark框架的属性比重相似性的两步预测推荐算法的并行化实现。结合spark框架在实现并行化方面的优势和协同过滤推荐算法的实时性,本文实现了基于spark框架的属性比重相似性的两步预测推荐算法的并行化,达到通过架构的方式提高推荐算法实效性的目标。在MoiveLens数据集上的实验结果表明,该算法能够提高运算的速率。

关键词：协同过滤 Top-N推荐两阶段模式属性比重 spark框架

基于spark的网络日志分析系统的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Spark的网络日志分析系统的设计与实现

作者：刘季函(Liu,Chi Han) 南京大学

学位级别：硕士

目前互联网络的应用已经深入到企业办公系统中,企业业务时常需要依赖互联网来达成。通过网络,信息传播可以大幅降低工作成本并能极为明显的提高办公效能。但是随着网络给员工作事务带来便利,企业员工时常在上班时间访问-些与工作无关的... 详细信息

目前互联网络的应用已经深入到企业办公系统中,企业业务时常需要依赖互联网来达成。通过网络,信息传播可以大幅降低工作成本并能极为明显的提高办公效能。但是随着网络给员工作事务带来便利,企业员工时常在上班时间访问-些与工作无关的网站,给企业不论是业务还是网络环境皆带来了不良的影响。因此,企业需要针对用户网络访问行为的审计系统,透过网络日志分析系统去了解用户上网行为、趋向。日志中包含了大量人们感兴趣的信息,为系统的运行和维护提供了丰富的信息,同时也记载着用户访问各种网页的数据,其通过文本的形式将系统产生的行为准确规范得记录存储。随着互联网企业的壮大以及应用程序规模的扩大,各种日志信息同时也呈数量级的增长,一般使用单台机器处理的日志分析系统早已完全无法达到目前企业日志分析的需求,因此海量数据处理集群就成为日志分析的理想平台。最初的大数据计算处理框架是Google在2003-2006年提出的,随后一个相似的开源大数据计算框架Hadoop就这样诞生了,作为一个分布式计算框架,在当时其在海量数据处理效能卓越,曾经在互联网企业掀起一波巨浪。但是单纯使用Hadoop框架仍然有很多限制,它并不能很好的支持实时分析以及多次迭代的计算场景,因此许多企业在2009年后陆续提出改良的计算框架,如Dremel、spark等。基于以上现状,通过对大量文献的阅读和参考,以及常见的企业对于用户行为观察了解的需求,本文设计了一个基于spark的海量日志数据分析平台。平台使用Squid服务器中的***,并且设计了日志采集、逻辑处理、网页展示、任务管理等四个模块。日志采集模块实现了数据的收集和导入;逻辑处理模块实现了数据分析处理的过程;网页展示模块实现了一个客户端供用户操作及处理结果的展示;任务管理模块实现了集群的监控和管理。相较于Hadoop, spark通过内存中运算能带来大幅度性能的改善。

关键词： spark框架 Shark框架日志分析弹性分布式数据集

基于spark电商用户行为数据的分析与研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Spark电商用户行为数据的分析与研究

作者：叶力铭沈阳师范大学

学位级别：硕士

随着时代的进步和发展,数据对我们来说越来越重要。大数据的到来创新了计算机和其他行业的技术,将我们带入了大数据的时代。由于电商的发展迅速,现在很多的电商平台也使用了大数据技术或者是云计算来进行数据管理。当下使用最多的大数... 详细信息

随着时代的进步和发展,数据对我们来说越来越重要。大数据的到来创新了计算机和其他行业的技术,将我们带入了大数据的时代。由于电商的发展迅速,现在很多的电商平台也使用了大数据技术或者是云计算来进行数据管理。当下使用最多的大数据框架有Hadoop和spark,通过从电商平台获得到的用户行为数据进行分析,从而猜测和推荐用户的喜好商品,满足用户的需求。因此了解用户的行为,是电商行业发展的必要条件。本文是基于大数据角度来进行分析的,数据是通过相关平台的运营商提供的真实的数据,把这些得到的数据进行处理、挖掘以及分析并且得到相对应的结果。通过分析用户的行为,运用均值聚类算法、朴素贝叶斯方法、决策树算法等方法的结合将这些数据进行整合分类,电商平台根据这些分类的数据预测出用户喜爱偏好的商品,可以更加有针对性的为用户提供相应的商品,节省彼此的时间。本论文主要研究工作如下:(1)本文从电商用户行为数据的预处理,用户行为特征数据挖掘和用户行为分析三个方面入手,对用户数据进行分类,通过分类来分别对数据进行分析,得到结果。(2)处理数据的过程中会有一些冗余的数据,首先要去除分离这些数据,以免在分析过程中浪费时间,然后对数据进行相关的操作,通过分类来判断用户的基本信息,例如:是否为该平台的新用户,是否是在该平台上有历史订单等,本文运用的框架是spark框架,介绍了spark的基本概念以及与其他框架的对比,此类框架的应用也是本文的一大亮点。(3)本文还运用到了一些算法的结合,例如:聚类算法,决策树算法以及基于数学分类统计算法的朴素贝叶斯方法来对数据进行处理,通过计算算出特征加权后的结果与普通数据进行对比分类。(4)最后,通过虚拟机的搭建,spark框架环境的搭建,对电商平台的用户行为数据进行分析,得到相对应的用户购买信息数据,根据这些数据分析用户的购买意向。

关键词：大数据电商平台 spark框架用户行为分析

一种改进的不平衡数据集过采样方法及其并行算法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一种改进的不平衡数据集过采样方法及其并行算法研究

作者：高阳烟台大学

学位级别：硕士

不平衡数据集是指数据集中各类别所含样本数有较大的差距,含有较多样本数的类别是多数类(反例)样本,反之为少数类(正例)样本。在不平衡数据集中,少数类样本所蕴含的信息更有挖掘价值。过采样方法可以通过增大正例样本数目使数据集中正... 详细信息

不平衡数据集是指数据集中各类别所含样本数有较大的差距,含有较多样本数的类别是多数类(反例)样本,反之为少数类(正例)样本。在不平衡数据集中,少数类样本所蕴含的信息更有挖掘价值。过采样方法可以通过增大正例样本数目使数据集中正反例样本数达到相对平衡,从而达到提高不平衡数据集的分类准确性的目的,为此提出基于蚁群聚类的不平衡数据过采样方法ACC-SMOTE。现有的过采样方法处理高维的、海量的不平衡数据集效率相对较低,而本文借助spark平台处理海量数据集时快速高效全面的分析能力,将ACC-SMOTE算法在spark平台上进行并行算法设计,提出基于spark的不平衡数据过采样并行算法ACCOP。具体工作如下所述:对于提出的基于蚁群聚类的不平衡数据过采样算法ACC-SMOTE,其算法设计思想主要包括以下两个方面:一方面根据改进的蚁群聚类算法将所有正例样本分成若干个子簇,不仅考虑到类间样本数目的不平衡还考虑到少数类内部样本的不平衡,根据子簇所占样本的比例运用SMOTE算法进行过采样,从而降低类间与类内数据的不平衡度;另一方面对过采样后的少数类样本采用Tomek Links数据清理技术进行及时修正,清除少数类样本中的噪声,从而保证合成样本的质量。本文所用训练集和测试集均为UCI数据集。实验结果表明本算法可以合成较高质量的少数类样本,从而明显提升分类器对不平衡数据集的分类精度。对于提出的基于spark的不平衡数据过采样并行算法ACCOP,其算法思想是在spark集群平台分别实现对蚁群聚类算法阶段和过采样算法阶段的并行算法设计。蚁群聚类阶段将每只蚂蚁确定类簇和中心节点后计算目标函数值的过程进行并行算法设计;过采样阶段将所有结点中的样本计算其所含正例样本之间的欧氏距离的过程进行并行算法设计。实验表明,在计算机节点数不变时,随着数据集样本数目的增加,该算法在spark集群平台环境下的执行时间比该算法在一个单机环境下的执行时间要明显地短,这说明该算法具备并行处理大数据集的能力,从而提高算法执行的效率。

关键词：不平衡数据集过采样蚁群聚类 Tomek Links spark框架

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

并行化文本分类算法研究

并行化文本分类算法研究

作者：于苹苹曲阜师范大学

学位级别：硕士

文本分类技术作为文本处理的关键技术,在信息检索、内容过滤和主题建模等方面有着广泛应用。但随着文本数据的不断增加,传统文本分类技术分类效率低、准确率下降等弊端日益凸显,尤其无法满足对海量数据的处理需求。同时,集中式数据处理... 详细信息

文本分类技术作为文本处理的关键技术,在信息检索、内容过滤和主题建模等方面有着广泛应用。但随着文本数据的不断增加,传统文本分类技术分类效率低、准确率下降等弊端日益凸显,尤其无法满足对海量数据的处理需求。同时,集中式数据处理架构已不适用于当前大数据的处理和存储。因此,并行分布式计算框架的出现为该问题的解决打开了新局面。基于目前并行分布式计算框架的日臻成熟,本文在对文本分类理论知识研究的基础上,以提高K-最近邻(K-Nearest Neighbors,KNN)文本分类算法的分类性能为出发点,结合spark框架实现文本分类的并行化。本文主要做了以下工作:第一,对文本分类的相关技术和并行分布式计算的基本原理进行了研究与总结。首先介绍了文本分类的基本概念以及关键处理技术,然后对spark计算框架的体系结构和核心内容RDD进行了详细说明,并以此为理论基础展开对并行化文本分类算法的研究。第二,在对KNN文本分类算法的研究中我们发现,KNN文本分类算法相似度计算复杂、冗余性高,对大数据的处理速度较慢。因此,提出了基于spark框架与聚类优化的高效KNN分类算法。该算法首先利用引入收缩因子的优化K-medoids聚类算法对训练集进行两次裁剪降低KNN相似度计算的冗余性。并在分类过程中迭代K值获得分类结果,结合spark计算框架内存计算的机制对数据进行分区迭代实现并行化。第三,通过对文本分类的并行化实验发现,并行化中的分区处理对KNN文本分类结果的准确率有一定影响。因此,提出了基于spark框架与词语相关度优化的高效KNN分类算法。在实现算法的并行化过程中,结合词语相关度概念,建立新的距离计算机制,对相似度计算进行优化。该算法在提高KNN文本分类算法分类效率的同时,提高了文本分类的准确率。总之,本文在分析文本分类以及并行分布式计算理论的基础上,重点研究了spark框架下的KNN文本分类算法优化及其应用。实验结果表明,本文研究成果对解决大数据环境下分类效率下降、准确度低等问题有一定的积极作用,提高了KNN文本分类的效率和准确率,可对大规模文本数据集进行有效的分类处理。

关键词：文本分类 KNN 并行与分布式计算 spark框架词语相关度

DataStudio平台算法实验室的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

DataStudio平台算法实验室的设计与实现

作者：杨洋南京大学

学位级别：硕士

随着信息时代的发展,现实社会的数据正快速增多,如何快速处理这些数据并从这些数据中分析挖掘价值已经成了现实世界的迫切需求。越来越多社会经济和科技研究领域涉及到大数据应用,而大数据的基本属性,包括数量,速度,多样性等都出现层级... 详细信息

随着信息时代的发展,现实社会的数据正快速增多,如何快速处理这些数据并从这些数据中分析挖掘价值已经成了现实世界的迫切需求。越来越多社会经济和科技研究领域涉及到大数据应用,而大数据的基本属性,包括数量,速度,多样性等都出现层级式增长,同时数据中含有的价值越来越迫切被挖掘,所以大数据分析处理技术越来越被重视。目前比较常用的大数据分析处理技术主要有Hadoop相关组件,Python数据分析,Matlab数据分析,spark等。Hadoop组件开源使用较广,功能强大。Python开发效率较快,可维护性高,但运行效率相对较低。Matlab功能强大,但要收费。spark基于内存计算提供离线和实时处理,并有Mlib算法包提供较强的数据分析能力。本文主要介绍数梦工场大数据存储与处理平台(DataStudio平台)算法实验室,DataStudio平台基于Hadoop组件已经提供数据存储,处理,迁移,调度运行等功能。但对于数据的分析处理手段只能依靠MapReduce,sql等手动编写代码来完成。为实现丰富平台对于数据的处理分析手段的目标,基于上述背景,开发算法实验室,算法实验室向机器学习用户提供web可视化的算法实验开发,用户只需要选择算法模型、模型参数。由于spark开源且能与Hadoop完美集成,基于内存计算效率较高,因此选择spark Mlib算法包来作为算法实验室的底层支持。算法实验室采用J2EE体系结构,沿用了 MVC的设计思想,结合了一些oozie,quartz,hibernate等框架进行实现。最终算法实验开发完成。算法实验室的完成:第一,丰富了 DataStudio平台对于数据的分析处理手段,加快了对数据的处理分析能力,提高了平台的竞争力与易用性,并且支持新算法的扩展。第二,大大提高了用户数据分析流程的效率,用户无需编码,并且复用性较强。

关键词：算法实验 spark框架 oozie框架 quartz框架

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于spark平台的聚类算法的优化与实现

基于Spark平台的聚类算法的优化与实现

作者：曹鹏北京交通大学

学位级别：硕士

现代信息社会中,随着数据量的增大,对大规模数据集进行聚类分析并生成有用信息的需求也在不断增加。如今对于大规模数据的聚类分析主要有以下难点：第一,聚类对机器内存容量的需求超出了单一计算机的硬件能力;第二,聚类分析时间过长,效... 详细信息

现代信息社会中,随着数据量的增大,对大规模数据集进行聚类分析并生成有用信息的需求也在不断增加。如今对于大规模数据的聚类分析主要有以下难点：第一,聚类对机器内存容量的需求超出了单一计算机的硬件能力;第二,聚类分析时间过长,效率无法得到提高。于是,对大规模数据上聚类算法的优化,可以归结为对数据规模的优化以及对算法在分布式平台上的优化。近年来,分布式计算平台spark得到了广泛关注, spark可以对于大规模数据进行内存上的迭代计算,使计算变得更加迅速,有着其它分布式平台无法比拟的优势。本文主要研究了基于spark平台上特定的聚类分析算法的优化和实现;与此同时,对于聚类数据进行一定的预处理,可以在其不改变聚类效果的前提下减少数据规模,提高运行效率。论文选取了近年来被提出且被广泛应用的聚类算法：近邻传播聚类与谱聚类作为优化对象。论文的主要工作如下：(1)针对聚类算法的数据规模问题,本文通过引入一种新的参数：阈值,对原始数据进行预处理。该方法根据聚类算法需要生成的类簇数,针对数据在空间中的密度计算出一定的阈值,在生成相似度矩阵时将低于该阈值的相似度数据删除,保留有效的相似度数据,从而优化数据结构并生成稀疏矩阵,在保证聚类效果不发生变化的同时减小数据规模。(2)对于近邻传播聚类算法,本文提出了一种基于spark平台上的分块式的近邻传播聚类算法。通过在spark平台使用二维索引的数据结构按照行进行分块并分配到每台机器中,在算法迭代中按照行分块计算归属度矩阵,并将生成结果按列存储;再按照列分块计算吸引度矩阵,并将生成结果按行存储,不断迭代最终生成聚类结果。从而实现算法在spark平台上数据的并行化,减少机器之间的数据传输,提高聚类算法的效率。(3)对于谱聚类算法,本文提出了一种基于spark 平台上并行Lanczos分解的的谱聚类算法。首先引入一种并行的Lanczos分解方法对原始拉普拉斯矩阵分解生成三元对角矩阵,降低了分解特征值计算的时间复杂度,该矩阵能够保留原矩阵的特征且很容易使用QR分解求解出其特征向量;其次引入上一步提出的分块近邻传播聚类算法替代原有的K-means算法,对降维后的中间结果进行聚类,减小中间结果的规模,从而优化生成聚类结果的时间效率。实验证明,以上对数据规模的预处理以及对两种算法的优化,在保证聚类准确性的同时,能够提高聚类的时间效率。本文的研究方法对数据聚类处理效率的提高有一定的帮助,对今后其他聚类算法的性能提升莫定了理论基础。

关键词：大数据分布式计算聚类分析 spark框架

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

网络评论热点发现并行算法研究

网络评论热点发现并行算法研究

作者：苏浩烟台大学

学位级别：硕士

网络评论指的是线上平台中对某个(类)实体或非实体的主观性描述。如今,网络评论的热点发现已成为人工智能领域在文本评论价值挖掘方向上的一个重要应用。伴随着网络评论数据规模近年来的指数型增长趋势,其接收对象在对其描述内容进行认... 详细信息

网络评论指的是线上平台中对某个(类)实体或非实体的主观性描述。如今,网络评论的热点发现已成为人工智能领域在文本评论价值挖掘方向上的一个重要应用。伴随着网络评论数据规模近年来的指数型增长趋势,其接收对象在对其描述内容进行认知层面加工时往往显得捉襟见肘。评论热点发现算法的设计在整个研究过程中起到了举足轻重的作用,在满足传统算法所具备的准确率基础上,更需要满足大规模数据时代新的应用背景所提出的更高可扩展性的要求。本文对网络评论的热点发现算法进行了相关技术的研究,其主要任务是从大规模网络评论中快速准确地发现对评论接受主体具有价值的热点信息,具体所做工作如下:首先,针对当前网络评论噪音多、内容杂及主体非结构化等特点,尝试将网络舆情控制中的热点发现思想引入到评论挖掘中来,提出了一种基于聚类的方面级评论挖掘算法(DM-CK)。算法将局部密度、最大最小距离算法、Canopy预聚类与K-means聚类算法巧妙地进行了融合,利用局部密度,最大最小距离算法对网络评论过滤筛选,并为Canopy与K-means聚类算法计算且优化阈值参数。最终,算法可以不通过人力设定热点的个数,并且可用以文本聚类的方式获取到评论数据最优的挖掘结果。实验表明,DM-CK算法可以有效地发现网络评论数据中的热点信息。其次,为了使算法具有处理海量评论数据的能力,将DM-CK算法在Hadoop平台上进行了并行算法的设计,提出了基于MapReduce的网络评论热点发现并行算法(MDM-CK)。该算法通过HDFS分布式文件存储系统实现了海量评论数据的分布式存储,使用Mapreduce计算框架对串行算法进行并行化设计并在Hadoop多节点的计算机集群环境下运行。最终,该算法在多个分布式任务节点并发执行下,实现了网络评论热点发现算法的并行化。实验表明,MDM-CK算法不仅可以实现网络评论数据的热点,还同时具备了处理海量数据的能力。最后,针对MDM-CK算法在MapReduce计算框架下需进行多次迭代的特点,使用spark平台对MDM-CK算法进行了优化改写,提出了基于spark的网络评论热点发现并行算法(SDM-CK)。该算法依托Saprk强大的高速内存计算框架进行优化,利用弹性分布数据集RDD在内存上高效读写的优势,进一步缩短了算法的执行时间。实验表明,SDM-CK算法在实现网络评论热点发现的同时对并行效率进行了进一步的提升。综合上述研究工作,可以将海量网络评论数据中的热点信息进行并行提取。通过分析这些热点信息可以有效地干预评论接受主体的决策并对评论对象提供相关指导,因此具有较高的研究价值。

关键词：评论热点提取文本聚类 MapReduce模型 spark框架 RDD弹性数据集