检索结果-南通市图书馆

检索条件"导师=秦传东"

共 13 条记录，以下是11-20 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

基于Spark的层叠支持向量机研究

基于Spark的层叠支持向量机研究

引用

作者：赵茹北方民族大学

学位级别：硕士

随着大数据时代的到来,如何处理大数据成为了人们关注的焦点。支持向量机可以很好的处理数据分类和回归问题,但是此算法的空间复杂度和时间复杂度都很高,所以当数据集的规模很大时,会导致数据的存储空间和训练时间成倍增长。为了解决这... 详细信息

随着大数据时代的到来,如何处理大数据成为了人们关注的焦点。支持向量机可以很好的处理数据分类和回归问题,但是此算法的空间复杂度和时间复杂度都很高,所以当数据集的规模很大时,会导致数据的存储空间和训练时间成倍增长。为了解决这些问题,基于Spark分布式计算框架将支持向量机模型并行化。主要包含以下工作:首先,层叠支持向量机模型(Cascade SVM)作为一种分布式模型,能够有效减少运行时间,但是Cascade SVM的准确率比单机SVM的低,所以我们将Cascade SVM第二层子模型两两合并的结构改为混合合并,并且基于Spark实现改进的Cascade SVM,从而在一定程度上提高模型的准确率。其次,为了进一步提高Cascade SVM的准确率,我们使用鲸鱼优化算法(WOA)对SVM的惩罚参数C和核函数参数g进行寻优。由于WOA容易陷入局部最优解无法达到全局最优解,所以将WOA的线性收敛因子修改为非线性收敛因子,并引入柯西变异因子增加搜寻全局最优解的可能性,将改进后WOA对参数C和g寻优。经过8个基准测试函数的验证,改进WOA优于基础WOA和粒子群算法。最终,通过LibSVM网站中的数据作为实验数据集,从训练时间、准确率和支持向量个数上比较单机SVM、Cascade SVM和改进的Cascade SVM的性能。实验结果表明,在数据规模较大时,改进Cascade SVM相比于单机SVM的运行时间大幅降低,虽然相比基础的Cascade svm运行时间稍长,但是改进模型的准确率要优于其他两种模型,全局支持向量的个数也多于其他两种模型。

关键词：支持向量机层叠支持向量机 Spark分布式计算框架鲸鱼优化算法

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

改进随机梯度下降的支持向量机并行计算及其应用研究

改进随机梯度下降的支持向量机并行计算及其应用研究

引用

作者：邱启慧北方民族大学

学位级别：硕士

支持向量机(Support Vector Machine,SVM)在处理大规模数据集时需要大量的训练时间和内存空间,使用随机梯度下降法迭代求解并应用于并行环境可以减少训练时间和内存空间,本文由此为切入点探索更好的求解方式,主要工作为以下两点:(1)提... 详细信息

支持向量机(Support Vector Machine,SVM)在处理大规模数据集时需要大量的训练时间和内存空间,使用随机梯度下降法迭代求解并应用于并行环境可以减少训练时间和内存空间,本文由此为切入点探索更好的求解方式,主要工作为以下两点:(1)提出使用改进加权线性随机梯度下降法(Improved Weighted Linear Stochastic Gradient Descent,IWLSGD)从原问题角度求解支持向量机(IWLSGD-SVM)。通过引入罚函数将支持向量机有约束的原问题转化为无约束问题,支持向量机的无约束形式为凸优化问题,可以使用优化算法迭代求解。使用传统方式求解SVM需要进行大量的矩阵计算,耗时较多。为了提高计算速度,本文设计使用线性随机梯度下降(Linear Stochastic Gradient Descent,LSGD)求解支持向量机算法(LSGD-SVM)。实际问题中大部分数据分布并不平衡,为提高分类准确率,使用改进的加权方式矫正分类超平面以此改进LSGD-SVM算法。其中,权重设计考虑两类样本的相对数量,在一定程度上避免极端性和片面性。将设计算法应用于测试数据,实验表明:随机梯度求解支持向量机速度快于传统求解方式,本文提出的IWLSGD-SVM算法在分类准确率和时间表现上均优于LSGD-SVM。(2)提出基于Spark框架下并行计算模型。首先,在单机上搭建分布式平台,配置集群文件,连接外部编译器。然后,本文为提高计算效率设计批量同步并行的IWLSGD-SVM模型,模型中采用了数据并行方式,通讯类型选择同步并行。最后,分别使用两组不同数据量级的风力发电机组数据验证批量同步并行算法有效性,实验表明:在大规模数据集下,此方法分类准确率高于单机模式下的分类准确率,并且耗时更短,达到了求解效率更高的效果。

关键词：随机梯度权重支持向量机并行计算不平衡数据

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Spark环境下的机器学习在商品推荐中的应用研究

基于Spark环境下的机器学习在商品推荐中的应用研究

引用

作者：王宇幸北方民族大学

学位级别：硕士

随着各大电商平台的产生和在线购物用户数量的不断增长,用户面对种类繁多的商品信息时会出现选择困难的情况,同时各个购物平台面对海量的用户群体也尝试各种营销方法对用户的购买意愿进行正向刺激以此来提升销售额。基于上述需求,推荐... 详细信息

随着各大电商平台的产生和在线购物用户数量的不断增长,用户面对种类繁多的商品信息时会出现选择困难的情况,同时各个购物平台面对海量的用户群体也尝试各种营销方法对用户的购买意愿进行正向刺激以此来提升销售额。基于上述需求,推荐系统在当今社会中发挥着不可或缺的作用,它借助算法能够从海量的数据中为用户挑选用户想要的信息或者商品。本文采用阿里巴巴移动电商平台的真实用户行为数据,经选取后得到2014年11月22日至2014年12月5日的用户-商品交互行为数据,时间跨度为两周,该数据包含约1000万条样本数据,第一周的用户行为数据作为训练集,第二周的数据作为测试集,预测目标是用户在每周的周五是否购买用户在上周六至本周四发生过交互行为的商品,购买为正类,未购买为负类。首先训练集和测试集中分别通过用户、商品和商品类别三个角度进行特征提取,由于发生购买行为的样本占总样本的比例很小,数据的不平衡会导致模型性能的失效,因此对未发生购买行为的样本进行基于K均值聚类的下采样处理。采样过后的数据作为本文最终的建模数据。其次考虑到数据量很大,因此本文从Spark分布式环境出发,先分别单独使用逻辑回归(LR)、梯度提升决策树(GBDT)和随机森林(RF)进行建模分析,实验结果表明无论在训练集还是测试集中GBDT的效果最好,为进一步提高模型预测效果,融合Stacking和深度森林的思想,构造GBDT-RF-LR组合模型,使用并联的方式组合GBDT和RF并输出增强特征矩阵,与训练数据合并成新数据集,再使用逻辑回归进行训练,结果表明组合模型的拟合效果和泛化能力都要优于单个模型;在单机模式下,使用Spark环境下相同的模型和深度森林进行建模分析,最后对比两种环境下的结果,Spark分布式环境下的模型预测精度更高。因此,本文认为在商品推荐中应用Spark环境下组合模型的效果最好。

关键词：推荐系统 Spark 逻辑回归梯度提升决策树深度森林组合模型

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

全选清除本页清除全部题录导出标记到“检索档案”

共2页 << < 1 2 > >> 跳转到页

回到顶部

执行限定条件

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：