基于Spark并行SVM参数寻优算法的研究

作     者：何经纬 刘黎志 彭贝 付星堡 HE Jingwei;LIU Lizhi;PENG Bei;FU Xingbao

作者机构：智能机器人湖北省重点实验室(武汉工程大学)湖北武汉430205 武汉工程大学计算机科学与工程学院湖北武汉430205 

出 版 物：《武汉工程大学学报》 (Journal of Wuhan Institute of Technology)

年 卷 期：2019年第41卷第3期

页      面：283-289页

学科分类：08[工学] 0835[工学-软件工程] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：武汉工程大学第十届研究生教育创新基金(CX2018215) 

主　　题：支持向量机 参数寻优 Spark 并行度 负载均衡 

摘      要：针对传统支持向量机(SVM)参数寻优算法在处理大样本数据集时存在的寻优时间过长,内存消耗过大等问题,提出了一种基于Spark通用计算引擎的并行可调SVM参数寻优算法。该算法首先使用Spark集群将训练集以广播变量的形式广播给各个Executor,然后并行化SVM的参数寻优过程,并在在寻优过程中控制Task并行度,使各个Executor负载均衡,从而加快寻优速度。实验结果表明,本文提出的参数寻优算法,通过设置合理的Task并行度,可以在充分使用集群资源的同时提高最优参数的寻找速度,减少寻优时间。