基于优化模型的支持向量机算法研究

作     者：雷东凡 

作者单位：曲阜师范大学 

学位级别：硕士

导师姓名：连淑君

授予年度：2024年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：非平行支持向量机 模型优化 平行双支持向量机 损失函数 稀疏性 KKT条件 

摘      要：支持向量机是机器学习领域的一个重要分支,是由Vapnik等人在20世纪90年代初提出的一种强大的监督学习计算工具.支持向量机因其坚实的统计学习理论基础、优秀的泛化能力和独特的数学模型而被广泛接受,应用于图像分割、手写识别、人脸识别及医学诊断等诸多领域.支持向量机由于在计算过程中少量的支持向量数目可以简化计算复杂度,一定程度上避免了“维数灾难.标准支持向量机通过间隔最大化实现结构风险最小化,最大化正类样本和负类样本之间的间隔来寻求两个平行的支撑超平面,并且选择中间的超平面为决策超平面.随着数据库的不断完善,为了进一步的提升分类性能,双子支持向量机、非平行支持向量机等一系列非平行分类器相继被提出,通过建立一对凸二次规划问题寻求两个非平行的拟合超平面进行分类.这些方法在处理交叉性较强的数据时有着良好的分类性能. 当前支持向量机的研究方向主要分为模型优化与算法改进.本文从模型优化的角度去进一步提升分类性能和运算效率,在现有模型的基础上,提出了改进的稀疏非平行支持向量机、双子非平行支持向量机、平行双支持向量机三种支持向量机新模型,并且给出对应的算法.最后通过数据实验说明了这三种模型的可行性和有效性.本文的具体安排如下: 第一章回顾支持向量机的研究背景、重要模型以及研究进展状况,并简单介绍本文的工作. 第二章提出改进的稀疏非平行支持向量机.在一类点远离另一类点对应的超平面的同时引入新的决策变量ε,使每类样本点分布在对应的ε-带内并使得ε-带尽可能小以更好的拟合训练样本.最后通过数值实验对比,说明了该模型的可行性和有效性. 第三章提出双子非平行支持向量机.提出新的优化模型,使得一类点在与另一类点对应的超平面保持一定距离的前提下,两者间的距离尽可能远,并且新模型对训练样本有较好的拟合.该模型具有类似于标准支持向量机的稀疏性.最后通过数值实验表明该模型具有良好的分类性能. 第四章提出平行双支持向量机.平行双支持向量机通过建立一个凸二次规划问题寻求两个平行的超平面进行分类,使得一类点到其对应的超平面的距离尽可能小,到另一类点对应的超平面的距离尽可能远,两个超平面的距离尽可能大.数值实验表明该模型具有较好分类性能和运算速率. 第五章总结了本文的研究内容与不足,并对之后的研究方向提出了意见.