非平行超平面分类和回归机研究

作     者：卢振兴 

作者单位：新疆大学 

学位级别：硕士

导师姓名：杨志霞

授予年度：2013年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：支持向量机 非平行超平面 双支持向量机 正则项 最小二乘 

摘      要：支持向量机以统计学理论和结构风险最小化原则为基础,是解决机器学习问题的一个有力的工具.但传统的支持向量机的两个边界超平面是平行的,这就使得其推广性受到很大地限制.最近提出的双支持向量机就打破了这一限制,只需找到两个不平行的超平面.研究者们大都以非平行超平面思想为基础来寻求精度更高,计算时间更短的扩展算法,本文也有着同样的目的,分别提出了以下的分类与回归算法. 1.正则化v-双支持向量分类机.有研究成果表明,间隔可以控制分类错误率,间隔越大,分类错误率越小.对于v-双支持向量分类机,间隔为p/wTw,这里只通过p的大小来控制间隔,本文中将v-双支持向量分类机的目标函数中加入了正则项||w||2+b2,体现了结构风险最小化原则.在数值实验中就可以看出本算法的优越性. 2.最小二乘双支持向量回归机.本文提出了一个最小二乘双支持向量回归机,它是在双支持向量回归机基础之上建立的,打破了标准支持向量回归机利用两条平行超平面构造ε带的思想.事实上,它是利用两条不一定平行的超平面构造ε带,从而得到最终的回归函数,这使我们的回归算法有更好的推广能力.另外,最小乘双支持向量回归机只需求解两个较小规模的线性方程组就能得到最后的回归函数,其计算复杂度相对较低.数值实验也表明我们的回归算法在推广能力和计算效率上有一定的优势.