支持向量机与最小二乘法的关系研究

作     者：阎辉 张学工 李衍达 

作者机构：清华大学自动化系 

出 版 物：《清华大学学报（自然科学版）》 (Journal of Tsinghua University(Science and Technology))

年 卷 期：2001年第41卷第9期

页      面：77-80页

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金资助项目 ( 6 9885 0 0 4) 

主　　题：支持向量机 最优分类面 最小二乘估计 最小范数解 统计学习理论 

摘      要：研究了支持向量机 (SVM)在二次损失函数下的优化问题解的形式 ,并与普通的最小二乘 (L S)估计问题进行了比较 ,得到了几乎完全一致的优化问题形式。由于 SVM在二次损失函数下的优化问题对应于一个欠定问题 ,该问题在最小二乘估计中有最小范数解。如果 SVM的参数选择合适 ,从理论上可以证明采用二次损失函数的 SVM函数拟合问题实际为约束最小二乘估计问题 ,并且该问题的解对应于最小范数最小二乘解。由于最小化范数解实际是 SVM在取某些参数时的一个特例 ,如果能够自动调整这些参数 ,则得到一类最小化范数解。由此提出了采用 SVM解决最小二乘法问题的思想 ,由于 SVM的优点 。