精确增量式ε型孪生支持向量回归机

作     者：曹杰 顾斌杰 潘丰 熊伟丽 CAO Jie;GU Bin-jie;PAN Feng;XIONG Wei-li

作者机构：江南大学轻工过程先进控制教育部重点实验室江苏无锡214122 

出 版 物：《控制理论与应用》 (Control Theory & Applications)

年 卷 期：2022年第39卷第6期

页      面：1020-1032页

核心收录：

学科分类：08[工学] 081104[工学-模式识别与智能系统] 0714[理学-统计学（可授理学、经济学学位）] 0811[工学-控制科学与工程] 0701[理学-数学] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金项目(61773182)资助。 

主　　题：机器学习 增量学习 在线学习 孪生支持向量回归机 学习算法 可行性分析 有限收敛性分析 

摘      要：为了解决现有ε型孪生支持向量回归机的训练算法无法高效处理线性回归的增量学习问题,提出了一种精确增量式ε型孪生支持向量回归机(AIETSVR).首先通过计算新增样本的拉格朗日乘子以及调整边界样本的拉格朗日乘子,尽可能减少新增样本的二次损失对原有样本的影响,使得大部分原有样本依然满足Karush–Kuhn–Tucker(KKT)条件,从而获得一个有效的初始状态;其次对异常拉格朗日乘子逐步调整至满足KKT条件;然后从理论上分析了AIETSVR的可行性和有限收敛性;最后在基准测试数据集上进行仿真.结果表明,与现有的代表性算法相比,AIETSVR能够获得精确解,在缩短大规模数据集的训练时间上优势显著.