基于神经正切核的小数据集回归任务
Neural Tangent Kernel based regression task for small data sets作者机构:兰州交通大学兰州730070
出 版 物:《信息技术》 (Information Technology)
年 卷 期:2024年第48卷第5期
页 面:73-80页
学科分类:081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术(可授工学、理学学位)]
基 金:甘肃省教育厅优秀研究生创新之星项目(2022CXZX-590)
摘 要:回归是常见的一类任务,两类特殊的回归模型:支持向量回归(SVR)与核岭回归(KRR)通过核函数解决数据在原始空间线性不可分的问题。一种新型核函数(NTK)被提出用于拟合无限宽神经网络的训练过程,相关研究显示NTK利于处理小数据集。选取多领域数据集在两种模型中比较NTK与常用核的性能,并对NTK进行了鲁棒性研究。结果表明NTK-SVR模型在部分数据集上取得了2.5%~20%的提升。