检索结果-南通市图书馆

y-tuning: an efficient tuning paradigm for large-scale pre-trained models via label representation learning

Frontiers of Computer Science 2024年第4期18卷 107-116页

作者： Yitao LIU Chenxin AN Xipeng QIU School of Computer Science Fudan UniversityShanghai 200433China

With current success of large-scale pre-trained models(PTMs),how efficiently adapting PTMs to downstream tasks has attracted tremendous attention,especially for PTMs with billions of *** work focuses on designing parameter-efficient tuning paradigms but needs to save and compute the gradient of the whole computational *** this paper,we propose y-tuning,an efficient yet effective paradigm to adapt frozen large-scale PTMs to specific downstream tasks.y-tuning learns dense representations for labels y defined in a given task and aligns them to fixed feature *** computing the gradients of text encoder at training phrase,y-tuning is not only parameterefficient but also *** results show that for DeBERTaxxL with 1.6 billion parameters,y-tuning achieves performance more than 96%of full fine-tuning on GLUE Benchmark with only 2%tunable parameters and much fewer training costs.

关键词： pre-trained model lightweight fine-tuning paradigms label representation

来源：

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：