检索结果-南通市图书馆

decoupled knowledge distillation method based on meta-learning

High-Confidence Computing 2024年第1期4卷 1-6页

作者： Wenqing Du Liting Geng Jianxiong Liu Zhigang Zhao Chunxiao Wang Jidong Huo Key Laboratory of Computing Power Network and Information Security Ministry of EducationShandong Computer Science Center(National Supercomputer Center in Jinan)Qilu University of Technology(Shandong Academy of Sciences)Jinan 250014China Shandong Provincial Key Laboratory of Computer Networks Shandong Fundamental Research Center for Computer ScienceJinan 250014China Aerospace Science&Industry Network Information Development Co. LTDBeijing 100854China

With the advancement of deep learning techniques,the number of model parameters has been increasing,leading to significant memory consumption and limits in the deployment of such models in real-time *** reduce the number of model parameters and enhance the generalization capability of neural networks,we propose a method called decoupled MetaDistil,which involves decoupled *** method utilizes meta-learning to guide the teacher model and dynamically adjusts the knowledge transfer strategy based on feedback from the student model,thereby improving the generalization ***,we introduce a decoupled loss method to explicitly transfer positive sample knowledge and explore the potential of negative samples *** experiments demonstrate the effectiveness of our method.

关键词： Model compression Knowledge distillation Meta-learning decoupled loss

来源：

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：