Swin Transformer轻量化:融合权重共享、蒸馏与剪枝的高效策略
Swin Transformer lightweight:an efficient strategy that combines weight sharing,distillation and pruning作者机构：南京信息工程大学电子与信息工程学院江苏南京210044 国防科技大学第六十三研究所江苏南京210007
出 版 物：《电信科学》 (Telecommunications Science)
年 卷 期：2024年第40卷第9期
页 面：66-74页
学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）]
主 题：偏移窗口的分层视觉转换器 模型轻量化 推理加速 剪枝 蒸馏 权重共享
摘 要：偏移窗口的分层视觉转换器(Swin Transformer)因其优秀的模型能力而在计算机视觉领域引起了广泛的关注,然而Swin Transformer模型有着较高的计算复杂度,限制了其在计算资源有限设备上的适用性。为缓解该问题,提出一种融合权重共享及蒸馏的模型剪枝压缩方法。首先,在各层之间实现了权重共享,并添加变换层实现权重变换以增加多样性。接下来,构建并分析变换块的参数依赖映射图,构建分组矩阵F记录所有参数之间的依赖关系,确定需要同时剪枝的参数。最后,蒸馏被用于恢复模型性能。在ImageNet-Tiny-200公开数据集上的试验表明,在模型计算复杂度减少32%的情况下,最低仅造成约3%的性能下降,有效降低了模型的计算复杂度。为实现在计算资源受限环境中部署高性能人工智能模型提供了一种解决方案。
维普期刊数据库
同方期刊数据库