带有半渐进式分层提取机制的轻量化多任务模型

作     者：杨程 车文刚 YANG Cheng;CHE Wengang

作者机构：昆明理工大学信息工程与自动化学院云南昆明650500 

出 版 物：《现代电子技术》 (Modern Electronics Technique)

年 卷 期：2024年第47卷第3期

页      面：18-24页

学科分类：080902[工学-电路与系统] 0809[工学-电子科学与技术（可授工学、理学学位）] 08[工学] 081203[工学-计算机应用技术] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主　　题：多任务学习 渐进式分层提取 轻量化 不确定性损失权重 联合损失优化 UCI 

摘      要：多任务学习目前广泛被应用于各大领域,然而大部分效果较佳的模型都有着复杂的网络层级和架构,导致这些多任务学习模型很难被应用于资源有限的设备上,例如:经费有限但是人口基数大的国家或地区进行人口普查预测、便携设备的翻译等任务。为解决这一问题,提出半渐进式分层提取的轻量化多任务模型。模型首先通过对顶层任务独有的专家模块进行剪枝,将原先负责提取每个独立任务深层信息的工作交由每个任务的塔层模块进行。这一做法使得模型既能轻量化,同时也保留了将任务共享参数和任务独有参数分离及分层次提取信息的特点。为了弥补剪枝后模型性能及准确率上的下降,参考不确定性对损失加权的思想,引入动态联合损失进行优化,使得模型可以不断预测任务之间重要性对每个任务的损失进行权值调整。同时,也对部分超参数进行调优。通过模型在公共数据集UCI人口普查-收入数据集上的评估,最终证明模型有着与轻量化之前不分上下的性能。