基于多门混合专家网络的情感分析与文本摘要多任务模型

作     者：杨程 车文刚 YANG Cheng;CHE Wengang

作者机构：昆明理工大学信息工程与自动化学院云南昆明650500 

出 版 物：《现代电子技术》 (Modern Electronics Technique)

年 卷 期：2024年第47卷第1期

页      面：94-99页

学科分类：11[军事学] 0810[工学-信息与通信工程] 1105[军事学-军队指挥学] 08[工学] 081203[工学-计算机应用技术] 0835[工学-软件工程] 081002[工学-信号与信息处理] 110503[军事学-军事通信学] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主　　题：机器学习 多任务学习 注意力机制 多门混合专家网络 情感分析 文本摘要 

摘      要：在目前机器学习应用场景中,大多数方法仍然专注于孤立地学习单个任务,即为每个任务建立一个单独的模型。然而许多现实问题需要多模态的方法来解决,因此需要采用多任务模型。目前多门混合专家网络MMoE在多任务领域取得了不错的效果,然而在针对特定领域的学习仍然存在没有专注于独立任务的信息学习、学习任务之间联系能力不足的问题。为此,文中在多门混合网络专家模型上针对情感分析和文本摘要这一特定领域进行了优化,采用基于解码器的架构针对MMoE的架构进行重构;为解决重新设计架构带来的数据格式和流向变化的问题,同时增加针对任务独有信息的学习,设计了新的门控制网络架构;基于情感分析与文本摘要互助理论,提出两种门控制网络权值修改机制,并通过实验选择性能最佳的机制和参数。最后通过改进前后的性能对比和消融实验,证明了在情感分析和文本摘要领域,所提模型有着更优于MMoE的性能,并且每个优化都对模型性能提升有所贡献。