基于统计因果性及最优传输的文本分类模型

作     者：聂挺 邢凯 李静娟 NIE Ting;XING Kai;LI Jingjuan

作者机构：中国科学技术大学计算机科学与技术学院合肥230026 中国科学技术大学苏州高等研究院江苏苏州215123 

出 版 物：《计算机工程与应用》 (Computer Engineering and Applications)

年 卷 期：2023年第59卷第11期

页      面：119-130页

核心收录：

学科分类：08[工学] 081104[工学-模式识别与智能系统] 0811[工学-控制科学与工程] 

基　　金：国家自然科学基金(61332004)。 

主　　题：文本分类 格兰杰因果关系检验 最优传输理论 预训练模型 

摘      要：近年来随着数据规模和算力水平的提高,深度学习及相关预训练模型如CNN、BERT等在文本分类领域取得了较快的进展。但这些模型仍然有提取分布特征能力不强、泛化性能较差等问题。目前针对这一问题,常见的做法是改进模型的结构或者扩充训练的数据集来改善性能,然而这些方法依赖于大量数据集和大量算力的网络结构修剪。因此提出一种基于格兰杰因果关系检验和最优传输理论的深度学习预训练模型优化方法。从数据分布角度出发,生成深度学习预训练模型中能够稳定提取分布信息的特征通路结构。在此基础上,基于最优传输距离给出特征通路结构的最优组合,生成在统计分布上具有稳定性的多视角结构化表征。理论分析和实验结果表明,该方法大幅降低了模型优化过程中数据和算力的要求。对比基于卷积结构的预训练模型如CNN,在20ng news、Ohsumed、R8数据集上分别有5、7和2个百分点的提升,对比基于Transformer结构的预训练模型如BERT分别有2、3和2个百分点的提升。