图卷积网络与自注意机制在文本分类任务上的对比分析

作     者：蒋浩泉 张儒清 郭嘉丰 范意兴 程学旗 JIANG Haoquan;ZHANG Ruqing;GUO Jiafeng;FAN Yixing;CHENG Xueqi

作者机构：中国科学院计算技术研究所网络数据科学与技术重点实验室北京100190 中国科学院大学北京100049 

出 版 物：《中文信息学报》 (Journal of Chinese Information Processing)

年 卷 期：2021年第35卷第12期

页      面：84-93页

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081203[工学-计算机应用技术] 08[工学] 081104[工学-模式识别与智能系统] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：北京智源人工智能研究院项目(BAAI2019ZD0306) 国家自然科学基金(62006218,61902381,61773362,61872338) 中国科学院青年创新促进项目(20144310,2016102,2021100) 国家重点研发计划(2016QY02D0405) 联想-中科院联合实验室青年科学家项目 王宽诚教育基金会项目 重庆市基础科学与前沿技术研究专项项目(重点)(cstc2017jcjyBX0059) 

主　　题：图卷积网络 自注意机制 文本分类 

摘      要：图卷积网络近年来受到大量关注,同时自注意机制作为Transformer结构及众多预训练模型的核心之一也得到广泛运用。该文从原理上分析发现,自注意机制可视为图卷积网络的一种泛化形式,其以所有输入样本为节点,构建有向全连接图进行卷积,且节点间连边权重可学。在多个文本分类数据集上的对比实验一致显示,使用自注意机制的模型较使用图卷积网络的对照模型分类效果更佳,甚至超过了目前图卷积网络用于文本分类任务的最先进水平,并且随着数据规模的增大,两者分类效果的差距也随之扩大。这些证据表明,自注意力机制更具表达能力,在文本分类任务上能够相对图卷积网络带来分类效果的提升。