编码器中自注意力机制的替代方案

作     者：周祥生 林震亚 郭斌 ZHOU Xiangsheng;LIN Zhenya;Guo Bin

作者机构：南京中兴新软件有限责任公司 

出 版 物：《现代信息科技》 (Modern Information Technology)

年 卷 期：2019年第3卷第19期

页      面：64-68页

学科分类：0810[工学-信息与通信工程] 08[工学] 081104[工学-模式识别与智能系统] 0811[工学-控制科学与工程] 

主　　题：自注意力机制 CNN RNN 动态路由 编码器 

摘      要：本文针对Transformer中编码器进行改进,尝试了包括RNN(recurrentneuralnetwork)、CNN(convolutionalneuralnetwork)、动态路由等多种结构,对比其特征提取能力及对解码器的影响。实验表明,在编码器中引入RNN、IndRNN结构可以在一定程度上增加编码器对源语言的特征提取能力,而采用CNN替代编码器中的自注意力机制(self-attention)可以在不明显影响结果的情况下显著降低参数量,提升模型性能。由于考虑参数量和执行时间,动态路由在该任务下效果不好,这也说明了动态路由结构虽然是很强的特征提取器,但并不适合进行堆叠。