语言知识驱动的词嵌入向量的可解释性研究

作     者：林星星 邱晓枫 刘扬 虞梦夏 祁晶 康司辰 LIN Xingxing;QIU Xiaofeng;LIU Yang;YU Mengxia;QI Jing;KANG Sichen

作者机构：哈尔滨工业大学(深圳)计算机科学与技术学院广东深圳518055 北京大学计算语言学教育部重点实验室北京100871 北京大学中国语言文学系北京100871 

出 版 物：《中文信息学报》 (Journal of Chinese Information Processing)

年 卷 期：2020年第34卷第8期

页      面：1-9页

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家社会科学基金(16BYY137、18ZDA295) 

主　　题：可解释性 词嵌入向量 伪语料法 

摘      要：神经网络语言模型应用广泛但可解释性较弱,其可解释性的一个重要而直接的方面表现为词嵌入向量的维度取值和语法语义等语言特征的关联状况。先前的可解释性工作集中于对语料库训得的词向量进行知识注入,以及基于训练和任务的算法性能分析,对词嵌入向量和语言特征之间的关联缺乏直接的验证和探讨。该文应用基于语言知识库的伪语料法,通过控制注入语义特征,并对得到的词嵌入向量进行分析后取得了一些存在性的基础性结论:语义特征可以通过控制注入到词嵌入向量中;注入语义特征的词嵌入向量表现出很强的语义合成性,即上层概念可以由下层概念表示;语义特征的注入在词嵌入向量的所有维度上都有体现。