基于子词级别词向量和指针网络的朝鲜语句子排序

作     者：闫晓东 解晓庆 YAN Xiaodong;XIE Xiaoqing

作者机构：中央民族大学信息工程学院北京100089 国家语言资源监测与少数民族语言中心北京100089 

出 版 物：《中文信息学报》 (Journal of Chinese Information Processing)

年 卷 期：2022年第36卷第8期

页      面：54-61页

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主　　题：词向量 形态素拆分 指针网络 句子排序 

摘      要：句子排序是自然语言处理中的重要任务之一,其应用包括多文档摘要、问答和文本生成。不当的句子排序会产生逻辑不通顺的文本,使得文本的可读性降低。该文采用在中英文上大规模使用的深度学习方法,同时结合朝鲜语词语形态变化丰富的特点,提出了一种基于子词级别词向量和指针网络的朝鲜语句子排序模型,其目的是解决传统方法无法挖掘深层语义信息的问题。该文提出基于形态素拆分的词向量训练方法(MorV),同时对比子词n元词向量训练方法(SG),得到朝鲜语词向量;采用了两种句向量方法:基于卷积神经网络(CNN)、基于长短时记忆网络(LSTM),结合指针网络分别进行实验。结果表明采用MorV和LSTM的句向量结合方法可以更好地捕获句子间的语义逻辑关系,提升句子排序的效果。