基于超球坐标的复数词向量位置编码研究

作     者：安俊秀 杨林旺 柳源 

作者机构：成都信息工程大学软件工程学院 

出 版 物：《微电子学与计算机》 (Microelectronics & Computer)

年 卷 期：2024年

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家社会科学基金资助项目(22BXW048) 成都市科技重点研发支撑计划项目(2022-YF05-00454-SN) 

主　　题：位置编码 复数词向量 超球坐标 

摘      要：现有的位置编码方法采用绝对位置编码和相对位置编码，但两种编码方式的缺点都源自元素信息和其位置信息的分离。为解决这一问题，提出基于超球坐标的复数词向量中的位置编码方法（HCCPE）。借鉴复数编码的思想，采用超球坐标将元素信息和位置信息统一编码，首先，采用绝对位置编码生成角度坐标。其次，采用中心点方法求得超球半径。最后，将超球坐标系中表示的向量重新转移回原始坐标系。考虑到融合位置信息后，词向量会受到位置特征的影响而失去部分原始语义信息，因此，通过设置不同的权重系数，来确保融合结果既包含位置信息，又保留原始语义信息。实验结果表明，在机器翻译和文本分类任务上，基于WMT2016数据集的实验中，所提方法的BLEU值提升了1.16%;基于CR，MPQA，SUBJ，MR，SST和TREC数据集的实验中，所提方法相比已有基线模型取得了较好的效果。