基于SCDV及各向异性调整BERT的文本语义消歧方法

作     者：李保珍 顾秀莲 Li Baozhen;Gu Xiulian

作者机构：南京审计大学信息工程学院南京211815 

出 版 物：《计算机应用研究》 (Application Research of Computers)

年 卷 期：2022年第39卷第10期

页      面：2979-2983页

学科分类：08[工学] 081203[工学-计算机应用技术] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金资助项目(72074117,71673122) 江苏现代财税治理协同创新中心资助项目(20WTB007) 江苏省研究生科研创新项目(KYCX21_1948)。 

主　　题：语义消歧 各向异性 BERT 稀疏复合文档向量 文本表示 

摘      要：文本表示需要解决文本词语的歧义性问题,并能够准确界定词语在特定上下文语境中的语义特征。针对词语的多义性及语境特征问题,提出了一种文本语义消歧的SCDVAB模型。其基于分区平均技术,将场景语料库转换为文档嵌入,并引入各向异性,改进了软聚类的稀疏复合文档向量(SCDV)算法,以提高BERT的语境化表示能力;将调整各向异性后的BERT词语嵌入,作为静态词语向量的文档嵌入,以提升文本语义消歧的能力。通过大量实验进一步证明,SCDVAB模型的效果明显优于传统的文本消歧算法,可有效提高文本语义消歧的综合性能。