基于NLP的文本相似度检测方法
Text similarity detection method based on NLP作者机构：北京交通大学经济管理学院北京100044 北京信通传媒有限责任公司北京100078
出 版 物：《通信学报》 (Journal on Communications)
年 卷 期：2021年第42卷第10期
页 面：173-181页
核心收录：
学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）]
主 题：文本相似度 词语位置权重 层次分析法 特征词提取 Pearson相关系数
摘 要：针对当前的文本相似度检测方法忽略文档结构信息、缺乏语义关联性的问题,提出了面向文本的相似度检测方法。首先,采用层次分析法(AHP)计算词语位置权重以提取特征词。其次,引入Pearson相关系数度量词语间的语义关联,并将其作为广义Dice系数的权重计算相似度。实验表明,所提方法在提高特征词提取的精确度、相似度计算结果的准确率方面表现良好。
维普期刊数据库
同方期刊数据库