检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于有序神经元LSTM的短文本相似性检测

计算机应用与软件 2021年第12期38卷 314-319,340页

作者：吴迎岗广东工业大学计算机学院广东广州510006

针对自然语言处理中短文本相似度问题,提出一种基于有序神经元长短期记忆神经网络(Ordered Neurons-Long Short Term Memory,ON-LSTM)的短文本相似度匹配方法。将神经元经过特定排序使层级结构融入到LSTM中,自动学习到层级结构信息,更... 详细信息

针对自然语言处理中短文本相似度问题,提出一种基于有序神经元长短期记忆神经网络(Ordered Neurons-Long Short Term Memory,ON-LSTM)的短文本相似度匹配方法。将神经元经过特定排序使层级结构融入到LSTM中,自动学习到层级结构信息,更好地表示文本深层次语义信息,并通过Independent Component(IC)层加快收敛速度,结合整体语义信息表示来计算语义相似度。在数据集上进行多组实验表明,该模型取得81.05%的准确率,有效提升短文本相似的准确率,且收敛速度更快,在一定程度上提高文本语义分析能力。

关键词： ON-LSTM 文本相似深度学习词义信息

一种基于Hadoop的文本相似度仿真检测模型

在线全文

学校读者我要写书评

暂无评论

新疆大学学报（自然科学版） 2017年第3期34卷 308-315页

作者：吴云许抗震黄瑞章贵州大学计算机科学与技术学院贵州贵阳550025

随着信息时代数据量成倍的增长,传统的文本相似度检测方法已经无法处理大规模的文本数据.为此,提出了一种基于Hadoop集群技术的文本相似度仿真检测模型.该检测模型分为三步:第一步,利用Hadoop工具搭建实验平台,并针对该平台进行硬件和... 详细信息

随着信息时代数据量成倍的增长,传统的文本相似度检测方法已经无法处理大规模的文本数据.为此,提出了一种基于Hadoop集群技术的文本相似度仿真检测模型.该检测模型分为三步:第一步,利用Hadoop工具搭建实验平台,并针对该平台进行硬件和软件的优化;第二步,把文档转化为集合,使用改进的基于Map Reduce编程模型的Shingling算法;第三步,提出一种分布式的New Minhash算法求签名矩阵,然后利用Jaccard系数计算出相似度,选出相似的文档.实验证明:对于相同操作,优化后的性能耗时减少了近5.65%.该仿真模型不仅能够更加精确的求出文本相似度,而且能够更好的适应分布式平台处理大规模的文本数据,同时拥有良好的扩展性.

关键词：文本相似 Minhash Shingling Hadoop

在线全文

学校读者我要写书评

暂无评论

WDS:基于词向量的文本相似函数

计算机科学 2018年第B11期45卷 113-116页

作者：王路琪龙军袁鑫攀中南大学软件学院长沙410075 湖南工业大学计算机与通信学院湖南株洲412000

为进一步提高文本相似度计算的准确性,在系统相似函数的架构下,提出了基于词向量的文本相似函数WDS(Word Documents Similarity)及其优化算法FWDS(Fast Word Documents Similarity)。该函数将文本词语集合对应的词向量集合看作系统,将... 详细信息

为进一步提高文本相似度计算的准确性,在系统相似函数的架构下,提出了基于词向量的文本相似函数WDS(Word Documents Similarity)及其优化算法FWDS(Fast Word Documents Similarity)。该函数将文本词语集合对应的词向量集合看作系统,将词语对应的词向量看作系统的元素,则两个文本相似度就是两个向量集合的相似度。在具体计算时,以第一个向量集合为标准进行两个向量集合的对齐操作,同时计算相似元与非相似元的多个参数。实验结果表明,随着文本长度的增加,与WMD和WJ算法相比,WDS表现出了较高的命中率。

关键词：文本相似词向量系统相似函数相似元权值

在线全文

学校读者我要写书评

暂无评论

基于simhash的文本相似检测算法研究

基于simhash的文本相似检测算法研究

作者：姜雪中国工程物理研究院

学位级别：硕士

文本相似检测算法在海量自然语言文本信息处理中具有广泛的应用,包括常见的科技论文查重、大规模网页去重、科技论文自动摘要等。尤其是simhash指纹算法,不仅生成的指纹满足局部敏感特性,即通过指纹之间的距离度量就可以体现文本的相似... 详细信息

文本相似检测算法在海量自然语言文本信息处理中具有广泛的应用,包括常见的科技论文查重、大规模网页去重、科技论文自动摘要等。尤其是simhash指纹算法,不仅生成的指纹满足局部敏感特性,即通过指纹之间的距离度量就可以体现文本的相似程度。同时,该算法的指纹检索匹配过程因采用索引的方式而效率较高,能够在大规模文件系统中快速进行检索。经过历年来研究者的实验验证,simhash算法在文本检测过程中都有不错的表现。然而,不同于简单的完全重复查找,自然语言的复杂性对文本语义相似性的计算造成了极大的困难。simhash算法的设计初衷是为了在大规模数量的网页中去掉相同的网页,即只需要将文本表面内容完全或部分相同的内容筛选出来就可。而这里面不涉及文本的语义信息,无法支持近义词、多义词等自然语言处理上的语义问题。因此,利用simhash算法在文本处理上的“降维”优势,以及检索过程中的高效性,针对其不能对语义相似的文本内容进行识别,本文进行了基于simhash算法的语义相似性检测算法研究。首先,本文分析了常见文本相似计算算法的特点及其优缺点,通过比较分析,阐述了本文选择simhash算法作为基础算法进行改进研究的理由,并进一步指出其现有问题及针对这方面问题进行改进的研究思路。其次,针对simhash在文本语义相似性表现上的不足,通过对现有同义词扩展方案的研究,提出了基于同义词词林及上下文的语义编码设计。进一步地,根据本文所划分文本块的粒度特点,对指纹权值的确定进行修改,提出利用词汇词性作为权值的调整方案。综合改进方案,提出了融入同义词信息的语义指纹生成算法,解决了无法识别替换同义词的相似文本问题。另外,在海量文本的相似性检测过程中,需要在规模巨大的指纹库中进行比对操作,检索效率对整个算法的性能表现有很大影响。为提高匹配检索效率,在索引思想的基础上,提出将指纹进行分段,并结合位置信息生成分段索引的方案。在理论上,省去了大量冗余的比较计算,提升了整体的检测速度。最后,通过开发原型系统,并与其他文本相似检测算法进行对照实验验证。证明了本文所提出的基于语义指纹的相似文本检测算法可以用于解决当前simhash算法无法支持同义词替换识别以及一词多义判定问题,同时提升了检测效率,在今后更大规模的文本相似检测系统中可以有良好的表现。

关键词：文本相似语义指纹 simhash 同义词扩展分段索引

基于词语权重分析的中文文本相似检测技术研究

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于词语权重分析的中文文本相似检测技术研究

作者：陈靖元郑州大学

学位级别：硕士

在当今互联网环境下,愈来愈多的文档出现被随意复制、修改、变换格式、替换同义词等现象,这将导致大量核心内容甚至全部内容一样的文档产生。这些近似或重复文档在文件存储和信息检索任务中都会耗费大量的成本和时间,也会对互联网信息... 详细信息

在当今互联网环境下,愈来愈多的文档出现被随意复制、修改、变换格式、替换同义词等现象,这将导致大量核心内容甚至全部内容一样的文档产生。这些近似或重复文档在文件存储和信息检索任务中都会耗费大量的成本和时间,也会对互联网信息的质量和传播造成一定负面影响。因此,为了减少此类文档所带来的浪费,一种高效且精确的相似文档检索技术是十分必要的。将一篇文本映射为一个低维的向量,然后通过对比不同向量之间的相似度来判断文本是否相似,是目前相似文本检测任务中常用的技术之一,如Simhash算法。但已有的研究往往是为了去除海量网页中的重复网页,未能较好考虑文本表达过程中各个词语的特征信息,所以精度有所欠缺。为了提高相似文本检测的精度,本文对词语权重计算策略以及相似文本检测算法进行了研究,在此基础上,对经典的Simhash算法进行了改进和优化。本文的主要研究工作如下:（1）针对目前基于知识库的中文词语相似度算法使用单一知识库而导致计算结果信息不完备的问题,本文提出一种融合How Net和同义词词林的词语相似度计算方法。在现有的基于How Net信息内容的词语相似度算法和基于同义词词林信息内容的词语相似度算法基础上,根据词语的不同分布情况提出了一种动态融合两个知识库的策略,充分利用了How Net和同义词词林中的体系结构信息来计算词语的相似度。实验表明,与刘群等几个具有代表性的方法相比,本文方法和MC30人工判定值之间的皮尔逊相关系数平均提高了0.112。（2）针对传统的词权算法无法准确表示词语对于文本的重要程度,本文提出了一种基于词语多特征的词语权重计算方法。传统的TF-IDF算法中没有考虑词语本身的特点而仅考虑词语在文本和数据集中出现的频率,本文分析了中文文本编写者的表达习惯和词语中包含的主题语义信息后,提出一种包含词语的长度特征、词性特征、位置特征和标题匹配度的MFTF-IDF（Multiple Features TF-IDF）词权算法。经实际新闻文本分类实验验证,该方法相较于传统TF-IDF提升了3.28%的精确率,说明这种综合考虑词语多特征的算法可以提高文本表征的准确度。（3）针对Simhash在相似文本检测任务表现上查准率较低的不足,本文使用MFTF-IDF词权算法改进了Simhash指纹的生成过程。传统的Simhash在计算特征词权重时仅使用单一简单算法,如布尔权重、TF权重或TF-IDF权重,在生成文本指纹的过程中易丢失文本语义信息。本文使用基于MFTF-IDF改进的Simhash算法来生成文本指纹,将数据集中的文本映射成一个个低维的向量,最后通过判断文本指纹之间的相似性来达到相似文档检测的目的。相似文本检测实验结果表示,改进后的Simhash指纹算法相较于传统的Simhash,平均查准率提高了5.47%,表明该算法可以提高文本指纹的表征能力。

关键词：词语相似度计算词语权重 TF-IDF Simhash 文本相似

美国商业管制清单与专利自动映射方法及实证研究

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

情报学报 2022年第1期41卷 50-61页

作者：吕璐成韩涛陈芳王学昭赵亚娟郭世杰中国科学院文献情报中心中国科学院大学经济与管理学院图书情报与档案管理系

为了高效分析中美在美国商业管制清单(Commerce Control List,CCL)记录的管制技术上的差距,针对CCL清单数据非结构化程度高的问题,提出了一种管制清单数据和专利数据的自动映射方法,实现了从专利视角自动揭示中美技术差距。基于文本挖... 详细信息

为了高效分析中美在美国商业管制清单(Commerce Control List,CCL)记录的管制技术上的差距,针对CCL清单数据非结构化程度高的问题,提出了一种管制清单数据和专利数据的自动映射方法,实现了从专利视角自动揭示中美技术差距。基于文本挖掘的思想,研究制定了管制清单文本规范化流程,提出了基于TF-IDF (term frequency-inverse document frequency)和Word2Vec的管制清单数据与专利数据自动映射方法和效果评价指标。以2019年美国商业管制清单和2018年全球PCT (Patent Cooperation Treaty)专利申请数据为例进行实证研究,通过评估模型效果,最终发现当文本相似度阈值为0.87时,Word2Vec模型的自动映射结果最优,并以此开展技术差距分析。本研究提出的方法能够自动化映射管制清单数据和专利数据并开展情报分析,分析结果具有较高的可解释性,是提升情报分析时效性的有力手段,具有较高的实际应用价值。

关键词：商业管制清单专利数据文本相似 Word2Vec 技术差距

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

电子招投标中的文本处理技术方法研究与实践

电子招投标中的文本处理技术方法研究与实践

作者：唐华龙天津财经大学

学位级别：硕士

随着计算机技术的成熟,电子化招投标发展迅速,评标形式从专家线下评标逐步转为专家线上评标。但“专家评审制”的评标方式依旧有着其自身的局限性,其一是投标书中文本过多,但专家精力有限,无法在有限时间内对投标书进行高效的对比分析,... 详细信息

随着计算机技术的成熟,电子化招投标发展迅速,评标形式从专家线下评标逐步转为专家线上评标。但“专家评审制”的评标方式依旧有着其自身的局限性,其一是投标书中文本过多,但专家精力有限,无法在有限时间内对投标书进行高效的对比分析,判断其是否有串标行为;其二是人工整合专家意见费时费力,且存在主观性等问题,不利于招标方最终的决策。针对以上问题,本文主要研究文本处理技术,构建出投标文本相似计算模型和专家意见整合模型,以图给专家审查标书提供便利,并完成专家意见文本的整合。本文构建的投标文本相似计算模型是以深度学习为基础理论的。该模型的基础架构是孪生网络。本文在输入层提出了使用Cw2vec模型训练的词向量,并融入词性特征及依存特征,丰富投标文本的语义信息。在网络层使用三层网络结构,双层Bi LSTM+Self-attention,并且为了使模型训练效果更好,本文将第一层Bi LSTM和Self-attention的输出结果相拼接作为第二层Bi LSTM的输入。最后使用交叉熵损失函数优化余弦相似距离。经实验验证,Cw2vec+词性特征+依存特征能很好的表示投标文本中的词语,双层Bi LSTM+Self-attention能有效增强词向量的特征表示,最终该模型的相似度计算准确率及F1值较好。本文构建的专家意见整合模型是以机器学习和决策方法为基础理论的。在预处理环节,按照中文的语法、行文特点,提出了8组SAO提取规则,提取意见的主谓宾结构。在意见标注环节,提出基于两步融合的意见分类方法进行主题、情感倾向的标注。最后,基于模糊综合评价法对非解释性意见进行融合,基于句子融合方法对解释性意见进行融合,得到最终的整合意见。经实验验证,提取规则较为有效,基于两步融合的意见分类方法具有较好的准确率,本文模型最终能有效完成专家意见的整合,减少人工整合的弊端。

关键词：电子招投标文本处理文本相似文本整合

基于分布式架构的海量文本快速相似度检测研究

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

中国传媒大学学报（自然科学版） 2019年第1期26卷 39-44页

作者：晋晓琳张树武刘杰中国传媒大学信息工程学院北京100024 中国科学院自动化研究所数字内容技术与研究中心北京100190 北京电影学院未来影像高精尖创新中心北京100088

为了在海量文本中快速精确的找到所需文本,本文提出了一种基于分布式架构的海量文本相似度检测方法。首先使用TF-IDF进行文本特征提取,然后用分布式搜索引擎Elasticsearch召回候选样本集,最后采用余弦相似度算法计算最终相似度。在全文... 详细信息

为了在海量文本中快速精确的找到所需文本,本文提出了一种基于分布式架构的海量文本相似度检测方法。首先使用TF-IDF进行文本特征提取,然后用分布式搜索引擎Elasticsearch召回候选样本集,最后采用余弦相似度算法计算最终相似度。在全文粒度和句子粒度上,通过与指纹算法Simhash以及Simhash算法结合余弦相似度算法实验比较发现,本方法在准确率和速度上都有明显的优势,因此能够满足海量文本快速相似度检测的要求。

关键词：文本相似 Elasticsearch TF - IDF Simhash 余弦相似度

基于语义指纹的海量文本快速相似检测算法研究

在线全文

学校读者我要写书评

暂无评论

电脑知识与技术 2016年第12X期12卷 175-177页

作者：姜雪万正景梁燕陶以政中国工程物理研究院计算机应用研究所四川绵阳621900

相似检测算法在海量文本信息处理中具有广泛的应用,尤其是Simhash算法因其指纹局部敏感特性、检测效率高在文本查重、网页检测等大规模数据处理中都十分常见。针对传统Simhash算法无法支持近义词、多义词等自然语言处理上的语义问题,通... 详细信息

相似检测算法在海量文本信息处理中具有广泛的应用,尤其是Simhash算法因其指纹局部敏感特性、检测效率高在文本查重、网页检测等大规模数据处理中都十分常见。针对传统Simhash算法无法支持近义词、多义词等自然语言处理上的语义问题,通过对现有同义词扩展方案的研究,提出基于语义指纹的相似检测算法。在Simhash算法基础上,融入同义词扩展编码信息,生成文本语义指纹进行匹配检测,以提高文本相似度检测性能。另外,根据文本语义指纹建立多层分段索引,实现在海量文本信息中快速匹配出相似文档。通过与传统的Simhash算法进行实验对比,体现出该方法在准确率、效率等方面的优势。

关键词：文本相似语义指纹 Simhash 同义词扩展互信息