检索结果-南通市图书馆

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

基于Simhash改进的文本去重算法

计算机技术与发展 2022年第8期32卷 26-32页

作者：张亚男陈卫卫付印金徐堃陆军工程大学指挥控制工程学院江苏南京210007

为了提高大规模文本去重算法Simhash对重复数据的检测精度,针对词袋(Bag of Words,BoW)模型无法体现特征词位置分布信息的缺点,提出一种改进的Simhash算法(P-Simhash)。该算法首先改进了Simhash计算特征词权重的方法,在由TF-IDF算法计... 详细信息

为了提高大规模文本去重算法Simhash对重复数据的检测精度,针对词袋(Bag of Words,BoW)模型无法体现特征词位置分布信息的缺点,提出一种改进的Simhash算法(P-Simhash)。该算法首先改进了Simhash计算特征词权重的方法,在由TF-IDF算法计算得到特征词的权重的基础上,引入Jaccard相似度量对共现词的权重进行优化,以降低共现词权重过高对检测文本差异的影响。其次采用BDR算法降维思想,设计了体现特征词位置差异的签名方案,将特征词在文本中出现的位置特征转化为一组由二进制向量表示的签名。最后,将特征词哈希签名与位置特征签名加权求和的结果作为其对应的特征向量,与经过优化后的特征词权重进行二次加权,合并降维后得到新的文本签名。使用开放的搜狗新闻数据集进行实验,并与其他算法进行了性能比较。实验结果表明,P-Simhash算法在去重效果和执行效率上较传统的Simhash算法有明显提高。

关键词： Simhash 文本去重词频-逆文本频率 Jaccard相似度二进制压缩算法位置特征

在线全文

学校读者我要写书评

暂无评论

Simhash算法在文本去重中的应用

计算机工程与应用 2020年第11期56卷 246-251页

作者：张航盛志伟张仕斌杨敏成都信息工程大学网络空间安全学院成都610225

为了提升Simhash算法的文本去重效果、准确率,解决Simhash算法无法体现分布信息的缺点,提出了基于信息熵加权的Simhash算法(简称E-Simhash)。该算法引入TF-IDF和信息熵,通过优化Simhash算法中的权重及阈值计算,增加文本分布信息,使得最... 详细信息

为了提升Simhash算法的文本去重效果、准确率,解决Simhash算法无法体现分布信息的缺点,提出了基于信息熵加权的Simhash算法(简称E-Simhash)。该算法引入TF-IDF和信息熵,通过优化Simhash算法中的权重及阈值计算,增加文本分布信息,使得最终生成的指纹更能体现关键信息的比重,并对指纹信息与权重的关联性进行了分析。仿真实验表明:优化权重计算能有效地提升Simhash算法的性能,E-Simhash算法在去重率、召回率、F值等方面均优于传统Simhash算法,并且在文本去重方面取得了良好的效果。

关键词： Simhash 信息熵词频-逆向文件频率权重优化文本去重

在线全文

学校读者我要写书评

暂无评论

海量网络文本去重系统的设计与实现

计算机应用与软件 2018年第12期35卷 33-37页

作者：汤建明寇小强华北计算机系统工程研究所北京100083

如今网络和信息技术飞速发展,每天都有数以亿万计的文本数据产生。然而,不可避免地有很多文本内容是重复的。这样导致用户在利用搜索引擎搜索或者在网站上浏览内容时会看到很多相似的东西。这不仅给用户带来了不好的体验,对内容提供商来... 详细信息

如今网络和信息技术飞速发展,每天都有数以亿万计的文本数据产生。然而,不可避免地有很多文本内容是重复的。这样导致用户在利用搜索引擎搜索或者在网站上浏览内容时会看到很多相似的东西。这不仅给用户带来了不好的体验,对内容提供商来说,也需要花费更多的资源对重复冗余的内容进行存储。因此,对文本做一些相似度判断的基本处理,去除重复的文本有很重要的意义和价值。提出设计和实现一种基于simhash的文本去重系统。该系统可以对每天新产生的文本内容进行相似度计算,对于相似的内容只生成一份唯一标识并进行入库处理,有效排除了相似度太高的重复文本。

关键词：文本去重 Simhash 相似度

在线全文

学校读者我要写书评

暂无评论

中文短文本去重方法研究

计算机工程与应用 2014年第16期50卷 192-197页

作者：高翔李兵北京大学汇丰商学院广东深圳518055 对外经济贸易大学信息学院北京100029

针对中文短文本冗余问题,提出了有效的去重算法框架。考虑到短文本海量性和简短性的特点,以及中文与英文之间的区别,引入了Bloom Filter、Trie树以及SimHash算法。算法框架的第一阶段由Bloom Filter或Trie树进行完全去重,第二阶段由SimH... 详细信息

针对中文短文本冗余问题,提出了有效的去重算法框架。考虑到短文本海量性和简短性的特点,以及中文与英文之间的区别,引入了Bloom Filter、Trie树以及SimHash算法。算法框架的第一阶段由Bloom Filter或Trie树进行完全去重,第二阶段由SimHash算法进行相似去重。设计了该算法框架的各项参数,并通过仿真实验证实了该算法框架的可行性及合理性。

关键词：文本去重中文短文本 Trie树 SimHash算法

在线全文

学校读者我要写书评

暂无评论

面向海量短文本去重技术的研究与实现

面向海量短文本去重技术的研究与实现

作者：杨虎国防科学技术大学

学位级别：硕士

随着计算机技术的迅猛发展和信息传播手段的进步,即时通讯、BBS、新闻组、电子邮件等以短文本方式出现的信息也快速增长。消息文本的快速增长给人们的生活带来了便利的同时,也因其产生的速度超过人们的利用效率,使得人们难以从中获取有... 详细信息

随着计算机技术的迅猛发展和信息传播手段的进步,即时通讯、BBS、新闻组、电子邮件等以短文本方式出现的信息也快速增长。消息文本的快速增长给人们的生活带来了便利的同时,也因其产生的速度超过人们的利用效率,使得人们难以从中获取有用信息,并且有害和无用信息严重影响了政府部门、公司、企业等管理者的决策。研究表明,海量文本中存在近乎1/2的重复信息,通过文本去重,不仅能够优化数据存储,同时也能作为热点问题供用户分析和决策。文本自动去重做为文本挖掘的基础技术之一,不仅可以作为数据准备阶段的处理技术(如数据整合、数据清理、数据变换),也可以作为数据分析的处理技术(如:发现重复记录)。现有的文本去重技术主要有:域匹配技术和发现重复记录技术。域匹配技术能够有效的判断和识别错误拼写、缩略词、多词等数据脏乱问题,发现重复记录通过机器学习、智能分析等手段,把重复或相似的文本放入相同的类中,从而实现对短文本的识别。由于短文本的简短性和海量性,制约了文本去重技术的应用。因为缺乏有效的短文本表示方式和特征选择方法,目前的分类、聚类等去重方法在短文本去重领域中得不到很好的应用。因此,针对文本自动去重在文本挖掘系统中的应用,并结合用户的需求,本文作了如下工作: 1、提出了ARFA去重算法(Association Rule and Feature Code Based FastRemove Duplication Algorithm,ARFA)。该算法考虑到文本属性间的关系,利用关联规则对文本进行划分,然后利用特征码发现重复文本,从而实现对海量短文本的快速去重。实验结果证明,该算法具有良好的特性,能够有效的处理海量信息,并具有较高的压缩比。 2、扩展ARFA算法,提出了ARFA-SA算法(ARFA-Based Similar de-duplicationAlgorithm,ARFA-SA)。该算法在ARFA算法的基础上实现对短文本的相似度去重。根据相似度假设,通过文本相似度计算,把相似的文本放到相同的分组,实现了短文本的相似度去重。 3、给出了文本去重算法的具体应用,把文本去重应用于文本挖掘系统中,实现了自动发现重复记录和优化数据存储的功能。自动发现重复记录能够发现群发用户、集中接收方用户、相关ID。优化存储能够根据发现的重复记录,删除或合并冗余数据,达到优化存储的目的。

关键词：文本去重文本挖掘 ARFA算法 ARFA-SA算法

基于语义指纹和Simhash的文本去重方法研究

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于语义指纹和Simhash的文本去重方法研究

作者：周汝佳江西财经大学

学位级别：硕士

随着不同类型的信息数据的增加,用户能够获取的信息量不断增多,因此搜索信息过程中投入的成本也随之提高。从信息资源集合中去除重复内容是信息资源管理的一项重要工作,可以提高用户使用信息资源的效率。目前,信息内容去重已经被应用到... 详细信息

随着不同类型的信息数据的增加,用户能够获取的信息量不断增多,因此搜索信息过程中投入的成本也随之提高。从信息资源集合中去除重复内容是信息资源管理的一项重要工作,可以提高用户使用信息资源的效率。目前,信息内容去重已经被应用到各种场景中。在文本去重上,能够借助于内容去重方式对文本内容识别的相似程度进行判断,该方式还能够追踪科技文献类的相似程度,从而判断文章是否为抄袭。为了提高传统文本去重算法准确率、运行速度,本文提出一种基于语义指纹和Simhash的文本去重的算法优化的方法,针对本文选取的新闻类语料,首先进行文本预处理,其次进行文本特征提取。传统的Simhash算法以分词系统识别出的关键词作为特征值,权重为关键词出现的次数。由于权重只由单词的数量决定,一些重要的信息会丢失,从而导致最终计算出的Simhash签名值的准确性下降。为了解决这个问题,在文本特征提取过程中,本文综合利用TF-IDF技术和词语的主题相关度来计算关键词权重。再根据文本特征结合Simhash算法计算得到文章内容的语义指纹,再计算文本对应的语义指纹的海明距离,最终得到这两个文本的语义指纹距离,并结合语义指纹的海明距离判断文本间相似程度,然后整合Single-Pass快速聚类算法,所得的语义指纹聚类即为文本去重的最终结果,从而实现面向中文文本的快速去重流程。为避免误判,对判定为相似的两个文本使用Shingle算法进行进一步对比。实验证明,该方法与Shingle算法对比具有精确度和鲁棒性方面的优势,同时大数据量文本的去重操作也有运行速度优势。最后本文对该算法模型的接口进行封装,从生活应用场景出发实现一个基于Simhash的文本去重系统,系统的开发技术为Java,选择使用的构件项目的工具为Maven,最终在Linux服务器上进行部署,并通过war包形式在tomcat容器内完成部署。

关键词：语义指纹 Simhash Single-pass 文本去重

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于语义指纹和LCS的文本去重方法

软件 2014年第11期35卷 25-30页

作者：陈露吴国仕李晶北京邮电大学软件学院北京100000

为了解决传统中文文本去重准确率低的问题,本文提出了一种基于语义指纹和LCS的文本去重方法。针对中文文本,预处理后抽取出文本摘要,然后使用tf-idf算法分别得出文本内容特征向量和摘要特征向量,分别将这两个向量作为simhash算法的输入... 详细信息

为了解决传统中文文本去重准确率低的问题,本文提出了一种基于语义指纹和LCS的文本去重方法。针对中文文本,预处理后抽取出文本摘要,然后使用tf-idf算法分别得出文本内容特征向量和摘要特征向量,分别将这两个向量作为simhash算法的输入,计算得到文章的内容指纹和摘要指纹。计算两个文本对应的两个指纹的汉明距离,代入本文公式,最终得到这两文本的指纹距离;使用指纹对文本对进行初步筛选,对判定为相似的两个文本使用LCS算法进行进一步对比,避免误判,最终实现中文文本快速去重。实验过程中,通过与LCS算法、simhash算法等多种算法的结果进行对比,可以体现该方法在算法精确度方面的优势,同时,该方法的运行速度优势也能较好地支持大数据量文本的去重操作。

关键词：理论计算机科学语义指纹 simhash LCS 文本去重

在线全文

学校读者我要写书评

暂无评论

基于N-Gram的文本去重方法研究

杭州电子科技大学学报（自然科学版） 2010年第2期30卷 61-64页

作者：王小华卢小康杭州电子科技大学计算机应用研究所浙江杭州310018

中文文本去重是自然语言处理研究的一个重要方向。该文提出了一种基于N-Gram项和特征映射的文本去重方法。该方法提取N-Gram项的序列作为文本特征,将N-Gram项映射成哈希值,通过查找哈希值来判定文本是否重复。利用哈希数值查找代替字符... 详细信息

中文文本去重是自然语言处理研究的一个重要方向。该文提出了一种基于N-Gram项和特征映射的文本去重方法。该方法提取N-Gram项的序列作为文本特征,将N-Gram项映射成哈希值,通过查找哈希值来判定文本是否重复。利用哈希数值查找代替字符串匹配,为实现快速的去重方法提供了一种新的可行的方法。实验表明,该算法对于普通网页文本去重能取得很好的效果。

关键词：文本去重文本特征特征映射中文信息处理

在线全文

学校读者我要写书评

暂无评论

基于DRPKP算法的文本去重研究与应用

微型电脑应用 2014年第1期30卷 58-60页

作者：俞枫王引娜国泰君安证券股份有限公司华存数据信息技术有限公司

SimHash算法是目前主流的文本去重算法,但它对于特定行业的文本数据在主题方面的天然相似性特点并没有特殊的考虑。基于多年在金融证券行业信息管理和数据整合的经验,本文分析目前文本去重方法存在的问题,特别针对SimtHash算法在特定行... 详细信息

SimHash算法是目前主流的文本去重算法,但它对于特定行业的文本数据在主题方面的天然相似性特点并没有特殊的考虑。基于多年在金融证券行业信息管理和数据整合的经验,本文分析目前文本去重方法存在的问题,特别针对SimtHash算法在特定行业文本去重中的不足,创新地提出一种基于段落主题的文本去重方法(简称DRPKP算法),通过对去重准确率、覆盖率和去重时间3个指标进行对比测试,DRPKP算法比SimHash算法准确率可提高24.5%、覆盖率可提高16.34%,且去重时间更短。

关键词：文本去重段落主题 SimHash 相似度 MapReduce