检索结果-南通市图书馆

基于语义指纹关联的网络事件热度分析方法研究

在线全文

学校读者我要写书评

暂无评论

基于语义指纹关联的网络事件热度分析方法研究

作者：孟琼瑶华中师范大学

学位级别：硕士

随着互联网的快速发展,网络媒体应运而生,传统媒体公司也随之建立了新闻发布网站。网络传播的快捷性、互动性、开放性等特点使得民众可以快速关注网络上的热点事件,发表看法、参与讨论。随着民众的关注,负面热点事件的事件破坏力可能会... 详细信息

随着互联网的快速发展,网络媒体应运而生,传统媒体公司也随之建立了新闻发布网站。网络传播的快捷性、互动性、开放性等特点使得民众可以快速关注网络上的热点事件,发表看法、参与讨论。随着民众的关注,负面热点事件的事件破坏力可能会对社会的和谐造成不好的影响,因此,在热点事件的萌芽阶段及时发现热点事件并采取适当的措施进行处理,是热点事件下一步的研究方向。目前的热点事件发现方法主要是通过文本处理的方法对网络上的信息进行归类,然后对每一类事件进行热度分析。这类方法属于事后分析,如果能在事件的萌芽阶段发现并及时处理该事件就能有效降低影响。因此,本文研究的目标是在事件的萌芽阶段分析事件的热度,判断其是否会成为热点事件。新的事件刚产生时,事件的报道数量、评论数、点击率等都很少,通过热度计算公式不能判断其是否会成为热点事件。分析热点事件的特点,发现有很多与热点事件相关的事件在过去发生过。这说明热点事件之间相互关联,因此可通过已经发生的热点事件分析当前事件的热度。本文首先提出事件语义指纹的概念描述事件,事件的语义指纹分为主体、主题、时间、地点四部分,从这四部分描述一个事件。事件的主体、时间、地点等属于命名实体,可通过命名实体识别技术得到,根据每部分的特点,分别计算它们的贡献度;事件的主题主要描述事件的内容,通过柯式复杂性理论和共词矩阵得到最能代表事件的相关特征词作为事件的主题。事件的语义指纹根据事件每个方面的特点来描述一个事件,比传统的文本向量表示事件的方法更加完善。然后基于事件的语义指纹计算两个事件的相关度,建立关联事件图,分析图中每个事件的热度,依据PageRank算法的思想得到每个事件的重要性,计算事件的热度向量与事件的重要性向量的乘积,得到当前事件的热度。分别计算事件的语义指纹的四个方面的关联度来得到事件之间的关联度,以事件关联度为边的权重,建立权重矩阵,迭代计算事件关联图中事件的重要性,当收敛时得到关联图中每个事件的重要性。最后将事件的语义指纹与TF-IDF、BM25等方法在检索模型里作对比,发现事件的语义指纹能更好的表示一个事件,将事件关联图模型计算得到的事件的热度与实际热度进行比较,热度预测效果很好,说明了基于事件关联方法的有效性。

关键词：热点事件语义指纹事件关联热度分析

基于语义指纹和云模型的动态词义变化程度研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于语义指纹和云模型的动态词义变化程度研究

作者：潘霄航华中师范大学

学位级别：硕士

词作为语言的基础,具有相对的稳定性。但是语言是不断往前发展的,作为语言的一种成分,词又具备着语言的发展变化性。随着互联网的发展,信息成指数级增长。在网络这样特殊的环境下,许多汉语词语的语义发生了显著的变化。如何深入了解网... 详细信息

词作为语言的基础,具有相对的稳定性。但是语言是不断往前发展的,作为语言的一种成分,词又具备着语言的发展变化性。随着互联网的发展,信息成指数级增长。在网络这样特殊的环境下,许多汉语词语的语义发生了显著的变化。如何深入了解网络词义的构成要素,准确全面提炼网络词义的静态特征和动态特征,进而给出集合静态要素和动态要素于一体的网络词义的形式化表示方式,是一项有重大意义且有挑战性的研究工作。在传统的语言学中,词义的演变是一个重要的课题,取得了很多显著的成就。但在语言学上对词义的发展演变只能进行定性的分析,需要精确的进行数据收集,耗费大量的人工。而在定量的研究上,往往使用一些简单的统计量,例如词频,上下文相关度等作为词义变化的度量,结果很难具有说服性。因此本文提出具有统计学意义上的研究方法,对词义变化现象进行深入的发掘,给语言学家及自然语言处理等领域的学者提供参考。本文基于词义的表示方法,改进深度学习中词向量训练模型,得到词的向量化表示。在此基础上,通过词之间的语义关联,实现了基于词向量的语义指纹获取方法。我们以历时的语料库作为训练语料,获取不同时间段词义的语义指纹,通过云模型,获取其数字特征。通过对相似云的相似度计算,我们可以得到词义的变化程度,从而发现词语的语义变化程度。第三章提出一种基于词向量的语义指纹获取方法,该方法使用大规模语料库进行模型训练,可以获取更多的语义关联信息。首先,本文在基于word2vec的基础上,通过在训练过程中加入词性标注信息,给出Pos-CBOW模型,能得到效果更好的词向量。通过词向量之间的相似度计算,获取词义之间的语义关联。将和中心词的相似度大于一定阈值的词作为中心词的语义指纹。提出基于词向量的语义指纹获取方法,能更好的形式化表达词义。第四章在第三章的基础上,通过云模型的定性定量转换理论,获取词义的数字特征。针对历时的语料库训练出来的词义,我们利用相似云的相似度计算公式来计算词义的动态变化程度。本文第三章用2015年新浪新闻,共1G的文本作为训练语料。将wordSimilarity-353和words-240作为测试集。从实验结果可以看出,文中提出的基于词向量的语义指纹方法在斯皮尔曼相关系数和皮尔逊相关系数上有良好的表现。这也间接表明本文方法的可行性。在第四章中,以历时的语料库作为训练语料,通过计算不同时段词义的概念云的相似度,来发现词义是否发生改变。实验结果表明,我们的方法可以有效的计算词义的改变程度。

关键词：词向量语义相似度语义指纹云模型动态词义

基于语义指纹和Simhash的文本去重方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于语义指纹和Simhash的文本去重方法研究

作者：周汝佳江西财经大学

学位级别：硕士

随着不同类型的信息数据的增加,用户能够获取的信息量不断增多,因此搜索信息过程中投入的成本也随之提高。从信息资源集合中去除重复内容是信息资源管理的一项重要工作,可以提高用户使用信息资源的效率。目前,信息内容去重已经被应用到... 详细信息

随着不同类型的信息数据的增加,用户能够获取的信息量不断增多,因此搜索信息过程中投入的成本也随之提高。从信息资源集合中去除重复内容是信息资源管理的一项重要工作,可以提高用户使用信息资源的效率。目前,信息内容去重已经被应用到各种场景中。在文本去重上,能够借助于内容去重方式对文本内容识别的相似程度进行判断,该方式还能够追踪科技文献类的相似程度,从而判断文章是否为抄袭。为了提高传统文本去重算法准确率、运行速度,本文提出一种基于语义指纹和Simhash的文本去重的算法优化的方法,针对本文选取的新闻类语料,首先进行文本预处理,其次进行文本特征提取。传统的Simhash算法以分词系统识别出的关键词作为特征值,权重为关键词出现的次数。由于权重只由单词的数量决定,一些重要的信息会丢失,从而导致最终计算出的Simhash签名值的准确性下降。为了解决这个问题,在文本特征提取过程中,本文综合利用TF-IDF技术和词语的主题相关度来计算关键词权重。再根据文本特征结合Simhash算法计算得到文章内容的语义指纹,再计算文本对应的语义指纹的海明距离,最终得到这两个文本的语义指纹距离,并结合语义指纹的海明距离判断文本间相似程度,然后整合Single-Pass快速聚类算法,所得的语义指纹聚类即为文本去重的最终结果,从而实现面向中文文本的快速去重流程。为避免误判,对判定为相似的两个文本使用Shingle算法进行进一步对比。实验证明,该方法与Shingle算法对比具有精确度和鲁棒性方面的优势,同时大数据量文本的去重操作也有运行速度优势。最后本文对该算法模型的接口进行封装,从生活应用场景出发实现一个基于Simhash的文本去重系统,系统的开发技术为Java,选择使用的构件项目的工具为Maven,最终在Linux服务器上进行部署,并通过war包形式在tomcat容器内完成部署。

关键词：语义指纹 Simhash Single-pass 文本去重

基于主题和语义指纹融合的学术论文粗分类方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于主题和语义指纹融合的学术论文粗分类方法研究

作者：崔彤彤延边大学

学位级别：硕士

互联网、物联网、云计算等信息技术把我们带到了多元智能的网络化大数据时代。然而,大量的资源共享和实时的交流探讨使网络空间中的数据呈爆炸式增长,其规模巨大且形式多样,不仅给网络空间数据的存储带来了压力,同时降低了数据价值的利... 详细信息

互联网、物联网、云计算等信息技术把我们带到了多元智能的网络化大数据时代。然而,大量的资源共享和实时的交流探讨使网络空间中的数据呈爆炸式增长,其规模巨大且形式多样,不仅给网络空间数据的存储带来了压力,同时降低了数据价值的利用密度,呈现出“数据丰富而知识缺乏”的窘态。如何对数据压缩存储,如何从庞大的网络空间中寻取到满意的信息成为目前迫切需要解决的问题。本文选取学术论文作为数据对象,提出了一种文本指纹提取方法和文本粗分类算法,进而达到数据的压缩表示和有效组织管理的目的。首先,本文提出了基于潜在语义分析的文本指纹提取方法。该方法是针对目前指纹提取方法语义缺失问题的一种改进。该方法主要用于学术论文正文部分的语义指纹提取,通过奇异值分解对原始文档进行潜在语义分析,挖掘原始文档的潜在语义特征,然后根据随机超平面原理将保留的语义特征转换成二进制数字指纹,得到高维原始文档的低维语义指纹表示。其次,设计了一种基于融合表示的文本粗分类算法。该算法主要是基于学术论文梗概(题目、摘要、关键字)和正文两大部分融合表示的聚类,是K-means算法的一种改进。该算法下每篇文档都被主题向量和语义指纹所表示,聚类过程中每次迭代的簇中心均采用数据集中的真实文档,并作为原文档集的一个原型。此外,算法采用余弦距离与汉明距离融合的计算方法计算文档与各类中心的模糊隶属程度,并将文档归到具有最大隶属度的类别,完成数据集的粗分类。最后,为了给后续搜索访问等操作提供有利信息,本文设计了基于原型的文档分类算法。该算法根据集外文档与各原型间的相似度来判断是否对其进行归类以及归到哪一类等处理。实验结果表明,本文提出的基于潜在语义分析的文本指纹提取方法与常用的向量空间模型表示方法及Simhash方法相比,所提取的指纹精度更高,更能体现文本的语义信息。另外,本文基于融合表示的文档粗分类方法解决了原始K-means聚类算法的大类问题,对数据集中各领域文档的F值均达到80%以上,能够得到较好的类结构。基于原型的集外文档分类方法,在与原型同领域文档间具有较高的正确率,对其它领域文档具有较高的拒识率,可以对集外文档进行正确辨识,达到粗分类目的,有利于文档集的组织和管理。

关键词：文本表示语义指纹文本聚类潜在狄利克雷分配模型(LDA) 潜在语义分析(LSA) Simhash算法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于语义指纹和LCS的文本去重方法

软件 2014年第11期35卷 25-30页

作者：陈露吴国仕李晶北京邮电大学软件学院北京100000

为了解决传统中文文本去重准确率低的问题,本文提出了一种基于语义指纹和LCS的文本去重方法。针对中文文本,预处理后抽取出文本摘要,然后使用tf-idf算法分别得出文本内容特征向量和摘要特征向量,分别将这两个向量作为simhash算法的输入... 详细信息

为了解决传统中文文本去重准确率低的问题,本文提出了一种基于语义指纹和LCS的文本去重方法。针对中文文本,预处理后抽取出文本摘要,然后使用tf-idf算法分别得出文本内容特征向量和摘要特征向量,分别将这两个向量作为simhash算法的输入,计算得到文章的内容指纹和摘要指纹。计算两个文本对应的两个指纹的汉明距离,代入本文公式,最终得到这两文本的指纹距离;使用指纹对文本对进行初步筛选,对判定为相似的两个文本使用LCS算法进行进一步对比,避免误判,最终实现中文文本快速去重。实验过程中,通过与LCS算法、simhash算法等多种算法的结果进行对比,可以体现该方法在算法精确度方面的优势,同时,该方法的运行速度优势也能较好地支持大数据量文本的去重操作。

关键词：理论计算机科学语义指纹 simhash LCS 文本去重

基于语义指纹的海量文本快速相似检测算法研究

在线全文

学校读者我要写书评

暂无评论

电脑知识与技术 2016年第12X期12卷 175-177页

作者：姜雪万正景梁燕陶以政中国工程物理研究院计算机应用研究所四川绵阳621900

相似检测算法在海量文本信息处理中具有广泛的应用,尤其是Simhash算法因其指纹局部敏感特性、检测效率高在文本查重、网页检测等大规模数据处理中都十分常见。针对传统Simhash算法无法支持近义词、多义词等自然语言处理上的语义问题,通... 详细信息

相似检测算法在海量文本信息处理中具有广泛的应用,尤其是Simhash算法因其指纹局部敏感特性、检测效率高在文本查重、网页检测等大规模数据处理中都十分常见。针对传统Simhash算法无法支持近义词、多义词等自然语言处理上的语义问题,通过对现有同义词扩展方案的研究,提出基于语义指纹的相似检测算法。在Simhash算法基础上,融入同义词扩展编码信息,生成文本语义指纹进行匹配检测,以提高文本相似度检测性能。另外,根据文本语义指纹建立多层分段索引,实现在海量文本信息中快速匹配出相似文档。通过与传统的Simhash算法进行实验对比,体现出该方法在准确率、效率等方面的优势。

关键词：文本相似语义指纹 Simhash 同义词扩展互信息

在线全文

学校读者我要写书评

暂无评论

社交网络中意见领袖的敏感舆论倾向识别

计算机工程与设计 2021年第11期42卷 3293-3300,F0003页

作者：宋振徐雅斌北京信息科技大学计算机学院北京100101 北京信息科技大学网络文化与数字传播北京市重点实验室北京100101

为准确识别意见领袖的敏感舆论倾向,有效把控敏感类舆情的发展,提出基于多任务学习的敏感舆论倾向识别模型(MTL-SA-LSTM)和基于指纹汇聚技术的快速识别模型。以准确识别意见领袖的敏感舆论倾向为目标,兼顾其识别效率。采用指纹汇聚技术... 详细信息

为准确识别意见领袖的敏感舆论倾向,有效把控敏感类舆情的发展,提出基于多任务学习的敏感舆论倾向识别模型(MTL-SA-LSTM)和基于指纹汇聚技术的快速识别模型。以准确识别意见领袖的敏感舆论倾向为目标,兼顾其识别效率。采用指纹汇聚技术关联原始敏感词和变形敏感词,采用语义指纹技术快速识别重复或相似度较高文本的敏感舆论倾向,通过MTL-SA-LSTM模型,对文本中的敏感舆论及舆论倾向两个任务进行识别。对比实验结果表明,该模型具有较高的识别准确率及识别效率。

关键词：社交网络敏感舆论倾向多任务学习指纹汇聚语义指纹

在线全文

学校读者我要写书评

暂无评论

基于稀疏分布式表征的英文著者姓名消歧研究

计算机应用研究 2019年第12期36卷 3534-3538页

作者：翟晓瑞韩红旗张运良李仲中国科学技术信息研究所富媒体数字出版内容组织与知识服务重点实验室

为将稀疏分布式表征理论应用到著者姓名消歧,了解其在解决姓名消歧问题时的效果,提出了基于稀疏分布式表征的英文文献著者姓名消歧方法。该方法选择论文摘要文本信息作为消歧特征,将其生成二进制表示的SDR码。根据待消歧论文的SDR与同... 详细信息

为将稀疏分布式表征理论应用到著者姓名消歧,了解其在解决姓名消歧问题时的效果,提出了基于稀疏分布式表征的英文文献著者姓名消歧方法。该方法选择论文摘要文本信息作为消歧特征,将其生成二进制表示的SDR码。根据待消歧论文的SDR与同名作者的论文SDR相似度对比来实现著者姓名消歧。最终得到的结果为准确率98. 21%,召回率76. 75%,F值86. 17%,证明提出的消歧方法具有较好的效果。通过将该方法与利用合著者特征进行消歧的方法进行对比,说明该方法能够较好地解决文献著者姓名歧义问题。此外,该方法还可将作者未收录在作者库中的论文识别出来并将其指派给新作者,无须重新学习和更新模型。

关键词：姓名消歧稀疏分布式表征语义指纹层级时序记忆模型

在线全文

学校读者我要写书评

暂无评论

新闻文本侵权检测关键技术研究

新闻文本侵权检测关键技术研究

作者：孙麟东南大学

学位级别：硕士

由于微博、微信和门户网站等均是公开传播媒介,所以极易导致新闻内容被抄袭、篡改或非法扩散,继而给新闻内容原创者造成经济损失。文本相似度检测是用来解决新闻内容侵权问题的关键技术之一。然而,传统的文本相似度检测算法在处理海量... 详细信息

由于微博、微信和门户网站等均是公开传播媒介,所以极易导致新闻内容被抄袭、篡改或非法扩散,继而给新闻内容原创者造成经济损失。文本相似度检测是用来解决新闻内容侵权问题的关键技术之一。然而,传统的文本相似度检测算法在处理海量新闻文本时难以进行高效的相似度检测。除此之外,传统方法一般是利用字符或词频来提取特征以实现文本相似度对比,难以解决因缺乏语义信息导致准确率不高的问题。为此,本文对新闻文本侵权检测方法进行研究,提出一种基于语义指纹的相似新闻文本筛选方法SF-SNTSM(Similar News Text Screening Method Based on Semantic Fingerprint)和基于BERT模型和交互推理网络的新闻文本相似度检测算法BERT-IIN-TSDA(Text Similarity Detection Algorithm Based on BERT and Interactive Inference Network),在此基础上设计了新闻版权保护原型系统,以帮助用户实现高效准确的侵权检测。本文主要工作包括以下几个方面:(1)针对海量新闻文本的检测效率问题,本文提出一种基于语义指纹的相似新闻文本筛选方法SF-SNTSM,并提出一种基于Word2vec和Simhash的新闻文本指纹生成算法WS-TFGA(Text Fingerprint Generation Algorithm Based on Word2vec and Simhash)。SF-SNTSM方法首先利用WS-TFGA算法生成新闻文本的语义数字指纹,然后根据该数字指纹在版权库中进行分段检索,快速检索出相似文本集,最后利用辅助过滤机制,判断文本集是否需要进一步深度侵权检测。与基于传统的Simhash等局部敏感哈希的检测方法相比,SF-SNTSM在保持检测速率的同时能够有效提升精确率和召回率。(2)针对传统检测方法缺失语义信息而导致检测准确率低的问题,本文提出基于BERT模型和交互推理网络的新闻文本相似度检测算法BERT-IIN-TSDA。BERT-IIN-TSDA是SF-SNTSM的后续检测步骤,主要包括生成文本表示矩阵模块和文本侵权判定模块。首先,通过预训练的BERT语言模型生成待检测新闻文本和源新闻文本的表示矩阵。接着,利用自注意力编码层提取文本内部的关联信息,然后,利用信息交互层实现待检测文本和源新闻文本之间语句级别的关系匹配,得到文本交互矩阵,并采用深度网络Dense Net提取文本交互矩阵的深层语义信息,最后通过分类判别模块实现新闻文本侵权判定。实验证明,该算法能够进一步提高文本相似度检测的准确率。(3)基于上述方法,本文研发了新闻版权保护原型系统,并采用统一内容标签UCL(Uniform Content Label)对新闻数字版权进行统一标注和管理。利用爬取的真实新闻内容自建新闻抄袭数据集,并利用该数据集对本文提出的SF-SNTSM方法和BERT-IIN-TSDA算法进行性能验证。实验结果表明,与基于传统的局部敏感哈希方法相比,SF-SNTSM具有更好的海明距离量化能力和更高的精确率和召回率;与传统的相似度检测方法相比,BERT-IIN-TSDA算法具有更高的准确率。

关键词：文本侵权检测局部敏感哈希语义指纹 BERT 交互推理网络