检索结果-南通市图书馆

一种基于TF·IEF模型的在线新闻事件探测方法

在线全文

学校读者我要写书评

暂无评论

国防科技大学学报 2013年第3期35卷 55-60页

作者：张辉李国辉贾立孙博良国防科技大学信息系统与管理学院湖南长沙410073

为了提升在线新闻事件探测的性能,提出一种基于***模型的在线新闻事件探测方法。该方法受***思想的启发,直接计算特征词表征事件的权重,建立新的增量事件模型,并将探测过程分为两个阶段:第一阶段利用single-pass将一定时段内收集到的报... 详细信息

为了提升在线新闻事件探测的性能,提出一种基于***模型的在线新闻事件探测方法。该方法受***思想的启发,直接计算特征词表征事件的权重,建立新的增量事件模型,并将探测过程分为两个阶段:第一阶段利用single-pass将一定时段内收集到的报道聚成微簇;第二阶段将微簇与已有事件进行相似性匹配,然后通过重新计算事件向量实现模型更新。实验结果表明,该方法运算速度快,特征信息丢失少,提高了探测的效率和准确率。

关键词：在线新闻事件探测 TF·IEF模型增量事件模型 single-pass聚类

基于LDA融合模型和多层聚类的新闻话题检测

在线全文

学校读者我要写书评

暂无评论

基于LDA融合模型和多层聚类的新闻话题检测

作者：谢晓东天津大学

学位级别：硕士

在互联网飞速发展的今天,信息的获取已经不再是制约人们发展的因素,反而如何从爆炸式的数据中获取到想要的信息成为了人们需要思考的问题。如今查看新闻报道在人们网络活动中占有越来越高的比重,于是论文以新闻报道为切入点,通过对文本... 详细信息

在互联网飞速发展的今天,信息的获取已经不再是制约人们发展的因素,反而如何从爆炸式的数据中获取到想要的信息成为了人们需要思考的问题。如今查看新闻报道在人们网络活动中占有越来越高的比重,于是论文以新闻报道为切入点,通过对文本模型、聚类算法的研究改进,提出了一种新的新闻话题检测方法,它基于LDA融合模型和多层次聚类。主要工作包括以下几个方面:第一,基于TF-IDF的向量空间模型在文本表示方面展现出强大的能力,但是,基于统计学的出发点使得这种方式忽略了文本语义之间的关联性。论文将LDA主题模型引入新闻文本领域,利用主题-文本模型把潜在的文本语义知识挖掘出来。最后结合传统TF-IDF向量空间和LDA主题模型,将基于统计的方法和基于语义主题的方法融合为一体,达到提高文本聚类质量的目的。第二,文本的层次聚类算法效果好,但是O(n)的时间复杂度和超高内存耗费制约着该算法。而传统的single-pass算法聚类效率高,但是在准确度方面稍有欠缺。论文首先通过改进single-pass聚类算法,对新闻文本进行话题初步聚类,为下一步的层次聚类提供条件,初步聚类之后高聚合、低粒度的话题集合,符合了层次聚类不能应用于大量文本的要求。然后,将话题进行层次聚类,提升准确度、召回率和F值三个方面的聚类效果。通过实验表明,论文所提的话题检测方法具有可行性并能在一定程度上提高聚类效果。

关键词：话题检测 LDA模型 single-pass聚类层次聚类

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

网络热点事件发现系统的设计

中文信息学报 2008年第6期22卷 80-85页

作者：刘星星何婷婷龚海军陈龙华中师范大学计算机科学系湖北武汉430079 国家语言资源监测与研究中心网络媒体语言分中心湖北武汉430079

该文设计了一个热点事件发现系统。该系统面向互联网新闻报道流,能自动发现任意一段时间内网络上的热点事件,并给出描述事件发展过程的曲线图。针对网络新闻语料具有数据规模大和时间特征明显两个特性,系统将语料按时间(天)分组,对每天... 详细信息

该文设计了一个热点事件发现系统。该系统面向互联网新闻报道流,能自动发现任意一段时间内网络上的热点事件,并给出描述事件发展过程的曲线图。针对网络新闻语料具有数据规模大和时间特征明显两个特性,系统将语料按时间(天)分组,对每天的语料采用凝聚聚类得到微类,选取某段时间内的所有微类,再做single-pass聚类得到事件列表,利用事件热度计算公式,把候选事件按热度进行排序。采用该系统对2007年新闻语料进行实验,结果表明该系统能取得较好的效果。

关键词：计算机应用中文信息处理事件发现凝聚聚类 single-pass聚类热度计算

在线全文

学校读者我要写书评

暂无评论

基于实时词共现网络的微博话题发现

计算机应用 2016年第5期36卷 1302-1306页

作者：李亚星王兆凯冯旭鹏刘利军黄青松昆明理工大学信息工程与自动化学院昆明650500 昆明理工大学教育技术与网络中心昆明650500 云南省计算机技术应用重点实验室(昆明理工大学) 昆明650500

针对微博的实时性、稀疏性和海量性特点,提出基于实时词共现网络的话题发现模型。首先,从原始语料中筛选出主题词集合,再利用时间参数计算共现主题词的关系权重以实现词共现网络的构建,通过该网络推算出与话题关联性强的潜在特征词以解... 详细信息

针对微博的实时性、稀疏性和海量性特点,提出基于实时词共现网络的话题发现模型。首先,从原始语料中筛选出主题词集合,再利用时间参数计算共现主题词的关系权重以实现词共现网络的构建,通过该网络推算出与话题关联性强的潜在特征词以解决微博特征词的稀疏性;其次,采用改进single-pass算法实现话题增量聚类;最后,对每个话题的主题词按热度计算进行排序,获得最具代表性的话题主题词。实验结果表明,该模型与经典single-pass聚类算法相比,话题发现准确率约提高6%,综合指标提高8%。实验结果证明所提模型的有效性和准确性。

关键词：话题发现实时共现网络短文本 single-pass聚类热度计算

在线全文

学校读者我要写书评

暂无评论

基于文本挖掘的数据分析岗位人才需求分析

基于文本挖掘的数据分析岗位人才需求分析

作者：朱爱璐江西财经大学

学位级别：硕士

随着大数据时代的到来,数据分析岗位一跃成为当今备受关注冉冉升起的新星,各行各业都需要具备数据分析技能的人才,然而就在数据分析岗位需求量日益增加的同时,还是有很多专业十分对口的应届毕业生存在就业困难的情况。因此本文旨在探究... 详细信息

随着大数据时代的到来,数据分析岗位一跃成为当今备受关注冉冉升起的新星,各行各业都需要具备数据分析技能的人才,然而就在数据分析岗位需求量日益增加的同时,还是有很多专业十分对口的应届毕业生存在就业困难的情况。因此本文旨在探究就业市场上数据分析人才的招聘情况,挖掘出企业方对于数据分析人才的要求,从而为学校的人才培养以及想从事数据分析岗位的求职者提供一些参考。本文从前程无忧招聘网站中爬取了11224条数据分析岗位招聘信息,首先,采用描述性统计,根据公司所有权性质、公司规模、行业分布三方面刻画需要数据分析岗位的公司,从公司、行业、地区三个角度比较数据分析岗位的需求量差异,从学历、工作经验、技能要求三方面看公司对数据分析岗位的具体要求,并探究不同地区、行业、公司的薪资差异;其次,对各个地区的岗位要求进行主题词提取,构建LDA主题模型,输出各地区对数据分析岗位的特征词,探究地区间的差异;最后,对岗位要求进行文本聚类,利用预训练的Word2vec模型对文本进行向量化,再使用single-pass聚类,最后将各个类别的数据分析岗位从技能要求、地区分布、行业分布、薪资水平四方面进行比较。最后得出民营企业、中小型企业、互联网和制造业最需要数据分析人才,数据分析岗位主要集中在华东和华南地区,岗位对学历的要求不高,主要是最低本科或者大专,偏好于有1年工作经验者,对硬技能和软实力均有要求,高薪地区在华北、华东和华南,高薪行业是互联网和金融行业,高薪企业为民营和事业单位。主题模型从数据分析岗位要求中提取出“软实力”、“硬技能”和“岗位业务”三个主题,在“软实力”方面,经济发达的地区注重逻辑和数据敏感,欠发达地区注重领导力和执行力,在“硬技能”方面,除了华中地区外,其他地区均对计算机编程能力有高要求,各地区在“岗位业务”的关键词上无明显差异。文本聚类将数据分析岗位分成技术型和业务型,技术型集中分布在互联网行业,业务型散落在互联网、金融、制造业,在薪资待遇上技术型远高于业务型。根据以上结果,本文可以帮助致力于往数据分析岗位发展的求职者,有助于他们根据职业规划选择适合自己的岗位类型、想从事的行业、想发展的地区、选择何种性质和规模的公司,挖掘出技能要求等信息对于学校的人才培养也有一定的借鉴意义,从市场需求出发来培养符合市场要求的数据分析人才,可有效提高就业率。

关键词：数据分析岗位文本挖掘 LDA模型 single-pass聚类 Word2vec

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

中文微博热点话题检测技术研究

中文微博热点话题检测技术研究

作者：李阳重庆理工大学

学位级别：硕士

随着移动互联技术的迅猛发展，微博这一新兴的社交网络平台快速兴起，成为广大用户的一种新的交流方式。用户以微博为载体，可以方便快捷地发表观点，进行信息交流、互动、资源共享。微博平台特有的时效性和随意性，使得微博信息能够快... 详细信息

随着移动互联技术的迅猛发展，微博这一新兴的社交网络平台快速兴起，成为广大用户的一种新的交流方式。用户以微博为载体，可以方便快捷地发表观点，进行信息交流、互动、资源共享。微博平台特有的时效性和随意性，使得微博信息能够快速传播及扩散，在现实社会中产生强大的影响力。在微博文本中，隐含着大量时政要点、突发事件等有价值的信息。对微博文本进行热点话题的提取、检索，可以帮助用户迅速了解社会中的实时热点信息，对网络舆情监控和信息即时搜索，具有重要的现实意义。但是，微博文本具有大数据的特征，难以由人工进行识别和过滤。由此，通过寻求相关信息过滤手段，研究微博文本热点话题的自动检测技术，成为信息检索领域研究的热点。论文首先介绍了话题检测的背景，研究现状及相关技术;接着分析了中文微博的信息特点及传播特点;针对热点话题检测的信息过滤问题，提出了一种用户角色定位方法。该方法通过用户个人粉丝数和关注数指标来计算用户关注度;通过微博转发数和评论数来计算微博影响力;再通过用户关注度和微博影响力来综合评估用户影响力。通过对用户角色的定位，实现了热点话题检测前的信息粗度过滤。然后，采用基于改进的single-pass增量式聚类算法，对微博信息进行初步话题检测;最后结合微博转发数、评论数等话题热度的影响因素，进行微博话题热度的评估和排序，从而找到一定时间段内的热点话题。论文对中文微博话题检测中的文本预处理、文本特征选取方法等进行了优化，采用结合语义相似度的TF-IDF函数计算特征权重。基于上述方法，论文以新浪微博语料为载体展开了相关实验，并以TDT会议评测规范中的召回率、漏检率、错检率和误测开销值作为评价指标，对实验结果进行了分析和比较。实验表明，论文提出的用户角色定位方法可以有效地实现微博用户类别的划分，为热点话题检测的信息过滤提供了基础;运用基于用户关注度和微博影响力的评估方法，论文对热点话题提取的的漏检率和误检率指标分别降低到了20.38%和1.98%，取得了优于传统话题检测的效率和精准率，证明了论文所提方法的有效性。

关键词：中文微博话题检测用户角色语义相似度 single-pass聚类

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于LDA主题模型的高校新闻话题发现研究

基于LDA主题模型的高校新闻话题发现研究

作者：伊秀娟北京交通大学

学位级别：硕士

“互联网+”时代,网络新媒体得到了迅速发展,网络新闻逐渐成为人们获取信息的主要来源。高校学生作为网民中的主力军,对于新闻信息的获取更加依赖于网络。因此,如何从高校学生浏览的社会新闻中挖掘出不同的话题类型,及时掌握高校学生对... 详细信息

“互联网+”时代,网络新媒体得到了迅速发展,网络新闻逐渐成为人们获取信息的主要来源。高校学生作为网民中的主力军,对于新闻信息的获取更加依赖于网络。因此,如何从高校学生浏览的社会新闻中挖掘出不同的话题类型,及时掌握高校学生对于社会新闻话题的关注度及异常关注情况,引导学生正确看待社会新闻事件,对于高校思想教育工作的开展具有十分重要的意义。本文以学生浏览的社会新闻为研究对象,采用能够进行语义挖掘的LDA主题模型来对新闻文本进行表示,在对现阶段话题发现流程中涉及到的技术进行深入研究后,针对高校新闻话题发现技术中存在的问题提出了改进方案,使高校新闻话题发现的结果更为准确,具体工作开展如下:(1)针对标准LDA对新闻文本建模存在主题分布向高频词倾斜的问题,本文在优化了数据预处理流程的基础上提出一种基于标题加权的LDA主题模型。首先,通过整合停用词表及权值过滤的方式对文本建模的预处理流程进行优化,达到文本特征降维的目的,并在一定程度上降低无效高频词在主题中的分布概率。其次,由于新闻标题对新闻内容具有高度概括的作用,利用这一特点在LDA模型中引入了标题加权策略,建立标题-权值索引表对模型训练过程中的Gibbs采样算法进行改进。最后,通过实验结果表明,本文提出的文本建模方案不仅提高了模型训练的效率,还提高了标题词在主题中的分布概率,使得主题的描述更加准确,不同主题之间的区分度增强,因此对于文本的表示更加合理,能够在一定程度上提高话题发现结果的准确率。(2)在高校新闻话题发现阶段,本文提出了一种改进相似度计算方式的双层single-pass算法来提取新闻话题的类型,解决了传统single-pass聚类对于文档输入顺序敏感的问题。通过对比实验发现,改进的文本聚类算法在召回率、准确率和F值上都有明显的提升,使得高校新闻话题发现的结果更为准确。(3)采用本文提出的话题发现方法对采集到的高校新闻数据进行分析,得到学生关注的话题类型以及关注度。由结果可知,高校新闻话题发现研究对于高校学生工作的开展具有一定的指导作用。

关键词：高校新闻 LDA主题模型 Gibbs采样 single-pass聚类话题发现

基于Word2vec的微博热点话题检测技术研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Word2vec的微博热点话题检测技术研究

作者：鞠函函西南石油大学

学位级别：硕士

随着Web2.0的高速发展及移动设备的大量普及,微博客(Microblog,简称微博)逐渐成为人们相互交流,获取世界各地奇闻异事的重要途径。越来越多的网民通过微博将情感和对某事件的看法表达出来,这样就形成了不同于传统新闻媒体的网络舆情。... 详细信息

随着Web2.0的高速发展及移动设备的大量普及,微博客(Microblog,简称微博)逐渐成为人们相互交流,获取世界各地奇闻异事的重要途径。越来越多的网民通过微博将情感和对某事件的看法表达出来,这样就形成了不同于传统新闻媒体的网络舆情。从微博文本中挖掘有效信息、提取热点对及时发现网络舆情有深刻意义。因为微博文本具有字数少、上下文联系不紧密的特点,在文本建模过程中会面临严重的数据稀疏问题,从而影响话题检测准确度,所以对微博短文本的热点话题检测技术的研究非常有必要。本文围绕微博短文本的建模以及话题检测做了相关研究,主要工作如下。(1)获取微博短文本以及预处理。为获取更具话题性的微博,首先提出利用网络爬虫技术,爬取具有影响力的大V账号微博来获取数据,与通过官方平台提供的接口获取数据相比,网络爬虫更简便且能获取更多的数据;随后筛除内容少的微博文本以减少冗余;最后利用结巴分词对微博短文本分词,并进—步去除其中的停用词。(2)改进主题建模方法。针对微博短文本建立文本模型时面临的数据稀疏问题以及扩充外部语料难的问题,提出了将特征词输入Word2vec的Skip-gram模型以训练词向量,得到与特征词语义相近的词扩充入短文本,再采用隐含狄利克雷分布(Latent Dirichlet Allocation,LDA)对扩充后的文本建立模型以提取主题的方法。该方法既解决了 LDA用于短文本时会面临的严重的稀疏问题,又保留了 LDA能解决语义之间的关系的优势,最终有效提高了微博短文本建模的准确度。(3)对热点话题检测相关算法进行改进。针对传统的single-pass聚类算法计算量大、输入的文档需要和之前的文本逐—计算相似度的缺点,提出了改进的single-pass聚类算法。在LDA模型输出的文档-主题矩阵中选取质心向量作为话题中心,后输入的文本只需与话题中心作相似度比较。该算法有效地提高了聚类速度。通过改进的single-pass聚类对文档-主题矩阵进行聚类后得到初步的热点话题,再利用凝聚式层次聚类(Hierarchical Agglomerative Clustering,HAC)合并话题得到凝聚度更高的热点话题。通过上述研究,本文完成了基于Word2vec的微博短文本热点话题检测技术研究。详细描述了采集微博数据、建立相关文本模型、话题检测三大部分,并针对短文本数据稀疏问题,提出基于Word2vec扩充短文本的LDA算法,同时采用改进的single-pass聚类与HAC算法相结合对话题进行合并。实验证明,与传统的热点话题检测算法相比,本文提出的算法有效提高了微博短文本热点话题的提取精确度。

关键词：热点话题检测 Word2vec LDA single-pass聚类 HAC

基于主题爬虫的食品安全网络舆情分析方法研究与监测系统开发

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于主题爬虫的食品安全网络舆情分析方法研究与监测系统开发

作者：吴强强北京化工大学

学位级别：硕士

近年来“食品安全”问题屡见不鲜,严重影响到人们的日常生活,为了能够及时的从网络新闻中发现可能会爆发的热点话题,尤其是具有负面影响的食品安全事件,帮助政府相关部门及时了解事件的发展动向和社会舆论,本文对其进行了方法研究和实... 详细信息

近年来“食品安全”问题屡见不鲜,严重影响到人们的日常生活,为了能够及时的从网络新闻中发现可能会爆发的热点话题,尤其是具有负面影响的食品安全事件,帮助政府相关部门及时了解事件的发展动向和社会舆论,本文对其进行了方法研究和实现。本文的主要研究内容可以分为三个部分：主题爬虫的改进和实现、舆情分析及话题提取、食品安全舆情分析系统的开发。对于主题爬虫部分,在主题爬虫技术的基本原理和关键技术的基础上,提出了一种改进的主题爬虫方法：将传统的网页正文获取技术进行了改进,得到一种基于HTML代码解析和文字密度相结合的正文抽取方法,可以一定程度提高正文抽取的准确率;将文本相似度计算中的向量空间模型方法进行了改进,得到一种降维VSM的多参考因素的相似度计算方法,并结合网页内容与主题内容进行相似度的计算;与此同时,优化了爬虫的初始种子模块和动态阈值调整模块;对大规模URL的排序、去重和多线程也进行了相应的改进。经过对各个模块的优化,实现了-个面向特定主题的爬虫系统,通过实验对比,证明改进后的主题爬虫在效率和精确度方面都得到了较大的提高。在舆情分析及话题提取部分,通过比较几种常用聚类算法的优缺点,最终选择使用single-pass聚类算法;并对single-pass聚类算法进行了改进,将聚类过程中的簇中心向量确定方法进行了修正,得到一种基于时间参考因素的多层single-pass聚类算法;对传统的话题提取过程进行了改进,得到一种基于向量空间模型的改进single-pass聚类方法的话题提取技术。最后通过实验对比验证改进后的聚类算法以及话题提取方法的效率以及准确度都得到了一定的提高。本文最后实现了一个食品安全舆情分析系统,通过主题爬虫将互联网上的相关数据下载下来,经过相应的数据整理,使用single-pas s聚类算法进行热点话题提取,可以及时发现近期发生的食品安全热点事件。

关键词：主题爬虫正文提取相似度计算热点话题提取 single-pass聚类舆情分析