检索结果-南通市图书馆

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

微博舆情监测系统的设计与实现

微博舆情监测系统的设计与实现

作者：张珍桢华南理工大学

学位级别：硕士

网络舆情,在微博等新兴网络媒体推动下,获得了前所未有的传播速度和社会影响力。通过微博舆情监测,政府有关职能部门可以跟踪掌握社会时事、网络热点问题的舆情动态,并可对各类网络话题进行辨别和引导,从而净化网络环境,改善社会风气;... 详细信息

网络舆情,在微博等新兴网络媒体推动下,获得了前所未有的传播速度和社会影响力。通过微博舆情监测,政府有关职能部门可以跟踪掌握社会时事、网络热点问题的舆情动态,并可对各类网络话题进行辨别和引导,从而净化网络环境,改善社会风气;同时可以掌握民情、民意,为政府决策提供依据。本文对基于新浪微博的网络舆情监测相关技术进行研究,设计并实现了一个基于B/S架构的微博舆情监测系统,包括微博采集、微博聚类、微博簇摘要及基于时间轴的舆情信息显示等模块。本文完成的主要工作包括:(1)通过自定义关键词爬取微博搜索结果页面,从而有针对性地采集微博数据,提高舆情响应时间,降低微博数据存储的硬件成本。(2)在微博聚类中,将基于中心向量的改进型single-pass算法用于微博文本流聚类,并在微博特征向量中引入微博文本中的话题词、链接网址以及用户名等,来提高微博聚类效果。(3)在微博簇摘要中,本文采用改进的混合TF-IDF算法获取微博簇关键词及其评分,并通过关键词特征向量选取相似度最大的一条微博作为微博簇的摘要总结。(4)基于时间轴的分段显示:本文利用Chart Director图表插件分段展示微博聚类簇的摘要总结,向用户直观呈现微博舆情的相关信息,以达到对微博舆情进行监测、分析、跟踪的目的。最后,本文利用Event2012 Tweet数据集对微博聚类及摘要算法进行了实验评估。

关键词：微博舆情 single-pass 摘要总结时间轴显示

面向实例的社交媒体数据获取与在线事件检测研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向实例的社交媒体数据获取与在线事件检测研究

作者：陈志苗南昌大学

学位级别：硕士

随着互联网技术的迅猛发展和社交媒体平台的日益普及,这些平台已不仅仅是人们传递和交流信息的场所,更成为了社会事件分享和传播的重要阵地。本文聚焦于固定区域实例或移动实例,深入挖掘社交媒体这一庞大数据库中的价值信息。借助先进... 详细信息

随着互联网技术的迅猛发展和社交媒体平台的日益普及,这些平台已不仅仅是人们传递和交流信息的场所,更成为了社会事件分享和传播的重要阵地。本文聚焦于固定区域实例或移动实例,深入挖掘社交媒体这一庞大数据库中的价值信息。借助先进的数据获取技术和事件检测技术,能够揭示出隐藏在海量信息背后的宝贵线索和规律。无论是区域事件的实时监测与管理,还是移动实例的轨迹分析与精准追踪,这些研究都发挥着举足轻重的作用。通过深入探索这一领域,我们有望为社会治理、公共安全等领域提供更为精准和有效的支持。本文主要工作包括:(1)提出一种位置感知的实例社交媒体数据获取方法LA-ISMDA。LAISMDA以地名关键词、经纬度、地名邻近获取推文用户和以地名关键词获取用户这四种方式构建初始区域用户集合,提取其中描述和个人资料提及区域的用户生成区域用户集,构建区域用户集的关注、提及和回复社交关系网络,并基于用户间的关注、提及、回复等社交关系强度实现对区域用户的扩展,利用用户的资料地点、描述提及地点及本地发文情况去综合推断用户位置,实现对种子用户集的不断填充,最终完成对固定区域实例用户集的发现和推文集的获取。(2)提出了一种基于时空动向一致性的实例事件检测方法。首先依据实例类型的不同采取不同的方式获取数据,移动实例通过构建关键词集获取初始数据集,固定区域实例通过发现的区域用户集获取初始数据集。实例数据经预处理后提取实例事件四元组[主体目标,行为动向,地点,时间],移动实例数据使用微调后的预训练模型提取事件四元组,固定实例数据使用命名实体识别和词性分析提取事件四元组。为了衡量不同事件四元组之间的相似关系,设计了融合语义、位置和动向相似的移动实例文本相似度和语义、位置、共现的固定区域实例文本相似度,语义相似度采用SBert模型编码后的结果来衡量,位置相似度通过分析多层级行政区划关系及空间距离来衡量,共现相似度采用名词和动词间的Jaccard来衡量,动向相似度基于构建的多源动向词库来衡量,基于该文本相似度利用结合时间窗的single-pass算法对事件四元组进行时空一致性的划分,划分后形成多个不同的事件类簇,最后依据时间顺序构建出移动实例的轨迹线和固定区域实例的故事线。(3)针对位置感知的实例社交媒体数据获取与基于时空动向一致性的实例在线事件检测两部分进行了实验分析与验证。第一部分实验为位置感知的实例社交媒体数据获取,首先获取了部分初始区域用户集,并利用区域用户集的多种社交网络关系验证本文第二章中提出的假设。结果表明,社交关系对于扩展区域用户具有可行性。接着对LA-ISMDA区域数据获取方法进行了实验与分析,并设定了两个基准方法:Feedback算法和MRS-LTR算法。方法采取位置精度和差异系数两个指标来评估效果,实验表明本文LA-ISMDA方法在发现的位置精度比Feedback算法高出了18.15%,比MRS-LTR算法高出了5.1%,在差异系数的比较上优于另外两种方法。第二部分为基于时空动向一致性的实例在线事件检测,分别对移动实例和固定区域实例进行事件检测,移动实例数据采集的是“里根号”相关的数据,固定区域实例采集的是“加沙地带”的数据,在移动实例事件检测效果对比上,本文方法相比于single-pass和DP-BMM其实例动向事件检测能力有了较大的提升,在精确率上分别提升了26.31%和42.58%,召回率上提升了40.23%和42.59%,在固定区域实例事件检测效果对比上,相比于singlepass和DP-BMM,其精确率分别提升了26.25%和28.71%,召回率提升了17.1%和12.64%,证明了本文方法的有效性,最终可依据事件检测结果绘制出移动实例的轨迹线和固定区域实例的故事线。

关键词：社交媒体 LA-ISMDA single-pass 时空动向事件检测

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

BBS网络热点话题发现

BBS网络热点话题发现

作者：马国栋首都师范大学

学位级别：硕士

我国互联网信息技术发展迅速,互联网资源日益繁杂,而网络中海量的数据信息资源却没有被充分利用。互联网资源主要以HTML文本形式表示,因此采用文本挖掘技术可以高效低获取网络信息资源。作为文本挖掘技术的重要组成部分,文本聚类算法是... 详细信息

我国互联网信息技术发展迅速,互联网资源日益繁杂,而网络中海量的数据信息资源却没有被充分利用。互联网资源主要以HTML文本形式表示,因此采用文本挖掘技术可以高效低获取网络信息资源。作为文本挖掘技术的重要组成部分,文本聚类算法是目前国内外学者研究的热点和难点。本文采用“中华网BBS”中8个版块的数据集为研究对象,开展了对两种经典文本聚类算法single-pass和K-means的应用研究,分析了两种算法存在的不足并对其进行改进,得到了可靠的数据结果,证明了改进算法的可行性。主要工作如下：1.详细介绍了BBS文本数据(树状结构和表状结构)的采集过程,着重阐述了BBS文本的预处理过程,包括特征项的选取、BBS数据清洗以及BBS文本表示,获得了文本向量特征项的权值矩阵。2.详细介绍了经典增量式聚类算法single-pass的特点,针对该算法中“聚类质心不唯一”的缺陷提出“设定唯一聚类质心”的改进方案,降低了算法的时间复杂度;针对“算法聚类中心随机性强”的不足提出了“不断优化聚类中心”的改进方案,使得聚类中心的代表性更强。最后,基于“中华网BBS”文本数据对改进后的算法进行验证、分析,并与经典single-pass算法的聚类结果进行对比,得到了更为理想的实验结果,表明算法可行有效。3.详细介绍了经典划分式聚类算法K-means的特点,针对该算法中“聚类中心难以确定”的不足提出“选择最优聚类质心”的改进方案,改进后的算法得到了可靠的聚类质心。最后,基于“中华网BBS”文本数据对改进后的算法进行验证、分析,并与经典K-means算法聚类结果进行对比,得到了更为理想的实验结果,表明算法可行有效。4.在改进后的single-pass和K-means算法的数据预处理步骤中设置“回收类”,用于存放BBS中的无关帖,深入分析表明“回收类”中的无关帖包括广告贴、垃圾帖、图片贴等,并着重阐述了“回收类”中“其他话题贴”演化为未来“热帖”的可能。

关键词： Web数据挖掘话题发现 single-pass K-means

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于新闻要素的在线新事件检测

基于新闻要素的在线新事件检测

作者：李营那华东理工大学

学位级别：硕士

随着Internet技术的迅速发展,在线新闻己成为人们获取信息的主要途径。然而互联网上的新闻杂乱无序、增长迅速,人们很难从如此庞大的信息库掌握有用的信息,特别是最新的消息动态。本文的研究对象一一新事件检测的主要任务是从以时间顺... 详细信息

随着Internet技术的迅速发展,在线新闻己成为人们获取信息的主要途径。然而互联网上的新闻杂乱无序、增长迅速,人们很难从如此庞大的信息库掌握有用的信息,特别是最新的消息动态。本文的研究对象一一新事件检测的主要任务是从以时间顺序到来的新闻报道中识别出一个新闻话题未知种子事件的第一篇报道。本文主要针对新闻的四要素：时间、地点、人物和内容在新事件检测中的作用进行研究,把地名、人物和内容作为衡量报道和事件相似度的标准;并对支持向量机进行研究,探讨了它在新事件检测中的应用;进而提出了一种基于新闻要素的自动在线新事件检测方法。本文主要工作如下：第一,构建基于新闻要素的报道和事件表示模型,该模型包括新闻报道时间、地点、人物和内容等要素,使用多维要素的优越性在于可以区别相似事件;第二,为了解决事件中心随时间的漂移问题提出了事件中心模板动态更新算法,让事件中心模板随着新闻报道的不断加入而改变;第三,为计算报道和事件各部分对应特征的相似度提供了对应的相似度算法：使用基于地理本体树的地名相似度算法计算地点相似度,使用基于维基百科的语义相似度计算方法计算报道内容之间的相似度;第四,为了衡量报道和事件各部分的重要性,使用SVM模型训练得出各要素的权值;第五,以single-pass聚类算法为基础,同时在新事件检测中使用滑动的时间窗口以减少因处理大量不活跃事件引起的时间消耗。最后,设计了一个实验系统,并从丢失率、误报率、标准化代价和时间复杂度四方面对本文采用的方法进行评测。通过与基准算法比较表明,使用基于新闻要素的方法能有效提高算法的性能。当报道向量大小为50、事件向量大小为200、使用计算得到事件质心的方法以及滑动时间窗口为4时,算法能够得到最优结果。使用基于手动调节参数的方法虽然也能得到很好的实验结果,但是需要频繁的进行参数调节且难以取得最优值;使用基于SVM的方法能得到更加优越的结果并且不影响算法效率。

关键词：新事件检测新闻要素 single-pass 支持向量机语义相似

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

微博数据提取及话题检测方法研究

微博数据提取及话题检测方法研究

作者：邱洋大连理工大学

学位级别：硕士

微博作为近年来急速流行起来的网络应用,正在快速深入每个人的日常生活中。由于其不仅可以通过电脑而且可以通过手机等移动便携设备进行内容发布,所以其具有诸如实时性,碎片性等特点。同时微博博主可以有关注和被关注的关系,微博内容也... 详细信息

微博作为近年来急速流行起来的网络应用,正在快速深入每个人的日常生活中。由于其不仅可以通过电脑而且可以通过手机等移动便携设备进行内容发布,所以其具有诸如实时性,碎片性等特点。同时微博博主可以有关注和被关注的关系,微博内容也有评论转发等形式,故也体现出其互动性和灵活性。本文基于微博以上特点做了数据提取和话题检测两方面工作。传统的网络文本数据提取一般是利用图遍历的思想通过网络爬虫搜集信息,本文在此基础上研究了使用微博开放API接口进行数据获取的方法。首先着重分析了OAuth2.0认证原理,然后研究了获取认证的流程,此认证的获取是利用开放接口的前提条件,目的是让第三方应用可以接入服务方的数据且不泄露个人信息,最后利用新浪微博的开放接口实现数据的提取并将获取的数据以更高效的JSON格式保存,实验证明此方法相比传统方法处理效率更高,在同等数据量前提下文件大小更小。话题检测在数据挖掘领域已经得到了深入的研究,其可以从分散的多个文本文件中提取出少量的不同主题,从而可以更清晰明了地展现数据的整体概况。在进行话题检测时传统的基于空间向量模型建模方法容易造成语义丢失的问题,于是本文改进现有的特征权重和相似度计算方法,采用与语义相结合的方式,同时针对微博内容实时性的特点,在前期建模阶段添加时间参数以保证话题检测的正确性,传统的检测方法主要是针对无结构文本的分析,本文中考虑到微博转发功能的结构化特性,最后选取改进的单遍聚类single-pass方法实现话题检测。通过比较实验证明本文方法在话题检测标准的漏检率,错检率等上取得了较好的效果。

关键词：微博数据获取话题检测向量空间模型 single-pass

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于机器学习的网络舆情采集技术研究与设计

基于机器学习的网络舆情采集技术研究与设计

作者：张蕾电子科技大学

学位级别：硕士

随着互联网技术的飞速发展,网络平台的重要性愈发突出,网络中虚假、暴力、消极的网络舆情对社会稳定和国家安全的影响也越来越大。针对网络舆情进行有效采集在预防不良信息的传播,稳定社会秩序,保证公共安全方面有着重要意义。本文重点... 详细信息

随着互联网技术的飞速发展,网络平台的重要性愈发突出,网络中虚假、暴力、消极的网络舆情对社会稳定和国家安全的影响也越来越大。针对网络舆情进行有效采集在预防不良信息的传播,稳定社会秩序,保证公共安全方面有着重要意义。本文重点研究分析及改进了网络舆情采集系统的关键技术:文本聚类,设计并实现了一个网络舆情采集原型系统。1、本文对文本聚类中的single-pass算法进行了改进。作为基于机器学习的网络舆情采集技术,无监督机器学习的文本聚类算法是其核心。single-pass算法虽然对网络信息的话题提取有较为优异的性能,但是该聚类算法对于文本输入顺序的依赖性较强,对于相同的数据集,输入数据不同可能导致聚类结果的差异。本文设计了一种基于双阈值的single-pass算法,通过建立中间状态规范簇类中心向量的偏移来降低对输入顺序的依赖性强度。此次改进通过实验证明对文本聚类的性能有较大提升。2、本文改进了基于DOM树改进的正文提取方式,该方式结合中文字符和非链接文字的分布比率来优化传统的基于DOM树的正文提取方法,提升了舆情采集系统中正文提取的精确性。3、本文构建了基于机器学习的网络舆情采集系统架构,设计并实现了原型系统,并对其核心模块和系统整体进行测试。

关键词：网络舆情机器学习文本聚类 single-pass

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向微博的热点话题发现及跟踪

面向微博的热点话题发现及跟踪

作者：刘佳华南理工大学

学位级别：硕士

随着web2.0的不断发展和基于web2.0的应用不断出现，网民的交流方式大大发生了改变。微博是最近得到高速发展的一个基于web2.0的应用。网民通过微博，可以发表自身信息，关注他人信息或者转发、评论他人的信息。但这也使得网民容易陷入... 详细信息

随着web2.0的不断发展和基于web2.0的应用不断出现，网民的交流方式大大发生了改变。微博是最近得到高速发展的一个基于web2.0的应用。网民通过微博，可以发表自身信息，关注他人信息或者转发、评论他人的信息。但这也使得网民容易陷入局部信息而忽略了整体信息。因此本文从微博用户发表的信息出发，对微博热点话题进行研究。研究的主要内容包括以下几个方面： 1.从微博的组织方式出发，对微博信息进行采集。由于传统的爬虫在微博平台上受到了比较大的限制，所以本文设计了支持Ajax的微博爬虫，爬虫模拟网民浏览微博的方式对微博信息进行采集。同时，讨论了微博信息噪音存在的情况，并对不同的情况使用不同的方式进行预处理。 2.针对微博由于字数限制而导致无法使用传统长文本聚类方法进行话题发现的情况，本文提出了微博讨论树的概念，并设计了微博讨论树合并算法，使短文本组织成长文本。 3.对微博话题发现进行研究，本文实现了微博语义框架。但单纯从语义出发对微博进行话题发现存在一定缺陷。因此，本文提出使用基于single-pass与语义框架相结合的SPS（single-pass And Semantics）算法。经实验验证，SPS算法比单纯使用基于统计和单纯使用基于语义的算法有一定的提高。 4.为了对热点话题进行跟踪，本文定义了微博的能量，微博讨论树的能量以及话题的能量，并给出计算话题当前能量值的算法。

关键词：微博话题发现话题跟踪 single-pass 语义框架

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

微博舆情挖掘技术的研究与应用

微博舆情挖掘技术的研究与应用

作者：孙建超电子科技大学

学位级别：硕士

互联网技术的持续发展,使得微博等新媒体越来越成为信息发布和共享的新平台,然而信息的传播也伴随着大量的虚假、暴力、反动等信息,严重影响人们的正常生活。因此,我们有必要尽快建立适应新形势下的网络舆情挖掘模型。论文研究应用以微... 详细信息

互联网技术的持续发展,使得微博等新媒体越来越成为信息发布和共享的新平台,然而信息的传播也伴随着大量的虚假、暴力、反动等信息,严重影响人们的正常生活。因此,我们有必要尽快建立适应新形势下的网络舆情挖掘模型。论文研究应用以微博为代表的短文本舆情挖掘技术,重点对微博特征提取与表示、话题发现与追踪以及话题情感分析等技术进行了研究。在微博特征提取与表示方面,本文提出了一种基于语义的图结构模型,将微博特征词映射为图模型的结点,将依存句法关系映射为图模型的边。该模型充分考虑了文本的语义信息,有效克服了传统方法中语义缺失的弊端。在话题发现与追踪技术方面,利用single-pass算法实现微博话题的发现,并对算法存在的问题进行了优化改进;通过对单条微博与微博话题影响力的定义和度量,实现微博热点话题的识别与提取。在话题情感分析领域,论文首先在褒贬义词典中挑选情感倾向明显的词语作为种子情感词,并利用同义词词林扩展获得较完整的情感词库,然后再结合依存句法分析尽量消除上下文环境对情感词的影响。与传统的短文本舆情挖掘模型相比,本文提出的模型可以更加真实地反映文本的语义信息,在中等大小的新浪微博数据集中测试显示:该模型取得了较好的性能。

关键词：图结构依存句法 single-pass 情感分析

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于网络编码的传感网数据流并行计算技术

基于网络编码的传感网数据流并行计算技术

作者：唐浩南京理工大学

学位级别：硕士

无线传感网处于物联网末梢,主要负责物联网末端信息采集。随着物联网的发展,无线传感网使用越来越广泛,涉及领域也越来越多。云计算旨在对有意义的大规模数据集进行有效的专业化处理。无线传感网和云计算相结合已经成为一个新的发展方... 详细信息

无线传感网处于物联网末梢,主要负责物联网末端信息采集。随着物联网的发展,无线传感网使用越来越广泛,涉及领域也越来越多。云计算旨在对有意义的大规模数据集进行有效的专业化处理。无线传感网和云计算相结合已经成为一个新的发展方向。本文设计的基于网络编码的传感网数据流并行计算系统,通过将无线传感网和云计算技术相结合,以实现大规模传感网数据集下的异常数据的快速聚类,为用户决策提供有利辅助。本文的主要工作体现在以下方面:(1)针对无线传感网中节点计算能力低,能量受限等不足,本文首先引入Reed-Solomon码设计了一种构造稀疏矩阵的方法来提高无线传感网中节点的能量利用率。实验证明了本文设计的方法能够提高无线传感网中节点的能量利用率。(2)网络编码解码工作会造成信宿时延,而且会增加节点的计算负担。本文设计了适用于Hadoop集群的分布式解码算法,将解码工作放在集群中进行,利用集群强大的计算能力来提高解码效率,减轻了无线传感网节点负担,并通过实验证明集群并行解码的可行性,同时分析了集群中相关因素对解码效率的影响。(3)针对传统MapReduce框架下用于感知数据的异常检测的k-means算法会造成极大的I/O消耗问题,提出了改进的基于MapReduce的单遍k-means算法。文中,从理论上证明了本文提出的方法能够降低程序执行时的I/O消耗,并且实验结果显示,本文设计的算法相对于传统的基于MapReduce的k-means算法,在保证聚类效果的同时,能够降低执行时间。

关键词：无线传感网网络编码能量效率 Hadoop MapReduce框架 single-pass K-means