检索结果-南通市图书馆

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于应急案例本体的信息抽取的研究及应用

基于应急案例本体的信息抽取的研究及应用

作者：周慧太原理工大学

学位级别：硕士

有价值的应急案例信息对应急决策支持系统中新危机情形下的应急预案的构建具有很重要的借鉴意义。而Web上的信息正经历从无序到有序，从非结构化和半结构化，到结构化，再到具有语义结构的变化轨迹。为实现从过渡时期混乱的Web页面格式... 详细信息

有价值的应急案例信息对应急决策支持系统中新危机情形下的应急预案的构建具有很重要的借鉴意义。而Web上的信息正经历从无序到有序，从非结构化和半结构化，到结构化，再到具有语义结构的变化轨迹。为实现从过渡时期混乱的Web页面格式中提取、集成信息，利用语义网和本体的对知识的表示，搜索程序可以进行基于概念的精确搜索而不是简单而模糊的关键词匹配方法。这样通过精确搜索可以整合应急决策所需的案例库的资源。通过对案例的分析和匹配，供应急决策系统中的决策者和领域专家制定相应的决策机制。本文在研究各种信息抽取模式的基础上，提出基于本体知识表示的应急案例的信息抽取的方法。在本方法中，我们先利用Ontology对概念、关系、关键字等定义并表示应急案例领域知识。并且根据本体表示，生成相应词表，用于规则定义的匹配字典。由于案例具有一定的复杂性，把案例分为基本事件和完整事件。对事件分别定义用于信息抽取的规则。然后对句子进行语法、词法分析预处理，分析后的结果与先前生成的抽取规则进行匹配。匹配又分两步，先是对定义的基本事件进行匹配，如果符合基本事件的包含要素，将标注并抽取结果存入案例库。并继续按照完整事件模式继续匹配，抽取完成后更新案例库。利用本文描述的方法并结合应急案例为应用，实现了信息抽取在本体知识描述下的案例抽取系统。实现中利用了JAPE语言完成对信息抽取规则的定义，并调用中科院计算所开源软件ICTCLAS完成对中文资源的词法、语法分析。本文中描述了信息抽取系统的系统框架、实现结构、流程图。开发平台为Eclipse+JAVA，并用Protégé定义了应急事件的本体描述，实现了基于应急案例本体的信息抽取。最后通过实验结果表明，以本体定义得出的抽取规则对信息抽取是可行，而且有价值的。并且分析了有待继续深入研究的问题和进一步拓展的方向。

关键词：本体信息抽取应急案例抽取规则

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

Web信息抽取技术的研究与应用

Web信息抽取技术的研究与应用

作者：钱浩东北石油大学

学位级别：硕士

在全球成为“信息村”的今天,人们对于信息的需求越来越多的同时,怎样才能快速、准确地获得需要的信息就成为了研究的重点,作为重要信息源之一的因特网,同样面临着如何从海量页面中抽取出用户需要的信息的问题。而且据统计因特网上约80... 详细信息

在全球成为“信息村”的今天,人们对于信息的需求越来越多的同时,怎样才能快速、准确地获得需要的信息就成为了研究的重点,作为重要信息源之一的因特网,同样面临着如何从海量页面中抽取出用户需要的信息的问题。而且据统计因特网上约80%的内容存在于看不见的因特网中（Hidden Web）,即那些网上数据库系统。现有的搜索引擎不能抓取到这些网页的数据,所以需要一种工具从这样的网页中搜集数据,并将抽取出来的数据结构化、规范化的信息处理,Web信息抽取技术因此产生并发展起来。本文通过对现有的Web信息抽取方法的学习研究,提出了两种半自动化的方法,分别是：基于规则的Web信息抽取和基于时间频率加权DOM的Web信息抽取。其中第一种方法主要利用正则表达式对字符串的查找、替换等功能实现对常见新闻站点的HTML文档格式进行匹配,并通过DOM树生成算法生成DOM树,经过用户标记得到抽取规则,这种方法在时间上有良好的效率。第二种方法是在现有DOM信息抽取方法上,将待抽取页面文档转化为DOM树型结构,然后对DOM树进行时间、频率加权得到TFW-DOM树,其中时间相关属性的值是通过抽取时间计算公式计算得到,频率属性的值则由主调用模块反馈而来。该方法将抽取时间考虑到抽取过程中,满足多级管理层对时间实时性要求不一的情况,也很适用于程序开发人员在数据调用方面。

关键词：信息抽取时间频率加权正则表达式抽取规则

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于本体的Web页面结构化信息抽取

基于本体的Web页面结构化信息抽取

作者：岳国伟山东科技大学

学位级别：硕士

随着互联网的不断发展，Web上积累了大量的有用数据，从Web上抽取和集成信息逐渐成为研究热点。Web页面上的信息经常以HTML的形式表现出来，但是HTML显示的数据缺少严格的标准限制，显示的数据没有一定的结构和模式，计算机难于解析其... 详细信息

随着互联网的不断发展，Web上积累了大量的有用数据，从Web上抽取和集成信息逐渐成为研究热点。Web页面上的信息经常以HTML的形式表现出来，但是HTML显示的数据缺少严格的标准限制，显示的数据没有一定的结构和模式，计算机难于解析其语义。因此，从Web页面上抽取信息并集成到一起是一项必要的工作。信息以统一的形式集成在一起的好处是方便对数据做自动化处理，方便检查和比较。信息抽取技术并不试图全面理解整篇文档，只是对文档中包含相关信息的部分进行分析。结合电子商务等知识密集型Web站点的数据特征，本文提出了一种基于本体的Web页面结构化信息抽取模型。主要有以下几个方面的工作：(1)比较了信息抽取与信息检索的异同，介绍了信息抽取的工作原理、主要任务和评价指标，分析了当前信息抽取系统的技术特点和存在的问题;(2)介绍了本体相关的基础知识，讨论了在信息抽取中使用本体的优势，给出了基于本体的信息抽取常见的模型结构。在抽取系统中使用本体技术，能够消除语义异构现象，本体可作为数据源的稳定的概念接口，独立于数据模式;(3)引入PAT树技术，构造样本页面的PAT树结构，从中提取Web页面的数据模式。PAT树是一种改进了的“后缀树”，用来存储源字符串的所有可能后缀子串。同时，在模式提取阶段，提出了模式筛选的三个原则：正规性、紧凑性和分布性;(4)结合本体学习的方法和Protégé工具，构造了一个简单的图书领域本体，最后转化成OWL文件，用本体描述语言OWL形式化地描述该领域本体;(5)给出了一个规则生成算法，该算法能够借助领域本体生成抽取规则，指导具体的抽取动作。抽取规则可以从领域本体中归纳学习出来，并且监督领域本体的构造过程;同时领域本体又可以用来指导规范抽取规则，排除无效规则。规则库和领域本体两者相互学习，相互影响。(6)以“中国图书网”上的Web页面为实验对象，应用规则生成算法生成的抽取规则抽取结构化信息保存到数据库中，对模型进行测试和分析。实验结果表明该模型在查全率和准确率等方面都取得了较好的效果。

关键词： Web信息抽取 PAT树数据模式本体学习领域本体抽取规则

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于DOM的Web信息抽取

河北农业大学学报 2005年第3期28卷 90-93页

作者：崔继馨张鹏杨文柱河北工程学院河北邯郸056000 河北大学数学与计算机学院河北保定071002

为解决因Web信息量巨大且具有动态性、不规则性,Web信息查询和Web信息集成存在很大困难,研究了对HTML格式的Web文档的信息抽取,提出了一种基于DOM的Web信息抽取方法。该方法通过附加语义、样本学习生成基于DOM路径的抽取规则,利用遍历DO... 详细信息

为解决因Web信息量巨大且具有动态性、不规则性,Web信息查询和Web信息集成存在很大困难,研究了对HTML格式的Web文档的信息抽取,提出了一种基于DOM的Web信息抽取方法。该方法通过附加语义、样本学习生成基于DOM路径的抽取规则,利用遍历DOM树实现信息抽取。本方法可用于Web查询,也可用于信息集成系统中包装器的构造。

关键词： DOM 包装器抽取规则信息抽取

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于归纳学习的Web半结构化信息抽取

基于归纳学习的Web半结构化信息抽取

作者：张晨樾首都师范大学

学位级别：硕士

近几年来随着互联网的飞速发展,网络已成为最为重要的知识库。对这些知识实现高效快速地抽取并加以利用,具有良好的应用前景和应用价值。因特网页面固有的数量巨大、半结构化并且动态变化的特点,给Web信息抽取带来了复杂度高、可扩展性... 详细信息

近几年来随着互联网的飞速发展,网络已成为最为重要的知识库。对这些知识实现高效快速地抽取并加以利用,具有良好的应用前景和应用价值。因特网页面固有的数量巨大、半结构化并且动态变化的特点,给Web信息抽取带来了复杂度高、可扩展性和适应性差等问题。然而,XML技术的出现,为解决Web信息抽取存在的问题提供了契机。本文首先对现有的信息抽取技术和XML技术进行分析与研究,确定出当前Web信息抽取的主要难点是如何有效地确定抽取规则。针对目前存在的问题,为提高Web信息抽取的有效性和正确性,本文给出了一种基于路径归纳学习的信息抽取方案,并对其中相关的技术进行了深入地探讨和研究。信息抽取中的关键问题是如何编写健壮、准确和通用的抽取规则。本文利用XSLT和XPATH技术在数据转换和定位方面的优势,编写健壮的抽取规则,通过样本训练,引导机器自动归纳学习,同时根据数据导向型样本中重要信息重复出现的特点发现用户感兴趣的信息块,进而实现对信息的准确定位,并且自动生成以XSLT语言表达的抽取规则,实现基于归纳学习规则的信息自动抽取。最后,结合本人参与的实际项目,利用C++语言在Windows平台上构建了具有良好人机交互能力的信息抽取原型系统。实验结果表明,系统可以对页面上用户感兴趣区域生成抽取规则进行抽取,并且具有良好的用户体验、可扩展性和适应性。

关键词：半结构化信息抽取归纳学习抽取规则

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

垂直搜索中网页信息自动化抓取的研究与实现

垂直搜索中网页信息自动化抓取的研究与实现

作者：张建宇北京邮电大学

学位级别：硕士

随着互联网技术的不断创新和发展,互联网上信息数量呈爆炸式提高,垂直搜索引擎为人们提供了专业的、全面的、优质的搜索结果。垂直搜索引擎的完美搜索结果离不开大量的精确的行业数据支持,而这些数据的获取则是垂直网络爬虫的功劳。垂... 详细信息

随着互联网技术的不断创新和发展,互联网上信息数量呈爆炸式提高,垂直搜索引擎为人们提供了专业的、全面的、优质的搜索结果。垂直搜索引擎的完美搜索结果离不开大量的精确的行业数据支持,而这些数据的获取则是垂直网络爬虫的功劳。垂直网络爬虫会按照一定的抽取规则有选择地抽取页面中的信息以及链接,并将抽取的结构化信息存储至数据库,以供垂直搜索引擎使用,这是网络信息抓取的主要流程。垂直网络爬虫抓取的主要目标是互联网上的网页,这些网页具有数量大、易变化、半结构化的特点,而这些特点导致了垂直网络爬虫抓取覆盖率不高、抓取网页信息容易失效、抽取网页信息不正确等问题。其中抓取覆盖率问题影响了垂直搜索引擎搜索结果的全面性,网页信息失效问题影响了垂直搜索引擎搜索结果的正确性,抽取信息不正确问题影响了垂直搜索引擎搜索结果的准确性。通过对三个问题的分析和总结,本文提出了网页自动发现机制、网页自动重新访问机制和抽取规则失效自动报警机制。这三个机制分别解决了垂直网络爬虫抓取覆盖率问题、网页信息失效问题以及抽取规则失效问题。本文首先介绍了网页自动发现机制,选取了开源爬虫框架Scrapy作为基础框架进行了二次开发,提高了垂直网络爬虫抓取的全面性和准确性;其次介绍了网页自动重新访问机制,选取了 Spring和Hibernate框架作为基础框架进行功能开发,保证了垂直网络爬虫信息的有效性和准确性;再次介绍了抽取规则失效自动报警机制,通过对垂直网络爬虫抓取的监控,针对抽取规则失败情况及时有效地自动报警。最后通过大量实验分别验证了三个自动化机制的有效性、高效性。

关键词：垂直网络爬虫抓取覆盖网页时效抽取规则 Scrapy

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于网页信息定位的数据抽取技术的研究

基于网页信息定位的数据抽取技术的研究

作者：侯明燕暨南大学

学位级别：硕士

随着互联网的快速发展,网络信息已经成为人们最重要的知识来源,为此可以将Web看成是一个巨大的数据库,其中包含着各种有价值的信息,为了能使用户准确获得所想要的信息,信息抽取成为必要。目前大量的网页信息都保存在网站的后台数据库中... 详细信息

随着互联网的快速发展,网络信息已经成为人们最重要的知识来源,为此可以将Web看成是一个巨大的数据库,其中包含着各种有价值的信息,为了能使用户准确获得所想要的信息,信息抽取成为必要。目前大量的网页信息都保存在网站的后台数据库中,它们具有共同的显示特征,即网页的主体部分由多个局部信息块组成,而局部信息块又由多个数据项构成。这类网页被规定为数据密集型网页,它们是Web信息的重要来源。因此本文主要针对数据密集型网页进行数据抽取的研究。文章首先分析国内外信息抽取的研究现状,并对现有的抽取技术进行研究比较,确定出当前影响Web信息抽取的关键因素是抽取规则的优劣。针对目前存在的问题,本文提出一种基于网页信息定位的数据抽取系统。该系统采用同一站点URL结构相似性判断和主题匹配的方法获取相似网页;利用XSLT作为数据抽取规则的描述语言,提出一种基于网页信息的行和列XPath路径定位方法,采用与用户交互的可视化界面,系统自动生成抽取规则,最终抽取出结构清晰且用户感兴趣的数据。最后采用典型的电子商务网站作为实验数据源,根据所做的研究结合XML技术和Java技术开发了一个信息抽取原型系统,结合相关的评价指标对系统的性能和抽取结果进行比较分析表明,本文的研究方法具有一定的实用价值。

关键词： Web信息抽取信息定位抽取规则 XPath位置路径

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

Web信息抽取技术研究

Web信息抽取技术研究

作者：王花西北农林科技大学

学位级别：硕士

过去几十年里,Web的迅速发展使其成为世界上规模最大的公共数据源,成为我们工作和生活中不可缺少的一部分。Web数据的主题广泛而且内容多样,用户可以在因特网上找到几乎任何信息。Web上具有各种类型的数据,如结构化的表格、半结构化的... 详细信息

过去几十年里,Web的迅速发展使其成为世界上规模最大的公共数据源,成为我们工作和生活中不可缺少的一部分。Web数据的主题广泛而且内容多样,用户可以在因特网上找到几乎任何信息。Web上具有各种类型的数据,如结构化的表格、半结构化的网页、无结构的文本以及多媒体文件等,Web上的信息是异构的、包含噪音数据。如何自动从这些网站的有关页面抽取有用的信息,避免噪音数据的干扰,为用户提供一个方便快捷和高效的信息查询平台,是一个值得研究的课题,Web信息抽取技术应运而生。 Web信息抽取技术的核心是构造包装器,即编写抽取规则。目前,已经产生了各种各样的方法来生成抽取规则,但这些方法有其不同的局限性,在精确度和通用性方面难以达到很高的要求。随着互联网的发展,XML技术的优势逐渐显示出来。XML数据的独立性把内容及其表示法分离开来,XML文档的结构化而非格式化本质使之很容易由数据库应用程序处理,本文在此基础上提出基于XML的Web信息抽取方法。利用XML相关的标准技术来实现Web信息抽取,将源HTML文档中用户感兴趣的信息抽取出来,快速获取所需信息,采用该技术的信息抽取系统易于维护且具良好的可扩展性。具体创新有以下几点: (1)充分利用了XSLT在解决文档转换问题上的优势,使其与XPath相结合生成抽取规则。并使用XSLT语言描述抽取规则,使得抽取模式更容易达成统一。使用此方法生成的规则易于修改和维护,降低了信息抽取的难度并提高了抽取效率。 (2)设计并实现了一种基于DOM树结构的XPath生成算法,深度优先遍历DOM树并快速定位到待抽取信息点,有效解决了待抽取信息点定位难的问题。在多个网站上的实验结果表明,本文提出的Web信息抽取方法能够有效地抽取相似网页中的数据记录,数据记录的抽取准确率达到90%左右,能够较好地满足现实应用中对数据获取精确度的要求。

关键词： Web信息抽取抽取规则 DOM树 XSLT XPath

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

Web信息抽取框架技术研究

Web信息抽取框架技术研究

作者：滕晓程东南大学

学位级别：硕士

从非结构化和半结构化的互联网信息中抽取结构化信息的技术广泛应用于商业数据挖掘、社交网络分析和垂直搜索引擎等领域。信息结构化包括一系列环节：设定信息抽取范围、网页爬取、网页预处理、定义抽取内容、构建抽取规则和信息存储,... 详细信息

从非结构化和半结构化的互联网信息中抽取结构化信息的技术广泛应用于商业数据挖掘、社交网络分析和垂直搜索引擎等领域。信息结构化包括一系列环节：设定信息抽取范围、网页爬取、网页预处理、定义抽取内容、构建抽取规则和信息存储,进一步可以分为应用依赖的和应用独立的环节。本文提出信息结构化的一般框架,基本思想是设定信息抽取的范围和内容是框架中应用依赖的环节,而其他环节具有应用独立性,通过设计一套描述方法配置应用依赖的操作,将应用独立的环节向开发人员屏蔽,提高框架的通用性和应用开发效率。具体贡献如下：(1)设计并实现了一个通用的Web信息抽取框架。从信息结构化流程中抽象出该框架,框架提供了一个统一的Web信息抽取模型;基于抽象和信息隐蔽的工程原则对框架进行总体设计,将信息结构化过程抽象为应用依赖的信息范围和内容描述与应用独立的其他环节,让开发人员配置应用依赖的操作而屏蔽应用独立的环节,提高框架的通用性和应用开发效率。(2)提出并实现了一种基于知识图谱的词类生成算法。本文引入词类的概念分析网页主题,并使用文档-词类向量对网页分类,而手工构建词类比较困难。本文基于知识图谱自动构建有效的词类,降低了词类构建的难度。(3)提出并实现了一种基于DOM节点分类的信息抽取方法。采用监督学习的方法构建信息的抽取规则,将信息抽取问题看作分类问题,以信息所在的DOM节点为粒度进行分类,提出了DOM节点的样式特征、内容特征和上下文特征。(4)在文献[46]的数据集上进行了网页分类实验,与基准方法进行对比,实验结果表明本文中提出的方法在分类效果上优于基准方案。在从Amazon等网站抽取的图书信息页面数据集上进行了信息抽取实验,其中对图书的标题、作者和价格信息进行抽取,实验结果表明本文提出的信息抽取方法能够取得较好的效果,并且具有较好的扩展性。

关键词：信息结构化 Web信息抽取框架分类知识图谱抽取规则