检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

航班信息抽取规则的自动生成技术

计算机工程 2011年第6期37卷 65-67页

作者：张志远徐涛冯霞中国民航大学计算机科学与技术学院天津300300 中国民航信息技术科研基地天津300300

在基于包装器的Web信息提取工作中,抽取规则占有重要的地位。由于网页经常改版,使得抽取规则需要不断更新,且手工生成抽取规则是一项费时费力的工作。为此,提出一种自动生成抽取规则的方法,通过扫描HTML源码,生成带语义信息的TABLE树,... 详细信息

在基于包装器的Web信息提取工作中,抽取规则占有重要的地位。由于网页经常改版,使得抽取规则需要不断更新,且手工生成抽取规则是一项费时费力的工作。为此,提出一种自动生成抽取规则的方法,通过扫描HTML源码,生成带语义信息的TABLE树,用以识别网页中的数据表格,并在此基础上利用贪心算法自动生成抽取规则。实验结果表明,该方法具有较高的准确率和F指数,且对于识别出的表格具有较高的规则生成率。

关键词： Web信息提取抽取规则语义TABLE树贪心算法

在线全文

学校读者我要写书评

暂无评论

民国南海文献知识元内容抽取规则研究

情报杂志 2022年第12期41卷 132-139页

作者：孙浩洋沈固朝南京大学信息管理学院南京210046 中国南海研究协同创新中心南京210046

[研究目的]南海问题的深入研究,需要从海量历史文献中快速获得知识描述,实现由文献向语句描述的内容抽取,因此引入最小知识描述单位--知识元,并研究其抽取规则,为南海维权信息内容抽取提供新思路,以方便研究者快速浏览文献知识。[研究方... 详细信息

[研究目的]南海问题的深入研究,需要从海量历史文献中快速获得知识描述,实现由文献向语句描述的内容抽取,因此引入最小知识描述单位--知识元,并研究其抽取规则,为南海维权信息内容抽取提供新思路,以方便研究者快速浏览文献知识。[研究方法]基于民国南海文献总结知识元分类,归纳不同属性类型知识元句法规则,提炼形成规则模板,匹配文本与知识元描述规则,人工干预确定知识元内容,实现知识元的内容抽取。[研究结论]匹配结果发现,内容描述规则能较好地实现知识元抽取,满足研究者对知识元内容的阅览需求。

关键词：知识元知识元分类知识元抽取知识元描述规则抽取规则提炼规则南海文献

在线全文

学校读者我要写书评

暂无评论

多信息块Web页面中的抽取规则

计算机工程 2003年第9期29卷 42-44,50页

作者：王庆一王继成周源远袁春风南京大学软件新技术国家重点实验室南京大学计算机科学与技术系南京210093

以往的包装器主要针对仅含有一个数据块的Web页面，而对含有多个信息块的Web页面，简称MIB(Multiple Information Block), Web页面无法处理。该文提出了一个新的抽取规则，结合了基于文档结构的抽取规则和基于特征Pattern匹配的抽取规... 详细信息

以往的包装器主要针对仅含有一个数据块的Web页面，而对含有多个信息块的Web页面，简称MIB(Multiple Information Block), Web页面无法处理。该文提出了一个新的抽取规则，结合了基于文档结构的抽取规则和基于特征Pattern匹配的抽取规则的优点，能够有效地抽取MIB Web页面中的信息。

关键词： Web 信息抽取包装器抽取规则信息集成

基于DOM的Web信息抽取规则的构造与实现

在线全文

学校读者我要写书评

暂无评论

河北大学学报（自然科学版） 2007年第2期27卷 209-212页

作者：杨敬伟杨文柱高悦河北大学科技处河北保定071002 河北大学数学与计算机学院河北保定071002 信息产业部电信研究院北京100037

为了实现对Web信息的查询、重构和再利用,人们采用了Web信息抽取技术.本文主要讨论基于DOM的Web信息抽取,研究如何构造抽取规则,才能提高信息抽取的准确度、提高抽取规则的适应能力,并给出了抽取规则的生成过程.

关键词： DOM Web信息抽取抽取规则

复杂结构精确Web信息抽取规则语言与关键技术研究

在线全文

学校读者我要写书评

暂无评论

复杂结构精确Web信息抽取规则语言与关键技术研究

作者：魏武南京大学

学位级别：硕士

互联网时代Web已经成为各类海量数据和信息的主要载体,成为人们获取大量有用信息的主要数据源。当前,电子商务领域的蓬勃发展,垂直搜索、社交网络的舆情和情感分析等诸多应用,都依赖于Web信息抽取技术来获得大规模的网页数据,因此Web信... 详细信息

互联网时代Web已经成为各类海量数据和信息的主要载体,成为人们获取大量有用信息的主要数据源。当前,电子商务领域的蓬勃发展,垂直搜索、社交网络的舆情和情感分析等诸多应用,都依赖于Web信息抽取技术来获得大规模的网页数据,因此Web信息抽取技术的研究具有重要的研究意义和商业应用价值。Web信息抽取技术的一个重要研究问题是,研究如何提供一种有效的Web信息抽取规则以方便快速地表示各种复杂结构网页数据记录的抽取逻辑,从而避免硬编码程序编写方式来完成数据抽取。现有的Web信息抽取技术的研究已经取得了一定的成就,然而Web页面技术的发展给Web信息抽取技术领域不断带来新的研究课题。现有Web信息抽取技术与抽取规则研究方面还存在以下主要缺点：1)抽取规则模型和体系设计方面,缺少对完整的抽取过程和模型的深入研究,难以完成深度网页的浏览导航、数据抽取和集成的全过程处理：2)缺少对复杂结构数据记录模型的研究,降低了Web网页数据抽取技术的适用范围;3)抽取规则语言方面,目前主流的抽取规则语言缺乏足够的表达能力来满足复杂结构深度Web页面的数据抽取需求;4)针对动态数据页面模板更新带来的规则包装器失效问题,尽管也有关于规则检测和维护的相关研究,但是缺乏从规则体系层面上对规则检测、维护、更新的表达能力;5)数据抽取特征方面,目前研究利用的网页DOM树的结构特征和视觉特征,虽然可以处理大多数常规的数据抽取应用问题,然而对于上述两种特征无法涵盖和处理的复杂结构网页,在抽取规则的定义和设计层面上缺少足够的特征来提高表达和处理能力;6)缺少对规则语言执行效率的分析和改进,未能从大规模应用场景出发设计和改进现有的规则执行过程,提高数据抽取的效率。在总结现有Web信息抽取规则研究工作的基础上,针对已有研究,本文主要进行了五个方面的研究工作：1)研究设计了Web信息抽取全过程模型,可刻画完整Web信息抽取过程中的浏览导航逻辑、数据抽取逻辑和数据集成逻辑,为设计兼具浏览导航和数据集成的综合处理能力的抽取规则语言提供指导;2)抽取规则体系和模型研究：为了能够更清晰地描述Web信息抽取处理过程,提高Web信息抽取技术处理的能力,本文研究了Web信息抽取过程中涉及到的各类模型,包括复杂结构数据记录模型、基于DOM树结构的自上而下的结构化数据抽取过程模型、页面规则模型、以及包含规则生成、规则检测、规则维护和更新的抽取规则包装器生命周期模型;3)基于对Web信息抽取基本模型的深入研究,本文研究并提出了层次化的Web信息抽取规则综合体系和语言,对每个Web网页建立“数据区-数据记录-数据项”的层次化映射关系,在每个层次上综合利用DOM节点和页面元素的结构、视觉和语义特征,通过抽取谓词的组合来提供对各粒度数据元素的定位、重组、抽取、细粒度过滤、抽取异常检测、维护等各种功能规则,提供强有力的数据抽取逻辑语言表达能力;4)根据多功能化综合规则模型和体系,在规则语言中设置检测规则和维护功能规则,检测页面模板是否发生变化,对已失效的数据抽取规则进行局部修复;5)在抽取规则语言表达能力方面,补充完善了基于语义的数据抽取规则,将语义元素融入到现有的数据抽取规则体系,解决了结构特征和视觉特征难以完成的数据抽取处理问题。在以上关键技术研究基础上,本文研究实现了抽取规则执行引擎,并设计实现了一个完成的Web信息抽取原型系统。基于对商业网站的抽取实验结果表明,本文所实现的抽取技术和抽取规则语言具有较强的表达和处理能力。

关键词：精确Web信息抽取深度网页抽取规则抽取规则语言语义规则规则检测规则维护

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

Web信息抽取规则及其学习算法

Web信息抽取规则及其学习算法

作者：石倩大连海事大学

学位级别：硕士

面对Web信息的迅猛增长,信息抽取技术非常适合于从大量的文档中抽取需要的事实数据。被抽取出的信息经常以结构化的形式存入数据库中,可进一步用于信息查询、文本深层挖掘、Web数据分析、自动问题回答等。通常抽取规则(抽取模式)定义了... 详细信息

面对Web信息的迅猛增长,信息抽取技术非常适合于从大量的文档中抽取需要的事实数据。被抽取出的信息经常以结构化的形式存入数据库中,可进一步用于信息查询、文本深层挖掘、Web数据分析、自动问题回答等。通常抽取规则(抽取模式)定义了如何从多个异构的Web站点中定位和识别感兴趣的信息,是信息抽取系统的要素之一。早期信息抽取系统一般都需要用户以手工方式定义抽取规则,工作费时费力,为此最近的研究工作集中在规则生成的有效方法上。本文重点研究Web信息抽取规则的定义和规则的自动归纳学习算法。我们首先分析对比现有信息抽取方法及系统,给出了基于DOM树的抽取规则定义;再提出了拆分训练实例以生成候选集的预处理算法和改进的WHISK学习算法;进而设计实现了WHISK算法及其改进算法,并对真实的Web内容进行了详尽的实验对比分析。与WHISK系统相比,我们的系统能够通过检索、抽取和映射等规则的定义可以对真实在线的Web网页内容进行自动化抽取。抽取规则的生成过程分为两个阶段:先将文档解析成一棵DOM树,得到待抽取信息的路径特征;再通过人工标注待抽取的信息,将训练实例通过预处理算法生成候选集,归纳学习出基于正则表达式的模式。与WHISK实验结果的对比分析表明,本文归纳生成规则的效率明显提高,对于单槽和多槽数据都具有不错的归纳学习能力,具有较高的召回率和准确率。

关键词：信息抽取抽取规则 DOM 学习算法

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

Web信息抽取规则自动生成技术研究

Web信息抽取规则自动生成技术研究

作者：沈仪南京大学

学位级别：硕士

随着互联网技术的不断发展,越来越多的企业和机构采用Web网站来发布信息,Web逐渐成为人们最大的数据信息来源。于是越来越多的研究和应用希望从Web中获取有用的信息,以便进行深入的分析处理,从而提供深度信息服务。Web网页上存在部分结... 详细信息

随着互联网技术的不断发展,越来越多的企业和机构采用Web网站来发布信息,Web逐渐成为人们最大的数据信息来源。于是越来越多的研究和应用希望从Web中获取有用的信息,以便进行深入的分析处理,从而提供深度信息服务。Web网页上存在部分结构化的数据,但是大部分都是非结构化的数据;而数据分析工具却需要基于结构化数据才能工作。如何从非结构化的Web页面中抽取用户或应用感兴趣的结构化数据,就是Web信息抽取的研究工作。在过去的二十年里,Web信息抽取技术的相关研究取得了较大进步,然而现有的Web信息抽取系统中,半自动化系统的自动化程度不够高,自动化系统的抽取精度和召回率不够高。针对现有研究工作的不足,本文研究了 Web信息抽取规则自动生成技术,主要包括以下四个方面:(1)研究并提出Web信息抽取的几个基本模型:Web信息抽取全过程模型、网页数据抽取模型、以及网页记录抽取模型和网页数据项抽取模型。在这些模型的基础上,本文设计具有较强描述能力的Web信息抽取规则语言。(2)研究并提出网页的多特征综合自动分析技术。针对现有自动化Web信息抽取系统的抽取精度和召回率不够高的问题,本文综合利用DOM树结构特征,视觉特征以及文本语义特征等多种特征来自动识别网页数据记录和数据项,并对齐不同数据记录间的数据项;本文还研究了如何基于对齐的数据项进行数据项自动标注。(3)研究并提出基于网页自动分析的抽取规则生成技术。本文研究了如何基于样本页面自动分析得到的结果生成抽取规则。该抽取规则生成技术包括数据区,数据记录和数据项的抽取规则自动生成。(4)设计并实现了一个自动化Web信息抽取的原型系统。除此之外,为了满足大规模Web信息抽取的需求,本文还提出了基于Hadoop的大规模Web信息抽取并行化方法。我们对上述技术进行了实验验证。实验结果表明,网页的多特征综合自动分析技术能够取得较高的抽取精度和召回率;基于自动分析结果自动生成的抽取规则也具有较高的抽取精度和召回率;大规模Web信息抽取的并行化方法能够实现线性加速。

关键词： Web信息抽取抽取规则规则生成多特征并行抽取

基于抽取规则和本体映射的领域XML语义集成

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

河北科技大学学报 2016年第4期37卷 416-422页

作者：李华昱张培颖肖晗中国石油大学(华东)计算机与通信工程学院山东青岛266580

油气井工程领域中存在大量的XML文档,传统的XML集成方案无法提供面向语义的信息查询,导致数据利用率不高。针对油气井XML文档WeXML语义集成与查询应用需求,提出一种基于抽取规则和本体映射的语义集成方法。首先定义一系列类、属性抽取规... 详细信息

油气井工程领域中存在大量的XML文档,传统的XML集成方案无法提供面向语义的信息查询,导致数据利用率不高。针对油气井XML文档WeXML语义集成与查询应用需求,提出一种基于抽取规则和本体映射的语义集成方法。首先定义一系列类、属性抽取规则,分别将WeXML Schema中的元素、属性映射为WeOWL本体中的类和属性;然后,利用实例转换算法将WeXML文档转换为本体实例数据;由于WeOWL提供有限的局部语义模型,需要在两者之间建立语义映射,并借助WeOWL中的术语对全局语义模型中的类和属性进行解释,进而提供面向领域全局本体的语义查询。通过构建WeXML数据语义集成原型系统,对提出的转换规则、转换算法和映射规则进行了验证。

关键词：计算机信息管理系统抽取规则本体映射领域XML 语义集成

基于文档结构的信息抽取规则的描述语言比较研究

在线全文

学校读者我要写书评

暂无评论

河北大学学报（自然科学版） 2004年第2期24卷 212-218页

作者：张志强李天柱张波陈少飞郝亚南河北大学数学与计算机学院河北保定071002

基于文档结构的信息抽取工具很多 ,XWrap ,W 4F ,Lixto以及自主开发的PQagent是其中比较有代表性的几个 .这几个工具采用了不同的规则描述形式 ,XWrap ,W 4F ,Lixto使用的是自定义的规则描述形式 ,PQagent采用了通用的规范XQuery来描述... 详细信息

基于文档结构的信息抽取工具很多 ,XWrap ,W 4F ,Lixto以及自主开发的PQagent是其中比较有代表性的几个 .这几个工具采用了不同的规则描述形式 ,XWrap ,W 4F ,Lixto使用的是自定义的规则描述形式 ,PQagent采用了通用的规范XQuery来描述规则 .现将XWrap ,W 4F ,Lixto使用的规则描述形式与PQagent采用的XQuery进行比较 ,说明了采用XQuery描述抽取规则的优越性 .

关键词：信息抽取抽取规则描述语言 XQuery