检索结果-南通市图书馆

作者：徐秀星山东大学

学位级别：硕士

随着计算机及互联网技术的快速发展,Web上的信息量也随之急剧的增长,使得Web成为巨大的分布广泛的数据源。随着各行业对信息的需求越来越高,而有效的整合Web上的海量的异构的数据是一件困难的事情,因而人们提出Web数据集成技术。Web数... 详细信息

随着计算机及互联网技术的快速发展,Web上的信息量也随之急剧的增长,使得Web成为巨大的分布广泛的数据源。随着各行业对信息的需求越来越高,而有效的整合Web上的海量的异构的数据是一件困难的事情,因而人们提出Web数据集成技术。Web数据集成系统能够将来自多个数据源的数据通过数据抽取、实体统一等过程形成结构统一、表意明确的数据,能够为用户的情报分析、商业决策等应用提供支持。在Web数据集成中,Web页面中的Web数据对象称之为Web实体实例,来自不同数据源的Web实体实例信息在模式上存在着诸多的差异：一方面,对于相同类型的Web实体,不同的Web实体实例通常包含不同的实体属性;另一方面,对于同一实体属性,不同的Web实体实例通常使用不同的属性标签。而且由于Web实体的动态性特点,包含新的属性的Web实体实例及包含新的属性标签的Web实体实例不断的出现在Web页面中。Web实体实例在模式上的诸多差异为数据的整合带来困难。为了消除各Web实体实例间的模式差异,为所有数据提供统一的、规范的模式,需要为Web数据集成系统中所有的Web实体实例构建一个全局模式。本文主要研究Web数据集成中Web实体全局模式的构建方法,主要工作包括下面几个方面：（1）基于Web实体实例在页面中的展示特征及Web数据集成系统中已有的Web实体全局模式信息,本文提出一种基于SVM的Web页面主数据区域识别方法,该方法能够有效的将半结构化及非结构化页面进行数据区域分割并识别出Web实体实例所在的主数据区域,为Web实体属性信息的抽取提供辅助支持。（2）基于Web实体属性标签的特征及Web数据集成系统中已有的Web实体全局模式信息,本文提出一种基于AdaBoost的集成学习方法来从页面的主数据区域自动的抽取Web实体的属性信息,为Web实体全局模式构建提供Web实体模式信息及属性标签信息。（3）基于Web实体模式信息动态变化的特点,本文提出一种基于SVM的Web实体全局模式动态构建方法,该方法可以有效的建立局部模式与全局模式之间的映射关系,根据映射结果扩充全局模式,并且当页面中出现新的Web实体属性信息时,该方法能够及时的将其映射到全局模式中,从而为Web数据集成系统中其他方面的工作提供完整有效的Web实体全局模式。（4）本文利用Web数据集成系统中已有的Web实体全局模式来指导Web页面主数据区域的识别及Web实体属性信息的抽取,从而提高其准确率。Web实体全局模式与Web页面主数据区域识别及Web实体属性信息抽取之间的相互促进作用主要表现为：一方面,Web页面主数据区域的识别及Web实体属性信息的抽取为Web实体全局模式提供更多、更准确的数据支持;另一方面,逐渐丰富的全局模式促进了Web页面主数据区域识别及Web实体属性信息抽取的准确率的提高。本文中的实验验证了这种相互间的促进作用。此外,本文中设计并实现的Web实体全局模式构建原型系统从实际应用角度验证了本文的研究成果。

关键词： Web数据集成 Web实体属性标签局部模式全局模式主数据区域

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于树编辑距离的网页信息抽取

基于树编辑距离的网页信息抽取

引用

作者：刘晓波中国石油大学(华东)

学位级别：硕士

近年来,随着国际互联网的高速发展,电子商务行业得到极大扩展,国内的天猫、京东网以及亚马逊网的发展更为突出显著。电子商务网站的网页往往对商品的信息进行了描述,多数网页都提供用户查询的接口,并通过数据库将数据以列表的方式呈现... 详细信息

近年来,随着国际互联网的高速发展,电子商务行业得到极大扩展,国内的天猫、京东网以及亚马逊网的发展更为突出显著。电子商务网站的网页往往对商品的信息进行了描述,多数网页都提供用户查询的接口,并通过数据库将数据以列表的方式呈现于网页,这令从网页中抽取大量半结构化商品记录信息、整合成结构化信息并应用成为可能。本文介绍了信息抽取技术的发展历程和国内外现状,阐述了在这一段时间内出现的比较经典的算法,分析了它们的基本思想、优点和不足。现有的信息抽取方法在定位主数据区域方面存在很多问题,本文针对这些问题提出了新的分离数据记录的方法,以便于数据的集成和其它的增值服务。该方法主要包含两个步骤:(1)定位主数据区域;(2)分离数据记录。在第一步中,利用启发式规则和视觉信息相结合的方法,寻找包含所有相似数据记录子树的公共根节点。第二步,提出了一种新的方案,改进了树编辑距离算法,结合自上而下的凝聚型聚类算法将网页中的数据记录分类,缩小数据记录属性的可能组合方式的数量。在此过程中,提出了树编辑距离的计算公式,利用它来量化树与树之间的相似度。分别计算各个组合方案的平均相似度,取具有最高平均值的方案作为最佳方案。最后,针对需要抽取的数据记录属性在某些情况下会有缺失的问题,采用了星序列比对算法来补全缺失的属性,抽取初始选定属性的数据作为最终结果。通过对电子商务网站中具有大量列表的网页进行实验,结果表明,本文方法具有较好的查全率和查准率。

关键词：网页信息抽取树编辑距离主数据区域数据记录聚类算法

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于树编辑距离的聚类算法数据记录抽取

引用

赤峰学院学报（自然科学版） 2013年第12期29卷 28-30页

作者：宫丽娜祝美莲枣庄学院山东枣庄277160 中国石油大学(华东) 山东青岛266580

本文研究了如何从列表页面中抽取数据记录.系统分为两个阶段:第一步采用三种启发式方法相结合的方法,识别主数据区域的根节点;第二步将数据记录分离,提出了一种新的基于树编辑距离的聚类算法,来减少候选分割方案的数量,然后根据公式计... 详细信息

本文研究了如何从列表页面中抽取数据记录.系统分为两个阶段:第一步采用三种启发式方法相结合的方法,识别主数据区域的根节点;第二步将数据记录分离,提出了一种新的基于树编辑距离的聚类算法,来减少候选分割方案的数量,然后根据公式计算相似度,找出最佳分割方案.本文通过对大量不同领域的网页进行测试,结果表明本文方法具有较高的准确率.

关键词：主数据区域数据记录抽取树编辑距离聚类算法

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：