检索结果-南通市图书馆

现代图书情报技术 2010年第5期 29-34页

作者：聂卉黄贵鹏中山大学资讯管理系广州510275

引入编辑距离的概念,探讨如何构造标签树,并利用标签树匹配算法来量化网页结构相似度。该算法被应用于Web信息抽取,通过URL相似度算法进行样本网页的粗聚类,进一步采用树的相似度匹配算法实现细聚类,从而获取模板网页。在模板网页的基础... 详细信息

引入编辑距离的概念,探讨如何构造标签树,并利用标签树匹配算法来量化网页结构相似度。该算法被应用于Web信息抽取,通过URL相似度算法进行样本网页的粗聚类,进一步采用树的相似度匹配算法实现细聚类,从而获取模板网页。在模板网页的基础上,再次引入结构相似度算法并结合基于模板网页的抽取规则实现网页的自动化抽取。实验证明,该算法的引入能够有效提高包装器的抽取精度和半自动化能力。

关键词： Web信息抽取树编辑距离结构相似度 Web聚类标签树匹配算法

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

针对模板生成网页的数据自动抽取方法的探讨与应用

针对模板生成网页的数据自动抽取方法的探讨与应用

引用

作者：卢凤琴华东师范大学

学位级别：硕士

随着Internet的迅速发展,互联网已成为一个巨大的信息库,为了有效地利用互联网上的信息,各种Web信息抽取技术应运而生。目前,Web上的很多网页是网站根据用户请求从后台数据库中选取数据并嵌入到通用的模板中,并结合网站的特定需求而动... 详细信息

随着Internet的迅速发展,互联网已成为一个巨大的信息库,为了有效地利用互联网上的信息,各种Web信息抽取技术应运而生。目前,Web上的很多网页是网站根据用户请求从后台数据库中选取数据并嵌入到通用的模板中,并结合网站的特定需求而动态生成的,例如电子商务网站的商品描述网页等。针对如何从这类由模板生成的网页中自动地抽取出有效数据的问题,目前常用的经典方法有RoadRunner,EXALG等,其中RoadRunner的实现算法的时间复杂度呈指数级增长,其实用性不强;虽然EXALG方法对RoadRunner方法进行了有效的改进,但是仍然缺乏对网页中可视化布局信息、标记属性和字符串的相似度等重要特征的考虑。因此,本文针对上述这些问题研讨了相关网页模板检测问题的形式化描述,结合该类网页的结构特征,探讨了一种新的模板检测方法;并且利用检测出的模板完成对相关实例网页的数据自动抽取过程;最终将该基于有效模板检测的网页数据自动抽取算法应用于某电子商务网站的相关网页的数据抽取过程中,即对某网站中的商品列表信息和商品详细信息等重要数据实现了自动抽取的工作。与其他方法相比,该方法能够适应于“列表页面”和“详细页面”两种类型的网页,在该类网页数据抽取的查全率和准确率方面有了较大的改进。本文的主要内容和结构安排如下:首先,介绍针对模板生成网页的数据抽取方法的发展现状以及相关技术,并阐述了论文的研究目标和工作内容。其次,介绍了Web数据抽取过程中主流的网页数据抽取技术,系统地剖析了目前广泛采用的经典的网页数据抽取技术中存在的优势与不足,以此为基础,文中研讨了一种有效的针对模板生成网页的数据抽取方法及其实现算法,即针对该类网页,完成了相应网页有效数据的自动抽取工作。接着,重点阐述了文中所研讨的针对模板生成网页的数据自动抽取算法的设计与实现过程。该算法首先将已经净化的HTML页面解析成标签树和标签队列两种数据结构;其次针对大部分网页中存在导航条、广告及版本信息等一些与抽取内容无关的数据信息,采用文中所提出的具体有效的标签树匹配算法过滤上述无关/冗余的数据信息;然后通过该数据自动抽取算法中计算Ctokens的核心子算法将这类HTML页面进行有效的标签归类,以期基于所生成的Ctokens来自动抽取出该类网页的模板结构信息数据和字段层次上的有效网页生成数据。最后,根据文中所研讨的方法及实现算法,尝试性地构造了一个针对模板生成网页的数据自动抽取原型系统,该系统能够完成对相关电子商务网站中该类网页(如:商品的“列表页面”和“详细页面”的具体网页)的有效数据的自动抽裙ぷ?该抽取过程的查全率和准确率都有较大的改进,所完成的工作是具有广泛实际需求和深入推广应用价值的。

关键词： Web信息抽取技术网页模板标签树匹配算法 Ctokens

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：