检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于填充标记的自适应web信息提取

华中科技大学学报（自然科学版） 2003年第11期31卷 31-32页

作者：李永平金莉华中科技大学计算机科学与技术学院

提出一种自适应web信息提取算法 ,基于自底向上规则模块层叠 ,通过在提取模板中填充一定数量有助于识别信息类别的SGML标记 ,较好地覆盖web页中不可见信息 ,有效控制自适应过程中信息的过少和溢出 ,实现智能化web信息提取 .

关键词： web信息提取填充标记自适应规则推导

web信息提取技术在企业竞争情报平台的应用研究

在线全文

学校读者我要写书评

暂无评论

Web信息提取技术在企业竞争情报平台的应用研究

作者：缪霖电子科技大学

学位级别：硕士

自从20世纪90年代以来,互联网技术飞速发展,业已成为经济、政治、科技、教育、文化和娱乐等各个方面的重要组成部分。作为全球化的信息载体,互联网上的信息也呈爆炸式增长。在信息化程度逐步提高的今天,为了使人们快速地获取信息,避免... 详细信息

自从20世纪90年代以来,互联网技术飞速发展,业已成为经济、政治、科技、教育、文化和娱乐等各个方面的重要组成部分。作为全球化的信息载体,互联网上的信息也呈爆炸式增长。在信息化程度逐步提高的今天,为了使人们快速地获取信息,避免迷失在信息海洋中,我们需要准确地从千姿百态的web页面提取出有用信息,web信息提取技术应运而生。信息提取技术涉及到为从文本中选择出的信息创建一个结构化的表示形式。web信息提取核心工具称为包装器,有研究也用包装器指代web信息提取程序。人工式生成包装器不但需要高水平的人员完成,而且难以适应复杂的变化。因此,如何提高包装器生成的自动化程度成了web信息提取的重要研究内容。本文对web信息提取技术和HTML内容进行了分析和研究,提出了一种web页面自顶向下的正文信息提取方法,并基于Java平台下的HTML Parser解析库实现了该方法。该方法针对的并不是特定的网页,即它不需要依赖特定的网页模板,而是依据各节点的特征以及它们的文字长度、文字链接率等数据信息。该方法把HTML节点建立成树型结构,在自顶向下的遍历过程中,根据确认的链接节点、统计出的数据信息和HTML结构特征,从根节点向下逐步搜索,进而定位最佳正文子树,并从最佳正文子树中提取出段落清晰的文本信息。经测试结果表明,本文方法与其它方法相比,具有较高的准确率。本文基于该提取方法并结合企业竞争情报平台的具体应用,设计并实现了一个通用新闻信息提取器。这个提取器除了能够提取新闻正文、新闻标题、发布日期和来源等新闻各要素的文本信息,还能保留新闻中的附件和超链接,并处理分页新闻,将多个页面上同一条新闻的正文内容合并起来。这个提取器改变了旧有的插件式管理服务,扩展了原有功能,大大降低了维护的工作量。在此基础上,本文还结合面向特定网站的新闻信息提取方法,提出了一种规则学习模式,当反复对特定网内容进行提取时,可以自动生成提取规则,该规则由XML Schema描述。当再次提取该网站内容时,就能根据规则进行信息提取,避免了重复性的信息统计,明显加快了新闻信息提取的速度。

关键词： web信息提取 HTML 包装器最佳正文子树竞争情报

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于DOM修剪的藏文web信息提取

计算机工程 2008年第24期34卷 58-60页

作者：珠杰欧珠格桑多吉西藏大学计算机科学与技术系拉萨850000

随着互联网的普及和藏文信息技术的不断发展,出现了大量的藏文网站。该文根据藏文"音节点"的特征识别藏文网页并进行抓取。在建立DOM树的基础上,分析网页的链接、非链接文本与主题信息块之间的相关度。通过语义修剪算法提取藏文主题信... 详细信息

随着互联网的普及和藏文信息技术的不断发展,出现了大量的藏文网站。该文根据藏文"音节点"的特征识别藏文网页并进行抓取。在建立DOM树的基础上,分析网页的链接、非链接文本与主题信息块之间的相关度。通过语义修剪算法提取藏文主题信息。经测试证实,该算法在藏文网页识别和藏文主题信息提取中具有较好的适应性。

关键词：音节点 DOM树藏文 web信息提取

在线全文

学校读者我要写书评

暂无评论

基于DOM模型扩展的web信息提取

计算机科学 2009年第11期36卷 235-237,289页

作者：顾韵华田伟南京信息工程大学计算机与软件学院南京210044

提出了一种基于DOM模型扩展的web信息提取方法。将web页面表示为DOM树结构,对DOM树结点进行语义扩展并计算其影响度因子,依据结点的影响度因子进行剪枝,进而提取web页面信息内容。该方法不要求对网页的结构有预先认识,具有自动和通用的... 详细信息

提出了一种基于DOM模型扩展的web信息提取方法。将web页面表示为DOM树结构,对DOM树结点进行语义扩展并计算其影响度因子,依据结点的影响度因子进行剪枝,进而提取web页面信息内容。该方法不要求对网页的结构有预先认识,具有自动和通用的特点。提取结果除可以直接用于web浏览外,还可用于互联网数据挖掘、基于主题的搜索引擎等应用中。

关键词：文档对象模型 web信息提取影响度因子 DOM树扩展

基于网格计算框架的web信息提取系统的研究

在线全文

学校读者我要写书评

暂无评论

计算机应用与软件 2007年第10期24卷 56-57,98页

作者：施佺肖仰华南通大学计算机科学与技术学院江苏南通226019 复旦大学计算机与信息技术系上海200433

大规模web信息提取是面向Internet非规范知识处理中的一个典型问题。以网格计算框架为实现平台,设计了分层的网格应用系统架构,针对web信息提取中链接分析和信息提取功能,描述了面向一般网格计算框架的资源调度与编程模型。最后结合web... 详细信息

大规模web信息提取是面向Internet非规范知识处理中的一个典型问题。以网格计算框架为实现平台,设计了分层的网格应用系统架构,针对web信息提取中链接分析和信息提取功能,描述了面向一般网格计算框架的资源调度与编程模型。最后结合web信息提取系统的实验结果,给出了网格应用系统的评价标准。

关键词：网格计算网格 web信息提取网格资源调度

基于HTML Parser的web信息提取技术

在线全文

学校读者我要写书评

暂无评论

基于HTML Parser的Web信息提取技术

作者：王琳琳北京邮电大学

学位级别：硕士

互联网上信息量的激增，迫切需要一些自动化的工具帮助人们在海量信息源中迅速找到真正需要的信息，如标题、链接、email和图片等，而HTML语言所表述的web页面经浏览器分析后只适合浏览，不适合作为一种数据交换的方式由机器处理。web... 详细信息

互联网上信息量的激增，迫切需要一些自动化的工具帮助人们在海量信息源中迅速找到真正需要的信息，如标题、链接、email和图片等，而HTML语言所表述的web页面经浏览器分析后只适合浏览，不适合作为一种数据交换的方式由机器处理。web信息提取是指从web文档中自动提取感兴趣信息的过程。它主要用在元搜索、信息代理等场合。本文首先介绍了信息提取技术及其产生背景和发展历史，分析了信息提取系统体系结构和关键技术。对web信息提取的途径、主要学习算法、评价标准等进行了相关阐述。其次，介绍了web页面的组成、HTML Parser的原理和Java正则表达式相关知识。还提出基于主题的web信息提取系统模型，主要是指选择性地搜寻那些与预先定义好的主题集相关的页面进行提取的行为。论文中给出了该提取系统的框架模型，分析了系统中各功能模块的实现原理，并对主题信息的提取进行了详细阐述。最后，基于HTML Parser包和正则表达式，以提取网站内部电子邮件信息为例，提出了web信息提取系统设计方案。阐述了电子邮件信息提取的工作原理和关键技术，给出了电子邮件信息提取算法，并详细介绍了系统的提取URL、电子邮件和存储模块，提取结果保存于数据库中，供机器检索利用。

关键词： web信息提取正则表达式 HTML Parser包主题信息

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于web信息提取的企业竞争情报获取研究

基于Web信息提取的企业竞争情报获取研究

作者：何云钢曲阜师范大学

学位级别：硕士

随着互联网的迅速发展和普及,网络已成为人们生活中不可缺少的一部分。网络中存在着各式各样的信息,这些信息以网页为载体,呈现在用户面前。网页中蕴含的丰富信息为企业竞争情报系统提供了新的情报信息来源。本论文的目的就是研究一种... 详细信息

随着互联网的迅速发展和普及,网络已成为人们生活中不可缺少的一部分。网络中存在着各式各样的信息,这些信息以网页为载体,呈现在用户面前。网页中蕴含的丰富信息为企业竞争情报系统提供了新的情报信息来源。本论文的目的就是研究一种通用的企业竞争情报获取方式。在研究现有的web信息提取技术的基础上,本文提出了基于DOM树和DBSCAN算法的web信息提取算法,接着研究并构建了基于web信息提取的企业竞争情报获取模型。首先,本论文全面系统的阐述了web信息提取和企业竞争情报的研究现状,介绍了企业竞争情报系统和企业竞争情报获取的理论基础,并依次介绍了本论文将使用的几种网页数据处理技术,包括网络爬虫技术、Jsoup网页解析技术、DOM和DBSCAN算法。接下来详细介绍了web信息提取的基本概念、技术分类和评价标准。其次,本论文针对互联网中网页结构多样、易变等因素,通过研究网页结构中存在的一般规律,并结合DOM树和DBSCAN聚类算法提出了新的web信息提取算法。并详细介绍了算法中的几个环节,包括web页面预处理、构建DOM树及分段文本内容获取、基于DBSCAN算法的网页内容提取。最后通过实验证明该算法能有效地获取网页中的正文文本信息,不依赖于网页结构,具有较强的通用性。最后,针对某一行业内的企业,基于网络爬虫技术、网页解析技术和web信息提取算法构建企业竞争情报获取模型。该模型首先根据预留的网站网址,通过网络爬虫获取该网址下的所有链接。然后通过网页标题来判断网页是否与行业领域相关,初步筛选网页。对筛选后的网页进行网页主要内容获取,即获取该网页的正文文本信息。再根据预留的企业关注信息,提取网页正文文本中的企业竞争情报信息。最后基于该模型设计并实现了企业竞争情报获取原型系统,通过实验验证基于web信息提取的企业竞争情报获取模型的正确性。

关键词： DOM树 DBSCAN web信息提取企业竞争情报竞争情报获取

基于Hadoop的web信息提取和垃圾信息过滤研究与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Hadoop的Web信息提取和垃圾信息过滤研究与实现

作者：顾涛电子科技大学

学位级别：硕士

本文从web信息提取和垃圾信息过滤两个方面的应用来进行研究。 web信息提取，其目的就是从网页中分析提取出用户真正想要的和有价值的信息，排除其他不需要或者无用的信息。网页信息提取已经广泛的应用于搜索、推荐、舆情和数据挖掘等... 详细信息

本文从web信息提取和垃圾信息过滤两个方面的应用来进行研究。 web信息提取，其目的就是从网页中分析提取出用户真正想要的和有价值的信息，排除其他不需要或者无用的信息。网页信息提取已经广泛的应用于搜索、推荐、舆情和数据挖掘等多个领域。随着互联网的发展，互联网的信息日益剧增，海量数据的处理成为了热点。 web垃圾信息过滤，主要是由于论坛、邮件、新闻等等，由于反动、不良信息等等充斥，而产生的应用。这些垃圾信息的泛滥在干扰人们的日常生活的同时，也给社会稳定带来了不利影响。现在垃圾信息过滤，普遍采用机器学习的算法，进行历史垃圾信息数据集的训练，然后对未进行分类的垃圾信息进行识别。对于训练算法，训练集的大小对于实验结果有着较大的影响。本文基于这两方面的应用，首先改进VIPS算法，应用于单个网页的信息提取，然后我们基于Hadoop平台，实现对web的并行化信息提取，提高信息提取的速度，弥补单机信息提取时有限的系统资源，例如：I/O读写速度、网络速度、打开文件个数、存储空间等等。最后，我们基于Hadoop平台实现多元线性回归算法，对web文本中的正常信息和垃圾信息的特征关键字属性进行筛选，进行海量数据的训练处理，建立模型，实现对垃圾信息的识别。本文通过实验验证，我们将这两方面的应用与Hadoop平台结合起来，极大的提高了其运算处理的时间性能，取得了理想的效果。

关键词： Hadoop MapReduce web信息提取垃圾信息过滤

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于HTML网页的web信息提取研究

基于HTML网页的Web信息提取研究

作者：袁宇丽电子科技大学

学位级别：硕士

web信息提取是指从web文档中自动提取感兴趣信息的过程。它主要用在元搜索、信息代理等场合。本文首先介绍了信息提取技术及其产生背景和发展历史,分析了信息提取系统体系结构和关键技术。对web信息提取的途径、主要学习算法、评价标准... 详细信息

web信息提取是指从web文档中自动提取感兴趣信息的过程。它主要用在元搜索、信息代理等场合。本文首先介绍了信息提取技术及其产生背景和发展历史,分析了信息提取系统体系结构和关键技术。对web信息提取的途径、主要学习算法、评价标准等进行了相关阐述。对web信息提取采用一种基于知识领域的过滤作为其预处理。该体系主要分为两部分:一部分是基于专家给出的规则通过规则匹配对大量网页进行估测并选出特定领域的网页。第二部分是对于已经在第一步过滤出的网页进行URL聚类,从而得到用于信息提取的网页。以新闻网站的过滤作为具体实例。提出了一种针对互联网中大量存在的模板网页主题信息进行快速提取的方法。该方法的主要特点为: 1)直接对主题信息进行提取,而不需要通过去除网页噪音的方式来提取主题信息;2)对同模板产生的大量网页,通过机器学习生成模板后,便可直接提取网页主题信息,而不需要对每一个网页都进行分析处理;3)以新闻网页的提取为例分析该方法的具体使用。提出基于主题的web信息提取系统模型,主要是指选择性地搜寻那些与预先定义好的主题集相关的页面进行提取的行为。论文中给出了该提取系统的框架模型,分析了系统中各功能模块的实现原理,并对主题信息的提取进行了详细阐述。

关键词： web信息提取 HTML结构树主题信息