检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于视觉信息和标签路径的数据抽取

中国海洋大学学报（自然科学版） 2015年第5期45卷 114-119页

作者：张巍邹晓明谈凤真中国海洋大学信息科学与工程学院山东青岛266100

结合网页的视觉信息和DOM树结构,研究从Deep Web查询结果页面中抽取半结构化数据的问题。通过视觉块与整个网页的面积比定位数据区域。根据数据记录两两相邻等视觉特征找到包含数据记录的一组节点,并通过比较各节点的DOM树结构的相似度... 详细信息

结合网页的视觉信息和DOM树结构,研究从Deep Web查询结果页面中抽取半结构化数据的问题。通过视觉块与整个网页的面积比定位数据区域。根据数据记录两两相邻等视觉特征找到包含数据记录的一组节点,并通过比较各节点的DOM树结构的相似度去除噪音节点。根据xpath属性将各条数据记录的数据项对齐。对整个抽取过程生成模板,可以使抽取效率得到很大提高。对8个Deep Web网站进行了抽取数据实验,结果表明本文方法是有效的。

关键词： Deep Web数据抽取视觉信息标签路径

在线全文

学校读者我要写书评

暂无评论

基于标签路径聚类的文本信息抽取算法

计算机工程 2010年第12期36卷 83-84,87页

作者：刘云峰山西工程职业技术学院网络电教中心太原030009

针对网页噪音和网页非结构化信息抽取复杂度高的问题,提出一种基于标签路径聚类的文本信息抽取算法。对网页噪音进行预处理,根据网页的文档对象模型树结构进行标签路径聚类,通过自动训练的阈值和网页分割算法快速判定网页的关键部分,根... 详细信息

针对网页噪音和网页非结构化信息抽取复杂度高的问题,提出一种基于标签路径聚类的文本信息抽取算法。对网页噪音进行预处理,根据网页的文档对象模型树结构进行标签路径聚类,通过自动训练的阈值和网页分割算法快速判定网页的关键部分,根据数据块中的嵌套结构获取网页文本抽取模板。对不同类型网站的实验结果表明,该算法运行速度快、准确度高。

关键词：标签路径网页分割信息抽取聚类阈值

在线全文

学校读者我要写书评

暂无评论

基于标签路径的Web结构化数据自动抽取

计算机科学 2013年第6A期40卷 141-144,165页

作者：李贵陈成李征宇韩子扬孙平孙焕良沈阳建筑大学信息与控制工程系

提出了一种基于标签路径的Web结构化数据自动抽取方法。该方法通过对网页DOM树的解析获取完整标签路径集合,并依据路径相似度测量方法来聚类标签路径,实现目标数据区域的定位,然后通过标签节点坐标位置的特性来分离各个数据项,过滤冗余... 详细信息

提出了一种基于标签路径的Web结构化数据自动抽取方法。该方法通过对网页DOM树的解析获取完整标签路径集合,并依据路径相似度测量方法来聚类标签路径,实现目标数据区域的定位,然后通过标签节点坐标位置的特性来分离各个数据项,过滤冗余数据,最终完成数据抽取。实验结果表明,与MDR方法相比,该方法在处理拥有结构化数据的网页时,有更高的查全率和查准率。

关键词：标签路径结构化数据抽取聚类

基于标签路径和关键词特征的Web新闻抽取方法研究与实现

在线全文

学校读者我要写书评

暂无评论

基于标签路径和关键词特征的Web新闻抽取方法研究与实现

作者：张宇超西安电子科技大学

学位级别：硕士

随着互联网与HTML技术的发展,网络新闻成为新闻传播的主要方式,而网页中的导航栏、广告、备案信息等冗余信息却影响了人们对新闻内容的获取。为了让用户可以获得纯净的新闻内容,就需要对网页内容进行信息抽取,即从包含冗余信息的网页中... 详细信息

随着互联网与HTML技术的发展,网络新闻成为新闻传播的主要方式,而网页中的导航栏、广告、备案信息等冗余信息却影响了人们对新闻内容的获取。为了让用户可以获得纯净的新闻内容,就需要对网页内容进行信息抽取,即从包含冗余信息的网页中将主要新闻信息如新闻标题,内容等抽取出来。为了实现这一目标,本文设计了一个Web新闻抽取系统,可以从网页中抽取新闻的主要信息并对抽取的新闻进行分类然后存储在数据库中。对于从新闻网页提取内容的问题,本文在已有的基于统计信息的抽取算法基础上设计了一种基于标签路径和关键词特征的抽取算法。该算法主要有三个关键点,一是根据标签路径进行网页分块,实现内容节点的融合,融合后可以减少计算量;二是依据关键词计算主题相关度,新闻内容总是和其标题具有相关性,通过主题相关度可以过滤掉一些噪声节点;三是将图片替换为其上下文的文本然后对图片也计算重要度,该方法并不限定于图片,这里使用的是一种等效替代的思想,音频,视频等无法直接度量重要度的内容都可以采用这种转换为文本的方式去计算重要度。算法的最后通过对每个网页块都计算特征值后,使用支持向量机分类算法去对所有网页块分类,用以识别出所有内容块。基于上述思路,本文设计实现了Web新闻抽取系统。该系统共有八个模块,分别为下载,预处理,特征值计算,节点分类,新闻分类,存储,代理池,日志模块。代理池模块实现了代理的实时获取和管理,并为爬虫提供可用代理;日志模块实现一个可配置的日志组件,记录系统运行状况;下载模块负责网页源文档下载和链接提取;预处理模块对源文档进行节点融合和部分噪声的过滤;特征值计算模块对节点计算其特征值;节点分类模块通过节点特征值对节点进行内容和噪声分类;新闻分类部分实现了对抽取出的新闻进行分类的功能;存储部分将具有类别信息的新闻存入Redis数据库中。系统运行过程中,每次都会记录噪声块的属性,在处理下个新闻网页时就可以先根据记录的属性信息过滤一部分节点。随着系统处理的新闻越来越,对新闻内容的提取准确率也会越来越高。最后,对整个系统进行测试,测试结果显示系统可以稳定运行。

关键词：标签路径关键词内容抽取新闻分类网络爬虫

结合块密度和标签路径特征的网页正文抽取方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

结合块密度和标签路径特征的网页正文抽取方法研究

作者：刘鹏程合肥工业大学

学位级别：硕士

随着互联网的飞速发展,Web逐渐成为很多应用的重要信息来源。大多数网页除了正文信息外,还包括导航、广告、推荐链接、版权申明等与网页主题内容无关的噪声信息。这些噪声信息降低了搜索引擎、Web新闻聚合、Web信息检索等应用系统的性... 详细信息

随着互联网的飞速发展,Web逐渐成为很多应用的重要信息来源。大多数网页除了正文信息外,还包括导航、广告、推荐链接、版权申明等与网页主题内容无关的噪声信息。这些噪声信息降低了搜索引擎、Web新闻聚合、Web信息检索等应用系统的性能。因此,网页正文抽取具有重要的研究意义和应用价值。本文基于网页的文本块密度和标签路径特征,开展网页正文抽取研究,主要研究工作如下:(1)根据网页的正文内容分布与网页文本块中的文本字符、标签信息的潜在联系,设计了一种区分网页中正文内容和噪声信息的文本块特征:文本块密度特征,解决了网页正文中短文本难以抽取的问题。进一步研究超链接字符在网页中的分布,扩展了文本块密度特征,有效地过滤了包含大量超链接字符的噪声信息块,提出了基于文本块密度特征的网页正文抽取算法CETBD。在CleanEval数据集和从知名网站上随机选取的新闻网页数据集上的实验结果表明,CETBD方法是一种通用的、高效的、无监督的且与语言无关的网页正文抽取方法。(2)为了提高CETBD算法抽取网页正文文本块的准确性,定义了标签路径覆盖率特征,并通过实例研究文本块密度特征和标签路径覆盖率特征之间的联系,将两个特征融合为新特征,并根据新特征提出了基于文本块密度和标签路径覆盖率的网页正文抽取方法CETD-TPC。实验结果表明:CETD-TPC方法是一种高精度、实时的网页正文抽取方法,抽取性能优于CETBD、CEPR和CETD算法。(3)设计并实现了一个基于文本块密度和标签路径覆盖率的Web新闻内容抽取原型系统,系统集成了本文提出的抽取方法和其它几个主流的正文抽取算法,介绍了系统的框架组成、实现以及系统的用户使用界面。最后分析了网页正文抽取算法在实际应用中的优势与不足。

关键词：信息抽取文本块密度标签路径特征融合

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于文本块密度与标签路径等特征的正文提取

广东工业大学学报 2018年第2期35卷 51-56页

作者：杨贤唐超兰李航广东工业大学艺术与设计学院广东广州510090 广东工业大学计算机学院广东广州510006

为了解决网页中除正文信息外还包含网页导航、广告和免责声明等噪声信息的问题,本文提出一种基于标签路径等多特征和文本块密度的正文提取方法.首先根据文本块密度特征确定正文区域,然后在区域内使用标签路径等特征剔去噪音节点,最后抽... 详细信息

为了解决网页中除正文信息外还包含网页导航、广告和免责声明等噪声信息的问题,本文提出一种基于标签路径等多特征和文本块密度的正文提取方法.首先根据文本块密度特征确定正文区域,然后在区域内使用标签路径等特征剔去噪音节点,最后抽取该文本块中的正文节点内容.该方法有效解决了网页正文块中噪声信息难以过滤和标签路径等特征易对正文部分外较长文本误抽取的问题,且无须训练和人工处理.从知名网站上随机选取新闻网页数据集进行实验,验证了该方法在不同数据源上都具有很好的适用性,抽取精确度优于CETR、CETD等方法.

关键词：正文抽取文本块标签路径文本密度

基于标签路径特征融合的电子档案自动分类鉴定系统

在线全文

学校读者我要写书评

暂无评论

自动化技术与应用 2024年第11期43卷 209-212,216页

作者：汪伟安徽建筑大学档案馆安徽合肥230601

针对传统分类系统存在的信息检索性能差的问题,基于标签路径特征融合过程,设计了一种电子档案自动分类鉴定系统。将文档对象化模型树作为电子档案的数据结构,利用档案标签的元素节点与连续文本信息的文本节点构建基本数据集内容,结合文... 详细信息

针对传统分类系统存在的信息检索性能差的问题,基于标签路径特征融合过程,设计了一种电子档案自动分类鉴定系统。将文档对象化模型树作为电子档案的数据结构,利用档案标签的元素节点与连续文本信息的文本节点构建基本数据集内容,结合文本节点属性判定过程建立标签路径特征系,从而计算出各特征数值;在无向加权图最优划分准则的基础上,利用高斯函数度量各特征间的相似性,根据谱聚类规范割集准则与乘法特征融合策略得到相应的融合结果,从而建立自动分类鉴定系统的核心模块;通过存在论构建语料库,结合递归下降法形成电子档案排版,经过融合标签路径特征与两次分类处理实现电子档案的自动分类鉴定。仿真实验结果表明:该系统的信息查全率较高,且精准度也较理想,说明该系统的检索性能好、分类能力强。

关键词：标签路径特征融合电子档案分类鉴定

在线全文

学校读者我要写书评

暂无评论

非结构化Deep Web信息的自动抽取

非结构化Deep Web信息的自动抽取

作者：钱贵平吉林大学

学位级别：硕士

本文针对非结构化DeepWeb探查得到的响应页面,提出了一种基于Java和DOM技术的查询结果相关信息的自动抽取方法。该方法将探查得到的响应页面作为样本,通过响应页面的比对,自动抽取查询结果的相关信息。首先,通过比对同一查询的两个响... 详细信息

本文针对非结构化DeepWeb探查得到的响应页面,提出了一种基于Java和DOM技术的查询结果相关信息的自动抽取方法。该方法将探查得到的响应页面作为样本,通过响应页面的比对,自动抽取查询结果的相关信息。首先,通过比对同一查询的两个响应页面,抽取显示不同文本处的标签路径,分析出查询结果对应的标签路径组。然后,通过比对不同查询的两个响应页面,抽取显示不同文本处的标签路径,只分析与查询结果对应标签路径组无关的标签路径,确定查询结果总数对应的标签路径,从而可以知道每次查询有多少个查询结果。最后,根据抽取的标签路径信息可以识别异常响应页面,可以下载非结构化DeepWeb中的文件资源。本文最后在Dialog、PubMed、Ovid等三个真实DeepWeb站点上进行了实验。实验表明,本文提出的方法是有效的。

关键词： DeepWeb 响应页面标签路径信息抽取

基于单DOM树特征预分类的自适应Web信息抽取方法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于单DOM树特征预分类的自适应Web信息抽取方法

作者：谢馨庭武汉邮电科学研究院

学位级别：硕士

进入网络时代,人们习以为常地使用互联网介质来表达和传播自己对社会对生活和网络事件的热点、焦点所持有的情感、态度和观点,这些信息留在网络中的持续影响力,形成了大家通常说的“网络舆情”,即网络舆论动态,这些动态是政府部门了解... 详细信息

进入网络时代,人们习以为常地使用互联网介质来表达和传播自己对社会对生活和网络事件的热点、焦点所持有的情感、态度和观点,这些信息留在网络中的持续影响力,形成了大家通常说的“网络舆情”,即网络舆论动态,这些动态是政府部门了解民意的重要渠道,而如何获取这些舆情信息就是本文关注的重点。信息获取的准确性,及时性会直接影响网络舆论的来源,判断及分析。在传统的舆情采集中,大多采用的是基于模板的抽取方法,然而随着HTML5,CSS3技术等的发展,人工定制的模板已无法适应千变万化的页面。所以如何让计算机程序能够自动准确地从千变万化的页面中提取出结构化的目标数据,一直是舆情系统待解决的问题。本论文选取自适应Web信息抽取作为研究方向,针对当前主流网站的页面形式进行分析,结合舆情主要关注的信息数据,提出了一种基于单DOM树特征预分类的自适应Web信息抽取方法,主要研究内容有:1.深入研究了网页特征,构建了面向互联网舆情载体类型识别的特征集,引入机器学习中的分类算法对上层页面中的信息超链接进行预分类,从纷繁复杂的导航页面过滤出我们所需要的信息URL,排除无效链接及广告链接。2.研究同型页面结构特征,提出同源网页Web信息抽取的方法。将两棵同源网页的DOM树进行计算对比,有效地识别页面中的信息数据,生成信息抽取模板,再利用模板完成对该网站中其他页面的自动信息抽取。3.设计并实现上述方案,对其预分类结果,页面信息抽取正确率进行了测试。论文创新点在于:1.引入机器学习中的分类算法,通过页面结构特征,文本特征和超链接特征对上层页面中的信息超链接进行预分类。2.对于待抽取页面,计算对比两棵同源DOM树,利用正则匹配、文本特征等定位并识别页面中的具体信息从而生成抽取模板,提出一种基于单DOM树特征预分类的自适应Web信息抽取方法。

关键词：信息抽取支持向量机文档对象模型标签路径