检索结果-南通市图书馆

基于HTML Parser的网页信息提取技术研究

在线全文

学校读者我要写书评

暂无评论

西藏大学学报（社会科学版） 2010年第3期25卷 41-44页

作者：珠杰罗潘西藏大学工学院西藏拉萨850000

在互联网上信息量激增,迫切需要一些自动化工具帮助人们在海量信息源中迅速找到真正需要的信息。文章基于开源项目HTMLParser包,以提取中关村笔记本频道产品信息的文本信息和图片信息为例,提出了信息提取系统设计方案,给出了文字信息和... 详细信息

在互联网上信息量激增,迫切需要一些自动化工具帮助人们在海量信息源中迅速找到真正需要的信息。文章基于开源项目HTMLParser包,以提取中关村笔记本频道产品信息的文本信息和图片信息为例,提出了信息提取系统设计方案,给出了文字信息和图片信息提取算法。

关键词：搜索引擎网页信息提取 HTML Parser

在线全文

学校读者我要写书评

暂无评论

视频下载及网页信息提取系统设计与实现

视频下载及网页信息提取系统设计与实现

作者：郑旭大连理工大学

学位级别：硕士

随着我国视频网络的迅猛发展,涌现了大量的视频网站,为用户提供了丰富的视频资源。但由于我国视频用户的使用习惯和国内行业的发展状况,我国视频网站的发展正面临瓶颈,需充实视频源以扩大受众。本文以与中国某网络电视台合作的项目为基... 详细信息

随着我国视频网络的迅猛发展,涌现了大量的视频网站,为用户提供了丰富的视频资源。但由于我国视频用户的使用习惯和国内行业的发展状况,我国视频网站的发展正面临瓶颈,需充实视频源以扩大受众。本文以与中国某网络电视台合作的项目为基础,该项目将实现对海量的视频数据进行搜索,为网络电视台提供视频下载及网页视频信息提取的利器。本文工作结合项目需求,对系统功能、系统结构进行分析设计,形成系统整体结构。对关键技术及问题进行研究和解决,如基于DOM和XPath技术实现网页信息提取;基于数据包嗅探方法获得视频实际下载地址,基于各主流视频网站规则分析获得视频实际下载地址;基于FFmpeg对多段视频下载完成后自动合并;搭建XML-RPC完成通信等。在解决关键技术的基础上形成系统的逻辑架构、技术架构及总体结构设计。在良好的结构设计基础上进行系统实现,本项目采用螺旋式开发与增量式开发相结合的开发模式,充分考虑到客户需求的变更及参与,并结合V模型测试过程,保证系统的开发质量。此外,实现的过程中充分考虑系统的可扩充性及系统故障处理能力,对系统结构代码组织等进行不断改进优化,为下一步工作的展开积累了宝贵经验并提供思路。

关键词：网页信息提取视频下载视频编辑

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于文本特征的新闻网页信息提取方法研究

基于文本特征的新闻网页信息提取方法研究

作者：翁彬月贵州大学

学位级别：硕士

新闻网页以简明扼要的文字,迅速及时地报道国内外新近发生的、有价值的事件信息,是广大互联网用户的信息来源之一。如何有效提取新闻网页信息受到越来越多的关注。近年来,随着用户对新闻数据质量要求的提高,以及网页新闻不断升级的多媒... 详细信息

新闻网页以简明扼要的文字,迅速及时地报道国内外新近发生的、有价值的事件信息,是广大互联网用户的信息来源之一。如何有效提取新闻网页信息受到越来越多的关注。近年来,随着用户对新闻数据质量要求的提高,以及网页新闻不断升级的多媒体报道方式,使得新闻网页信息提取中存在三个需要解决的难题:1)适用多来源新闻网页。单一来源新闻信息已无法满足用户的需求,亟需多来源新闻网页均适用的信息提取方法;2)提取新闻网页多属性信息。网页新闻是由不同属性使用价值的文本内容组成,如:标题、时间、来源、正文和相关新闻。将新闻网页中的内容信息分属性提取,可以最大限度挖掘数据的潜在价值;3)提取碎片式文本信息。新闻网页中加入大量的图片和视频内容,将原本联系紧密的新闻内容分割成碎片式文本信息,导致新闻信息提取的效率和正确率均有不足。针对上述问题,结合网页新闻的文本特点,本文分别提出了多维度文本特征新闻网页信息提取方法(NEMTF)和增强文本语义的新闻网页信息提取方法(ETSF)。深层次分析新闻文本的内在特征联系,并将文本特征作为提取新闻信息的重要因素,完成新闻文本和新闻属性的匹配。本文研究对新闻网页信息提取做出了积极的探索,具有较强的实用价值和现实意义,为后续的相关工作(如:新闻热点发掘、舆论分析和新闻溯源分析等)打下基础。主要工作内容如下:NEMTF方法针对多来源新闻网页难以适用的问题,从多来源新闻网页的纯文本内容入手,研究和挖掘其中隐含的文本特征,使其能在不同来源新闻网页中稳定的表达出新闻信息之间的联系,以此代替现有方法常用的HTML标签。同时,NEMTF方法针对难以提取多种属性新闻信息问题,从不同角度将文本特征进一步细分为写作特征、位置特征和语义特征。通过卷积神经网络的不同通道学习这些独立的文本特征向量,使其互为补充,输出一个更具识别度的多维度文本特征,以此来提取网页中多种属性的新闻信息。实验结果表明,NEMTF能够在多个来源的新闻网页中有效的获取多种属性的新闻信息。ETSF方法针对新闻网页中碎片式文本信息的提取问题,使用不同级别的文本语义数据,通过卷积神经网络(CNN)和双向长短期记忆(Bi-LSTM)网络增强语义特征,以此来提高新闻网页中碎片式文本信息的提取正确率和有效性。实验结果表明,ETSF方法能够有效的提取出新闻网页中碎片式文本信息,进一步提高了从多来源新闻网页中提取多种属性新闻信息的性能。

关键词：网页信息提取多属性信息提取文本特征卷积神经网络双向长短期记忆

融合样式布局特征的跨网站网页信息提取技术研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

融合样式布局特征的跨网站网页信息提取技术研究

作者：谢修远华中科技大学

学位级别：硕士

网页信息提取旨在自动从网页中提取指定的数据,是很多下游任务的数据源头。如何高质高效地从海量网站中提取信息是一直在研究的问题,早期方法通过对每个网站提供少量提取示例能达到很高的精度,但人工开销会随网站数增长。后来有研究利... 详细信息

网页信息提取旨在自动从网页中提取指定的数据,是很多下游任务的数据源头。如何高质高效地从海量网站中提取信息是一直在研究的问题,早期方法通过对每个网站提供少量提取示例能达到很高的精度,但人工开销会随网站数增长。后来有研究利用网站数据的领域特征完成了跨网站提取,但难以应用到其他领域的网站。现在有方法利用深度学习能在少量网站标注的数据上训练就完成对同领域网站的提取,对不同领域网站只需准备数据重新训练即可,但只利用了网页源文件信息,提取依赖视觉线索的信息时容易出错。针对这一问题,以跨网站、非领域限定为基本要求,提出了融合样式和布局特征的网页信息提取方法Web SLG(Web information extraction using Style and Layout aggregated by Graph Convolution Network)。网页中的信息以由HTML标签构成的DOM节点呈现,因此,Web SLG将跨网站网页信息提取建模为DOM节点标注的多分类任务。主要特点为:(1)自动控制浏览器打开网页获取每个DOM节点的渲染结果,充分利用渲染获取的样式和布局信息提升提取效果;(2)引入图卷积网络学习DOM节点上下文的特征表示,替代基于启发式规则设计的节点上下文特征。由于引入了图卷积网络,对于内容节点,通过利用渲染所得布局信息与DOM树结构,提出了基于分块布局的内容节点图构建算法,使得同属一个分块的内容相关度高,按自然行文顺序构建边,属于不同分块的内容只在分块成包含关系时才构建边。相比全连接图或简单邻接图,可以避免节点聚合过程中引入不相关的噪声上下文,并在跨网站提取任务中整体布局不同时仍有一致的局部布局关系。通过对8个不同领域的公共数据集进行实验,在网站样式布局保存较好的领域中F1值达到了最好的94.49,相比最先进的通过扩展Bert架构进行预训练的方法只低了0.9个点,验证了方法的有效性。通过在强依赖视觉线索弱语义特征的政务公告信息数据集上实验,超越针对该领域的基于规则的方法,验证了方法灵活性的优势。

关键词：网页信息提取跨网站视觉线索网页样式和布局图注意力网络

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一种基于显示属性的网页信息提取方法

一种基于显示属性的网页信息提取方法

全国网络与信息安全技术研讨会

作者：汪建伟高军王腾蛟杨冬青北京大学信息科学技术学院北京大学信息科学技术学院北京大学信息科学技术学院北京大学信息科学技术学院

在目前的 Web 信息提取技术中,很多都是基于 HTML 结构的,由于 HTML 结构的经常变化, 使提取模板需要经常更新,而提取模板的更新需要很多领域知识。本文提出一种基于显示属性的 Web 信息提取方法,通过将网页文本按照其显示属性的不同进... 详细信息

在目前的 Web 信息提取技术中,很多都是基于 HTML 结构的,由于 HTML 结构的经常变化, 使提取模板需要经常更新,而提取模板的更新需要很多领域知识。本文提出一种基于显示属性的 Web 信息提取方法,通过将网页文本按照其显示属性的不同进行分组,以显示属性值为基础对 Web 页面文本进行分类,获取所关注文本,从而完成对 Web 页面的信息提取。这种提取方法操作简单、易于实现,不依赖源网页的结构。

关键词：网页信息提取 DOM 属性向量包装器

来源： cnki会议评论

在线全文

cnki会议

学校读者我要写书评

暂无评论

一种新闻网页关键信息的提取算法

计算机应用 2016年第8期36卷 2082-2086,2120页

作者：向菁菁耿光刚李晓东中国互联网络信息中心北京100190 中国科学院大学计算机网络信息中心北京100190

针对网页正文提取算法缺乏通用性,以及对新闻网页的提取缺乏标题、时间、来源信息的问题,提出一种新闻关键信息的提取算法news Extractor。该算法首先通过预处理将网页转换成行号和文本的集合,然后根据字数最长的一句话出现在新闻正文... 详细信息

针对网页正文提取算法缺乏通用性,以及对新闻网页的提取缺乏标题、时间、来源信息的问题,提出一种新闻关键信息的提取算法news Extractor。该算法首先通过预处理将网页转换成行号和文本的集合,然后根据字数最长的一句话出现在新闻正文的概率极高的特点,从正文中间开始向两端寻找正文的起点和终点提取新闻正文,根据最长公共子串算法提取标题,构造正则表达式并以行号辅助判断提取时间,根据来源的格式特点并辅以行号提取来源;最后构造了数据集与国外开源软件news Paper进行提取准确率的对比实验。实验结果表明,news Extractor在正文、标题、时间、来源的平均提取准确率上均优于news Paper,具有通用性和鲁棒性。

关键词：网页信息提取新闻信息提取网页去噪

基于网页信息自动提取的分布式爬虫系统设计与实现

在线全文

学校读者我要写书评

暂无评论

基于网页信息自动提取的分布式爬虫系统设计与实现

作者：杨本栋北京邮电大学

学位级别：硕士

数据爆发式增长,大数据时代到来,互联网每天产生难以计数且各式各样的数据。这些数据蕴含的信息具有巨大的研究价值和商业价值。学者及企业希望获取知识类、资讯类、政策法规类等文章型网页中有价值的信息,不仅要求数据量大、格式规范... 详细信息

数据爆发式增长,大数据时代到来,互联网每天产生难以计数且各式各样的数据。这些数据蕴含的信息具有巨大的研究价值和商业价值。学者及企业希望获取知识类、资讯类、政策法规类等文章型网页中有价值的信息,不仅要求数据量大、格式规范统一、时效性强,还希望获取信息的成本低、效率高。现实中网页结构各异且都包含大量与主题无关的网页噪声,如何从互联网蕴含的海量信息中以较高的效率、极快的速度获取有价值的结构化信息是一个值得研究的课题。本文选题来源于企业项目,研究文章型网页的信息自动提取算法,设计实现了基于网页信息自动提取算法的分布式网络爬虫系统,提高了信息获取的效率,具体如下:(1)针对现有网页信息提取算法提取精度不足、提取信息缺失和上下文信息利用较少的问题,提出了一种基于视觉块一致性和序列标注的文章型网页元数据提取算法。根据文章型网页的视觉特征对网页进行分块预处理,将网页节点划分为多个一致性视觉块;利用统计特征定位网页主体区域,过滤掉大量噪音信息;选择文本、视觉和词典特征作为特征集进行特征提取,利用条件随机场模型进行序列标注,提取标题、正文、作者、来源、发布时间、图像和附件等信息。最后对算法进行了实验和对比分析。(2)设计实现了基于网页信息提取算法的分布式爬虫系统。本文分析了企业需求并对系统进行了总体设计,将系统分为数据采集层、数据解析层、数据存储层、节点接入层和系统管理层。针对现有分布式爬虫存在的问题,引入网页信息自动提取算法代替人工编写解析脚本,提出了一种无中心的基于动态反馈的任务调度策略,提高了系统可靠性和抓取效率。接下来本文对系统各模块进行了设计与实现。最后,本文对系统进行了性能和功能测试。

关键词：网页信息提取自动化分布式爬虫

基于网页列表的商品信息自动提取关键技术研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于网页列表的商品信息自动提取关键技术研究

作者：彭勇浙江大学

学位级别：硕士

电子商务的普及使得利用电子商务进行购物的用户飞速增长,但随着网络上的商品信息越来越多,如何快速有效地从海量的商品信息中选择出用户需要的商品成为用户关心的重要问题。现有的互联网上商品信息大都是半结构化的数据,同时不同的网... 详细信息

电子商务的普及使得利用电子商务进行购物的用户飞速增长,但随着网络上的商品信息越来越多,如何快速有效地从海量的商品信息中选择出用户需要的商品成为用户关心的重要问题。现有的互联网上商品信息大都是半结构化的数据,同时不同的网站数据的网站结构和提供给用户的检索接口都不一样,因而无法直接给用户提供的统一的查询接口,用户在不同网站检索相关的信息需要调用不同的网站的检索接口。为了能高速的检索出需要的信息,需要给用户提供一个统一的检索接口。为了以统一的结构化数据提供给用户,需要将网络上的半结构化的数据转化为统一结构的结构化数据,然后将结构化的数据进行索引,提供统一的检索接口给用户。由于网页中商品信息大多是以列表的形式展示出来,列表信息所在的区域就商品信息所在的区域,列表作为信息载体具有结构一致性的特点,论文针对列表结构一致性提出了一个基于网页列表结构的全自动信息提取算法和基于机器学习的文本自动归类算。在信息抽取算法中,首先利用网站的同构性去除网页中与商品信息无关的部分,无关信息去除主要是通过将网页转化为标签树的结构,通过树比较算法,找出不同网页中相同的信息,剪去无关的信息;然后提出一种频繁序列挖掘算法找出网页中结构相同的数据记录,挖掘出商品信息所在的区域,商品信息的抽取主要是基于PAT树,通过将网页的标签转化为二进制流挖掘出重复出现的信息区域,生成信息抽取模板,然后抽取出商品信息,最后提供一个可视化的工具给用户,让用户方便的标记自己感兴趣的商品信息,然后将信息提取出并安装统一的结构存储数据库中。为了更方便的查找相关信息,利用提取出来的商品的文本信息,有效的挖掘出其中的关联规则,通过将文本信息分成一个个的关键字,挖掘出关键字和类别之间的关联规则,构造出有效的决策树,决策树的构造通过已经生成的关联规则来构造,最后利用决策树对提取出的商品信息进行自动归类,为用户提供更加清晰的展现方式。随着中国步入老年化,与老年人生活息息相关的商品越来越多,如何直接有效地从海量的商品中选择出老年人需要的商品并以友好的方式展现给老年人具有很大的现实意义。

关键词：网页信息提取文本归类频繁序列挖掘关联规则决策树

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

网页正文信息抽取新方法

大连理工大学学报 2009年第4期49卷 594-597页

作者：宋明秋张瑞雪吴新涛李文立大连理工大学系统工程研究所辽宁大连116024

基于包装器的信息抽取方法只能处理一种特定的信息源,而且对网页结构的依赖性强.基于此提出了一种将中文标点符号和HTML树结构作为识别网页正文内容重要特征的网页分析方法,通过统计中文标点符号确定部分正文信息,然后根据正文信息在结... 详细信息

基于包装器的信息抽取方法只能处理一种特定的信息源,而且对网页结构的依赖性强.基于此提出了一种将中文标点符号和HTML树结构作为识别网页正文内容重要特征的网页分析方法,通过统计中文标点符号确定部分正文信息,然后根据正文信息在结构上的相似性确定其他正文信息内容.实验结果表明该方法能有效地剔除网页噪音并提取网页正文,具有较好的通用性和较高的准确性.

关键词：包装器 HTML树网页信息提取