检索结果-南通市图书馆

基于购物搜索引擎的网页解析模块的设计与实现

在线全文

学校读者我要写书评

暂无评论

基于购物搜索引擎的网页解析模块的设计与实现

作者：马俊北京邮电大学

学位级别：硕士

搜索引擎根据人们的查询要求,从浩瀚的Web资源中检索符合要求的记录返回给最终用户。如何提高搜索的质量和速度,成为当今的热门话题之一。专门针对某一领域的搜索引擎,即垂直搜索引擎,有效地缩小了搜索的范围,过滤掉一些无关信息,更具... 详细信息

搜索引擎根据人们的查询要求,从浩瀚的Web资源中检索符合要求的记录返回给最终用户。如何提高搜索的质量和速度,成为当今的热门话题之一。专门针对某一领域的搜索引擎,即垂直搜索引擎,有效地缩小了搜索的范围,过滤掉一些无关信息,更具专业化,也可以节省大量的搜索时间。本课题研究的网上购物搜索引擎,是垂直搜索引擎的一个实例,是搜索引擎在电子商务领域的具体应用。该课题来源于阿尔卡特朗讯公司正在开发的实际项目,开发环境为Linux。本课题设计并实现了购物搜索引擎爬虫抓取、网页解析和索引查询三个部分的功能,经测试性能符合要求。本文首先分析了相关领域的研究进展,然后介绍了系统实现的相关技术支持,之后详细描述了系统分析与设计,以及系统实现的内容。最后,又简要叙述了系统测试的工作内容。其中,重点叙述了网页解析部分的设计内容。网页解析部分由五个模块组成,分别是超链接分析,静态网页抽取,例外网页抽取,监控模块,实验测试模块。其中超链接分析其中的关键模块,它是Crawler（爬虫）与Parser（网页解析）之间互相交互过程的关键。它的主要任务是提取网页中的超链接,并返回给Crawler;另外,还抽取每一页的当前页码返回给爬虫,用于爬虫的爬取策略。爬虫可以设定爬取的最大页面数,与当前页页码比较,决定是否结束爬取。网页解析部分的目的是将半结构化的HTML数据转化为结构化的XML数据,然后再借助正则表达式实现HTML网页内容的抽取与过滤;索引查询部分借助正则表达式从XML文件中抽取到具体字段值,以建立索引。另外,知识库的建立为智能搜索提供了基础支撑。

关键词：垂直搜索引擎网页解析正则表达式知识库

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于内容单元的网页解析与内容提取

基于内容单元的网页解析与内容提取

作者：王璟琦哈尔滨工业大学

学位级别：硕士

随着互联网技术的发展,在线中文网页的数量迅速增加,互联网上的信息量越来越大。搜索引擎能够有效地组织和分析海量的信息资源,帮助用户迅速地获取所需要的知识和信息。然而互联网上的网页普遍存在着一些与用户需求无关的噪声内容,这些... 详细信息

随着互联网技术的发展,在线中文网页的数量迅速增加,互联网上的信息量越来越大。搜索引擎能够有效地组织和分析海量的信息资源,帮助用户迅速地获取所需要的知识和信息。然而互联网上的网页普遍存在着一些与用户需求无关的噪声内容,这些内容影响了搜索引擎对网页的处理质量。因此,对全部网页的预处理工作就必不可少。本文的目的在于通过网页预处理技术,为搜索引擎建立一个内容精炼、格式完整、编码统一的净化网页库,为其他模块提供数据支持。网页处理技术经过多年的发展,逐渐形成了DOM结点解析与分块解析两种思路。然而由于对网页分划粒度的不当,前者容易割裂结点之间的语义关联,后者很难过滤分块内部的内容。为了弥补他们的缺陷,本文找到了一种介于二者之间的网页解析粒度,称为内容单元,并在内容单元粒度上完成了网页预处理工作。本文的研究内容主要包括以下几个方面: （1）提出网页内容单元的定义,并以内容单元为粒度完成网页分割解析;（2）利用内容单元反映出来的网页结构特征和语言特征,完成主题型网页的识别;根据内容单元的组成、结构和功能,利用启发式规则对其进行取舍,完成网页正文内容的提取;识别具有特定功能的内容单元,提取他们当中蕴含的网页题目、时间、导航等信息;（3）在单个网页的基础上构造并行净化程序,完成搜索引擎T级（terabyte）原始数据的净化,重组格式,统一编码。从实验中得到的结论证明了网页内容单元解析粒度的有效性,对比显示了基于内容单元的网页预处理对主题型网页识别和正文提取效果的提高。同时Inar网页预处理模块的效果在网页分类应用中得到了验证。

关键词：内容单元文档对象模型网页解析内容提取

WEB网页文件的解析及翻译引擎的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

WEB网页文件的解析及翻译引擎的设计与实现

作者：赵志辉西安电子科技大学

学位级别：硕士

本文以网络机器翻译系统为研究背景,以HTML为研究对象,对面向网络机器翻译的文档解析处理方法进行了深入的研究和探讨。本文通过对HTML格式的分析,引入知识库机制,提出了基于自学习知识和规则相结合的解析方法。根据这一思路,设计和实现... 详细信息

本文以网络机器翻译系统为研究背景,以HTML为研究对象,对面向网络机器翻译的文档解析处理方法进行了深入的研究和探讨。本文通过对HTML格式的分析,引入知识库机制,提出了基于自学习知识和规则相结合的解析方法。根据这一思路,设计和实现了HTML机器翻译系统。 HTML机器翻译系统分为三个部分：HTML解析模块、翻译引擎模块、HTML还原模块。HTML解析模块把HTML文件解析成文本和标记,然后将文本提交给翻译引擎模块进行翻译,转换成译文,HTML还原模块将译文和标记进行组合,生成译文HTML 翻译引擎是HTML机器翻译系统的基础。翻译质量的好坏取决于翻译引擎的分析是否正确。本文根据典型的翻译引擎,描述了一个翻译引擎的处理流程。 HTML机器翻译系统以知识库作为基础,HTML标记构成的知识库,不仅可以使系统模块化,增强系统的移植性,而且可以通过管理知识库,增强系统的性能。通过实践表明,知识库的引入提高了网络机器翻译的实用性和扩展性。经过对大规模的HTML文件不断的测试和完善,该系统达到了预期的效果,同时有效地证明了本文采用的WEB网页解析方法的正确性和实用性。

关键词：网页解析网络机器翻译知识库

基于Android和网页解析的教务系统设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机时代 2014年第6期 38-40,43页

作者：郭一晶李兆才厦门大学嘉庚学院信息科学与技术学院福建漳州363105

介绍了基于Android系统开发的教务系统。该系统可帮助厦门大学嘉庚学院教师Android用户便捷访问教务系统和校园资源。在Eclipse开发环境下,使用Http通信协议、开源jsoup解析、json解析和SQLite数据库等开发技术完成系统开发,系统主要功... 详细信息

介绍了基于Android系统开发的教务系统。该系统可帮助厦门大学嘉庚学院教师Android用户便捷访问教务系统和校园资源。在Eclipse开发环境下,使用Http通信协议、开源jsoup解析、json解析和SQLite数据库等开发技术完成系统开发,系统主要功能包括查询课程表、查询课程班信息、查看考试安排、查看今日课程、查看天气、查看开课通知单、查询学生评教、查看学院新闻和摇一摇点名等。

关键词：教务系统 Android平台网页解析 SQLite数据库

面向AJAX脚本网络的网页爬行及解析技术的研究与实现

在线全文

学校读者我要写书评

暂无评论

面向AJAX脚本网络的网页爬行及解析技术的研究与实现

作者：张瑶东北大学

学位级别：硕士

随着Web2.0时代的到来,具有AJAX异步传输特征的动态网站已经逐渐成为互联网中的主流表现形式。该技术虽然实现了与服务器的异步通信,带来了良好的用户体验,但是却改变了基于静态页面的传统Web站点的架构。这导致传统网络爬虫无法获取动... 详细信息

随着Web2.0时代的到来,具有AJAX异步传输特征的动态网站已经逐渐成为互联网中的主流表现形式。该技术虽然实现了与服务器的异步通信,带来了良好的用户体验,但是却改变了基于静态页面的传统Web站点的架构。这导致传统网络爬虫无法获取动态站点中的所有页面信息,隐藏在服务器端的很多数据内容无法被获取并进行进一步的分析与利用,造成了资源的浪费。通过上述现状,本文首先分析了AJAX技术的工作原理与主要特点,以及网页分析的核心技术,构建了动态网页数据获取的模型。在此基础上,提出了一种基于动态脚本分析的网页爬行及解析的方法。该方法首先通过对动态页面结构与内容的解析完成了识别第三方框架、分类相似站点、确定页面事件标签集合、页面表单的自动填写等工作。利用Watij模拟用户操作并通过内嵌Selenium脚本解析器顺序执行相应脚本程序。采用广度优先的页面爬行策略、XMLHttpRequest对象监听和DOM树结构相似性判断相结合的页面状态判定方式、基于状态转换图的状态转换控制方法实现了动态页面的数据获取。通过路径存储仓库和本地缓存的加入,有效地减少了页面重新加载次数且较好地处理了服务器端的主动数据更新。基于该方法的工作原理和处理流程,本文设计并实现了一个用于获取动态网页数据信息的原型系统。实验表明,本文提出的算法能够有效地对动态网页进行解析并获取其中的数据信息。对算法做出的优化,使得该算法在不影响数据获取准确率的情况下,执行时间大大降低,性能较同类型其他算法有显著提升。本文所实现的动态网页数据获取原型系统AjaxCrawler可以应用于实际网络中的各个大型站点,能够基本满足用户对于动态网页数据信息获取的需求。

关键词： AJAX 网络爬虫动态脚本网页解析页面内容获取

Android解析网页课表的算法设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

电脑知识与技术 2016年第4X期12卷 215-216页

作者：申圣兵姚方元湖南高速铁路职业技术学院湖南衡阳421001

该文通过对常见校园APP中提取网页课表的技术进行了分析,介绍了其核心的算法及具体实现,最后提出了进一步完善的方法。

关键词：校园APP 网页课表网页解析

在线全文

学校读者我要写书评

暂无评论

新浪微博数据挖掘方案

清华大学学报（自然科学版） 2011年第10期51卷 1300-1305页

作者：廉捷周欣曹伟刘云北京交通大学通信与信息系统北京市重点实验室北京100044 中国信息安全测评中心北京100085

随着新浪微博用户群体的增长,新浪微博的数据获取是微博研究首先需要解决的问题。该文提出了基于新浪微博API与基于页面解析的新浪微博数据获取方案。程序逻辑控制API调用方法与频率,获取JSON对象并解析实现高效数据获取。同时将传统的... 详细信息

随着新浪微博用户群体的增长,新浪微博的数据获取是微博研究首先需要解决的问题。该文提出了基于新浪微博API与基于页面解析的新浪微博数据获取方案。程序逻辑控制API调用方法与频率,获取JSON对象并解析实现高效数据获取。同时将传统的网络爬虫结合网页解析技术结合API同时使用,解决了因API接口开放不完善,且因在返回结果数量上限与调用频率方面的限制,导致不能有效实现新浪微博数据的全面获取的问题。经过实验测试,通过2套方案的结合可以实现新浪微博数据高效全面的获取。

关键词：新浪微博新浪API 数据检索网页解析

基于语音交互的农用信息查询APP的研究与设计

在线全文

学校读者我要写书评

暂无评论

基于语音交互的农用信息查询APP的研究与设计

作者：梁芳河北科技师范学院

学位级别：硕士

现今农业生产问题一直困扰着广大农民朋友,目前,这一问题主要靠的是面对面的交流来解决。农业信息的交互和共享能够帮助农民极大的改善农业生产中的问题,如今是信息化的时代,不能拘泥于面对面的交流,而是要利用信息技术实现农业信息的... 详细信息

现今农业生产问题一直困扰着广大农民朋友,目前,这一问题主要靠的是面对面的交流来解决。农业信息的交互和共享能够帮助农民极大的改善农业生产中的问题,如今是信息化的时代,不能拘泥于面对面的交流,而是要利用信息技术实现农业信息的快速共享,及时有效的解决农业生产中的问题。本文中主要研究内容有以下两个部分:第一,农产品交易信息的获取。农民经常有销售自家蔬菜的需求,由于其销售渠道有限,对该商品在市场中的价格不能准确把握,往往会以较低的价格出售。通过该功能,用语音搜索的方式在农产品交易网站上获取近期农产品收购的价格、地点和时间。并通过地理位置定位,按照收购地点由近到远播报信息,大大提高农民对农产品市场价格的把握,拓宽农产品的交易渠道,提高农民的收益。第二,语音提问子系统。在农产品的生产过程中经常会遇到问题,与专家面对面交流的机会比较少,而农业生产专家系统的操作相对复杂,很多问题不能及时解决,导致作物产量降低,病虫害等问题不能及时预防,通过语音提问子系统,可以识别输入的问题并将其转化成文字提交到专家系统中,等待专家回复,最终将回复结果以语音的形式播报出来。简化了农民操作,使农产品在农业生产中的问题得到及时有效地解决。该APP通过固定的人机对话方式,提取语音中包含的有效信息,根据有效信息执行相应的信息获取的操作,并将操作结果进行语音合成,在用户端播报。可以有效地规避农民识字率低的问题,并且可以将已有的农业信息及时获取,大大地提高农业生产中问题处理的及时性、便利性。以提供更加便捷的交互方式为目标,设计了基于语音交互的农用信息查询APP。

关键词：语音识别语音搜索数据获取网页解析

基于网络爬虫的XSS漏洞检测模型的研究与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于网络爬虫的XSS漏洞检测模型的研究与实现

作者：刘晓东燕山大学

学位级别：硕士

随着Internet的快速发展,Web应用成为人们生活中不可或缺的一部分,Web应用程序漏洞已经成为互联网上最严重的安全隐患之一,其中XSS漏洞是一种危害极大并且影响极为广泛的Web应用漏洞。针对市场上商业的Web应用漏洞检测工具价格昂贵,常... 详细信息

随着Internet的快速发展,Web应用成为人们生活中不可或缺的一部分,Web应用程序漏洞已经成为互联网上最严重的安全隐患之一,其中XSS漏洞是一种危害极大并且影响极为广泛的Web应用漏洞。针对市场上商业的Web应用漏洞检测工具价格昂贵,常用漏洞检测工具运行检测效率不高的现状,本文在充分研究了XSS漏洞原理和网络爬虫技术的基础上,设计并实现了一个基于网络爬虫的XSS漏洞检测模型。本文的主要研究工作主要包括以下几个方面。首先,分析了XSS漏洞的概念、类型、特点及危害,阐述了网络爬虫的相关技术。在此基础上,重点分析了HTTP工作流程以及如何通过网页结构分析技术获取网页信息。其次,将XSS漏洞检测模型分为网络爬虫爬行模块、页面下载模块、页面解析模块、XSS漏洞检测模块几大模块,并分别介绍了各个模块的设计思路。根据该设计思路,给出了基于网络爬虫的XSS漏洞检测模型的整体结构设计。再次,以漏洞检测模型的设计思路和模型各模块的工作流程为基础,分别给出了各个模块的实现过程。其中在XSS漏洞检测模块,根据漏洞的类型分别实现了反射型和存储型XSS漏洞的检测方法。根据上述各个模块的实现过程,实现了XSS漏洞检测模型。最后,基于设计实现的XSS漏洞检测模型,完成了一个具体的基于网络爬虫的XSS漏洞检测系统,并设计了一组针对目标Web应用的漏洞检测实验。以运行时间、检测率、误报率和漏报率作为度量指标,并同目前常用的漏洞测试工具进行对比分析。实验结果表明所设计实现的XSS漏洞检测系统的检测有效性,并且优于已有的漏洞检测工具。

关键词： Web应用程序漏洞检测 XSS漏洞网络爬虫网页解析