检索结果-南通市图书馆

作者：赵晶璐西南大学

学位级别：硕士

随着Internet技术的高速发展,WWW技术已逐渐成为Internet上最重要的信息发布和传输方式,Web已经成为人们获取信息的一个重要信息来源。面对Web上海量的信息资源,用户如何快速、有效地获取自己感兴趣的主题信息,已成为一个十分迫切的热... 详细信息

随着Internet技术的高速发展,WWW技术已逐渐成为Internet上最重要的信息发布和传输方式,Web已经成为人们获取信息的一个重要信息来源。面对Web上海量的信息资源,用户如何快速、有效地获取自己感兴趣的主题信息,已成为一个十分迫切的热点课题。 Web信息获取主要包括信息检索和信息抽取。它涉及到计算机网络、数据挖掘、文本处理、人工智能等多个领域,其关键技术,包括搜索引擎技术、信息抽取技术和自动分类技术等。本论文的主要工作是对Web中文信息获取的相关算法进行研究,旨在解决Web信息获取存在的一些问题,以提高信息获取的性能。本文首先介绍了信息抽取问题的提出,对Web信息检索系统、Web信息抽取技术、搜索引擎进行了简要综述。中文自动分词技术是中文信息的基础,有着极其广泛的实际应用。本文第二部分针对中文自动分词技术,分析了中文分词词典的机制,提出了一种改进的整词分词字典结构,并针对机械分词算法的特点,将其与概率算法相结合,探讨了一种中文自动分词概率算法。采用哈希及二分法对词典进行分词匹配,实验表明,该算法具有较高的分词效率和准确率,对于消去歧义词也有较好的性能。页面排序算法是搜索引擎的核心技术。本文第三部分分析了Web页面主题分布的特点,对经典的页面排序算法进行了探讨,提出了一种基于内容和超链接分析并结合用户点击行为的相关度排序算法,能够客观分析网页所包含的主题信息,尽量保证检索结果的相关性。实验表明,该算法能有效提高查准率,较好地解决了主题漂移现象,且具有良好的性能。最后,对信息抽取相关技术进行分析研究,并结合XML技术,提出了一种基于XML技术的Web信息获取的框架结构及相关算法。

关键词： Web页面网页排序自动分词信息获取搜索引擎

基于Nutch的农业垂直搜索引擎研究与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Nutch的农业垂直搜索引擎研究与实现

作者：王晓琴西北农林科技大学

学位级别：硕士

随着我国农业信息化进程推进，越来越多的农业用户希望能够快速且有效地找到自己所需要的农业信息。但通用搜索引擎返回结果存在数量庞大、专业性差、准确率低等问题，无法满足农业用户高效的查找农业信息的需求;同时现有的农业搜索引... 详细信息

随着我国农业信息化进程推进，越来越多的农业用户希望能够快速且有效地找到自己所需要的农业信息。但通用搜索引擎返回结果存在数量庞大、专业性差、准确率低等问题，无法满足农业用户高效的查找农业信息的需求;同时现有的农业搜索引擎也处于发展前期阶段，技术不够成熟，存在低使用率、低时效性等不足之处，有待进一步改善。为了解决上述问题，本研究基于开源搜索引擎Nutch对农业垂直搜索引擎进行了有关研究。研究内容如下：（1）基于Nutch的农业垂直搜索引擎研究。为了提高农业用户检索农业信息的效率，本研究在了解并深入分析开源搜索引擎Nutch的工作原理基础上，对开源搜索引擎Nutch进行二次开发，实现农业垂直搜索引擎。首先，采用人工整理判定和元搜索相结合的策略获取初始URL种子列表;其次，采用基于词库的正向最大匹配分词算法的JE分词改进Nutch中文分词，使其支持中文分词;接着，采用网络爬虫技术进行信息采集，分析网页并用改进的基于关键字的向量空间模型主题判别方法结合农业领域本体进行信息过滤，过滤掉与农业不相关的网页，并将与农业相关的网页采用倒排索引技术建立索引;最后，采用PAGERANK排序算法、网页的农业相关度并结合农业领域本体改进Nutch原有的基于Lucene的网页排序算法。此外，扩展Nutch辅助功能，用户查询时向用户提供基于农业领域本体的相关词推荐和基于访问量的关键词推荐，辅助用户查询需要的信息。（2）系统管理平台设计与实现。为了方便对基于Nutch的农业垂直搜索引擎管理和使用以及农业领域本体库的管理，设计实现了C/S+B/S模式的系统管理平台，该平台提供基于Nutch的农业垂直搜索引擎的网络蜘蛛配置管理、农业领域本体库的管理、农业网址导航、用户检索接口等功能。最后，实验验证本文的搜索引擎系统管理平台具有较好的可行性、有效性。

关键词：垂直搜索引擎 Nutch 信息过滤网页排序查询扩展

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

分布式搜索引擎研究与实现

分布式搜索引擎研究与实现

作者：周庭安中山大学

学位级别：硕士

随着信息技术的进步，互联网(Internet)得到了快速的发展，成为人们学习、生活的一部分。互联网含有大量的信息，是人们获取信息的重要来源之一。如何快速从互联网中获取到所需信息是研究热点之一，搜索引擎技术就是在这背景下产生的。... 详细信息

随着信息技术的进步，互联网(Internet)得到了快速的发展，成为人们学习、生活的一部分。互联网含有大量的信息，是人们获取信息的重要来源之一。如何快速从互联网中获取到所需信息是研究热点之一，搜索引擎技术就是在这背景下产生的。本文在分析搜索引擎现状基础上，利用面向对象技术设计实现了一个全文搜索引擎系统。该搜索引擎系统具有支持多线程、多语言、自适应、分布式等特点。文中首先分析了搜索引擎的研究现状，阐述了搜索引擎的工作流程和体系结构，分析总结了目前搜索引擎主流排序算法。利用PageRank算法中网页属性对排序造成影响的思想分析了影响排序的核心网页属性，并对这些网页属性进行了定性分析和定量计算，提出了网页质量等级评价算法。利用词频位置加权排序原理实现了文本相似度评价算法。在网页质量等级评价算法和文本相似度评价算法基础上实现了关键字综合排序算法和信息检索排序算法。然后利用面向对象技术实现了搜索引擎信息采集系统、信息分析系统、信息检索系统。利用工厂生产管理模型和四级缓存结构，以及多线程技术和聚类分析算法实现了网页信息的快速采集、抽取、存储。利用基于词库文本分割算法和基于特别字符分割算法，实现了对文本的关键词提取，并建立了关键字的倒排索引。利用分表分库机制实现了搜索引擎大数据存储，采用MVC架构和检索排序算法实现了信息检索。最后对搜索引擎进行了相关测试，证实达到了预期的目的。

关键词：搜索引擎网页排序网络爬虫分词算法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

视频检索与推荐系统的设计与实现

视频检索与推荐系统的设计与实现

作者：陈凡华中科技大学

学位级别：硕士

随着互联网的持续发展,视频数据大量积累,人们对于视频的有效获取有了更高的要求。目前,一般的检索系统没有评估资源的好坏,也没有对用户做有针对性的检索,个性化推荐时也并未考虑当前用户的意图。为了使用户检索视频资源时能够获取质... 详细信息

随着互联网的持续发展,视频数据大量积累,人们对于视频的有效获取有了更高的要求。目前,一般的检索系统没有评估资源的好坏,也没有对用户做有针对性的检索,个性化推荐时也并未考虑当前用户的意图。为了使用户检索视频资源时能够获取质量相对较高并且和用户相关程度较大的视频,也为了使用户能够获取个性化推荐的视频,加快用户获取合适资源的效率,缓解用户在检索效果上的体验不佳,设计并实现了视频检索与推荐系统。系统首先抽取了用户的历史检索文本以及各个视频资源的相关文本,采用基于信息熵和互信息的命名实体识别技术获取了视频领域的命名实体,作为后续分词的重要依据。通过设计倒排索引表,计算出检索文本与视频资源的匹配度得分。通过设计计算规则来计算视频资源的质量得分,以及采用词频-逆词频(TF-IDF)技术计算出视频与用户的相关度得分,最终根据上述三种评分对检索到的候选视频重新排序,按照得分顺序展示搜索结果。通过文本卷积神经网络(Text-Convolutional Neural Network)对检索文本分类,识别出用户的检索意图,获取意图分类下的热门视频作为待推荐视频。根据用户的历史行为记录,采用基于用户的协同过滤算法以及基于视频资源的协同过滤算法得到两种待推荐视频。最终,综合考虑三部分待推荐视频的质量得分排序给用户个性化推荐视频。系统详细介绍了检索和推荐的原理及实现过程,在完成各个模块之后,对各个模块做了功能测试和性能测试,测试表明各个模块都能正常工作,检索到的资源与检索文本一致,推荐的视频合理。

关键词：内容检索网页排序文本分类个性化推荐

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

金融领域的博客信息采集与排序算法研究

金融领域的博客信息采集与排序算法研究

作者：陈辉哈尔滨工业大学

学位级别：硕士

博客是一个个人性与公共性相结合的媒介,它充分利用了网络双向互动,超文本链接,动态更新,覆盖范围广的特点,其精髓不是表达个人思想或是记录个人的日常经历,而是从个人的角度,来精选和链接互联网上最具有价值的信息、知识与资源,为他人... 详细信息

博客是一个个人性与公共性相结合的媒介,它充分利用了网络双向互动,超文本链接,动态更新,覆盖范围广的特点,其精髓不是表达个人思想或是记录个人的日常经历,而是从个人的角度,来精选和链接互联网上最具有价值的信息、知识与资源,为他人提供共享资源。随着博客的迅猛发展,带来了海量的博客资源,如何组织,检索,有效利用丰富的博客资源,挖掘有价值的信息引起了包括科研界和工业界的广泛关注,各种方法和技术的应用正在被探索中。目前google、百度等主要中英文搜索引擎加大了对博客的关注,但是对于博客的排序基本上还是采用传统的页面排序算法。本课题在分析了博客与传统网页之间的区别的基础上,根据博客页面特征设计实现了一种基于RSS结构的博客爬虫系统,针对网络上的金融博客文章进行特定的爬取。对现有的博客搜索结果排序算法进行分析,对比BlogRank、B2Rank和EigenRumor等算法,找出可能影响博客排序的因素,并对可能影响最终排序结果的因素通过量化的方式加以评估,最后给出了一种不基于查询的金融博客搜索结果排序算法。在此基础上,设计并实现一个博客系统平台,为爬取到的金融博客文章提供展示平台,并与整个海天园知识服务系统整合,提供常见博客服务。最后,对算法的试验结果利用文章热度进行评价,评价结果表明,对于特定领域,找到一种不基于查询的博客排序算法是可行的,68%的准确率也验证了算法的有效性。

关键词：金融博客搜索信息检索链接分析网页排序

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Nutch的科技项目主题搜索引擎研究

基于Nutch的科技项目主题搜索引擎研究

作者：胡平杭州电子科技大学

学位级别：硕士

随着互联网信息的日益增长,通用搜索引擎已经无法满足用户对于特定领域信息的查询需求。搜索引擎正在向个性化、主题化、智能化发展,其中基于某种特定主题的搜索引擎已成为一个研究热点。目前,在科技项目领域,科技项目信息获取基本靠通... 详细信息

随着互联网信息的日益增长,通用搜索引擎已经无法满足用户对于特定领域信息的查询需求。搜索引擎正在向个性化、主题化、智能化发展,其中基于某种特定主题的搜索引擎已成为一个研究热点。目前,在科技项目领域,科技项目信息获取基本靠通用搜索引擎查询和专家经验,通过科技项目主题搜索为用户提供相关项目信息的研究还比较少。本文针对通用搜索引擎查询无法为用户提供深入科技项目信息的问题,设计开发基于科技项目主题的搜索引擎系统,方便用户准确了解科技项目发展状况。论文研究工作如下： (1)分析主题爬行器的关键技术,研究提出基于科技项目主题的爬行器模型。模型通过选择权威页面作为初始URL种子页面,选取项目模板文档训练科技项目主题词库,应用改进的VSM余弦方法判定网页主题相关性,提出基于Shark Search和Hits的主题爬行策略。该模型过滤科技项目主题相关性差的网页,使爬行器能够更多的爬行主题相关网页,提高网页爬行质量。 (2)针对PageRank算法容易产生“主题漂移”,偏重旧网页的问题,提出一种基于时间衰减因子的改进算法TD-PageRank (Time Decay PageRank)。该算法将网页内容表示为空间向量模型,运用TF-IDF计算关键词权值的基础上,给予网页不同区域关键词相应权值,减少“主题漂移”,加入时间衰减因子,以此来加速旧网页“沉淀”。实验表明,改进的算法相较于PageRank算法,主题相关的新网页在排序中上升,更多的主题相关的网页排在结果集前列。 (3)基于以上两点研究成果,结合Nutch开源搜索引擎,设计基于科技项目的主题搜索引擎原型系统。系统对Nutch爬行模块进行改进,加入主题相关性判定模块和主题词库训练模块,加入IKAnalyzer中文分词,通过结合Nutch评分机制和TD-PageRank算法改进查询结果排序,设计用户查询接口。实验测试验证原型系统的可行性。在国内对于科技项目领域主题搜索引擎研究较少的背景上,本文在科技项目主题搜索引擎方面所做的研究成果对科技项目搜索领域起到“抛砖引玉”的作用。

关键词：搜索引擎主题爬行器网页排序科技项目 Nutch

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Nutch的搜索系统的研究

基于Nutch的搜索系统的研究

作者：尹辉电子科技大学

学位级别：硕士

随着互联网技术的发展,网络信息资源的急剧增长,网民人数越来越多,网络在人们的日常生活和工作的作用越来越大,因此人们越来越多地关注如何快速有效地从海量的网络信息中,提取出潜在的、有价值的信息,使之有效地在工作和生活中发挥作用... 详细信息

随着互联网技术的发展,网络信息资源的急剧增长,网民人数越来越多,网络在人们的日常生活和工作的作用越来越大,因此人们越来越多地关注如何快速有效地从海量的网络信息中,提取出潜在的、有价值的信息,使之有效地在工作和生活中发挥作用。搜索引擎(Search Engine)技术解决了用户检索网络信息的困难,目前搜索引擎技术正成为计算机科学界和信息产业界争相研究、开发的对象。搜索引擎是一个对Web上的信息资源进行搜集整理,然后提供查询服务的系统,实际是Web上的一类网站,这类网站与一般的网站不同,其主要工作是自动搜寻Web信息,将其进行分类、建立索引,然后把索引的内容存放到索引库中,便于以查询方式提交给用户。自1994年起至今,伴随着因特网的日益发展壮大以及Web信息量的迅速膨胀,Web搜索引擎技术已经经历了三代发展阶段:集中式检索阶段、分布式检索阶段和智能化检索阶段。当前搜索引擎研究的主要焦点集中在自动化、智能化检索和提高检索结果的精确度上。今后搜索引擎还将不断扩展附加功能,以主题化检索为特征,以适应不同层次用户的个人化信息检索需求。本文对搜索引擎的架构、原理、组成、工作流程做了阐述。搜索引擎一般由搜索模块、索引模块、检索模块和用户接口组成。搜索模块主要功能是从Web上下载页面;索引模块对下载的页面内容进行分析并建立索引;检索模块实现用户查询关键词和目标文档匹配度的计算;用户接口为用户提供一个输入查询请求,定制查询结果的Web页面并将查询结果格式化后返回给浏览器。本文在分析了搜一引擎的三个主要组成部分之后对如何提高搜索引擎的精确度和相关度进行了深入研究,对中文分词技术作了较详细的讨论,对其核心算法做了分析。本文重点开发了中科慧创科技有限公司的补丁网站搜索系统。本文从介绍Nutch搜索引擎入手,详细说明了中科会会慧创科技有限公司的补丁网站搜索系统开发过程和方法,并且利用中国科学院计算技术研究所开发的汉语词法分析系统ICTCLAS来改进Nutch的中文分词模块,并且利用用户二次检索和重要主页加分等方法,对原有的基础排序算法进行了改进,提高了搜索结果的精确度。

关键词：搜索引擎 Nutch 中文分词网页排序

基于Heritrix和Lucene垂直搜索引擎的应用研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Heritrix和Lucene垂直搜索引擎的应用研究

作者：张畅畅昆明理工大学

学位级别：硕士

随着互联网的飞速发展,网络上的网页数量呈指数级增长,包含的信息数据越来越多、越来越广,人们想要在互联网中找到自己需要的信息也变得越来越困难,于是就出现了搜索引擎。但是人们常用的通用搜索引擎像百度、Google等虽然能帮助人们搜... 详细信息

随着互联网的飞速发展,网络上的网页数量呈指数级增长,包含的信息数据越来越多、越来越广,人们想要在互联网中找到自己需要的信息也变得越来越困难,于是就出现了搜索引擎。但是人们常用的通用搜索引擎像百度、Google等虽然能帮助人们搜索到一点相关信息,但在特定需求下,却无法满足人们的需求。因此,垂直搜索引擎如雨后春笋大量涌现。本文通过改进网络爬虫Heritrix的抓取逻辑,并改进和扩展其功能,使它能够抓取指定网站上的特定网页内容,然后通过研究Lucene的基础排序算法,并借鉴PageRank算法思想,对其做了改进。首先,介绍了垂直搜索引擎使用的相关技术,包括网络爬虫技术、结构化抽取技术、中文分词技术、索引与搜索技术等。其次,详细描述了网络爬虫Heritrix改进后的抓取配置步骤,从四个方面对它的功能做了扩展。再次,引入PageRank算法思想,将Lucene的基础排序算法改进为适合网页排序的算法,并给出了算法实现。最后,从实际生活问题出发,以数码相机为例,应用文中所讲的技术设计并实现了一个垂直搜索引擎,并将本人在文中所做的改进和实现部分都在该引擎中做了对比测试。

关键词： Heritrix Lucene PageRank算法网页排序

基于Nutch的分布式爬虫系统的研究与优化

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Nutch的分布式爬虫系统的研究与优化

作者：井迪东北大学

学位级别：硕士

伴随着互联网技术的迅猛发展,全球每天产生的数据量呈爆炸式增长,相关的大数据关键技术也得到大力发展,其中的云计算技术已经发展成为计算机产业界及学术界研究的热点。Hadoop以其良好的扩展性及可靠性成为当前应用较为广泛的云平台,得... 详细信息

伴随着互联网技术的迅猛发展,全球每天产生的数据量呈爆炸式增长,相关的大数据关键技术也得到大力发展,其中的云计算技术已经发展成为计算机产业界及学术界研究的热点。Hadoop以其良好的扩展性及可靠性成为当前应用较为广泛的云平台,得到了许多研究人员的关注。而作为Hadoop起初的主项目Nutch,是一个Java语言开发的开源搜索引擎,其支持分布式爬虫,且底层实现使用Hadoop,越来越多的学者围绕两者的结合展开研究,通过各种方式提高分布式搜索的效率。本文首先对Hadoop平台以及Nutch框架进行了分析研究,包括Nutch的插件机制与索引机制以及Hadoop分布式文件系统与分布式计算模型Map/Reduce。研究并分析了几种常见的网页去重算法与网页排序算法。在此基础之上,针对原生的Nutch系统在网页去重及网页排序方面的不足,提出了基于加权特征句提取的网页去重算法以及基于文档指纹与页面重要性的PageRank算法。其中基于加权特征句抽取的网页去重算法采用了网页内容加权提取的方式,并利用sim-Hash算法将文档表示成特征指纹集合,并通过计算集合间的Jaccard系数判断页面是否相似;基于文档指纹与页面重要性的PageRank算法利用本文提出的去重算法中的文档指纹来衡量网页间的主题相似度,并根据页面的链入链接数来分配所得的PageRank值,改善传统PageRank算法中出现的主题漂移问题以及权值的平均分配问题,并给出了这两个算法在系统中具体的Map/Reduce实现。最后,搭建Hadoop+Nutch的实验环境,并在Nutch系统实现中文分词的基础上对相关算法进行了测试实验,实验结果表明基于加权特征句抽取的网页去重算法拥有良好的去重效果与时间效率,并且这两方面达到了良好的平衡;基于文档指纹与页面重要性的PageRank算法与传统的PageRank算法相比,具有更高的查准率与稳定性。

关键词：分布式爬虫系统 Nutch 网页去重网页排序文档指纹

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

灾害综合集成研讨厅的意见综合算法研究

灾害综合集成研讨厅的意见综合算法研究

作者：蔡素丹华中科技大学

学位级别：硕士

综合集成研讨厅的构思是把人集成与系统之中,采取人和机器相结合，同时以人为重的方法思路,这样就能充分发挥人的思维作用,使参加研讨的成员在讨论问题的时候可以互相启发观点,互相激活想法,互相反馈信息，最终使整个集体的智慧大大超... 详细信息

综合集成研讨厅的构思是把人集成与系统之中,采取人和机器相结合，同时以人为重的方法思路,这样就能充分发挥人的思维作用,使参加研讨的成员在讨论问题的时候可以互相启发观点,互相激活想法,互相反馈信息，最终使整个集体的智慧大大超过个人的智慧。综合集成研讨厅提供了一个研讨的平台，可以让大家自由讨论，但讨论必须得出一个结果或建议才有价值，因此就需要意见综合算法，把大家讨论的结果综合起来，形成一个统一的结果以供参考。本文的主要内容是研究综合集成研讨厅的意见综合算法，是综合集成研讨厅的核心问题。我们主要使用的算法是pagerank算法和解释一致性算法。其中，pagerank算法主要用于解决关联性研讨的问题，解释一致性算法主要用于解决主题研讨的问题。而综合集成研讨模式时可以将两种算法集合起来，帮助我们解决问题。本文基于灾害综合集成研讨厅的背景，对pagerank和解释一致性两种意见综合算法进行了详细的研究，包括基本思想、计算算法、成功案例、缺点及改进等各个方面。另外，还将这两种意见综合算法应用到灾害综合集成研讨厅中，进行了有效的尝试，并且将两种算法进行了对比和分析。通过研究我们发现pagerank算法和解释一致性算法不能相互替代，但是这两个算法能分别比较好地解决我们综合集成研讨厅中关于意见综合的问题。

关键词：综合集成研讨厅意见综合网页排序解释一致性