检索结果-南通市图书馆

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向专业主题的网页分类算法研究

面向专业主题的网页分类算法研究

作者：王强国防科学技术大学

学位级别：硕士

网络的发展使人们能够快捷方便地从全世界范围内获得多样的电子资源信息,但是随着数字资源信息的爆炸性增长,快速有效地获取相关信息却又变得越来越困难。因而对信息获取技术的发展提出了更高的要求。由于网络资源的复杂性,综合性的搜... 详细信息

网络的发展使人们能够快捷方便地从全世界范围内获得多样的电子资源信息,但是随着数字资源信息的爆炸性增长,快速有效地获取相关信息却又变得越来越困难。因而对信息获取技术的发展提出了更高的要求。由于网络资源的复杂性,综合性的搜索引擎已经不能满足用户信息检索的准确性需要。因此专业化、专题化信息搜索技术成为目前的一个研究热点。本论文结合奥运专题网页,针对网络信息获取的相关技术进行了初步研究和探讨。本论文主要工作包括以下几个方面: (1)结合奥运网页的过滤问题,对自动分类领域中不同的特征选择方法以及各种分类器的设计和性能评价方面进行了分析,并在具体的实验数据集合上将不同的特征选择方法和不同的分类器相结合进行了比较性的实验。实验表明,多种特征选择的方法能够准确地选择有较好的分类能力的特征,能够达到特征降维的目的。而对于利用特征加权后的分类性能,不同的分类器会取得不同的分类结果,主要是因为每个分类器的分类机理有所不同,使不同频率的特征在分类中发挥的作用相异所至。 (2)针对网络资源具有动态性、顺序性和时效性的特点,基于Rocchio的检索字扩展模型提出了增量式网页的自适应分类方法。由于网页数据存在着复杂性,在不借助人工判断的情况下,计算机很难做出准确的相关性评价,利用错误的评价结果调整分类器,就容易使分类模型恶化。通过设置正反例置信区间和利用动态的修订系数,使分类模型既保持了分类器的性能,又使其具有一定的适应能力。

关键词：网页过滤特征选择自适应分类

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于特征倾向性的网页特征提取方法研究

计算机工程与设计 2009年第16期30卷 3894-3896页

作者：沈凤仙朱巧明苏州大学计算机科学与技术学院江苏苏州215006 江苏省计算机信息处理技术重点实验室江苏苏州215006

网页包含的信息很丰富,传统的TFIDF公式很难满足内容过滤系统的要求。针对网页过滤技术中的特征选择方法存在的问题,加入语义信息,改进TFIDF公式,提出了一种比较适合网页过滤的特征选择方法。该方法综合考虑特征的长度、在网页中的位置... 详细信息

网页包含的信息很丰富,传统的TFIDF公式很难满足内容过滤系统的要求。针对网页过滤技术中的特征选择方法存在的问题,加入语义信息,改进TFIDF公式,提出了一种比较适合网页过滤的特征选择方法。该方法综合考虑特征的长度、在网页中的位置信息,并且将情感色彩这种语义信息附加到特征上。实验结果表明,该方法在网页过滤系统中取得了较好的效果,尤其是实时内容过滤系统中,具有一定的实用价值。

关键词：网页过滤特征提取语义倾向情感分析中文信息处理

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于Nutch的学术搜索引擎的研究与实现

基于Nutch的学术搜索引擎的研究与实现

作者：夏树倩东北大学

学位级别：硕士

近年来,随着计算机技术的飞速发展,互联网已经从各方面影响着人们的工作和生活。为了更好的使用互联网资源,搜索引擎应运而生。但是传统的通用搜索引擎存在着网络覆盖率低、查准率差、错误导航等诸多问题,因此又出现了针对某一特定领域... 详细信息

近年来,随着计算机技术的飞速发展,互联网已经从各方面影响着人们的工作和生活。为了更好的使用互联网资源,搜索引擎应运而生。但是传统的通用搜索引擎存在着网络覆盖率低、查准率差、错误导航等诸多问题,因此又出现了针对某一特定领域提供检索服务的垂直搜索引擎。在学术领域,为了充分利用研究机构与研究人员等通过网络共享的大量学术资源,有不少针对学术领域的垂直搜索引擎也相继出现。但是,由于更新时间滞后、浏览与下载权限控制和时效性较差等原因,目前还没有出现类似通用的Google搜索引擎那样使用率非常高的面向学术领域的垂直搜索引擎。针对以上实际情况,本文研究并实现了一个新的面向学术领域的垂直搜索引擎,基于Nutch实现的该学术搜索引擎能够为用户提供时效性较强且与主题较相关的检索结果,并通过用户定制功能保证了系统的更新频率。本文的主要工作包括以下几个方面：(1)为了保证信息搜集范围的广泛性,本文的学术搜索引擎在爬取模块采用了全网爬取的方式,这打破了一些面向学术领域的搜索引擎仅针对部分学术网站进行信息搜集的局限性。在全网爬取的前提下,本文为学术搜索引擎实现了主题爬取功能。主题爬取模块引入了网页主题相关性过滤机制,采用了一种基于语义引力的相似度计算方法,该算法通过计算网页与主题相关词的相似程度,来判定网页与主题的相关程度。这种在爬取阶段就进行主题判断的方式,是目前实现垂直搜索引擎的最佳方式。全网环境下的主题爬取模块的实现,既保证了所搜集网页的主题相关性,又使得本文的学术搜索引擎具备了发现互联网中新的主题相关网站的能力。(2)在解析模块,本文实现了基于模板的通用网页解析器,该解析器克服了解析模板对网页和网站结构的依赖性,实现了模板创建过程的半自动化,因此它具有一定的通用性。此外,该模板解析器可以通过定制解析来定向收集用户感兴趣的网页信息(如网页更新时间),因此该模板解析器能够被定制以应用于不同的搜索引擎之中。(3)本文成功的完成了Nutch原有的Lucene索引结构的重新构建,为学术搜索引擎的索引文件添加了自定义的date域,并在检索模块实现了基于该时间域的排序方法,从而为学术搜索引擎添加了按网页时效性进行检索的功能。此外,检索模块还实现了综合考虑网页内容重要性和网页链接重要程度的排序方法,克服了一些面向学术领域的搜索引擎在排序方面的不足。(4)用户定制模块实现了管理和配置整个学术搜索引擎的功能,实现了系统运行参数、种子URL的可视化配置,并允许用户通过关键词定制和筛选种子URL。此外,该部分还提供了种子URL推荐功能,用户可以向学术搜索引擎推荐新的种子URL。在配置完成后,用户可以通过用户定制模块直接运行学术搜索引擎,这种易用性使得用户可以根据实际需要确定系统的更新频率,从而保证了检索信息的时效性。经过实际部署与应用的基于Nutch的学术搜索引擎取得了预期的效果,通过分析学术搜索引擎的检索结果,验证了引擎系统各个模块的主要功能。用户可以通过学术搜索引擎检索到与自己关注领域更相关且时效性更强的资讯信息。同时,基于Nutch的学术搜索引擎还具有良好的扩展性和通用性,可以方便的通过扩展进行功能的增删或改进,或通过进一步修改成为其他领域的垂直搜索引擎系统。

关键词： Nutch 搜索引擎中文分词网页过滤排序

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一个WEB文本过滤系统设计与实现

一个WEB文本过滤系统设计与实现

作者：沈凤仙苏州大学

学位级别：硕士

随着互联网的快速发展,网络上的信息呈爆炸式增长,文本信息过滤技术的研究取得了很大的进展,Web文本信息过滤技术已成为一个研究热点。本文在前期课题IPCG控制网关的研究基础上,为了提高该计费网关对公共信息网络服务的综合监管能力,通... 详细信息

随着互联网的快速发展,网络上的信息呈爆炸式增长,文本信息过滤技术的研究取得了很大的进展,Web文本信息过滤技术已成为一个研究热点。本文在前期课题IPCG控制网关的研究基础上,为了提高该计费网关对公共信息网络服务的综合监管能力,通过研究Linux下实时内容过滤和文本过滤等相关技术,设计并实现了一个基于IPCG控制网关的Web文本信息过滤系统。本文首先给出了系统总体框架以及设计目标,并提出了一种分布式过滤系统的实现方式。系统由中央预警模块统一管理、在线过滤和离线过滤相结合。分布式数据库的同步借鉴OSPF路由协议中数据库同步算法,实现全网过滤信息的通用性。实时在线过滤模块,包括了数据包预处理和基于IP地址及关键词过滤两个子过程。数据包预处理过程主要针对Web页面进行数据分析和结构分析,解析出正确的页面数据信息;基于IP和基于关键词的过滤过程,采用了哈希树结构来组织IP黑名单列表和缓存拼接策略存储过滤内容,关键词过滤结合统计信息综合判定。离线过滤模块对正例类和不确定类做进一步的离线分析,更新实时在线过滤模块的IP黑名单列表和过滤关键字列表。离线过滤采用改进的特征词提取算法和改进的过滤策略。改进的特征词提取算法,综合考虑了特征词长、网页结构特征和词汇的感情色彩等;改进的过滤策略过滤初期采用SVM算法,中后期采用改进的自适应模板过滤法。模板的更新采用改进的模板系数调整策略,并引入特征衰减因子来提高过滤的准确率。实验表明,本文提出的方法既能保证内容过滤分析和数据报流通相互独立,又能提高在线过滤的速度和过滤的正确率。

关键词：网页过滤在线过滤离线过滤自适应信息过滤语义倾向

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

软件安全领域垂直搜索引擎的优化设计与实现

软件安全领域垂直搜索引擎的优化设计与实现

作者：杜洪伟天津大学

学位级别：硕士

随着万维网的迅速发展,越来越多的组织、公司等在万维网上发布已发现的软件安全缺陷信息。本文研究基于垂直搜索技术从网上获取软件安全缺陷信息,并进一步基于语义标注抽取该信息用于构建软件安全缺陷知识库。借助垂直搜索和语义标... 详细信息

随着万维网的迅速发展,越来越多的组织、公司等在万维网上发布已发现的软件安全缺陷信息。本文研究基于垂直搜索技术从网上获取软件安全缺陷信息,并进一步基于语义标注抽取该信息用于构建软件安全缺陷知识库。借助垂直搜索和语义标注标注技术,实现了从万维网上获取软件安全缺陷信息的工具。该工具首先设计关键字训练器获得软件安全缺陷领域的关键词;然后通过获得的领域关键词设计网页过滤器;最后基于此网页过滤器设计垂直搜索爬虫,从万维网上搜索爬取软件安全缺陷信息。实现了基于网页拓扑和基于关键字权值过滤算法的网页过滤器,以及最优搜索策略结合广度优先搜索策略的垂直搜索爬虫工具,该爬虫结合网页过滤器可以过滤非软件安全领域网页,能够自动的多线程下载软件安全领域网页;设计并实现了利用百度搜索引擎获取软件安全缺陷信息的工具;实现了基于网页内容分析算法的领域关键字训练器工具,该工具为网页过滤器提供关键字及其权值;设计并实现基于GATE工具对下载网页进行语义标注并采用基于JAXP的语义标注结果解析,该工具通过GATE工具对非结构化的网页信息进行语义标注,采用JAXP技术对标注的结果进行解析,抽取网页中的安全缺陷信息。该工具可以对万维网中的软件安全领域相关信息进行实时有效的搜索爬取,并对其信息进行结构化处理,为构建软件安全缺陷知识库和分析软件安全漏洞提供数据支持奠定基础。

关键词：垂直搜索软件安全网页过滤语义标注信息抽取

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于机器学习的钓鱼网页检测方法研究

基于机器学习的钓鱼网页检测方法研究

作者：丁岩新疆大学

学位级别：硕士

本文以钓鱼网页的检测为研究主线,深入研究了钓鱼网页的检测特征类别、网页过滤技术以及基于机器学习的钓鱼网页检测方法。通过分析收集的网页数据以及详细的实验,本文对所提出的网页过滤技术以及钓鱼网页检测方法进行验证。本文主要的... 详细信息

本文以钓鱼网页的检测为研究主线,深入研究了钓鱼网页的检测特征类别、网页过滤技术以及基于机器学习的钓鱼网页检测方法。通过分析收集的网页数据以及详细的实验,本文对所提出的网页过滤技术以及钓鱼网页检测方法进行验证。本文主要的研究工作和创新点包括以下三点:（1）提出了基于搜索引擎的合法网页过滤方法。本文研究的钓鱼网站是指那些模仿合法网页,窃取用户隐私数据的虚假网页。因此,钓鱼网页本身的关键字往往与其域名标签并不关联。与传统检测方法直接以搜索引擎反馈结果判定网页性质不同,本文仅以搜索引擎反馈结果判定是否为合法网页,而不判定为其他类型网页。实验结果表明,本文提出的合法网页过滤方法在错误率仅为0.01%的情况下,可准确过滤62%的合法网页,提升了钓鱼检测方法实时检测的能力。（2）提出了基于启发式规则匹配的钓鱼网页过滤方法。针对如违反标准的URL命名规范,隐藏钓鱼攻击目标词以及添加垃圾字符等URL混淆技术,可依据字符串模式匹配快速判定钓鱼网页的性质。本文针对常用的URL混淆技术构建了启发式规则库,可实现部分类型钓鱼网页的快速过滤,提升方法实时检测的能力。实验结果表明,本文提出的钓鱼网页过滤方法在错误率仅为0.09%的情况下,可准确过滤28%的钓鱼网页,提升了钓鱼检测方法实时检测的能力。（3）提出了SHLR钓鱼网页检测方法。SHLR钓鱼网页检测方法由三部分分组成,即基于搜索引擎的合法网页过滤,基于启发式规则匹配的钓鱼网页过滤以及基于逻辑回归的钓鱼网页分类器。三个检测部分相辅相成,保证了钓鱼网页的检测效果,满足了钓鱼网页实时检测的需求,提升了检测方法的适应性。同时,在检测特征集上,本文提出了DNS质疑度的检测特征,并引入字符串间Jaccard相似度检测随机生成的钓鱼链接技术。实验结果表明,相较于其他四种钓鱼网页检测方法,SHLR检测方法准确率提升了0-3.2%,召回率提升了0.2%-3.4%,F1-Score值提升了0.1%-3.3%,而单条URL判定时间缩短了4.54-7.84μs,且具有更强的泛化能力。

关键词：机器学习钓鱼网页 URL混淆技术网页过滤

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

专题型网页搜集器关键算法的研究及实现

专题型网页搜集器关键算法的研究及实现

作者：胡卓颖江西师范大学

学位级别：硕士

随着互联网技术的迅速发展,万维网上的可用信息越来越多。但是互联网也为有效进行其中的相关信息发现提出了以下的问题:1.网页的复杂性要远远大于任何传统的文本文档。2.互联网是一个高度动态的信息源。3.互联网所服务用户群体的多样性... 详细信息

随着互联网技术的迅速发展,万维网上的可用信息越来越多。但是互联网也为有效进行其中的相关信息发现提出了以下的问题:1.网页的复杂性要远远大于任何传统的文本文档。2.互联网是一个高度动态的信息源。3.互联网所服务用户群体的多样性。4.对于不同的用户互联网上的信息只有一小部分是真正有用的或相关的。这些问题促使了有效发现和利用互联网信息资源的相关研究工作开展。面向主题搜集技术就是针对这些问题而提出的,它为不同的用户提供不同的服务,以满足他们不同的需求。这篇论文主要研究了面向主题的搜索中的两个关键算法——网页过滤和链接排序,同时研究了搜索器的实现技术。在网页过滤方面:针对“互联网上的信息只有一小部分是真正有用的或相关”的这一特点提出一种快速过滤网页的系统过滤算法。这种算法将分类体系组织成一个多层的树状结构,对网页逐层过滤,可以将大量不相关的网页快速的过滤。在链接排序方面:已有的研究表明网页的分布满足两种局部性,即链接分布的局部性和兄弟分布的局部性。根据这两种局部性的启发,我们提出了一种增量学习的链接相关性估计算法。这种算法简单高效并在不断的搜集过程中增量学习,使其在系统运行一段时间后表现出较好的稳定性。本文的创新点在于: 在算法方面:1)将层次聚类算法与基于密度的聚类算法思想相结合提出一种基于动态密度的多层聚类算法。2)提出一种简单高效的链接相关性估计算法。在系统方面:设计并实现一个中文的面向主题的搜索器。

关键词：聚类网页过滤主题蒸馏链接排序面向主题搜集

基于飞天云平台的海量网络用户行为分析技术研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于飞天云平台的海量网络用户行为分析技术研究

作者：胡晓祥南京大学

学位级别：硕士

随着信息化的不断普及,互联网越来越成为人们日常生活中不可缺少的一部分。人们在互联网上会产生各种各样的网络行为。对用户行为进行分析有助于构建个性化网络服务、实现更精准的广告定向和个性化推荐等,因此有越来越多的工作集中于网... 详细信息

随着信息化的不断普及,互联网越来越成为人们日常生活中不可缺少的一部分。人们在互联网上会产生各种各样的网络行为。对用户行为进行分析有助于构建个性化网络服务、实现更精准的广告定向和个性化推荐等,因此有越来越多的工作集中于网络用户行为的研究。目前,对网络用户行为的相关研究大部分是对用户的行为模式做统计分析,也有一部分工作对用户访问内容进行了浅层次的分析,绝大部分工作都是采用的小规模的用户行为数据。因此,针对大规模的网络用户浏览行为数据的分析工作还不足,同时缺乏一个针对大规模用户行为的分析框架。大规模用户行为数据的处理涉及海量数据的存储和处理,目前,云平台是比较常用的解决方案。本文基于飞天分布式云平台,设计了对海量网络用户行为数据进行处理和分析的方法,重点解决海量网页分类过滤时间代价高以及对用户访问网页内容分析层次浅的问题,达到了对海量网络用户行为数据分析的高效性要求。本文的主要工作包括以下几点：1.在分析飞天云平台的基础上,设计了一个面向海量网络用户行为分析系统处理架构。该架构设计了包括网络用户行为记录,网页内容爬取,网页清洗与关键词抽取,领域网页快速过滤,网页属性生成,用户属性生成,统计分析七个模块,能够有效地支撑基于飞天云计算平台的海量网络用户行为分析。后续的研究工作表明,该框架能够充分利用飞天的处理能力,实现便捷、高效的数据处理服务。2.针对海量网页分类过滤时间代价高的问题,提出了一个两阶段联合过滤的处理策略。飞天平台搜集的网络信息中,平均每天的用户浏览网页数为一百亿,针对使用常规的领域分类算法进行过滤,时间代价很大的问题,本文采用先经过领域字典粗过滤,再用分类器细过滤的两阶段处理过程,大幅度缩短了处理时间。3.针对目前的研究工作对用户访问的网页内容分析层次浅的不足,提出了基于网络浏览日志提取用户深层次属性信息的处理方法。通过构建领域描述,采用多层次分类方法,从用户浏览的页面中提取相关领域内的类别、子类别等属性信息。将页面属性信息与网页浏览日志数据进行聚合操作得到每个用户的属性信息。此外,为了能够方便地对用户属性信息进行统计分析,我们对一段时间内的用户属性信息进行了空间复杂度较低的增量聚合。本文针对海量网页数据的快速领域过滤和用户行为属性信息提取的问题进行了关键技术研究,在此基础上,实现了一个基于飞天的海量网络用户行为分析挖掘系统,实验效果表明,本文的技术方案具有有效性和高效性。

关键词：网络用户行为分析飞天云平台海量数据处理网页过滤用户属性信息

基于垂直搜索及语义标注的安全缺陷库更新方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于垂直搜索及语义标注的安全缺陷库更新方法研究

作者：丁刚刚天津大学

学位级别：硕士

随着万维网的迅速发展,越来越多的组织、公司在万维网上发布已发现的软件安全缺陷信息。本文基于垂直搜索技术从网上获取软件安全缺陷信息,并进一步基于语义标注抽取该信息用于更新管理软件安全缺陷库。研究基于垂直搜索和语义标注更新... 详细信息

随着万维网的迅速发展,越来越多的组织、公司在万维网上发布已发现的软件安全缺陷信息。本文基于垂直搜索技术从网上获取软件安全缺陷信息,并进一步基于语义标注抽取该信息用于更新管理软件安全缺陷库。研究基于垂直搜索和语义标注更新管理安全缺陷库的方法。首先设计垂直搜索爬虫从Internet上爬取安全缺陷类别及实例、攻击模式、缓和方案、误用例等软件安全缺陷信息;然后借助GATE工具对已下载的网页进行语义标注;最后通过对标注信息的解析完成信息抽取并添加入库,实现将非结构化的网页安全缺陷信息转化成满足缺陷库存储格式要求的信息。在此基础上,设计并实现基于关键字权值过滤算法及广度优先搜索策略的垂直搜索爬虫工具,该爬虫工具自动多线程下载软件安全缺陷信息网页,过滤安全缺陷领域无关网页;设计并实现基于网页内容分析算法的领域关键字训练器工具,该工具为领域搜索爬虫工具提供关键字及其权值;设计并实现基于GATE工具对下载网页进行语义标注的词表和JAPE规则的构建,完成网页中缺陷信息的语义标注;设计并实现基于JAXP的语义标注结果解析工具,该工具完成安全缺陷信息抽取并添加入软件安全缺陷库。本文实现的这些工具能有效获取网络中软件安全缺陷信息以及完成信息抽取,为更新管理软件安全缺陷知识库奠定基石。

关键词：安全缺陷垂直搜索网页过滤语义标注信息抽取