检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于粗糙集与贝叶斯决策的不良网页过滤研究

中文信息学报 2012年第1期26卷 67-72页

作者：孙艳周学广海军工程大学电子工程学院湖北武汉430033

不良网页过滤是一种两类网页分类问题。提出了一种基于粗糙集与贝叶斯决策相结合的不良网页分类过滤方法,首先利用粗糙集理论的区分矩阵和区分函数得到网页分类决策的属性约简;然后通过贝叶斯决策理论对网页进行分类与过滤决策。仿真实... 详细信息

不良网页过滤是一种两类网页分类问题。提出了一种基于粗糙集与贝叶斯决策相结合的不良网页分类过滤方法,首先利用粗糙集理论的区分矩阵和区分函数得到网页分类决策的属性约简;然后通过贝叶斯决策理论对网页进行分类与过滤决策。仿真实验表明,该方法在不良网页分类过滤系统中开销小,过滤准确度高,因而在快速过滤不良网页的应用中具有工程应用价值。

关键词：信息安全网页过滤粗糙集区分矩阵贝叶斯决策

面向终端用户的网页过滤模板动态生成技术研究

在线全文

学校读者我要写书评

暂无评论

计算机科学 2012年第S2期39卷 90-93页

作者：徐慧窦子辉杨林陈雪中国矿业大学(北京)计算机科学与技术系北京100083

为了满足网络终端用户对网页噪音的过滤需求,提出一种面向终端用户的动态模板网页过滤系统模型,它基于模板并利用用户反馈自动进化过滤系统。设计了模板生成算法,模拟实验验证了该算法的有效性。

关键词：网页过滤动态模板 DOM树

基于字频统计和数据挖掘技术的不良网页过滤模式的构建与应用

在线全文

学校读者我要写书评

暂无评论

厦门大学学报（自然科学版） 2007年第A02期46卷 69-71页

作者：唐坚刚熊国萍上海理工大学计算机工程学院上海200093

为快速有效地过滤不良网页以保障校园网信息安全,创造性地提出了一个基于字频统计和数据挖掘技术的不良网页过滤模式,通过自适应样本库构建不良类类别特征字库,并以此为基础构建智能化的不良类类别模式,用以实现不良网页的过滤.实验表明... 详细信息

为快速有效地过滤不良网页以保障校园网信息安全,创造性地提出了一个基于字频统计和数据挖掘技术的不良网页过滤模式,通过自适应样本库构建不良类类别特征字库,并以此为基础构建智能化的不良类类别模式,用以实现不良网页的过滤.实验表明,该模式能以较快的速度和较高的准确率过滤测试文档集中的不良网页.

关键词：网页过滤字频统计特征字数据挖掘

在线全文

学校读者我要写书评

暂无评论

基于权重均值的不良网页过滤算法研究

计算机工程与设计 2008年第5期29卷 1088-1089,1107页

作者：唐坚刚魏然上海理工大学计算机工程学院上海200093

传统的网页权重过滤算法中的权重大都根据词频统计方法来确定,该方法不能很好地表达关键词对主题的表征程度,且易被某些网站利用反关键字过滤策略逃避检测。在传统方法的基础上,设置加权的关键字矩阵词典,从关联规则出发,应用汉语语料... 详细信息

传统的网页权重过滤算法中的权重大都根据词频统计方法来确定,该方法不能很好地表达关键词对主题的表征程度,且易被某些网站利用反关键字过滤策略逃避检测。在传统方法的基础上,设置加权的关键字矩阵词典,从关联规则出发,应用汉语语料库里的同类词定义,提出基于同类词权重均值的关联过滤算法。试验结果表明,该算法过滤更为高效,并且能够很好地应对色情网站的反关键字过滤策略,尤其在色情与医学网页的分离上有明显的效果。

关键词：网页过滤关键字矩阵词典关联规则权重均值

在线全文

学校读者我要写书评

暂无评论

基于网络安全的网页过滤模型及其关键算法

中南林业科技大学学报 2011年第12期31卷 197-201页

作者：季秀兰熊拥军江苏食品职业技术学院计算机应用技术系江苏淮安223003 中南大学信息科学与工程学院湖南长沙410012

识别存在于大量的WEB网页中的不良信息的非法文本,并将其有效屏蔽,是未来信息过滤研究的新领域。在传统方法的基础上,在对抓取到的网页进行预处理后,设置加权的关键字词典;应用汉语语料库里同类词的概念,从词汇关联的角度出发,最终提出... 详细信息

识别存在于大量的WEB网页中的不良信息的非法文本,并将其有效屏蔽,是未来信息过滤研究的新领域。在传统方法的基础上,在对抓取到的网页进行预处理后,设置加权的关键字词典;应用汉语语料库里同类词的概念,从词汇关联的角度出发,最终提出了基于同类词权重均值的关联过滤算法。最后,从两个角度进行算法评估,该过滤算法更为高效,并且能够很好的应对不良网站的反关键字过滤策略。

关键词：网页过滤矩阵词典权重均值

在线全文

学校读者我要写书评

暂无评论

自适应不良网页过滤模式的研究与实践

计算机工程与设计 2008年第20期29卷 5324-5326页

作者：唐坚刚熊国萍上海理工大学计算机工程学院上海200093

基于语义的文本过滤方法往往具有较大的时空开销,为了设计实用快捷而有效的过滤系统,创造性地提出了一个基于字频统计和数据挖掘技术的自适应不良网页过滤模式。以校园网作为研究环境,利用自适应语料库构建智能化的分类模式,通过模式识... 详细信息

基于语义的文本过滤方法往往具有较大的时空开销,为了设计实用快捷而有效的过滤系统,创造性地提出了一个基于字频统计和数据挖掘技术的自适应不良网页过滤模式。以校园网作为研究环境,利用自适应语料库构建智能化的分类模式,通过模式识别过滤校园网中的不良网页。实验结果表明,该模式能以较快的速度和较为满意的准确率过滤测试文档集中的不良网页,具有较强的实用性。

关键词：网页过滤校园网特征字字频统计过滤模式

在线全文

学校读者我要写书评

暂无评论

一种网页过滤系统设计与实现

一种网页过滤系统设计与实现

作者：蒋文北京邮电大学

学位级别：硕士

如今互联网对人类生活的各个领域产生越来越重要的影响,人们的正常生活已经离不开互联网。然而,互联网在给人们提供便捷的同时,也带给人们很多负面的信息。为了给人们提供一个健康、安全的信息获取环境,有必要对非法网页进行过滤处理。... 详细信息

如今互联网对人类生活的各个领域产生越来越重要的影响,人们的正常生活已经离不开互联网。然而,互联网在给人们提供便捷的同时,也带给人们很多负面的信息。为了给人们提供一个健康、安全的信息获取环境,有必要对非法网页进行过滤处理。传统的网页过滤技术有基于内容的网页过滤和基于URL分类的网页过滤。基于内容的网页过滤技术可以根据网页中的内容即时过滤,过滤面广,实时性强,但是存在计算量大,过滤效率低等问题,而且随着移动互联网时代的到来,移动终端的多样性也导致这种过滤系统无法普遍部署。基于URL分类的网页过滤技术,预先分析网页中的内容,减少了用户的过滤计算时间,过滤效率高,准确率高,便于集中部署,但是URL分类数据的时效性、覆盖率,以及网页过滤系统的吞吐量是否满足具体的应用场景都是需要考虑的问题。本文在阅读大量参考文献和相关资料的基础上,设计与实现了一种改进的网页过滤系统,能够提供高效、多功能的过滤服务,同时还能通过自动学习的方式,逐步提高URL分类数据的覆盖率。本文的主要工作如下： 1.对当前网页过滤技术以及网页过滤系统的应用进行了研究,分析了当前网页过滤技术以及系统的优点和局限性,提出了在运营商网络中心部署网页过滤系统的必要性。 2.对运营商网络中心的需求进行分析,考虑网页过滤的效率、系统可用性、URL分类数据的覆盖率和命中率以及用户的个性化的需求,提出了一种改进的基于URL分类的网页过滤系统,将网页过滤系统划分成URL分类子系统和网页过滤引擎。 3.对URL分类子系统进行了总体设计,使用文本智能分类技术结合人工审阅的方式,提高URL分类效率,保证URL分类的准确性。 4.对网页过滤引擎进行了详细的设计与实现。使用MD5、红黑树等相关技术,设计与实现了高效的查询缓存,提高网页过滤的效率;使用双机热备高可用技术,实现系统和数据高可用。同时设计了高效的查询流程,支持用户配置自定义数据,实现不同数据的优先级;设计了数据升级功能,及时更新URL分类数据,提高过滤的准确性;设计了未命中URL也数据反馈功能,通过反馈功能逐步提高URL分类数据的覆盖率。 5.在网页过滤引擎中使用负载均衡技术,设计了一种分布式网页过滤引擎。 6.对网页过滤引擎的关键功能以及网页过滤效率进行了测试,对测试结果进行分析,验证系统的可行性。

关键词：网页过滤 URL分类分布式高效高可用

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于文本内容的网页过滤技术研究

基于文本内容的网页过滤技术研究

作者：司德睿兰州大学

学位级别：硕士

互联网的高速发展已经使其成为世界上覆盖面最广、范围最大、内容最为丰富的资源库。人们在充分享受信息共享所带来的便利的同时,却也饱受着大量“垃圾信息”的困扰。特别是对于广大青少年学生,一些“有害信息”正在威胁着他们的身心健... 详细信息

互联网的高速发展已经使其成为世界上覆盖面最广、范围最大、内容最为丰富的资源库。人们在充分享受信息共享所带来的便利的同时,却也饱受着大量“垃圾信息”的困扰。特别是对于广大青少年学生,一些“有害信息”正在威胁着他们的身心健康,另外,企业员工的上网行为亟待规范。因此网页过滤应运而生。当前,许多商用网页过滤产品都使用了一种称为基于文本内容的网页过滤技术。它是从分析网页内容入手,获取网页有效文本信息,利用文本分类算法,在训练集合上学习网页分类器。在人们访问互联网时,通过预先或实时计算出的网页类别,做出允许或禁止的判断。由此可见,基于文本内容的网页过滤其核心在于网页分类的准确性。本文研究了基于文本内容的网页过滤技术,网页过滤的成效依赖于网页分类的精度,网页分类分为两个步骤,第一步是,分析网页内容,得到网页中的能够代表网页语义的文本信息,这个过程称为网页文本内容抽取。这类技术包括利用网页文档结构的方法、通过计算网页摘要的方法以及基于链接的算法等。但是这些算法都有一些不可避免的弱点,从而会影响到后续分类的准确度。本文提出了一种在同一网站中寻找相似网页的算法,它可以克服其他网页内容抽取方法中存在的弱点。第二步是,从网页中抽取出有用的文本之后,接着要对此文本分类,本文分析了一些成熟的文本分类技术,它们包括贝叶斯算法、支持向量机、kNN算法和决策树等等。贝叶斯分类的出错率最小,就试验结果来看,朴素贝叶斯在大型的数据集上表现出来难得的速度和准确度。本文在实验中选择了贝叶斯算法作为网页分类器的文本分类方法,以Surfcontrol网页分类器作为参照,以其两个分类结果集分别作为训练集和测试集。实验结果表明,利用本文提出的文本抽取方法能够在绝大多数类别上取得不错的分类效果。

关键词：网页过滤文本抽取文本分类贝叶斯

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于程序切片的网页过滤技术

基于程序切片的网页过滤技术

作者：孙健南京邮电大学

学位级别：硕士

互联网的高速发展已经使其成为世界上覆盖面最广、范围最大、内容最为丰富的资源库。网络已成为人们获取信息的主要途径,人们可以在搜索引擎里输入要查询的内容,索引出自己要查找的资料。但是随着信息的爆炸,各种无关的信息或者广告掺... 详细信息

互联网的高速发展已经使其成为世界上覆盖面最广、范围最大、内容最为丰富的资源库。网络已成为人们获取信息的主要途径,人们可以在搜索引擎里输入要查询的内容,索引出自己要查找的资料。但是随着信息的爆炸,各种无关的信息或者广告掺杂其中,真假难辩。面对庞大的信息资源,如何从中获取有价值的信息成为当前一个非常重要的问题。传统的网页过滤技术通过挖掘网页中的URL和文本来与自己数据库的黑名单进行比对,不仅消耗过多的时间和资源,也加大了服务器的承受能力。本文将程序切片技术应用于网页过滤中,通过将HTML语句构造成树形图,将待过滤的关键字与树形图的叶子结点进行匹配,提取出匹配成功的叶子结点的父结点的行号,制定出切片准则,通过网页代码中存在的新的依赖关系,构建依赖图,在切片准则的基础上对依赖图进行切片处理,得到切片,只保留与切片准则相关的语句集,最后还原成可视化的网页。本文所实现的网页过滤技术,不仅能有效地过滤掉用户不需要的,还可以提取用户感兴趣的,而且过滤的程度也可以进行不同程度的设置,此方法不仅速度快、对服务器的承载能力要求低、还能实现各种个性化的过滤功能。

关键词：网页过滤标签程序切片信息提取依赖图