检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

垃圾网页检测的关键技术研究

垃圾网页检测的关键技术研究

作者：韦莎西南交通大学

学位级别：硕士

网页作弊是指作弊者运用各种手段欺骗搜索引擎,使网页在搜索结果中获得高于其本身应得排名的行为。垃圾网页的泛滥严重危害了搜索引擎公司、合法网站和各类用户的利益,因此研究垃圾网页检测技术已成为一项艰巨而重要的任务。针对链接作... 详细信息

网页作弊是指作弊者运用各种手段欺骗搜索引擎,使网页在搜索结果中获得高于其本身应得排名的行为。垃圾网页的泛滥严重危害了搜索引擎公司、合法网站和各类用户的利益,因此研究垃圾网页检测技术已成为一项艰巨而重要的任务。针对链接作弊,排序算法是一种有效手段。但由于Web中存在由正常网页指向垃圾网页的链接,导致排序算法(Anti-TrustRank等)检测性能降低,且多数排序算法没有考虑网页内容特性,因此本文改进Anti-TrustRank和加权非信任值排序(Weighted Anti-TrustRank, WATR)算法,提出了一种主题相似度和链接权重相结合,共同调节网页非信任值传播的排序算法,即结合主题与链接的非信任排序(Distrust Rank based on Topic and Link integration,TLDR)。其中,主题相似度权重运用隐含狄利克雷分配(Latent Dirichlet Allocation,LDA)模型计算,链接权重根据链接结构计算。实验结果表明,与Anti-TrustRank和WATR相比,TLDR算法能使网页得到更合理的非信任值,检测性能有明显的提高。针对内容和链接作弊,本文从Web信息源质量、Web内容质量和Web应用质量三个子维度量化了网页质量,从危害度特性和主题特性两方面量化了语义特征,并与内容和链接特征共同构建了区分度高的特征集。此外,分类算法常用来解决垃圾网页检测问题,但分类算法性能易受数据分布不均衡的影响,而离群点挖掘算法正适用于不均衡的情况。因此本文采用基于熵的离群点挖掘(Entropy-based Outlier Mining, EOM)算法,并设计了级联检测框架,将检测分为内容特性检测、链接特性检测和语义特性检测三级进行。通过多组对比实验表明,本文的质量和语义特征能有效提高检测性能,EOM级联检测框架检测性能较高,且在数据分布不均衡的情况下相对于分类算法更具优势。

关键词：垃圾网页检测非信任值排序算法离群点挖掘级联检测多类特征

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多视图典型相关分析的垃圾网页检测

计算机应用研究 2013年第3期30卷 810-813页

作者：高爽张化祥房晓南山东师范大学信息科学与工程学院济南250014 山东省分布式计算机软件新技术重点实验室济南250014

首先将垃圾网页特征分为两个不同的视图,即基于内容特征的视图和基于链接特征的视图,利用典型相关分析及其相关改进方法进行特征提取,生成两组新的特征;再对新生成的两视图特征采用不同组合方式产生单视图数据,并用这组数据作为训练数... 详细信息

首先将垃圾网页特征分为两个不同的视图,即基于内容特征的视图和基于链接特征的视图,利用典型相关分析及其相关改进方法进行特征提取,生成两组新的特征;再对新生成的两视图特征采用不同组合方式产生单视图数据,并用这组数据作为训练数据构建分类算法。实验结果表明,将垃圾网页看成两视图数据,并应用多视图典型相关分析技术,可有效提高垃圾网页的识别精度。

关键词：垃圾网页检测典型相关分析多视图分类特征抽取

在线全文

学校读者我要写书评

暂无评论

集成PCA降维与分类算法的垃圾网页检测

计算机应用与软件 2014年第10期31卷 269-272页

作者：李法良朱焱曾俊东西南交通大学信息科学与技术学院四川成都610031

针对垃圾网页的内容特征和链接特征,设计一种集成主成分分析PCA(Principal Component Analysis)与支持向量机分类算法的垃圾网页检测方法。该方法使用PCA来提取网页样本特征的主成分,使用主成分特征训练支持向量机(SVM)分类器。训练过... 详细信息

针对垃圾网页的内容特征和链接特征,设计一种集成主成分分析PCA(Principal Component Analysis)与支持向量机分类算法的垃圾网页检测方法。该方法使用PCA来提取网页样本特征的主成分,使用主成分特征训练支持向量机(SVM)分类器。训练过程引入AdaBoost以提高分类器的性能。此外,采用聚类算法处理训练和测试数据集,解决了样本不均衡问题。通过在WebSpamUK2007数据集上进行多组对比实验,结果表明,所设计的垃圾网页检测方案具有最高的检测率(0.851)。

关键词：垃圾网页垃圾网页检测主成分分析 AdaBoost 支持向量机

三种用于垃圾网页检测的随机欠采样集成分类器

在线全文

学校读者我要写书评

暂无评论

计算机应用 2017年第2期37卷 535-539,558页

作者：陈木生卢晓勇南昌大学信息工程学院江西南昌330031 南昌大学软件学院江西南昌330047

针对垃圾网页检测过程中轻微的不平衡分类问题,提出三种随机欠采样集成分类器算法,分别为一次不放回随机欠采样(RUS-once)、多次不放回随机欠采样(RUS-multiple)和有放回随机欠采样(RUS-replacement)算法。首先使用其中一种随机欠采样... 详细信息

针对垃圾网页检测过程中轻微的不平衡分类问题,提出三种随机欠采样集成分类器算法,分别为一次不放回随机欠采样(RUS-once)、多次不放回随机欠采样(RUS-multiple)和有放回随机欠采样(RUS-replacement)算法。首先使用其中一种随机欠采样技术将训练样本集转换成平衡样本集,然后对每个平衡样本集使用分类回归树(CART)分类器算法进行分类,最后采用简单投票法构建集成分类器对测试样本进行分类。实验表明,三种随机欠采样集成分类器均取得了良好的分类效果,其中RUS-multiple和RUS-replacement比RUS-once的分类效果更好。与CART及其Bagging和Adaboost集成分类器相比,在WEBSPAM UK-2006数据集上,RUS-multiple和RUS-replacement方法的AUC指标值提高了10%左右,在WEBSPAM UK-2007数据集上,提高了25%左右;与其他最优研究结果相比,RUS-multiple和RUS-replacement方法在AUC指标上能达到最优分类结果。

关键词：垃圾网页检测不平衡分类集成学习欠采样分类回归树

在线全文

学校读者我要写书评

暂无评论

基于独立成分分析和协同训练的垃圾网页检测

山东大学学报（工学版） 2013年第2期43卷 29-34,41页

作者：高爽张化祥房晓南山东师范大学信息科学与工程学院山东济南250014 山东省分布式计算机软件新技术重点实验室山东济南250014

垃圾网页检测具有重要意义,由于只有少量标记网页,所以可使用半监督协同训练方法检测垃圾网页。将网页特征分为两个视图,即内容视图与链接视图。首先使用独立成分分析分别提取两视图特征的独立成分,然后进行协同训练。实验结果表明,该... 详细信息

垃圾网页检测具有重要意义,由于只有少量标记网页,所以可使用半监督协同训练方法检测垃圾网页。将网页特征分为两个视图,即内容视图与链接视图。首先使用独立成分分析分别提取两视图特征的独立成分,然后进行协同训练。实验结果表明,该方法可有效提高垃圾网页检测精度,同时验证了对两个视图分别进行独立成分分析相比于其他方法更为有效。

关键词：多视图分类独立成分分析协同训练垃圾网页检测

在线全文

学校读者我要写书评

暂无评论

改进样本加权K近邻分类器用于垃圾网页检测

重庆理工大学学报（自然科学） 2021年第7期35卷 283-290页

作者：吴俊华谭博觉高切陈木生江西理工大学软件工程学院南昌330013

针对垃圾网页检测过程中的"维数灾难"和不平衡分类问题,提出一种融合最优Fisher特征选择的样本加权K近邻分类器用于垃圾网页检测。首先,针对训练数据集进行Fisher特征选择,按Fisher Score从大到小排序,依次选择Fisher Score更大的特征... 详细信息

针对垃圾网页检测过程中的"维数灾难"和不平衡分类问题,提出一种融合最优Fisher特征选择的样本加权K近邻分类器用于垃圾网页检测。首先,针对训练数据集进行Fisher特征选择,按Fisher Score从大到小排序,依次选择Fisher Score更大的特征对训练数据集进行样本加权的K近邻分类,根据训练数据集分类结果的AUC值是否增加以确定是否保留某个特征,最后基于保留的最优特征子集对测试数据集进行样本加权的K近邻分类。在WEBSPAM UK-2006数据集上的实验表明:该方法明显优于决策树、支持向量机、朴素贝叶斯、K近邻等传统分类器。与其他相关方法相比,该方法在准确率、F1测度和AUC指标上接近最优结果。

关键词：垃圾网页检测特征选择 K近邻不平衡数据分类代价敏感分析

在线全文

学校读者我要写书评

暂无评论

基于随机森林和欠采样集成的垃圾网页检测

计算机应用 2016年第3期36卷 731-734页

作者：卢晓勇陈木生南昌大学软件学院南昌330047 南昌大学信息工程学院南昌330031

为解决垃圾网页检测过程中的不平衡分类和"维数灾难"问题,提出一种基于随机森林(RF)和欠采样集成的二元分类器算法。首先使用欠采样技术将训练样本集大类抽样成多个子样本集,再将其分别与小类样本集合并构成多个平衡的子训练样本集;然... 详细信息

为解决垃圾网页检测过程中的不平衡分类和"维数灾难"问题,提出一种基于随机森林(RF)和欠采样集成的二元分类器算法。首先使用欠采样技术将训练样本集大类抽样成多个子样本集,再将其分别与小类样本集合并构成多个平衡的子训练样本集;然后基于各个子训练样本集训练出多个随机森林分类器;最后用多个随机森林分类器对测试样本集进行分类,采用投票法确定测试样本的最终所属类别。在WEBSPAM UK-2006数据集上的实验表明,该集成分类器算法应用于垃圾网页检测比随机森林算法及其Bagging和Adaboost集成分类器算法效果更好,准确率、F1测度、ROC曲线下面积(AUC)等指标提高至少14%,13%和11%。与Web spam challenge 2007优胜团队的竞赛结果相比,该集成分类器算法在F1测度上提高至少1%,在AUC上达到最优结果。

关键词：垃圾网页检测随机森林欠采样集成分类器机器学习

基于免疫克隆特征选择和欠采样集成的垃圾网页检测

在线全文

学校读者我要写书评

暂无评论

计算机应用 2016年第7期36卷 1899-1903页

作者：卢晓勇陈木生吴政隆张百栈南昌大学软件学院南昌330047 南昌大学信息工程学院南昌330031 元智大学资讯学院台湾桃园32003

为解决垃圾网页检测过程中的"维数灾难"和不平衡分类问题,提出一种基于免疫克隆特征选择和欠采样(US)集成的二元分类器算法。首先,使用欠采样技术将训练样本集大类抽样成多个与小类样本数相近的样本集,再将其分别与小类样本合并构成多... 详细信息

为解决垃圾网页检测过程中的"维数灾难"和不平衡分类问题,提出一种基于免疫克隆特征选择和欠采样(US)集成的二元分类器算法。首先,使用欠采样技术将训练样本集大类抽样成多个与小类样本数相近的样本集,再将其分别与小类样本合并构成多个平衡的子训练样本集;然后,设计一种免疫克隆算法遴选出多个最优的特征子集;基于最优特征子集对平衡的子样本集进行投影操作,生成平衡数据集的多个视图;最后,用随机森林(RF)分类器对测试样本进行分类,采用简单投票法确定测试样本的最终类别。在WEBSPAM UK-2006数据集上的实验结果表明,该集成分类器算法应用于垃圾网页检测:与随机森林算法及其Bagging和Ada Boost集成分类器算法相比,准确率、F1测度、AUC等指标均提高11%以上;与其他最优的研究结果相比,该集成分类器算法在F1测度上提高2%,在AUC上达到最优。

关键词：垃圾网页检测集成学习免疫克隆算法特征选择欠采样随机森林

在线全文

学校读者我要写书评

暂无评论

多视图学习在垃圾网页检测中的应用研究

多视图学习在垃圾网页检测中的应用研究

作者：高爽山东师范大学

学位级别：硕士

现在网络极大地改变了人们表达自己和与他人互动的方式，已经成为最主要的信息检索方式。正因如此，向HTML页面或其他网络文件添加信息也变得越来越容易，同时用户就会更难分辨准确和不准确的信息或可信赖和不可靠的信息，因此创建一个... 详细信息

现在网络极大地改变了人们表达自己和与他人互动的方式，已经成为最主要的信息检索方式。正因如此，向HTML页面或其他网络文件添加信息也变得越来越容易，同时用户就会更难分辨准确和不准确的信息或可信赖和不可靠的信息，因此创建一个有效的垃圾网页检测方法是当前面对的一大挑战。如今垃圾网页检测的主要工作在于检测基于内容作弊和链接作弊的垃圾网页。现有垃圾网页的检测方法通常利用网页单一视图的特征对其是否属于垃圾网页进行分类，而将垃圾网页两个方面的特征同时用于检测的多视图学习手段，可以使垃圾网页检测问题更为全面。本文围绕多视图学习，针对垃圾网页检测的问题，对多视图学习的特征提取方法、分类方法以及网页具体链接结构等进行研究，具体研究成果如下：(1)将垃圾网页数据集基于内容和链接的特征看作此检测问题的两个不同的视图，首先应用典型相关分析和其他改进方法提取特征，用转换矩阵得到两视图上相关性最大的投影方向的特征。然后使用不同的针对两视图特征的组合方式将两视图特征合为一个特征，使用新的单视图特征来训练分类器进行分类。实验结果显示把垃圾网页检测作为多视图分类问题即看成两个视图的数据使用典型相关分析方法，可提高分类精度。(2)由于垃圾网页检测问题中只有少量标记网页，因此可使用半监督协同训练方法进行垃圾网页检测。将网页特征分为内容和链接两个视图。在进行具体的分类步骤之前使用独立成分分析，提取两个视图特征的独立成分，具体的分类步骤是由协同训练实现的。实验结果显示这种特征提取和半监督分类的组合能够提高垃圾网页检测精度，对两个视图分别进行独立成分分析也更为有效。(3)利用网页链接结构修改SVM分类器，首先利用直接链接矩阵和间接链接矩阵来构建保持链接结构的类内散布矩阵，然后将网页链接结构组合到SVM分类器中来重新配置一个优化问题。此方法在利用网页链接信息方面具有优势。垃圾网页数据集上的实验结果表明将网页链接结构与SVM分类器组合可以显著地优于其他相关方法，实验还显示了分类准确率随间接链接步长的变化。(4)通过严密考虑内容与链接两视图特征的不同构造和统计特性来解决这个问题。分别针对内容及链接特征重构特征提取方法PCA和LPP，然后将它们组合到本文的方法中，从多视图表示的多视图嵌入中提取出一个一致的模式。通过一个迭代算法，可以求出每个视图的不同的嵌入表示以及从每个视图到一致模式的转换矩阵。同时提供了一个计算测试样本的一致模式的方法。WEBSPAM-UK2006和WEBSPAM-UK2007数据集上的实验结果显示使用一致模式来解决垃圾网页检测问题优于其他相关的降维方法。

关键词：多视图学习垃圾网页检测典型相关分析协同训练支持向量机链接结构特征提取