检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

结合密度峰值和改进自然邻居的自训练算法

南京大学学报（自然科学版） 2022年第5期58卷 805-815页

作者：吕佳刘强李帅军重庆师范大学计算机与信息科学学院重庆401331 重庆市数字农业服务工程技术研究中心重庆401331

自训练算法是一种经典的半监督学习算法.针对自训练算法在训练时很难有效地发现高置信度无标记样本、训练过程中样本容易被错误标记等问题,提出了结合密度峰值和改进自然邻居的自训练算法.该算法利用密度峰值聚类算法的密度信息和由自... 详细信息

自训练算法是一种经典的半监督学习算法.针对自训练算法在训练时很难有效地发现高置信度无标记样本、训练过程中样本容易被错误标记等问题,提出了结合密度峰值和改进自然邻居的自训练算法.该算法利用密度峰值聚类算法的密度信息和由自然邻居算法得到的自然邻居集来计算样本的离群指数,结合表示全局特征的全局密度和表示局部特征的离群指数设定样本的权重并剔除离群点.在自训练算法逐步扩充有标记样本集的过程中,利用加权的自然邻居噪声过滤器找出误标记样本,并通过计算样本的不确定性找出高不确定性的样本,由主动学习给出准确标记.提出的算法不仅降低了离群点对算法性能的影响,而且有效解决了错误标记的问题,处理了不易标记的边界样本.实验表明,该算法在UCI基准数据集和噪声数据集上均取得了理想的效果.

关键词：半监督学习自训练算法密度峰值聚类自然邻居噪声过滤器

基于自然邻居搜索优化策略的密度峰值聚类算法

在线全文

学校读者我要写书评

暂无评论

山东大学学报(理学版) 2023年

作者：张春昊解滨徐童童张喜梅河北师范大学计算机与网络空间安全学院供应链大数据分析与数据安全河北省工程研究中心(河北师范大学) 河北省网络与信息安全重点实验室(河北师范大学)

结合自然邻居搜索算法改进了密度峰值聚类(clustering by fast search and find of density peaks,CFSFDP)算法存在的一系列问题,提出了基于自然邻居搜索优化策略的密度峰值聚类(density peak clustering algorithm optimized by natural neighbor search,NaN-CFSFDP)算法。基于自然邻居搜索算法提出了一种离群样本的检测方法,针对CFSFDP算法中截断距离dc人工准确取值较难的问题,结合自然邻居搜索算法改进了dc的计算方式,实现了dc的自动取值。重新设计并统一了CFSFDP算法的样本密度度量规则,使其更关注每个样本的局部信息。针对数据集中因类簇间的密度差异大,可能导致密度峰值点集中于稠密簇中,从而导致簇丢失的问题,提出了样本共享自然邻居和类簇共享自然邻居的概念,构造新的类簇融合算法。在合成数据集和真实数据集上的试验结果表明,在大多数情况下,该算法在聚类性能上优于或至少与比较方法相当,且与CFSFDP算法及其改进算法相比参数更少。

关键词：密度峰值自然邻居聚类类簇融合离群样本截断距离

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于自然邻居和最小生成树的原型选择算法

计算机科学 2017年第4期44卷 241-245,268页

作者：朱庆生段浪军杨力军重庆大学计算机学院重庆400044

K最近邻居是最流行的有监督分类算法之一。然而,传统的K最近邻居有两个主要的问题:参数K的选择以及在大规模数据集下过高的时间和空间复杂度需求。为了解决这些问题,提出了一种新的原型选择算法,它保留了一些对分类贡献很大的关键原型点... 详细信息

K最近邻居是最流行的有监督分类算法之一。然而,传统的K最近邻居有两个主要的问题:参数K的选择以及在大规模数据集下过高的时间和空间复杂度需求。为了解决这些问题,提出了一种新的原型选择算法,它保留了一些对分类贡献很大的关键原型点,同时移除噪声点和大多数对分类贡献较小的点。不同于其他原型选择算法,该算法使用了自然邻居这个新的邻居概念来做数据预处理,然后基于设定的终止条件构建若干个最小生成树。基于最小生成树,保留边界原型,同时生成一些具有代表性的内部原型。基于UCI基准数据集进行实验,结果表明提出的算法有效地约简了原型的数量,同时保持了与传统KNN相同水平的分类准确率;而且,该算法在分类准确率和原型保留率上优于其他原型选择算法。

关键词： K最近邻居原型选择自然邻居最小生成树分类

在线全文

学校读者我要写书评

暂无评论

基于自然邻居流形排序图像检索技术研究

计算机应用研究 2016年第4期33卷 1265-1268,1276页

作者：朱庆生陈治张程重庆大学计算机学院重庆400030

流形排序算法被广泛地应用到半监督学习领域中,然而其性能紧紧依赖于底层图结构。针对现有的流形排序算法效果欠佳的现状,提出了一种全新的图结构——自然邻居图,这种图能自适应流形结构,并且构造这种图不需要提前指定参数k。将这种图... 详细信息

流形排序算法被广泛地应用到半监督学习领域中,然而其性能紧紧依赖于底层图结构。针对现有的流形排序算法效果欠佳的现状,提出了一种全新的图结构——自然邻居图,这种图能自适应流形结构,并且构造这种图不需要提前指定参数k。将这种图结构应用到基于流形排序的图像检索框架下,并证明了基于提出的自然邻居图的流形排序算法的效果优于基于KNN的流形排序算法。

关键词：流形排序自然邻居图像检索 KNN

在线全文

学校读者我要写书评

暂无评论

基于自然邻居的标记分布学习

计算机科学 2020年第8期47卷 132-136页

作者：姚成亮朱庆生重庆大学计算机学院软件理论与技术重庆市重点实验室重庆400044

标记分布是一种新的机器学习范式,能很好地解决某些标记多义性问题,可看作多标记的泛化。传统的单标记学习和多标记学习均可看作标记分布学习的特例。已有的标记分布学习算法中,基于算法改造的AA-KNN(Algorithm Adaptation-KNN)是一种... 详细信息

标记分布是一种新的机器学习范式,能很好地解决某些标记多义性问题,可看作多标记的泛化。传统的单标记学习和多标记学习均可看作标记分布学习的特例。已有的标记分布学习算法中,基于算法改造的AA-KNN(Algorithm Adaptation-KNN)是一种高效的算法,但任何涉及K近邻求解问题的算法在处理不同数据集时,参数K值的选取都是一个难题,不同的K值得到的结果明显不同。基于此,将自然最近邻居的概念引入标记分布学习,提出一种新的标记分布学习方法。对数据集使用自然最近邻居搜索算法查找每个样本的自然邻居,取自然邻居的标记分布均值作为预测结果。搜索算法不需要人工设置任何参数,同时搜索算法是一种被动搜索,其自适应计算得到每个样本的邻居。在6个数据集上使用6个评价指标进行实验,结果表明,与AA-KNN相比,结合自然最近邻居的标记分布学习算法不仅避免了人工设置参数的问题,而且取得了更优的效果。

关键词：标记分布标记分布学习自然邻居无参数

在线全文

学校读者我要写书评

暂无评论

基于自然邻居的半监督入侵检测算法

基于自然邻居的半监督入侵检测算法

作者：方琪重庆大学

学位级别：硕士

入侵检测系统是继防火墙技术之后的新一代安全保护措施,它通过对计算机系统或网络关键节点信息的采集、分析,从中发现与正常模式不同的异常行为,及时发出警报并处理。传统的入侵检测算法主要是基于监督学习和无监督学习的。基于监督学... 详细信息

入侵检测系统是继防火墙技术之后的新一代安全保护措施,它通过对计算机系统或网络关键节点信息的采集、分析,从中发现与正常模式不同的异常行为,及时发出警报并处理。传统的入侵检测算法主要是基于监督学习和无监督学习的。基于监督学习的入侵检测算法虽然检测率高,但训练样本难以获取,训练集的建立依赖于安全领域专家,代价较高;基于无监督学习的入侵检测算法虽然不需要建立训练集,但检测率明显低于有监督的入侵检测算法。实际上,网络中不仅存在着大量无标签的数据,同时也存在一些带标签的数据,利用这部分带标签数据进行基于半监督学习的入侵检测,可以充分学习带标签数据含有的信息,提升检测算法的精度。在利用聚类的方法进行半监督入侵检测时,算法通常需要设置聚类个数,这个参数的选取非常困难,一般只能依赖大量的实验以及用户在实验过程中的经验。自然邻居是一种新的邻居概念,自然邻居的搜索不需要设置任何参数,完全由算法自适应产生,它完美的解决了参数设置的问题。本文结合了半监督学习和自然邻居概念,提出了一种基于自然邻居的半监督入侵检测算法(SID2N),算法首先对带标签数据按攻击类型分别做基于自然邻居的聚类,然后求出每个簇的簇中心作为分类器的样本,再对无标签数据做基于自然邻居的分类。算法的优势在于,不仅充分学习了网络中可获得的带标签数据的信息,而且不需要提供参数,算法完全是自适应的。本文从KDD CUP99的Corrected数据集中选取19999条记录作为实验数据集,首先对数据集进行了数值化、标准化和归一化,根据SPSS分析结果和属性的信息增益,从41个属性特征中选取了15个相关度最大的特征,然后对数据集的部分数据进行了标记,将基于自然邻居的半监督入侵检测算法的结果和SAID半监督入侵检测算法的结果做比较,实验证明,基于自然邻居的半监督入侵检测算法无论在检测率、误报率还是漏警率上都有优势,验证了算法的有效性;然后改变带标签数据的比例,分别对数据集的1/5数据、1/4数据和1/3数据做标记,用基于自然邻居的半监督入侵检测算法进行检测,结果显示,检测率、误报率、漏警率和检测精度的变化都不明显,验证了算法的稳定性。

关键词：自然邻居半监督学习入侵检测

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于自然邻居的谱聚类和离群检测算法研究

基于自然邻居的谱聚类和离群检测算法研究

作者：史佳昕重庆大学

学位级别：硕士

随着互联网的快速发展,各行各业都有源源不断的数据产生,从这些数据中发现有价值的信息并为相关人员提供决策支持,是当前数据挖掘的主要任务。聚类分析和离群检测是数据挖掘任务中的重要组成部分,已被广泛应用在模式识别、人工智能、信... 详细信息

随着互联网的快速发展,各行各业都有源源不断的数据产生,从这些数据中发现有价值的信息并为相关人员提供决策支持,是当前数据挖掘的主要任务。聚类分析和离群检测是数据挖掘任务中的重要组成部分,已被广泛应用在模式识别、人工智能、信用卡欺诈行为检测、视频监控等领域,并推动了社会的进步和行业的发展。聚类分析是利用数据之间的相似性分析它们的潜在关系,其中谱聚类具有坚实的理论基础和良好的聚类性能,引起了越来越多研究者的关注。谱聚类算法无需对数据的全局结构做任何假设就可以收敛到全局最优,但该类算法存在尺度参数选择、相似度度量以及聚类数目确定等问题。离群检测主要用于发现一些异常数据或者存在偏离常规行为的模式,其中基于密度的离群检测算法是目前常用的策略,但该类算法通常存在近邻参数选择以及密度差异数据集中离群点易被误检等问题。因此,为了解决谱聚类和离群检测中存在的邻域参数选择问题,本文引入了一种不需要人为设定参数的邻域搜索方法——自然邻居搜索算法。该算法通过不断扩大邻域的搜索范围,以自动适应数据集中数据点之间的分布。此外,针对上文提到的其他问题,本文结合自然邻居搜索算法提出了两种改进算法,具体如下:（1）提出了一种基于共享自然近邻的自适应谱聚类算法。针对谱聚类算法中邻域尺度参数选择问题,本文首先通过自然邻居搜索算法得到自适应邻域参数。然后,对于一些流行数据集上会存在数据点之间误识别为同一簇的情况,结合得到的自适应邻域参数,使用共享近邻的方式重新定义数据点的相似性,以便能够有效描述数据之间的内在联系。最后,利用特征间隙的思想在特征向量中获得聚类数目以完成整个算法聚类。本文在人工和真实数据集上进行了对比实验。实验结果表明,相对于已有算法输入合适参数的情况,本文提出的算法在对流行聚类方面聚类效果较为理想,更具有优势。（2）提出了一种基于自然邻居的离群检测算法。针对离群检测算法中邻域参数选择问题,本文首先对自然邻居搜索算法进行了改进,以便得到自然特征值并构造出自然特征邻域图。然后,使用自然特征邻域图中的信息来反应数据的紧密程度,以解决数据集中的密度差异问题,同时得到全局离群点。接着,重新定义新的离群因子并对其进行排序,选取较高离群因子的对象作为离群点。最后,通过在人工和真实数据集上的实验,验证了该算法在离群检测中的有效性。

关键词：谱聚类离群检测自然邻居共享自然近邻

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于快速搜索自然邻居的自训练算法

基于快速搜索自然邻居的自训练算法

作者：袁梦诗重庆大学

学位级别：硕士

在现实生活中存在大量廉价易获得的无标记样本,具有指导性作用的有标记样本获取十分昂贵且耗时,为了充分利用有标记样本和无标记样本的信息,半监督学习算法在这种情况下就诞生了,获得了众多学者的高度关注。自训练算法是半监督学习中常... 详细信息

在现实生活中存在大量廉价易获得的无标记样本,具有指导性作用的有标记样本获取十分昂贵且耗时,为了充分利用有标记样本和无标记样本的信息,半监督学习算法在这种情况下就诞生了,获得了众多学者的高度关注。自训练算法是半监督学习中常用的一种方法,其采用数目较少的带有标记的样本点学习,通过寻找少量有标记样本的高置信度点训练得到高性能分类器。自训练算法中如何确定少量有标记样本的高置信度点是算法的核心,它决定算法是否可以训练得到高性能的分类器。针对该问题,本文引入自然邻居的思想。自然邻居算法可以在没有人为干预的情况下找到数据点的邻居,在给定数据集上,对每一个数据点逐步拓宽邻域检测界限,自动学习邻域特征,进一步获取数据集合的整体分布结构。本文对自训练算法和自然邻居算法展开学习研究,创新点如下:1、在传统的自然邻居算法中,寻找数据集的近邻域非常耗时,需要逐步扩展近邻域,针对此问题,本文提出一种快速搜索自然邻居算法(FSNN),该算法通过逆向寻找数据集中最孤立的点,反向确定邻域的上限值,减少迭代搜索邻居的次数,达到提高搜索邻居效率的目的。通过与自然邻居算法进行对比,实验结果表明,FSNN算法不仅能有效地搜索邻居,而且能显著提高搜索速度。2、针对自训练算法中寻找高置信度点的问题,本文将快速搜索自然邻居算法与自训练算法结合,提出了基于快速搜索自然邻居的自训练算法(STAFSNN),该算法首先确定有标记样本的自然邻居作为高置信度点加入训练集合,然后利用分类器对这些点进行标记,同时用更新后的训练集训练得到新的分类器,直到未标记样本标记完为止。在UCI数据集上,本文将提出的算法与其他算法进行对比,实验结果表明,该算法可以准确寻找高置信度点,与其他算法对比具有一定优势。

关键词：机器学习分类半监督学习自训练自然邻居

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

应用自然邻居分类算法的大学生就业预测模型

应用自然邻居分类算法的大学生就业预测模型

作者：高璇重庆大学

学位级别：硕士

随着我国高等教育由精英教育转变为大众教育,高校毕业生就业形势日趋严峻。大学生就业日益困难的一个重要原因就在于就业预期偏高,且主要表现在对于薪酬的预期过高。大学生对自我能力的认知往往与企业招聘标准存在偏差,这就导致了应届... 详细信息

随着我国高等教育由精英教育转变为大众教育,高校毕业生就业形势日趋严峻。大学生就业日益困难的一个重要原因就在于就业预期偏高,且主要表现在对于薪酬的预期过高。大学生对自我能力的认知往往与企业招聘标准存在偏差,这就导致了应届生找工作扎堆高薪企业从而忽视了和自身更加匹配的普通企业。因此对毕业生的就业能力进行准确评估,制定合理的薪酬预期十分重要。针对上述问题,本文提出了基于自然邻居分类算法的大学生就业预测模型,具体工作如下:1.调研并分析了大学生就业预期偏高的主要原因,阐述了大学生就业预测国内外的研究现状。2.归纳介绍了分类的定义、过程以及常用的几种分类算法及其优缺点,接着总结了因子分析的数学模型与计算步骤。随后着重介绍了自然邻居技术,该技术的优势在于不需要设置任何参数,算法通过自适应计算每个样本的邻居。3.通过因子分析构建了毕业生描述模型,探究了影响大学生就业质量的关键因素。首先通过关键词提取企业招聘热点并抽取出GPA成绩等15个测量变量,接着采取随机抽样的方式收集近三年信息类毕业生的就业数据,最后通过因子分析提取出决定大学生就业薪酬级别的4个潜在因子即学习能力、实践能力、人际处理能力、职业能力。4.提出基于自然邻居的分类算法。在分析指出传统KNN分类算法的弊端即需要人工根据历史经验设定k值后,提出了基于自然邻居的分类算法。算法先采用一种基于自然邻居的训练样本加权算法对训练样本集进行权重分配,再基于自然邻居的思想通过已获取的带权值的训练样本集对测试样本进行分类。在收集到的信息类专业大学生就业数据上进行仿真实验,验证了本文中基于自然邻居的分类算法性能好于KNN算法以及加权KNN算法。同时结果表明,本文中基于自然邻居分类算法的大学生就业预测模型预测精确率高达80.16%,对于帮助大学生建立合理就业预期、提高就业能力等方面具有一定指导意义。

关键词：数据挖掘自然邻居分类因子分析就业预测