检索结果-南通市图书馆

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于近邻规则的密度分层聚类算法研究

基于近邻规则的密度分层聚类算法研究

作者：寇艳菊大连海事大学

学位级别：硕士

密度聚类从数据对象密度的角度考察数据间的相似程度,并根据相似程度不断扩展直到获得最终的聚类结果。现有的密度聚类算法因适用任意形状的数据集、思想易于理解、可视化能力强被人们广泛应用。但传统的基于密度的聚类算法仍然存在两... 详细信息

密度聚类从数据对象密度的角度考察数据间的相似程度,并根据相似程度不断扩展直到获得最终的聚类结果。现有的密度聚类算法因适用任意形状的数据集、思想易于理解、可视化能力强被人们广泛应用。但传统的基于密度的聚类算法仍然存在两处不足,一是不能有效处理密度差异大的数据集,二是聚类结果过度依赖参数的取值。本篇论文针对上述不足之处,提出了两种新的改进方法。首先,本文提出了一种基于最近邻的密度分层聚类算法。该算法使用最近邻的固有特性设计了一种初始微小簇的构建方法并利用高斯混合模型进行密度区域的划分,继而对初始微小簇进行融合。其中,初始微小簇的构建能够准确反映数据集的局部密度;同时,利用高斯混合模型可以解决数据集中包含多个不同密度分布的情况,能够有效处理密度分布差异大的数据集。其次,本文提出了一种基于自然邻居的密度分层聚类算法。该算法利用自然邻居自动迭代搜索算法获取特征值λ,并利用获得的参数λ进行噪声数据的去除和相对局部密度的估计;然后利用高斯混合模型进行密度区域划分,对不同密度的数据分别建立初始簇;最后再进行融合得到最终的聚类结果。该算法通过自然邻居的基本特性对数据对象的相对局部密度进行估计,能够准确反映数据的密度及分布,有效改善了传统的密度聚类算法的参数敏感问题,聚类精度得到了提升。本篇论文利用近邻规则的基本思想对局部密度进行估计,改善了参数敏感的问题;同时,利用高斯混合模型将数据集划分为不同的密度区域,改善了在密度分布差异大的数据集上的聚类结果。为了证明本文提出的算法的可行性,在人工数据集和UCI真实数据集上进行了对比实验,并使用三个指标对实验结果进行系统分析,实验结果表明本文的算法具有较高的聚类性能。

关键词：密度聚类最近邻自然邻居高斯混合模型

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

自然邻在文本分类中的应用

自然邻在文本分类中的应用

作者：张浪重庆大学

学位级别：硕士

随着信息技术的迅猛发展,网络信息量呈爆炸性的增长。以互联网为载体的海量数据蕴含着大量信息,有效的分析并挖掘这些信息中的价值是很有必要的。文本分类技术是数据挖掘领域最常用的技术之一,本文对文本分类技术进行详细的研究。在文... 详细信息

随着信息技术的迅猛发展,网络信息量呈爆炸性的增长。以互联网为载体的海量数据蕴含着大量信息,有效的分析并挖掘这些信息中的价值是很有必要的。文本分类技术是数据挖掘领域最常用的技术之一,本文对文本分类技术进行详细的研究。在文本分类领域中,国内外学者基于最近邻技术提出了K近邻文本分类算法,然而传统的K近邻文本分类算法有两大缺点。第一,K值的确定始终面临着困难,如果设置不合理将会对分类结果产生很大的影响,降低分类算法的准确率。并且,对于不同的文本数据集,K值的设定并无经验可循,这给研究者带来很大的麻烦。第二,分类结果受文本集分布影响很大,当训练文本集的分布严重倾斜时,分类效果很不理想。基于此本文提出自然邻的思想,并将其应用到文本分类中,很好的克服了K近邻文本分类的缺点。本文所做的具体工作如下:第一,调研并分析了文本分类的背景和意义,总结了文本分类关键技术的国内外研究现状。第二,分析并总结了文本分类的详细过程和步骤,对每个步骤中的经典技术进行详细的归纳和总结。着重探讨了文本分类的几种常用算法,并对它们的优缺点进行分析和总结。第三,研究了最近邻技术的概念,详细分析了最近邻技术的缺点。针对最近邻中参数的不确定性以及对数据集分布比较敏感等缺点,提出了自然邻居思想,并对自然邻居算法中的自然稳定状态进行改进。自然邻算法可以自适应的获取数据集的自然邻居,无需任何参数,很好的克服了最近邻技术的缺点。最后分析并总结了自然邻的特征,验证了自然邻算法对高维数据的可行性。第四,提出了一种基于自然邻的文本分类算法(TCbNaN),并通过与K-近邻算法以及无权重分配的自然邻文本分类算法的对比验证其优越性。首先,提出了一种基于自然邻的权重分配算法,通过对文本训练集进行权重的重新分配得到训练集中每个文本向量合理的权重信息,然后提出了基于此权重分配信息的自然邻文本分类算法,最后,通过与KNN文本分类算法和无权重分配信息的自然邻文本分类算法进行对比实验,验证了TCbNaN算法的优越性。

关键词：文本分类自然邻居 K近邻权重分配

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于核密度估计的离群检测算法研究

基于核密度估计的离群检测算法研究

作者：隆华重庆大学

学位级别：硕士

随着大数据时代的到来,无论是获取数据的渠道和方式,还是数据本身的大小、类型和结构都越来越多样化,这使得数据挖掘的发展越来越具有挑战性。近年来离群检测逐渐成为数据挖掘领域中的热门研究方向,它被广泛地应用于包括社交网络、移动... 详细信息

随着大数据时代的到来,无论是获取数据的渠道和方式,还是数据本身的大小、类型和结构都越来越多样化,这使得数据挖掘的发展越来越具有挑战性。近年来离群检测逐渐成为数据挖掘领域中的热门研究方向,它被广泛地应用于包括社交网络、移动支付和购物系统等在内的众多领域,因为除了常规数据外,少数离群点往往也能带来有价值的信息,并且随着业务的升级,对离群检测算法能够更有效地处理各种复杂的数据的要求也越来越高。本文针对现有的离群检测算法存在的问题进行深入研究。针对现有的离群检测算法无法在线形、多种形状混合和子集间密度差异较大等情况下的数据集中有效检测离群点的问题,本文提出了一种新的基于自适应邻居和加权核密度的离群检测算法NWKOF(Adaptive Neighbor and Weighted Kernel density-based Outlier Factor)。首先,通过弱化自然邻居中的约束来定义出自适应邻居,然后利用数据点的自适应邻居信息为数据点分配权重和计算数据点的自适应带宽,进而得到数据点的加权核密度,最后求出用于表示数据点离群程度的离群因子。实验表明,本文提出的NWKOF算法能够获得较好的离群检测性能,并具有稳定性。另外,NWKOF算法针对的是数据能够一次性获取的情况,即静态数据。虽然它能够获得较好的检测性能,但若将其应用到不断有新数据生成的大规模数据流中,则需要的计算代价就无法接受。因此,针对现有的数据流离群检测算法的时间效率问题,本文在NWKOF算法的基础上提出了一种新的基于抽样的数据流离群检测算法UIKOF(Upper Bound of Incremental Kernel Density-based Outlier Factor)。该算法分为抽样总结和数据加入及检测阶段。在数据加入及检测阶段中,定义了离群因子上界使得在不需要计算数据点实际的离群因子的情况下快速裁剪正常数据;在抽样总结阶段中,设计了一个新的形状项并使用梯度下降法对窗口中的数据进行抽样,使得抽样得到的子集与窗口中的原数据集之间密度差异小的同时还保持了数据分布的形状。实验表明,本文提出的UIKOF算法减少了计算代价,还能获得较高的检测精度,并具有一定的可应用性。

关键词：离群检测自然邻居核密度估计数据流离群因子上界

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

智能建造场景大规模点云轻量化算法研究

智能建造场景大规模点云轻量化算法研究

作者：曾焱重庆大学

学位级别：硕士

建筑业劳动密集型粗放式发展已经不适应时代潮流,建筑智能化技术发展迅速。尤其是近几年来,三维（3D）扫描技术应用于工程项目,受到工程人员和研究人员的广泛关注。在建筑业中,三维激光常用于建筑构部件的质量检测,逆向建模中。三维点... 详细信息

建筑业劳动密集型粗放式发展已经不适应时代潮流,建筑智能化技术发展迅速。尤其是近几年来,三维（3D）扫描技术应用于工程项目,受到工程人员和研究人员的广泛关注。在建筑业中,三维激光常用于建筑构部件的质量检测,逆向建模中。三维点云技术对建筑智能化的影响深刻,但在实际的施工扫描数据中难以直接广泛应用,其中一个重要的原因在于:实际生产中的扫描对象往往不是单个建筑构部件,更可能是整个建筑场景。由此扫描得到数据往往数量庞大,噪声庞杂,为数据的存储,处理以及应用带来巨大的困难,极大的限制了点云在实际工作的应用。因此要实现建筑点云数据的实际应用,必要进行3D点云数据的轻量化。本文基于已有的轻量化算法,研究其在大体量数据下的应用局限性与算法的特殊结构,采用分而治之的策略,实现轻量化算法在分治条件下的不变性求解,并基于已有的大数据处理技术搭建点云处理系统,进行相关实验论证。论文的主要工作如下:（1）为解决大体量场景下的点云轻量化,提出一种基于自然邻域的可分解点云轻量化方法。具体而言:首先,基于图信号的特征提取的过程,结合自然邻域点集的基本概念,实现基于自然邻域点集的可分解特征提取算法。其次.基于原始轻量化算法,实现的可分解滤波方法。（2）为保证实现算法的不变性,提出的可分解轻量化框架提供了理论性保证。（3）基于可分解轻量化框架的轻量化方法,根据Map-Reduce的基本原理,实现了一种可分布式化的可分解轻量化框架。（4）为提高应用中的自适应过程,结合ADMM共识的相关原理,基于角点特征和平面特征平衡的轻量化方法,提出一种基于大规模点云轻量化的分布式优化方法,并基于此实现了一种基于MPI的分布式大规模特征平衡点云轻量化框架。

关键词：三维点云分而治之自然邻居 ADMM

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于自然邻的密度聚类算法及其并行化研究

基于自然邻的密度聚类算法及其并行化研究

作者：李捷重庆大学

学位级别：硕士

聚类分析技术是一种基于数据对象之间的相似程度,达到对数据进行处理的一种数据处理技术,是一种无监督的数据处理方法;在众多的学术领域当中,都有着聚类分析技术的身影,比如电子商务、网络安全等。随着众多学者对该类技术的深入研究和探... 详细信息

聚类分析技术是一种基于数据对象之间的相似程度,达到对数据进行处理的一种数据处理技术,是一种无监督的数据处理方法;在众多的学术领域当中,都有着聚类分析技术的身影,比如电子商务、网络安全等。随着众多学者对该类技术的深入研究和探索,越来越多的算法涌现了出来,使得聚类分析技术在近几十年来飞速发展,虽然如此,但这项技术仍然有着很大的发展空间,例如如何处理高维度的数据集、怎样对各种形状的簇进行处理、如何避免噪声点的干扰、如何适用于存在密度相差较大的簇的数据集、如何有效地获取数据集中的类别数目、甚至于如何评价一种聚类结果的优劣等等。聚类分析有着众多的发展分支,其中基于密度的聚类算法通过对数据集中核心点、边界点以及密度可达进行详细定义,进而对数据集进行聚类操作,这种方式能够很好地处理不同形状的簇,还能较为准确地发现数据集中的噪声点,并且不需要指定最终结果的聚类数目,也有着很强的可解释性,基于这些优点,近几年来,很多学者投身于该算法的研究当中;然而随着对该类算法的研究的深入,我们发现该类算法也存在着诸多缺点,以其中最为经典的算法为例,首先,该算法对输入的参数依赖性高,参数选择的不同将直接影响到聚类结果的好坏;其次,该算法对边界点的处理不够合理,采用遍历顺序的方式归类边界点,可解释性弱;再者,该算法在数据集中存在着密度差异较大的簇时,无法得出正确的聚类结果;针对这些问题,本文提出一种新的基于自然邻居搜索算法改进的算法(-),通过引入自然邻居搜索算法预先对数据集进行处理,得出其部分先验信息,通过这些信息自适应地获取数据集中的核心点与各个数据点的邻域半径值,避免了人为设定参数,也很好地处理了密度差异较大的簇,新算法修改了算法中的直接密度相连的定义,更好的处理了边界点。通过对新算法的时间复杂度以及当前主流的大数据处理框架进行分析,提出一种基于数据与流程的并行结构对自然邻算法进行并行化处理;充分分析NN-DBSCAN算法,并采用单机多线程的方式对该算法进行并行;通过实验结果表明,-算法效果在很多数据集上都优于算法,并且在时间开销上,自然邻算法在新的并行化结构下优于在Spark大数据平台下处理的效果。

关键词：聚类自然邻居密度核心点 DBSCAN

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于密度峰值及肘方法的类数目确定

应用科技 2021年第2期48卷 74-79页

作者：王赢己董红斌哈尔滨工程大学计算机科学与技术学院黑龙江哈尔滨150001

为确定数据集真实类数目,降低参数对于密度峰值算法的影响,本文基于自然邻居思想提出了密度峰值(DP)算法的新内核,以摆脱参数的限制,实现真正的自适应聚类。将密度峰值算法与肘方法联合,提出了自然密度峰(NDP)指标。此外,通过减而治之... 详细信息

为确定数据集真实类数目,降低参数对于密度峰值算法的影响,本文基于自然邻居思想提出了密度峰值(DP)算法的新内核,以摆脱参数的限制,实现真正的自适应聚类。将密度峰值算法与肘方法联合,提出了自然密度峰(NDP)指标。此外,通过减而治之的思想,改进了自然邻居的搜索算法。新的指标和方法可以适用于多种类型的数据集(例如线形、流形、环形和凸形数据集)求得最优类簇数目。经理论研究和实验结果分析可以证实所提出的指标和算法的有效性。

关键词：聚类算法密度峰值自然邻居自适应肘方法类数目减而治之新内核

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

自然邻在文本分类中的应用

现代计算机（中旬刊） 2017年第4期 42-46页

作者：朱庆生张浪张程重庆大学计算机学院重庆400044

在文本分类中,传统的KNN算法面临K值不确定,数据集分布不平衡等缺点的影响。基于此提出自然邻的思想,并将其应用到文本分类中,很好地克服KNN文本分类的缺点。首先,自然邻算法能够根据数据集自动获取文本向量的自然邻居,不需要人为干预,... 详细信息

在文本分类中,传统的KNN算法面临K值不确定,数据集分布不平衡等缺点的影响。基于此提出自然邻的思想,并将其应用到文本分类中,很好地克服KNN文本分类的缺点。首先,自然邻算法能够根据数据集自动获取文本向量的自然邻居,不需要人为干预,解决K值不确定问题。其次,对于不同的数据点其邻居数可能不一样,它会根据数据集的分布自动获取其对应的自然邻居,很好地克服数据集分布不平衡问题。并且,根据训练集的自然邻居设计一种权重分配算法,使得好邻居的权值较大,坏邻居的权值较小,进一步提高分类算法的精确度。

关键词：文本分类自然邻居 KNN 权重分配

基于自然局部核密度比离群因子的离群检测算法

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论