检索结果-南通市图书馆

统计与决策 2024年第8期40卷 11-16页

作者：张智驹重庆航天职业技术学院智能信息工程学院重庆400021

大多数不平衡数据过抽样方法依赖于太多参数,容易生成噪声并难以处理流形数据集。为此,文章提出了一种基于密度峰值聚类的不平衡数据过抽样方法(OVMEDPC)。首先,OVMEDPC用密度峰值聚类(DPC)来发现不平衡数据的空间结构;其次,OVMEDPC设... 详细信息

大多数不平衡数据过抽样方法依赖于太多参数,容易生成噪声并难以处理流形数据集。为此,文章提出了一种基于密度峰值聚类的不平衡数据过抽样方法(OVMEDPC)。首先,OVMEDPC用密度峰值聚类(DPC)来发现不平衡数据的空间结构;其次,OVMEDPC设计了一种基于密度峰值聚类的噪声过滤方法来移除噪声;最后,OVMEDPC设计了一种基于密度峰值聚类的插值技术来生成少数类的合成样本。实验证明,就随机森林分类器而言,OVMEDPC在F-measure和G-mean上优于5个先进的过抽样方法。

关键词：不平衡分类过抽样方法分类密度峰值聚类

来源：

维普期刊数据库

同方期刊数据库博看期刊

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于概率过抽样的非平衡数据分类方法研究

基于概率过抽样的非平衡数据分类方法研究

引用

作者：田开严兰州大学

学位级别：硕士

非平衡数据分类问题是数据挖掘领域重要的研究方向之一。在非平衡分类问题中由于数据的不平衡性使得分类器对少数类数据的识别较为困难,易导致建立的模型对此类数据产生欠拟合,而少数类数据通常是研究者所关注的重点。处理非平衡分类问... 详细信息

非平衡数据分类问题是数据挖掘领域重要的研究方向之一。在非平衡分类问题中由于数据的不平衡性使得分类器对少数类数据的识别较为困难,易导致建立的模型对此类数据产生欠拟合,而少数类数据通常是研究者所关注的重点。处理非平衡分类问题可以通过过抽样方法合成新的少数类数据对原始数据进行平衡。过抽样方法大多通过简单复制原少数类数据或利用样本之间特征空间相似性来合成新数据,新产生的数据未考虑原始数据概率分布,容易产生虚假数据。而通过概率近似数据分布抽样合成少数类新样本的方法考虑数据原始概率分布,新合成的数据不仅反映数据真实规律而且具有很好的代表性。本文从数据层面和算法层面相结合的角度提出两种基于概率过抽样的非平衡数据分类方法:基于k-means和多数投票策略的概率过抽样方法。将原始多数类数据利用k-means算法进行聚类,将聚成类的多数类数据与原始少数类数据合并形成非平衡数据子集,降低数据集的整体非平衡率。通过概率过抽样方法近似数据子集少数类数据概率分布,从近似的数据分布中重抽样合成新的少数类数据。最后获得平衡的子数据集,在子数据集上建立模型得出决策矩阵,通过多数投票策略来获得数据类标签。实验分别以C4.5和Bayes分类器建立模型,通过15个KEEL非平衡数据集将本文提出的基于k-means和多数投票策略的概率过抽样方法与SMOTE,SMOTEBoost,RUSBoost和RACOG四个重抽样方法进行对比,实验表明本文提出的方法在评价指标Sensitivity,G-mean和AUC上均获得了较好的平均分类性能。基于过滤的概率过抽样方法。利用非合作博弈理论为概率过抽样合成的少数类数据决定其最可能的类标签,将数据中的非本类合成数据进行过滤,得到更高质量的少数类数据进而改善数据倾斜状况,重新平衡原始数据集。实验分别以CART和SVM分类器建立模型,将本文提出的基于过滤的概率过抽样方法PDFOS+F和RACOG+F与原始概率过抽样方法分别在8个KEEL非平衡数据集上进行对比,实验表明本文提出的PDFOS+F和RACOG+F方法在评价指标F-measure,G-mean和AUC上获得了更好的分类性能。

关键词：非平衡数据分类概率近似过抽样方法聚类多数投票过滤

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于SMOTE不平衡分类算法的改进

基于SMOTE不平衡分类算法的改进

引用

作者：何林晋重庆师范大学

学位级别：硕士

不平衡分类是一个重要的研究领域。在不平衡数据集中,至少有一类(少数类)的样本数量是远远少于其它类别的样本数量。如果在不平衡数据集上构造一个分类模型,决策边界会向少数类偏移,这会导致少数类样本识别不准确。过抽样是一种改进不... 详细信息

不平衡分类是一个重要的研究领域。在不平衡数据集中,至少有一类(少数类)的样本数量是远远少于其它类别的样本数量。如果在不平衡数据集上构造一个分类模型,决策边界会向少数类偏移,这会导致少数类样本识别不准确。过抽样是一种改进不平衡分类的有效方法。在众多的过抽样方法中,SMOTE是最受欢迎的。SMOTE用基样本和它的近邻的插值结果去生成少数类的合成样本。然后,SMOTE用这些合成样本去扩充少数类,直到类别比例平衡。然而,SMOTE有一个公认的问题,那就是它可能会生成噪声样本。为了解决SMOTE存在的噪声生成问题,本文提出了两种基于SMOTE的过抽样方法。论文主要工作如下:(1)提出一种改进的基于相对密度和k近邻权重的SMOTE过抽样方法(SMOTE-RD-KNNW)。在SMOTE-RD-KNNW中,我们引入相对密度的概念去设计了一个噪声过滤器。然后,我们用这个噪声过滤器去过滤掉原始数据集中的噪声样本。其次,我们用k近邻去计算每个少数类样本的权重。使得更靠近类中心的样本有更多的权重。更多的合成样本是基于高权重的少数类样本生成的。实验结果表明,与代表性的过抽样方法(即SMOTE,Borderline-SMOTE,Safe-Level-SMOTE,SMOTE-ENN,ADASYN)比较,就KNN分类器而言,SMOTE-RD-KNNW能实现更高的AUC,F-measure和G-mean指标。(2)提出一种改进的基于相对密度和相对密度权重的SMOTE过抽样方法(SMOTE-RDW)。在SMOTE-RDW中,我们引入相对密度去设计了一个噪声过滤器。然后,我们用这个噪声过滤器去去除原始数据集中的噪声样本。其次,我们用相对密度去计算每个少数类样本的权重。这使得更远离类边界的样本有更多的权重。同样,更多的合成样本是基于高权重的少数类样本生成的。实验结果表明,通过与代表性的过抽样方法(即SMOTE,Borderline-SMOTE,SMOTE-ENN,ADASYN,k-means SMOTE)比较,就KNN分类器而言,SMOTE-RDW实现更高的AUC,F-measure和G-mean指标。

关键词：不平衡学习不平衡分类数据预处理最近邻过抽样方法

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：