检索结果-南通市图书馆

Measure oriented training： a targeted approach to imbalanced classification problems

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

Frontiers of Computer Science 2012年第5期6卷 489-497页

作者： Bo YUAN Wenhuang LIU Division of Informatics Graduate School at ShenzhenTsinghua UniversityShenzhen 518055China

Since the overall prediction error of a classifier on imbalanced problems can be potentially misleading and bi- ased, alternative performance measures such as g-mean and F-measure have been widely adopted. Various techniques in- cluding sampling and cost sensitive learning are often em- ployed to improve the performance of classifiers in such sit- uations. However, the training process of classifiers is still largely driven by traditional error based objective functions. As a result, there is clearly a gap between the measure accord- ing to which the classifier is evaluated and how the classifier is trained. This paper investigates the prospect of explicitly using the appropriate measure itself to search the hypothesis space to bridge this gap. In the case studies, a standard three- layer neural network is used as the classifier, which is evolved by genetic algorithms （gAs） with g-mean as the objective function. Experimental results on eight benchmark problems show that the proposed method can achieve consistently fa- vorable outcomes in comparison with a commonly used sam- pling technique. The effectiveness of multi-objective opti- mization in handling imbalanced problems is also demon- strated.

关键词： imbalanced datasets genetic algorithms (gAs),neural networks g-mean synthetic minority over-sampling technique (SMOTE)

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

面向类不平衡的逻辑回归方法

模式识别与人工智能 2015年第8期28卷 686-693页

作者：郭华平董亚东邬长安范明信阳师范学院计算机与信息技术学院信阳414000 郑州大学信息工程学院郑州450052

作为机器学习和模式识别中最重要的分类模型之一,逻辑回归(LR)具有较好的可解释性、泛化性.文中将该模型应用到类不平衡问题中,提出面向类不平衡的逻辑回归方法(LRCI)以处理数据不平衡问题.为了充分考虑数据不平衡性,分别构造基于g-mea... 详细信息

作为机器学习和模式识别中最重要的分类模型之一,逻辑回归(LR)具有较好的可解释性、泛化性.文中将该模型应用到类不平衡问题中,提出面向类不平衡的逻辑回归方法(LRCI)以处理数据不平衡问题.为了充分考虑数据不平衡性,分别构造基于g-mean的目标函数(gBM)和基于f-measure的目标函数(FBM),监督LRCI学习模型参数,进而有效保证学习到的模型同时具有高准确率和召回率.UCI数据集上的实验表明,LRCI在保持LR高准确率的前提下,有效提高它的召回率、g-mean和f-measure.与其他类不平衡分类模型相比,LRCI表现出较明显优势.

关键词：不平衡数据集逻辑回归 g-mean f-measure

面向不平衡数据分类的自适应核空间集成学习算法研究

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

面向不平衡数据分类的自适应核空间集成学习算法研究

作者：陈晓磊北京化工大学

学位级别：硕士

随着科技的不断发展,各个行业领域所积累的数据信息与日俱增,不平衡数据问题无处不在,相关分类问题已成为数据挖掘领域的一个研究热点。针对不平衡数据分类问题的研究主要分为数据层面和算法层面两个角度,本文将从上述两个角度展开研究... 详细信息

随着科技的不断发展,各个行业领域所积累的数据信息与日俱增,不平衡数据问题无处不在,相关分类问题已成为数据挖掘领域的一个研究热点。针对不平衡数据分类问题的研究主要分为数据层面和算法层面两个角度,本文将从上述两个角度展开研究工作。本文首先将合成少数类过采样技术(SMOTE)与支持向量机(SVM)结合,形成SMOTE-SVM算法。将该算法在UCI数据集和实际工业数据集中进行试验,分析其在数据生成与分类上的不足,找出影响分类准确率的原因,在此基础上进行数据、算法层面的改进,最终实现提升分类器性能与稳定性的目的。从数据层面,针对过采样算法中生成样本分布过于聚集以及样本生成与分类空间不统一等问题,提出了一种基于自适应核SMOTE-SVM分类算法。算法首先利用SVM将数据集投影到核空间,得到训练集的边界样本—支持向量(SV),然后在核空间下根据少数类支持向量(SV+)近邻样本类别分布自适应地选择不同的插值算法(内插或外插)生成新样本。由于核空间中映射函数无法具体得知,新样本实际为包含原始样本的表达式,将新插入的样本与原有样本的表示式一同计算形成增广gram矩阵,最后利用SVM算法生成分类决策函数,从而实现分类。该算法使样本的生成与分类统一在同一核空间中,可提高新样本集的可信性,与此同时,内外插值的方式可调整生成样本的分布,改善分类决策边界,在提高样本多样性的同时避免噪声样本生成。从算法层面,为了解决因样本生成算法的随机性导致分类器性能鲁棒性不足问题,本文提出了g-Boosting集成学习算法框架。针对不平衡数据的特点,改进传统Boosting算法以分类准确率为评估指标的方法,提出基于g-mean的样本和分类器权重更新准则。在迭代过程中添加基分器筛选条件,摒弃不符合条件的基分器;对样本设置权值上限,防止被多次误分的样本权重过大而影响后续训练。以上均使得g-Boosting集成学习算法框架在处理不平衡数据分类问题时,更为合理、有效。将上述算法在UCI和实际工业数据集上进行实验,通过与其他算法比较,证明本文所提方法与框架起到了改善生成样本质量、提高分类器分类性能的目的。

关键词：不平衡数据分类 SMOTE 核空间 SVM 集成学习 g-mean

面向类不平衡问题的逻辑回归分类学习算法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向类不平衡问题的逻辑回归分类学习算法研究

作者：郑桂荣信阳师范学院

学位级别：硕士

类不平衡问题是模式识别和机器学习领域的热门研究问题之一,其特征是某些类实例数明显少于其它类实例数。在实际应用中,正确识别少数类实例往往比正确识别多数类实例更有价值。例如在医疗诊断中,只有极少数人是癌症患者,如何正确识别这... 详细信息

类不平衡问题是模式识别和机器学习领域的热门研究问题之一,其特征是某些类实例数明显少于其它类实例数。在实际应用中,正确识别少数类实例往往比正确识别多数类实例更有价值。例如在医疗诊断中,只有极少数人是癌症患者,如何正确识别这些癌症患者具有重要意义。然而,作为经典的统计分类方法,逻辑回归试图通过假设数据集中各类的实例数目相当,以达到总体高准确率的分类目的。这往往导致学习到的模型不能很好地捕获少数类实例特征,进而误分少数类实例。针对该问题,本文提出了两种面向类不平衡问题的逻辑回归分类学习算法:(1)提出新的针对类不平衡的逻辑回归学习算法。逻辑回归使用最大似然估计法求解模型参数,这导致模型很难捕获少数类实例特征。针对该问题,本文构造了一种基于最大似然函数和召回率的度量指标MLER(Maximum Likelihood Evaluation and Recall)。与最大似然目标函数不同,MLER同时考虑模型的准确率和召回率,进而保证模型在所有类上的性能。根据MLER,本文提出了一种面向类不平衡问题的逻辑回归新算法LRIL(Logistic Regression for Imbalanced Learning)。依据MLER,LRIL使用牛顿法学习相关参数。实验结果表明,LRIL在保持逻辑回归高准确率的前提下,有效地提高了其在召回率、f-measure以及g-mean上的性能,同时与其它高级方法相比,LRIL也表现出明显优势。(2)针对类不平衡问题中类分布不均衡这一特征,提出了基于k-means和逻辑回归混合策略的类不平衡学习算法ILKLR(Imbalanced Learning based on k-means and Logistic Regression)。不同于传统的逻辑回归方法,ILKLR采用k-means算法将多数类数据集划分成多个子簇并关联新的类标号,进而达到训练集线性可分的目的。实验结果显示,本文提出的数据预处理方法比传统逻辑回归、欠抽样逻辑回归、过抽样逻辑回归等方法在召回率、g-mean和f-measure等指标上效果更优。

关键词：逻辑回归类不平衡分类召回率 g-mean f-measure

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向不平衡分类的逻辑回归算法

面向不平衡分类的逻辑回归算法

作者：董亚东郑州大学

学位级别：硕士

类分布不平衡的数据集在现实生活中大量存在,传统的成熟分类算法大多建立在数据集类分布大致平衡这一假设上,而对于类分布不平衡的数据集往往取得较差的分类效果。而且,在不平衡分类问题中往往少数类比多数类具有更重要的意义,因此不能... 详细信息

类分布不平衡的数据集在现实生活中大量存在,传统的成熟分类算法大多建立在数据集类分布大致平衡这一假设上,而对于类分布不平衡的数据集往往取得较差的分类效果。而且,在不平衡分类问题中往往少数类比多数类具有更重要的意义,因此不能仅仅使用准确率来评估不平衡分类算法的性能,对于不平衡分类问题可用召回率、g-mean值以及f-measure值等评估指标对不平衡分类算法进行评估。逻辑回归算法是数据挖掘中常用的分类方法,尤其对于两类分类问题。逻辑回归算法最明显的优势就是它是基于概率的分类算法并且很容易被扩展到多类问题,但是逻辑回归并不适应于不平衡分类问题,因为其目标函数是最大化每个实例被正确分类的概率的对数之和,而不考虑该实例是少数类还是多数类,这样会导致将更多的少数类实例误分为多数类。因此在逻辑回归的基础处上,本文根据类分布不平衡数据集的特点,结合传统的逻辑回归算法和三个不平衡分类问题的评价指标召回率、g-mean值以及f-measure值提出了三种适合于不平衡分类的目标函数LRM(Logistic and Recall based Metric)、gBM(g-mean based Metric)和FBM(F-measure based Metric),在这三种目标函数的基础上,本文提出三种适合于不平衡分类问题的分类算法RBLR(Recall Based Logistic Regression)、gBLR(g-mean Based Logistic Regression)和FBLR(F-measure Based Logistic Regression)。在这三种算法的求解过程中,使用拟牛顿法来解决最优化问题,预测阶段使用和传统的逻辑回归算法类似的方法进行预测。在16个UCI数据集上的实验结果表明,本文提出的三种算法RBLR、gBLR以及FBLR能在很好的在保持较高准确率的前提下,有效地提高少数类的召回率、g-mean值以及f-measure值。与过采样逻辑回归OSLR(Over-Sampled Logistic Regression)和欠采样逻辑回归USLR(Under-Sampled Logistic Regression)相比,本文提出的算法也表现出明显的优势。

关键词：分类召回率 g-mean f-measure 不平衡数据