改进DPC聚类算法的离群点检测与解释方法

作     者：周玉 夏浩 裴泽宣 

作者机构：华北水利水电大学电气工程学院 

出 版 物：《哈尔滨工业大学学报》 (Journal of Harbin Institute of Technology)

年 卷 期：2024年

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 

基　　金：国家自然科学基金(U1504622,31671580) 河南省高等学校青年骨干教师培养计划项目(2018GGJS079) 

主　　题：离群点检测 聚类 密度峰值 k近邻 核密度估计 

摘      要：为解决全局离群点检测方法无法对局部离群点进行检测，以及局部异常因子在面对大量局部离群点时性能下降的问题，利用k近邻（kNN）和核密度估计方法（KDE）提出一种基于改进快速搜索和发现密度峰值聚类算法（KDPC）的离群点检测与解释方法，该方法能够同时对数据点的全局和局部进行分析。首先，利用k近邻和核密度估计方法计算数据点的局部密度，代替传统DPC算法中根据截断距离计算的局部密度。其次，将数据点的k近邻距离之和作为全局异常值，并通过KDPC聚类算法计算簇密度以及数据点的局部异常值。最后，将数据点的全局与局部异常值进行乘积作为最终异常得分，选取异常得分最高的Top-n作为离群点，通过构建全局-局部异常值决策图对全局和局部离群点进行解释。利用人工数据集和UCI数据集进行实验并与10种常用离群点检测方法进行比较。结果表明，该方法对全局和局部离群点都有着较高的检测精度和检测性能，并且AUC方面受k值影响较小。同时，利用该方法对NBA球员数据进行分析讨论，进一步证明了该方法的实用性和有效性。