检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

概念漂移下的系统日志在线异常检测模型

计算机应用与软件 2023年第10期40卷 314-321页

作者：吕宗平梁婷婷顾兆军刘春波王双王志中国民航大学信息安全测评中心天津300300 中国民航大学计算机科学与技术学院天津300300 南开大学人工智能学院天津300071

针对在线系统的动态日志中存在的概念漂移问题,提出一种结合置信度的系统日志在线异常检测模型(COP)。按照时间顺序模拟Hadoop分布式文件系统日志,使用滑动窗口以日志块的方式接收日志并进行预处理;获取一定时间内的日志作为预先知识并... 详细信息

针对在线系统的动态日志中存在的概念漂移问题,提出一种结合置信度的系统日志在线异常检测模型(COP)。按照时间顺序模拟Hadoop分布式文件系统日志,使用滑动窗口以日志块的方式接收日志并进行预处理;获取一定时间内的日志作为预先知识并计算p值;使用一致性预测得分计算置信度,根据预先知识中获得的显著性水平过滤异常日志;建立当前与之前日志数据之间的联系,动态更新校准集并输出一个可信的检测结果。实验结果表明,COP与用于模拟增量学习的重训练异常检测模型相比,得到的在线检测结果和时间性能更优。

关键词：概念漂移在线学习一致性预测异常检测滑动窗口置信度

在线全文

学校读者我要写书评

暂无评论

概念漂移复杂数据流分类方法综述

计算机应用 2023年第6期43卷 1664-1675页

作者：穆栋梁韩萌李昂刘淑娟高智慧北方民族大学计算机科学与工程学院银川750021

传统分类器难以应对含概念漂移的复杂类型数据流分类这一难题,且得到的分类效果往往不尽如人意。针对不同类型数据流中处理概念漂移的方法,从不平衡、概念演化、多标签和含噪声4个方面对概念漂移复杂数据流分类方法进行了综述。首先,对... 详细信息

传统分类器难以应对含概念漂移的复杂类型数据流分类这一难题,且得到的分类效果往往不尽如人意。针对不同类型数据流中处理概念漂移的方法,从不平衡、概念演化、多标签和含噪声4个方面对概念漂移复杂数据流分类方法进行了综述。首先,对基于块的和基于在线的学习方式对不平衡概念漂移数据流、基于聚类和基于模型的学习方式对概念演化概念漂移数据流、基于问题转换和基于算法适应的学习方式对多标签概念漂移数据流和含噪声概念漂移数据流这四个方面的分类方法进行了分析介绍;然后,对所提到概念漂移复杂数据流分类方法的实验结果及性能指标进行了详细的对比和分析;最后,给出了现有方法的不足和下一步研究方向。

关键词：数据流分类复杂数据流概念漂移不平衡数据流概念演化

面向概念漂移和类不平衡数据流的在线分类算法

在线全文

学校读者我要写书评

暂无评论

电子学报 2022年第3期50卷 585-597页

作者：陆克中陈超凡蔡桓吴定明深圳大学计算机与软件学院广东深圳518060

数据流是大数据的重要形式,数据流分类是数据挖掘的重要任务之一,该任务在现实生活中有着巨大的应用前景,因此得到了研究者们的广泛关注.概念漂移和类不平衡是影响数据流分类性能的两个核心问题,但目前大多数算法都只考虑处理两者之一,... 详细信息

数据流是大数据的重要形式,数据流分类是数据挖掘的重要任务之一,该任务在现实生活中有着巨大的应用前景,因此得到了研究者们的广泛关注.概念漂移和类不平衡是影响数据流分类性能的两个核心问题,但目前大多数算法都只考虑处理两者之一,并且大多数算法过于理想,只能在人工设置的数据流上才能发挥较好的性能,无法适用于复杂的真实数据流.针对这一问题,提出了一种同时处理概念漂移和类不平衡复杂数据流的算法——具有自适应遗忘因子的加权在线顺序极限学习机集成算法.该算法首先融合加权机制和遗忘机制,初步提出具有遗忘机制的加权在线顺序极限学习机算法.为了更好地适应复杂数据流,进一步以初步算法为基分类器,设计包含自适应遗忘因子和概念漂移检测机制的在线集成策略.大量仿真实验表明,所提算法在所有数据集上都取得了最佳的Gmean值,具有更好的概念漂移和类不平衡适应能力,表现出了更稳定、更平衡以及更准确的分类效果.

关键词：数据流分类概念漂移类不平衡在线学习极限学习机

在线全文

学校读者我要写书评

暂无评论

基于在线集成的概念漂移自适应分类方法

计算机研究与发展 2023年第7期60卷 1592-1602页

作者：郭虎升丛璐高淑花王文剑山西大学计算机与信息技术学院太原030006 计算智能与中文信息处理教育部重点实验室(山西大学) 太原030006

针对流数据中概念漂移发生后,在线学习模型不能对分布变化后的数据做出及时响应且难以提取数据分布的最新信息,导致学习模型收敛较慢的问题,提出一种基于在线集成的概念漂移自适应分类方法(adaptive classification method for concept ... 详细信息

针对流数据中概念漂移发生后,在线学习模型不能对分布变化后的数据做出及时响应且难以提取数据分布的最新信息,导致学习模型收敛较慢的问题,提出一种基于在线集成的概念漂移自适应分类方法(adaptive classification method for concept drift based on online ensemble,AC_OE).一方面,该方法利用在线集成策略构建在线集成学习器,对数据块中的训练样本进行局部预测以动态调整学习器权重,有助于深入提取漂移位点附近流数据的演化信息,对数据分布变化进行精准响应,提升在线学习模型对概念漂移发生后新数据分布的适应能力,提高学习模型的实时泛化性能;另一方面,利用增量学习策略构建增量学习器,并随新样本的进入进行增量式的训练更新,提取流数据的全局分布信息,使模型在平稳的流数据状态下保持较好的鲁棒性.实验结果表明,该方法能够对概念漂移做出及时响应并加速在线学习模型的收敛速度,同时有效提高学习器的整体泛化性能.

关键词：流数据概念漂移在线集成增量学习自适应模型

在线全文

学校读者我要写书评

暂无评论

面向概念漂移数据流的自适应分类算法

计算机研究与发展 2022年第3期59卷 633-646页

作者：蔡桓陆克中伍启荣吴定明深圳大学计算机与软件学院

数据流分类是数据挖掘中最重要的任务之一，而数据流的概念漂移特性给分类算法带来了巨大的挑战.基于极限学习机算法进行优化是解决数据流分类问题的一个热门方向，但目前大多数算法都采用提前指定模型参数的方式进行学习，这种做法使... 详细信息

数据流分类是数据挖掘中最重要的任务之一，而数据流的概念漂移特性给分类算法带来了巨大的挑战.基于极限学习机算法进行优化是解决数据流分类问题的一个热门方向，但目前大多数算法都采用提前指定模型参数的方式进行学习，这种做法使得分类模型只能在特定的数据集上才能发挥较好的性能.针对这一问题，提出了一种简单有效的处理概念漂移的算法——自适应在线顺序极限学习机分类算法.算法通过引入自适应模型复杂度机制，从而具有更好的分类性能.然后通过引入自适应遗忘因子与概念漂移检测机制，能够根据动态变化的数据流进行自适应学习，从而可以更好地适应概念漂移.进一步还引入异常点检测机制，避免分类决策边界被异常点破坏.仿真实验表明，所提出算法比同类算法具有更好的稳定性、分类准确性以及概念漂移适应能力.此外，还通过消融实验证实了算法所引入3个机制的有效性.

关键词：数据流分类在线学习极限学习机概念漂移自适应机制

基于多元区域集划分的工业数据流概念漂移检测

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

电子学报 2023年第7期51卷 1906-1916页

作者：韩光洁赵腾飞刘立张帆徐政伟河海大学信息学部物联网工程学院江苏常州213022

为了快速适应非平稳环境中工业数据流的分布变化,需要在非结构化和噪声干扰的数据中准确、实时的完成概念漂移的检测.本文提出了一种基于多元区域集划分的工业数据流概念漂移检测算法(Concept Drift detection-Multivariate region set ... 详细信息

为了快速适应非平稳环境中工业数据流的分布变化,需要在非结构化和噪声干扰的数据中准确、实时的完成概念漂移的检测.本文提出了一种基于多元区域集划分的工业数据流概念漂移检测算法(Concept Drift detection-Multivariate region set Partition,CDMP).首先基于实例模糊密度进行多元区域集划分,根据划分的若干模糊分区集合,识别概念漂移发生的区域.概念漂移的持续发生会显著降低基于多元区域集构建的模型的分类性能,CDMP通过构建多元历史模型池来保留具有多样性的历史模型,以降低模型调整或再训练造成的性能损耗,同时保证概念漂移检测中准确性.CDMP在不同数据集上进行了性能测试.实验结果表明,CDMP实现了对历史模型多样性的保留和重用,能够在不同噪声水平的工业物联网环境中实现对重现型、突发型等多类型概念漂移的准确检测.

关键词：工业物联网概念漂移多元区域集实例模糊分区多样性历史模型

面向概念漂移且不平衡数据流的G-mean加权分类方法

在线全文

学校读者我要写书评

暂无评论

计算机研究与发展 2022年第12期59卷 2844-2857页

作者：梁斌李光辉代成龙江南大学人工智能与计算机学院江苏无锡214122

数据流中的概念漂移和类别不平衡问题会严重影响数据流分类算法的性能和稳定性.针对二分类数据流中概念漂移和类别不平衡的问题,在基于数据块的集成分类方法上引入成员分类器权重的在线更新机制,结合重采样和自适应滑动窗口技术,提出了... 详细信息

数据流中的概念漂移和类别不平衡问题会严重影响数据流分类算法的性能和稳定性.针对二分类数据流中概念漂移和类别不平衡的问题,在基于数据块的集成分类方法上引入成员分类器权重的在线更新机制,结合重采样和自适应滑动窗口技术,提出了一种基于G-mean加权的不平衡数据流在线分类方法(online G-mean update ensemble for imbalance learning,OGUEIL).该方法基于集成学习框架,利用时间衰减因子增量计算成员分类器最近若干实例上的G-mean性能,并确定成员分类器权重,每到达一个新实例,在线更新所有成员分类器及其权重,并对少类实例进行随机过采样.同时,OGUEIL会周期性地根据当前数据构造类别平衡数据集训练新的候选分类器,并选择性地添加至集成框架中.在真实和人工数据集上的结果表明,所提方法的综合性能优于其他同类方法.

关键词：数据流概念漂移集成学习类别不平衡分类

在线全文

学校读者我要写书评

暂无评论

概念漂移数据流集成分类算法综述

计算机工程 2020年第1期46卷 15-24,30页

作者：杜诗语韩萌申明尧张春砚孙蕊北方民族大学计算机科学与工程学院

针对概念漂移数据流集成分类算法的基本概念、相关工作、适用范围及优缺点等方面进行具体阐述,重点分析突变型、渐变型、重复型和增量型集成分类算法,以及集成分类中的Bagging、Boosting、基分类器组合学习策略与在线学习、基于块的集... 详细信息

针对概念漂移数据流集成分类算法的基本概念、相关工作、适用范围及优缺点等方面进行具体阐述,重点分析突变型、渐变型、重复型和增量型集成分类算法,以及集成分类中的Bagging、Boosting、基分类器组合学习策略与在线学习、基于块的集成、增量学习关键技术,指出现阶段概念漂移数据流集成分类算法所需解决的主要问题,并对集成基分类器的动态更新与加权组合、多类型概念漂移的快速检测等研究方向进行分析和展望。

关键词：动态数据流集成分类概念漂移增量学习

概念漂移算法研究及其在轴承剩余使用寿命预测的应用

在线全文

学校读者我要写书评

暂无评论

概念漂移算法研究及其在轴承剩余使用寿命预测的应用

作者：蓝曦华南理工大学

学位级别：硕士

智能制造中,设备工作时长的累积会伴随概念漂移现象的出现,传统的退化模型难以解决剩余使用寿命预测的非线性、突变性问题。为此,本研究结合概念漂移检测技术,以滚动轴承为研究对象,开展了以下几方面的研究:(1)设计了轴承剩余使用寿命... 详细信息

智能制造中,设备工作时长的累积会伴随概念漂移现象的出现,传统的退化模型难以解决剩余使用寿命预测的非线性、突变性问题。为此,本研究结合概念漂移检测技术,以滚动轴承为研究对象,开展了以下几方面的研究:(1)设计了轴承剩余使用寿命在线监控系统。针对生产环境中轴承监控的实时性、拓展性、灵活性等需求,采用前后端分离、模块化的结构,并设计了报文协议,统一了多种传感器数据的采集和通信格式,提供了一套高内聚、低耦合的在线监控方案。(2)研究了局部最小值告警的主动概念漂移检测算法。应用非增量模型时,目前概念漂移检测算法的训练子集选取策略会导致持续的、累积的性能衰减。为此,本研究摒弃调整漂移报告系数的传统方法,采取在波动水平局部最小值处告警的策略。同时,通过检测概念是否过渡完毕,提出一种自适应收集的改进方法,增大了训练子集,有效地提升了非增量模型场景下的分类准确率。(3)研究了基于概念漂移检测的轴承剩余使用寿命预测方法。针对当前多健康阶段划分方法仍以人工方式为主、缺乏可解释性的情况,引入主动概念漂移检测算法,实现了基于数据驱动的轴承健康阶段自动划分。为获取轴承当前所处的健康阶段,构建了健康阶段辨别器,将多模型的预测结果融合,预测最终的剩余使用寿命,并在测试数据集上进行了对比实验和消融实验,结果表明本方法具有较低的预测误差。在两种测试框架下,选用了5个人工合成数据集和3个真实数据集,开展了4组对比试验。实验结果表明,在序列测试框架中,基于局部最小值告警的主动概念漂移检测算法与主流算法没有明显的准确率差距。但是,在检测再训练框架中,本方法在8个实验组别中排名第一,改进方法的准确率最高提升了12%。在剩余使用寿命预测对比实验中,在预测寿命百分比和直接预测剩余使用寿命两种预测目标下,本研究提出的方法平均指标均位列第一。在消融实验中,配合两种基础预测器时,应用本研究所提出的方法后,性能均有不同程度的提升,具有较好的稳定性和通用性。

关键词：轴承剩余使用寿命预测概念漂移主动概念漂移检测数据流