检索结果-南通市图书馆

维普期刊数据库博看期刊

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

有噪条件下的新类检测算法

计算机辅助设计与图形学学报 2021年第5期33卷 682-693页

作者：曾凡霞何泽文张文生中国科学院自动化研究所复杂系统管理与控制国家重点实验室北京100190 中国科学院大学北京100049

针对有噪条件下新类检测性能较差的问题,提出一种基于核零空间判别局部保持投影算法(KNDLPP).首先通过核函数将样本隐式映射到高维特征空间,在核空间中利用距离加权机制对样本进行权重赋值,在保持局部结构的同时降低离群噪声样本的影响... 详细信息

针对有噪条件下新类检测性能较差的问题,提出一种基于核零空间判别局部保持投影算法(KNDLPP).首先通过核函数将样本隐式映射到高维特征空间,在核空间中利用距离加权机制对样本进行权重赋值,在保持局部结构的同时降低离群噪声样本的影响;然后利用样本类内零空间使同类样本坍塌为一点,实现对已知类分布的有效约简;最后基于零空间再求得使类间距最大化的变换矩阵,以上步骤得到一个判别性变换矩阵以刻画样本的分布信息、描述样本之间的相似性.该算法能刻画样本潜在结构,提升已知类与新未知类之间的判别性.在11个公开数据集上的实验结果表明,该算法是有效和鲁棒的,具有较好的新类检测性能.在局部保持性实验中,KNDLPP在4个UCI数据集上的整体平均AUC值为90.656%;在复杂结构保持性实验中,KNDLPP在Banana,Moon及3个UCI数据集上的整体平均AUC值为91.949%;在2个无噪高维数据集的新类检测实验中,KNDLPP平均AUC值为86.214%,高于次优算法4个百分点;在4个UCI数据集的4种有噪条件下,KNDLPP性能排名第1.

关键词：核方法零空间判别局部保持映射新类检测

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

一种基于ELM算法的在线学习模型

智能计算机与应用 2024年第6期14卷 110-118页

作者：吕超董育宁邱晓晖南京邮电大学通信与信息工程学院南京210003

网络应用程序的多样化对网络流量分类提出了新的挑战。如何在变化的环境中准确地识别已知类和新类流量,然后实现模型在线更新,最后将新类纳入已知类范畴成为了研究的要点。针对这一问题,本文提出了一种基于极限学习机(Ex⁃treme Learning... 详细信息

网络应用程序的多样化对网络流量分类提出了新的挑战。如何在变化的环境中准确地识别已知类和新类流量,然后实现模型在线更新,最后将新类纳入已知类范畴成为了研究的要点。针对这一问题,本文提出了一种基于极限学习机(Ex⁃treme Learning Machine,ELM)的在线学习模型,使用基于ELM算法的距离度量选择辅助训练样本,根据距离度量阈值进行新类检测,采用串联识别新类的二分类器的方式包含新的流量类别,当串联的分类器数量达到设定值时重新训练模型。在真实网络流数据集上的测试结果显示,本文方法已知类F1和开集总体准确率NA均能达到0.9以上。与代表性文献方法相比,在分类性能和时间性能方面均有更好的表现。

关键词：极限学习机开集流识别新类检测辅助训练在线学习

维普期刊数据库

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

基于半监督学习的异常检测方法研究

基于半监督学习的异常检测方法研究

作者：汪妮安徽大学

学位级别：硕士

异常检测旨在研究如何发现数据中不符合预期正常行为的模式和对象。通过对不同领域中异常模式或对象的分析和研究,有助于深入理解该领域的正常行为,及时发现其中的异常行为和模式,具有重要的研究意义和广泛的应用价值。在实际应用中,由... 详细信息

异常检测旨在研究如何发现数据中不符合预期正常行为的模式和对象。通过对不同领域中异常模式或对象的分析和研究,有助于深入理解该领域的正常行为,及时发现其中的异常行为和模式,具有重要的研究意义和广泛的应用价值。在实际应用中,由于人工标注样本标签的代价高昂或难度较大,使得人们需要处理的对象数据往往是只有少量独立类标签或约束信息的半监督数据形式。为此,基于半监督学习的数据挖掘方法受到越来越多的关注。如何利用好数据中的少量监督信息,成为半监督学习中模型构建的关键。根据数据的产生形式,可以将异常检测方法分为面向静态数据和面向动态数据两大类。在面向静态数据的异常检测方法研究中,针对实际应用场景中不可避免的会产生异常或噪声数据的问题,如何设计并实现能够有效区分异常和正常样本的半监督鲁棒聚类方法是一个非常值得研究的问题。此外,在动态数据场景下,现有流数据异常检测方法往往有一个隐含的假设,即已知类的强内聚性(类内距离小)或待检测的异常类(新类)同训练数据中已知类的显著分离性(类间距离大)。然而,在实际流数据应用场景下,这种假设并不总是成立且新类检测通常充满困难和挑战。因此,本文针对上述问题,开展了静态数据上的半监督鲁棒聚类方法研究和动态流数据上的半监督困难新类检测方法研究。本文的主要工作包括以下内容:(1)针对实际应用中不可避免会存在异常和噪声数据的问题,本文提出了一个新的面向静态数据的半监督鲁棒聚类方法(RSSC)。该算法受数据扭曲思想和谱聚类的启发,利用监督信息与正则化拉普拉斯矩阵相结合的方式构造目标函数,将原始半监督数据集映射到新空间中,获得标准坐标系下的新数据。在新数据空间中,同一簇中的样本相互靠近,不同簇中的样本相互分离,异常形成异常簇,从而实现不同数据的有效区分。在16个真实数据集上同7个最新的对比算法的对比实验验证了RSSC的有效性。显著性分析展示了RSSC的平均序值为1.06,优于其他算法。此外,鲁棒性分析表明,当异常比从10%增加到100%时,即在异常数据比例较大的数据集上,RSSC仍然能够获得优异的聚类性能。(2)针对大多数现有数据流上的新类检测算法的隐含前提:已知类之间的强内聚性或者特征空间中新类和已知类之间的显著分离性,在实际应用场景中并不总是流数据固有特征的问题,本文提出了一个新的半监督流数据中困难新类检测框架(SSLDN)。SSLDN框架主要由三个部分组成:有效的新类检测器SSLDN-Forest、基于近邻信息的已知类分类器SSLDN-LL和高效的更新模型SSLDN-U组成。在8个数据集上同5个最新的对比算法的实验充分验证了SSLDN能够高效处理半监督流数据中新类和已知类之间不同程度分离场景下的新类检测问题。在进行长数据流模拟时,针对不同大小的数据,SSLDN的评价指标比其他算法好。在时间运行方面,SSLDN所用的时间与其他算法相比较短,表明SSLDN能够快速对流数据做出判断。

关键词：半监督学习异常检测鲁棒性新类检测流分类

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于机器视觉的筒纱纸管自动检测研究

基于机器视觉的筒纱纸管自动检测研究

作者：马传旭江南大学

学位级别：硕士

在小批量、多品种的纺纱加工背景下,相同品种的纱线常采用同一型号的纸管进行络筒,纸管类型与筒子纱品种具有一一对应关系。纺纱企业为了充分利用场地空间,通过布置空中导轨进行筒子纱的运输,这种情况下无法依靠人工分辨,只能依靠机械... 详细信息

在小批量、多品种的纺纱加工背景下,相同品种的纱线常采用同一型号的纸管进行络筒,纸管类型与筒子纱品种具有一一对应关系。纺纱企业为了充分利用场地空间,通过布置空中导轨进行筒子纱的运输,这种情况下无法依靠人工分辨,只能依靠机械抓手的信息确定筒子纱品种。如果操作失误给机械手上错品种,没能将其检出而用于织造或打包流入市场,会影响产品质量或被闲置、丢弃造成原材料的浪费。在筒子纱运输过程中,结合纸管信息与机械抓手信息进行检测可以提高检测效果。针对筒子纱运输轨道上的纸管检测问题,本文提出了基于机器视觉的检测方法,具体研究内容如下:(1)对筒子纱运输轨道结构和筒子纱图像采集条件进行分析,探索出一套针对空中运输轨道筒子纱图像的采集方案。对筒子纱图像进行预处理,首先对纸管区域进行定位,对不同的图像分割方法进行对比,优选了大津阈值法与图像轮廓结合的纸管区域分割方法,将分割得到的纸管色环通过极坐标变换与插值算法展开成像;然后使用快速引导滤波方法提取纸管HSV图像亮度通道的光照分量,并结合二维伽马变换对图像进行对比度增强,通过对不同卷积核大小的滤波平滑效果比较,使用5×5的双边滤波方法进行图像去噪,滤除无关信息的干扰;最后通过施加自定义的光照模型对纸管图像进行光照调节。(2)根据纸管印刷的颜色及图案特点,选择使用颜色及纹理特征对图像信息进行向量化表达。提出使用特征对纸管的SVM分类准确率和t-SNE降维特征的可分程度作为特征优选的依据。对颜色特征进行对比时,使用仅颜色不同纸管类型,优选CIEL*a*b*空间的颜色矩表征纸管颜色信息,此特征对不同颜色组成的纸管分类准确率可达100%,且各类别的特征差异明显。对纹理特征进行分析时,使用仅图案不同的纸管,对比得出采样点为8,采样半径为2的旋转不变等价模式LBP算子作为纸管图像的最优纹理描述子,此特征对不同图案的纸管类型的平均分类准确率达98%。使用颜色和纹理特征串联表征纸管图像信息。(3)根据纸管检测任务的不同需求,提出了针对已知类纸管检测和新类纸管检测的解决方法。面向已知类纸管检测时,提出使用尽可能少的样本构造高精度的随机森林分类模型进行检测,模型对蓝色的M纹、斜条和梅花纸管的平均准确率、召回率和F1值分别为97.41%、97.33%、97.32%,当检测不同色或颜色图案均不同的纸管类型时有更好的表现。面向有新类出现的检测任务时,在构造随机森林的基础上,引入孤立森林进行异常样本的检测,通过异常样本的离群程度检测新类。在相同颜色、相同图案及颜色图案均不同的纸管作为训练样本的情况下,对已知类的误检率为0,对新类的检出率分别为100%,95.83%,86.67%,验证了本文所提方法对纸管检测的有效性。设计了一款GUI人机交互界面,使检测的过程可视化。基于给定的已知纸管类型,本文提出了一种基于分类模型、异常检测和离群值的纸管检测方法,对已知类纸管获得准确的检测效果,对新类纸管有较强的检测能力,满足了纺纱企业的检测需求,为机器视觉在纺织检测领域的应用提供了新的思路。

关键词：纸管图像图像分割特征提取分类模型新类检测

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

有新类的动态数据流分类算法研究

计算机科学与探索 2021年第1期15卷 132-140页

作者：武炜杰张景祥江南大学理学院江苏无锡214122

针对有新类的动态数据流分类算法检测新类性能不高的问题,提出一种基于k近邻的完全随机森林算法(KCRForest)。该算法利用动态数据流中已知类样本构建完全随机森林的完全随机树,并根据叶节点平均路径长度将样本空间分成正常区域与异常区... 详细信息

针对有新类的动态数据流分类算法检测新类性能不高的问题,提出一种基于k近邻的完全随机森林算法(KCRForest)。该算法利用动态数据流中已知类样本构建完全随机森林的完全随机树,并根据叶节点平均路径长度将样本空间分成正常区域与异常区域。通过落入异常区域中样本的k近邻计算该样本离群值。若样本离群值大于设定阈值,则判断样本为新类,否则为已知类。落入异常区域的已知类样本由该样本的k近邻得到样本标签分布,否则取该区域中原训练样本标签分布,投票得到样本标签。当新类样本检测达到一定数量时,利用新类样本信息更新模型,便于检测其他新类。为了验证KCRForest算法检测新类的有效性,分别在4个UCI数据集上进行实验,并与已有算法进行比较。结果表明该算法的新类检测性能优于或与iForest+SVM算法、LOF+SVM算法相当,分类准确率明显高于SENCForest算法。

关键词：新类检测完全随机森林动态数据流

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于多变量时间序列的新类识别与学习

基于多变量时间序列的新类识别与学习

作者：姚孝顺电子科技大学

学位级别：硕士

随着各种传感器的硬件技术的高速发展,尤其是多传感器技术,相关器件可以记录并存储大量的数据信息,多传感器记录的时序数据通常都可以使用多变量时间序列数据的形式表示,并可以开展多种形式的数据挖掘任务。相较于单变量时间序列数据,... 详细信息

随着各种传感器的硬件技术的高速发展,尤其是多传感器技术,相关器件可以记录并存储大量的数据信息,多传感器记录的时序数据通常都可以使用多变量时间序列数据的形式表示,并可以开展多种形式的数据挖掘任务。相较于单变量时间序列数据,多变量时间序列不仅存在时间上的依赖性,而且还存在变量（空间）上的依赖性,如何研究其中时空依赖信息成为当前研究的焦点。同时,在真实的复杂场景下,数据在类别层次的语义信息可能会出现偏移,也即会有全新类别数据的出现。未知的全新类别数据会对当前识别任务产生负面效果,因此新类识别任务也成为当前的一个研究热点。多变量时间序列与时间演化紧密相关,随时间的动态演化会出现更多的未知类别。虽然已有部分工作对上述课题进行研究,但是这些算法仍存在着不足之处,在多变量时间序列的数据挖掘过程中,对于时空依赖信息的捕获不足;在应对新类识别问题中,存在模型的灵活程度较差,无法有效利用已知类别信息。针对上述问题,本文提出了相关的算法,贡献如下:（1）针对多变量时间序列时空依赖信息学习不足的问题,提出了基于图池化与时间卷积网络相结合的多变量时间序列表征学习模型GP-TCN,利用图池化技术学习由多变量时间序列构建的图结构的表征信息,与时间卷积网络学习获得的时间依赖信息相结合,获得时空依赖信息。通过对照实验表明模型的有效性。实验结果证明在以分类指标为导向的表征向量学习中,本文的模型与已有的模型相较,能够取得相近并具有一定优势的结果。（2）围绕已知类别数据分布难以学习,无法与新类别区分开的难题,本文将自编码器与动态微簇相结合,提出了AE-DMC新类检测模型,学习数据的低维有效表征,在微簇空间中构建起距离度量,实现线下的微簇创建与线上的新类检测功能。缓解了在新类识别任务中模型灵活性不足,难以实现增量学习的难题。在多类别数据集、多变量时间序列数据集和真实场景的辐射源数据集下开展实验,验证模型的有效性。通过在多个已有的开源数据集与现实场景的XX对象数据集上的结果,说明本文模型能够有效地承担新类识别的任务。

关键词：时序数据挖掘多变量时间序列图神经网络表征学习新类检测

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于主动学习和微聚类的数据流分类方法研究

基于主动学习和微聚类的数据流分类方法研究

作者：陈双双南京信息工程大学

学位级别：硕士

随着信息技术的飞速发展,数据的增长速度逐渐加快。来自生活中各个领域的数据每时每刻都在以流的形式产生,例如社交平台的多媒体数据流、金融行业的交易数据流、交通领域的监控视频数据流等。数据流分类是数据流挖掘领域中一项关键技术... 详细信息

随着信息技术的飞速发展,数据的增长速度逐渐加快。来自生活中各个领域的数据每时每刻都在以流的形式产生,例如社交平台的多媒体数据流、金融行业的交易数据流、交通领域的监控视频数据流等。数据流分类是数据流挖掘领域中一项关键技术,与传统静态数据不同,数据流被定义为是高速连续的、无限的、动态变化的数据序列。因此数据流需要特殊的处理和挖掘算法,相对于静态数据的分类面临着更多的挑战。数据流环境中可能出现概念漂移现象,即数据的潜在分布会随着时间的推移而发生不可预知的变化,导致当前模型性能降低。动态调整已有的分类模型以适应新的数据分布是当前的研究重点。大多数应对概念漂移的分类方法都假设数据是完全标记的,在实际场景中,许多样本缺乏标记,获取所有样本的真实标签耗费资源且难以实现。此外,数据流的多类不平衡和新标签的问题也会降低模型性能,挖掘少数类实例的有效信息和正确识别出新类实例同样是重要的研究任务。因此,本文针对数据流分类进行了系统的研究,设计了解决对应问题的分类和新类检测方法。主要贡献和创新点如下:(1)提出一种概念漂移数据流自适应分类方法。针对标签缺失的问题,采用了一种新的主动学习混合查询策略,选择有价值样本进行标记,将其与基于错误的表示学习相结合,衡量每个微聚类的重要性。通过维护微聚类权重实现模型的动态更新,适应数据流中产生的概念漂移。基于微聚类的距离与纯度设计一种惰性学习框架,实现对数据流中样本的分类。提出基于微聚类的模型自适应调整方法,根据相似性规则合并微聚类,删除过时微聚类,从而释放内存空间。实验结果显示,提出的方法能够有效应对概念漂移,在分类准确率和内存消耗方面优于现有的数据流分类方法。(2)提出一种半监督环境下的不平衡流分类和新类检测方法。考虑到人工标记实例成本高和数据类别不平衡的问题,借助滑动窗口存储样本的标签从而计算不平衡比率,衡量当前数据流的类别分布。然后采用基于边际阈值矩阵的不确定性策略,利用不平衡比率动态调整阈值,并结合随机标签策略得到混合标签查询策略,选择难以分类或潜在的概念漂移样本进行标记。利用基于k近邻的微聚类的集成,能够获取新到达实例局部邻域的数据分布,提高已知类分类和新类检测性能,最后利用缓冲区中存储的新类实例动态更新模型,适应不断变化的概念。实验部分通过已知类实例的分类准确率和新类检测的误报率、漏报率以及所有实例的分类准确率评估提出方法的性能,结果表明该方法不仅在分类方面表现较好,与其他新类检测方法比较也具有优势。

关键词：数据流分类概念漂移主动学习新类检测多类不平衡

考虑新类出现的多变量时间序列数据流的分类研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

考虑新类出现的多变量时间序列数据流的分类研究

作者：单丽平云南大学

学位级别：硕士

随着不同类型传感器在网络中的广泛应用,多变量数据流的精确分类问题已经成为数据挖掘和机器学习领域的研究热点。由于网络中数据流的特征随时间和网络环境的变化而发生变化,数据流会不断有新的类别产生,导致分类精度下降。目前,已经有... 详细信息

随着不同类型传感器在网络中的广泛应用,多变量数据流的精确分类问题已经成为数据挖掘和机器学习领域的研究热点。由于网络中数据流的特征随时间和网络环境的变化而发生变化,数据流会不断有新的类别产生,导致分类精度下降。目前,已经有大量关于多变量数据流的分类方法,但他们都没有考虑到新类的产生。然而在现实生活中,很多应用领域的数据都会有新的数据类别产生,及时检测到新类别,可以提高分类精度,并且对于实际生活有很大的意义。在目前的数据流分类研究当中,仍然存在三方面的问题没有有效的解决:(1)多变量数据流当中的新类检测问题有待研究;(2)较少的考虑到多变量时间序列数据流当中流内特征之间以及不同流的特征之间的相互影响关系;(3)在单变量数据流的新类检测方法当中,现有的方法假设某一个时间内只出现一个新类,然而现实可能会同时出现多个新的类别。因此,针对上面的三个问题,本文所做的主要工作就是通过引入特殊的特征提取方法以及基于聚类的模型更新方法来研究数据流当中新类检测的问题,并将该方法应用到多变量时间序列数据流当中,研究了流挖掘中的一个重要问题,即考虑新类出现的多变量时间序列数据流的分类研究或CMCNC(The Research on Classification of Multivariable Time Series Data Streams Considering New Classes)问题。为了更加直观、快捷的度量多变量时间序列数据流之间的相互影响关系,本文借鉴了生物信息学当中基序的查找方法,通过提取基序以及时序关系特征,经过向量化处理之后,输入到随机森林分类模型当中进行分类以及新类检测,在对模型进行更新时,利用特征的权重和k-means方法对所有新类实例进行聚类,以达到正确检测新类的目的。实验结果表明,与现有的分类方法相比,本文提出的分类方法不仅考虑到了多变量时间序列数据流之间的时序关系,也达到了新类检测的目的,并且能够提升新类检测的准确率,最终该分类方法取得了显著的效果。

关键词：分类新类检测 CMCNC森林基序时序关系

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

开放场景下的鲁棒半监督学习算法研究

开放场景下的鲁棒半监督学习算法研究

作者：朱永南南京大学

学位级别：硕士

近年来,机器学习在诸多现实任务中取得了成功应用,其中一个关键要素在于模型的构建拥有充分的标记数据。然而,现实场景下,标记数据的获取通常代价高昂,亟需要能够有效减少标记代价的机器学习框架,半监督学习就是其中的一类主流范式。经... 详细信息

近年来,机器学习在诸多现实任务中取得了成功应用,其中一个关键要素在于模型的构建拥有充分的标记数据。然而,现实场景下,标记数据的获取通常代价高昂,亟需要能够有效减少标记代价的机器学习框架,半监督学习就是其中的一类主流范式。经过十余年的研究,半监督学习在封闭场景下取得了显著进展。然而,其在面临开放场景时,效果大打折扣,亟待研究能够有效应对开放场景的学习算法。具体而言,1)在开放场景下,类别集合不再固定,新类数据不断涌现,需要有效检测和利用;2)在开放场景下,数据关系不再可靠,复杂异构图数据不断涌现,需要有效过滤和利用。本论文针对开放场景的半监督学习下上述两个难点问题进行研究,取得如下新进展。1.针对类别集合不再固定的动态数据流半监督学习任务,提出了高效鲁棒算法Seen,该算法有效地融合三个子模块:基于随机森林的新类检测器SeenForest,基于标记传播算法的已知类分类器Seen LP和它们的协同更新过程。该算法利用了有限的标注数据和大量的无标注数据,能够自适应地应对不断变化的新类数据流。在四个基准数据集上的实验验证了该算法不仅能对已知类数据做出有效预测,也能精准识别出数据流中的不同新类数据,在各类数据上均有良好表现。2.针对数据关系不再可靠的复杂异构图半监督学习任务,提出了新型图神经网络算法HmGnn。该算法通过生成超点将零散割裂的众多微图串联以便全局共享信息,进而设计了基于注意力机制的异构卷积算法以更有效地学习节点的表示,并从理论上分析了此建图方式的合理性。结合爱奇艺平台的真实数据,本文将HmGnn和主流监督学习方法以及流行的图神经网络方法进行了对比,实验结果表明该算法取得了明显的性能提升,并具备更好的鲁棒性。

关键词：机器学习半监督学习开放环境新类检测标记传播图神经网络