检索结果-南通市图书馆

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

旋转设备数据不平衡问题的数据生成方法

振动．测试与诊断 2023年第3期43卷 547-554,623页

作者：李洁松伍星刘韬刘畅昆明理工大学机电工程学院昆明650500 云南机电职业技术学院昆明650203 云南省先进装备智能制造技术重点实验室昆明650500

在旋转设备运行状态监测及故障识别时,采集的样本多为无故障样本,而故障样本较少,这种数据分布的不平衡会严重影响分类器识别的准确性。针对此问题,提出了一种少数样本数据生成方法,即基于傅里叶变换与皮尔逊系数优化的生成对抗神经网络... 详细信息

在旋转设备运行状态监测及故障识别时,采集的样本多为无故障样本,而故障样本较少,这种数据分布的不平衡会严重影响分类器识别的准确性。针对此问题,提出了一种少数样本数据生成方法,即基于傅里叶变换与皮尔逊系数优化的生成对抗神经网络(Fourier-Pearson generative adversarial networks,简称FP-GAN)模型。通过对故障少数样本的扩充,提高故障诊断训练和识别的准确性。首先,使用傅里叶变化得到信号频域的单边谱,使用GAN网络生成信号频域;其次,通过皮尔逊相关系数对生成的数据进行优化;最后,通过傅里叶逆变换获得更接近真实数据的生成数据。仿真和实验数据验证表明,基于FP-GAN生成的数据样本在时域特征、时域统计特征以及分类器分类结果方面都能较好地与已有实际数据融合,可以对小样本数据进行增强,能有效解决数据不平衡问题。

关键词：生成对抗神经网络单边谱皮尔逊相关系数傅里叶逆变换数据不平衡

在线全文

学校读者我要写书评

暂无评论

数据不平衡样本合成方法研究

数据不平衡样本合成方法研究

作者：安春生重庆邮电大学

学位级别：硕士

数据不平衡问题是机器学习领域的一个重要研究课题,指的是数据集类别样本数量不近似相等。数据不平衡处理技术广泛应用于医疗诊断、信用评估、生物信息等领域。数据不平衡问题会造成机器学习模型对不同类别的训练失衡,为降低数据不平衡... 详细信息

数据不平衡问题是机器学习领域的一个重要研究课题,指的是数据集类别样本数量不近似相等。数据不平衡处理技术广泛应用于医疗诊断、信用评估、生物信息等领域。数据不平衡问题会造成机器学习模型对不同类别的训练失衡,为降低数据不平衡问题对机器学习分类模型训练的影响,近年很多学者对其进行了深入研究。但是,随着现实场景中更复杂的不平衡数据集出现,数据不平衡研究领域仍然存在着很多的困难与挑战。本研究重点论证了当前数据不平衡领域存在的一些问题,并给出了一种数据不平衡样本合成的过采样算法。主要研究如下:1.针对目前已有数据不平衡技术研究方法,归纳和验证了以下三种数据不平衡研究中存在的问题:类别样本比例对分类模型的影响、样本量级对分类模型的影响、不平衡处理方法对分类模型的影响,为数据不平衡研究提供了理论依据。首先,对数据不平衡问题及其已有解决方法在机器学习分类模型训练中的影响进行了问题归纳。然后,对三种问题进行了实验设计,并阐述了实验过程。最后,根据实验结果分别进行了图表分析以及问题讨论,并给出了实验结论:不同样本量级对分类模型的影响较大,但大样本量的数据集也并不能避免数据不平衡问题;多种不平衡处理方法对SVM、GBDT分类模型在不平衡问题上会提高一定的分类性能。2.针对当前数据不平衡过采样处理算法容易导致模型训练过拟合的问题,给出了一种结合K-means与CTGAN的过采样处理算法。在对上述的数据不平衡问题的归纳与验证实验中发现,目前的数据不平衡过采样算法主要基于随机特征插值方法进行样本合成,然而此类方法在合成的样本数量较多时,很容易造成样本重叠,进而造成模型训练过拟合。K-means CTGAN是从概率分布的角度合成样本,在一定程度上降低了样本合成的重叠率,能够解决模型训练过拟合问题。使用K-means CTGAN算法与四种不平衡处理方法在四个不同类型的不平衡数据集上进行了比较实验。实验结果表明,该方法在F1＿score、G＿mean评价指标下整体效果优于其他过采样方法。最后,使用K-means CTGAN在房屋贷款问题上进行了数据不平衡处理,并设计与实现了房屋贷款预测系统。

关键词：数据不平衡过采样 K-means CTGAN

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向数据不平衡的卷积神经网络故障辨识方法

振动．测试与诊断 2022年第2期42卷 299-307,408页

作者：吴耀春赵荣珍靳伍银邢自扬兰州理工大学机电工程学院兰州730050 安阳工学院机械工程学院安阳455000

针对因不同故障的样本数目不平衡造成卷积神经网络(convolutional neural network,简称CNN)对少数类样本识别准确率偏低的缺陷,采用将一种最小最大化目标函数融入卷积神经网络结构的对策,提出一种适用于故障数据不平衡的最小最大化目标... 详细信息

针对因不同故障的样本数目不平衡造成卷积神经网络(convolutional neural network,简称CNN)对少数类样本识别准确率偏低的缺陷,采用将一种最小最大化目标函数融入卷积神经网络结构的对策,提出一种适用于故障数据不平衡的最小最大化目标函数卷积神经网络(min-max objective CNN,简称MMOCNN)智能故障模式辨识方法。首先,利用卷积神经网络交替的卷积与池化运算自适应学习振动信号中具有表征信息的敏感特征,并通过全连接层(fully connected layer,简称FC)将学习特征映射到类空间;其次,在类空间构造特征的最小最大化目标函数;最后,将最小最大化目标函数融入到卷积神经网络的损失函数中,在模型训练过程中既考虑分类总体误差最小,同时又要求学习的样本特征保持同类距离小、异类距离大,以实现对数据不平衡故障的有效辨识。用轴承的不平衡数据集分别对本方法和传统卷积神经网络的辨识效果进行实验,结果表明,本方法能够使少数类样本的辨识精度提升20%以上。

关键词：智能故障辨识数据不平衡卷积神经网络最小最大化目标函数旋转机械

基于数据不平衡的工业机器人柔性部件故障诊断研究

在线全文

学校读者我要写书评

暂无评论

基于数据不平衡的工业机器人柔性部件故障诊断研究

作者：杨威吉林大学

学位级别：硕士

随着中国制造进入高质量发展时代,工业机器人的应用越来越广泛。而柔性部件作为工业机器人的重要组成部分,其稳定运行对于机器人整体的稳定运行及生产效率至关重要。因此,柔性部件的故障诊断问题需要得到充分的关注和解决。然而,在实际... 详细信息

随着中国制造进入高质量发展时代,工业机器人的应用越来越广泛。而柔性部件作为工业机器人的重要组成部分,其稳定运行对于机器人整体的稳定运行及生产效率至关重要。因此,柔性部件的故障诊断问题需要得到充分的关注和解决。然而,在实际工作过程中工业机器人的故障状态属于少数的异常现象,对其持续监测的过程中采集了大量的正常数据。并且同一设备的不同故障表现在数据中也完全不同、生产实际中故障的发生往往比较随机,难以收集足够的故障数据导致数据不平衡问题广泛存在。此外,在现代化的生产过程中,及时发现故障并进行维护对避免计划外停机是尤为重要的,然而,现有的故障诊断方法大都是依托计算机处理离线数据的策略,这类方法侧重于事后分析,不能有效地利用实时的故障数据,存在一定的滞后性。因此,本文开展了数据不平衡状态下的工业机器人柔性部件故障诊断的研究。本文以工业机器人柔性部件为研究对象,围绕故障诊断中的数据不平衡问题展开研究,以提出的生成模型为基本方法,数据不平衡状态下的故障诊断方法为拓展方案,基于样本增量的实时故障诊断框架为部署应用环节。探索了从数据到结果的不平衡状态下的实时故障诊断方案,提出了基于样本增量学习的实时故障诊断框架。解决了故障诊断任务中长期存在的数据不平衡问题以及实时数据难以利用的问题,论文的主要研究内容如下:(1)首先,对工业机器人的基本结构及柔性部件组成进行了阐述,分析了作为核心的柔性部件的故障原因及主要失效形式,随后,结合失效模式确定了模拟失效方案。最后,搭建了能够避免耦合噪声影响的工业机器人柔性部位的故障诊断试验装置,并针对工业机器人工作过程中的特点提出了不同工况与故障状态下的数据采集方案。(2)阐述了评价样本相似性的指标,结合时间序列生成对抗网络与辅助条件生成对抗网络的特点,提出了一种既能保留时序信息又能快速拟合多模式数据的两阶段生成对抗网络(Two Stage Generative Adversarial Networks,2S-GAN),解决了传统生成对抗网络难以同时生成多种长序列信息的问题。最后,为了更全面的反映模型对不同故障都有良好的生成能力,利用两个公开数据集对生成结果进行验证,结果表明,本文提出的扩充方法在多种不平衡比例下均能生成提高分类模型性能的虚假样本。(3)分析了多尺度残差块与普通残差块的区别,引入基于多尺度残差网络对时频图样本进行分类,利用多尺度处理方法在更细密的层次上提高了故障诊断网络的多尺度表示能力。随后,将数据不平衡状态下的故障诊断任务分解为生成与诊断阶段,结合2S-GAN数据扩充方法建立了数据不平衡状态下的离线故障诊断模型。最后,分别采用公共数据集和工业机器人柔性部件进行案例验证,结果表明本文提出的基于2S-GAN的离线诊断方法可以在多种不平衡比例下获得接近平衡状态的准确率,且能够有效区分不同负载下的故障样本。(4)基于增量学习搭建了工业机器人柔性部件的实时故障诊断框架,首先,对实时诊断任务进行需求分析、阐述了边缘终端硬件选择及环境配置。随后,提出了一种样本增量学习的训练流程,并基于此研究了基于Res2Net的实时诊断方法。最后,设计了适用于边缘设备的样本增量学习故障诊断框架,实现了在边缘端使用通过预处理的实时数据对模型进行参数自更新,旨在提供一种数据不平衡状态下的工业机器人柔性部件的实时诊断方法。

关键词：工业机器人数据不平衡生成对抗网络故障诊断

基于一种新数据不平衡处理方法的销量预测研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于一种新数据不平衡处理方法的销量预测研究

作者：王仕杨南昌大学

学位级别：硕士

中国电子商务经过十多年的蓬勃发展,现已成为一片红海市场。身处平台中的中小卖家,无不感受到竞争环境的恶化。单纯依靠增加广告营销费用来购买流量以便增加订单的做法不再有效,已经无法在竞争中立于不败之地。如何精细化运营,更精准合... 详细信息

中国电子商务经过十多年的蓬勃发展,现已成为一片红海市场。身处平台中的中小卖家,无不感受到竞争环境的恶化。单纯依靠增加广告营销费用来购买流量以便增加订单的做法不再有效,已经无法在竞争中立于不败之地。如何精细化运营,更精准合理地制定采购和生产计划,尽可能地减少库存,加快货物周转率,才是中小卖家节省成本,提高利润的有效途径。相比利用传统的统计方法进行销量预测,通过机器学习实现销量更准确预测是一种更好的方案。本文是对一个零食电商企业的销量预测进行研究。一共分为两大部分:第一部分是对线上单店所有商品周汇总销量的预测。第二部分是对线上单店每个具体的商品销量进行预测。针对整店的周汇总销量,本文采用两种不同原理所实现的模型:基于惯性思想的ARIMA模型和基于记忆学习原理的LSTM模型以及二者的组合模型,对电商整店周销量进行预测。针对具体商品销量的预测,因为有更多更细化的属性特征可供使用。论文中采用基于树模型的集成模型GBDT进行建模,除能充分利用各属性信息的外,模型中众多的弱学习器也使得模型泛化性能更强,预测结果更准确。在对具体商品销量的预测过程中,由于存在活动销量数据相比日常销量,数据波动性太大的问题,使得准确的预测非常困难。为了得到更精准的预测结果,首先,通过构建相关指标为数据进行活动打标,从而把数据划分成活动和非活动两部分。进而对两部分单独进行建模,能较好地提高预测效果。另外,为了解决数据不平衡问题,本文提出了一种能进一步显著地改善模型性能,提高预测准确率的数据不平衡处理方法。此方法具有先进性、通用性、普适性。

关键词：数据不平衡数据挖掘组合模型销量预测活动标记

一种针对侧信道建模攻击中数据不平衡的新方法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

密码学报 2021年第4期8卷 549-559页

作者：汪平郑梦策南杰慧罗志敏胡红钢中国科学技术大学中国科学院电磁空间信息重点实验室合肥230027

基于机器学习或深度学习的侧信道建模攻击本质上是一个有监督分类问题,而分类标签的依据是泄露模型,我们经常使用的两种泄露模型是汉明重量(Hamming Weight,HW)和汉明距离(Hamming Distance,HD).当使用HW/HD作为采集轨迹的标签时,会出... 详细信息

基于机器学习或深度学习的侧信道建模攻击本质上是一个有监督分类问题,而分类标签的依据是泄露模型,我们经常使用的两种泄露模型是汉明重量(Hamming Weight,HW)和汉明距离(Hamming Distance,HD).当使用HW/HD作为采集轨迹的标签时,会出现数据不平衡的问题.在本文中,我们首次使用条件生成对抗网络(Conditional Generative Adversarial Network,CGAN)来生成轨迹,通过数据扩张的方法来构建平衡的训练集,从而提升模型的攻击效果.我们选取了三种公开数据集来验证该方法的有效性,包括无防护的AES硬件实现、带有一阶掩码防护的AES软件实现以及带有随机延迟防护的AES软件实现.实验结果表明,由重构的平衡训练集所训练出的模型具有更好的攻击效果,有效地减少了成功攻击所需的轨迹条数,并且在具体分析模型的类别预测比例时,能够正确预测更多的少数类别样本.这也表明优化后的模型学习到了更全面的类别.对比Picek等在2019年的相关工作,我们的方法有了更进一步的提升.

关键词：侧信道建模攻击数据不平衡生成对抗网络

在线全文

学校读者我要写书评

暂无评论

面向不平衡数据集的汽车零部件质量预测

中国机械工程 2022年第1期33卷 88-96页

作者：李敏波董伟伟复旦大学软件学院上海200433 复旦大学上海市数据科学重点实验室上海200433

针对汽车零部件质检数据存在合格品与不合格品数量不平衡的问题,提出了基于密度聚类与多工序制造特征的MCDC-MF-SMOTE质检数据过采样方法。先对少数类(不合格)与多数类(合格)样本分别进行密度聚类,再对多工序制造数据和类簇样本分布进... 详细信息

针对汽车零部件质检数据存在合格品与不合格品数量不平衡的问题,提出了基于密度聚类与多工序制造特征的MCDC-MF-SMOTE质检数据过采样方法。先对少数类(不合格)与多数类(合格)样本分别进行密度聚类,再对多工序制造数据和类簇样本分布进行过采样权重计算;根据设定的过采样比和类簇权重,在少数类簇中进行过采样数据生成。使用MCDC-MF-SMOTE过采样方法生成汽车零部件质检的平衡数据集,并采用随机森林排序制造特征的重要性,对分类模型LightGBM、XGBoost、SVM和MNB进行Stacking集成来预测不合格品。与随机抽检相比,该方法对不合格产品的检出率提高了约63%。

关键词：数据不平衡质量预测密度聚类集成学习

面向信用数据不平衡问题的重采样集成算法研究

在线全文

学校读者我要写书评

暂无评论

面向信用数据不平衡问题的重采样集成算法研究

作者：袁玉洁湖南大学

学位级别：硕士

随着金融科技的发展,当碰到资金周转紧张的时候,借贷手续简单、放款快的网络贷款比传统贷款更受欢迎。尽管P2P(Peer-to-Peer)贷款近十年发展暴露出许多问题,然而人们对网络贷款的需求却有增无减。一旦借款者出现失信行为,贷款资金所有... 详细信息

随着金融科技的发展,当碰到资金周转紧张的时候,借贷手续简单、放款快的网络贷款比传统贷款更受欢迎。尽管P2P(Peer-to-Peer)贷款近十年发展暴露出许多问题,然而人们对网络贷款的需求却有增无减。一旦借款者出现失信行为,贷款资金所有人的利益就会严重受损。为了降低贷款资金所有人的利益受损风险,建立有效的信用风险评估模型非常重要。构建有效的信用风险评估模型主要面临信用数据不平衡的问题。在信用评分数据中,非违约类数据远远多于违约类数据,存在严重的数据失衡。现有解决信用数据不平衡的方法大多以提高违约者分类效果为目标,忽视了非违约者的分类效果。信用贷款是以利益为导向的,非违约者分类性能的下降会导致信用好的客户流失。此外,现有解决数据不平衡的方法主要考虑样本数量的倾斜,而没有过多关注数据的空间分布,使得处于决策边界附近的样本更容易被错分类。针对以上问题,本文的研究如下:针对现有解决数据不平衡的方法是以牺牲多数类的性能来提高少数类的性能的问题,本文提出了基于一分类与二分类的集成模型(EMOCB)用于信用评分。该模型使用Bagging采样与随机欠采样的重采样技术来改善数据不平衡问题,并用一分类再一次学习多数类样本以保证多数类的性能。最后用Bagging集成一分类与二分类的分类器以提升最终分类效果。在Lening Club、Prosper以及拍拍贷数据集验证了EMOCB的有效性,EMOCB可以提高少数类性能的同时保证了多数类的性能。针对分类问题中类决策边界附近的样本比远离边界样本更容易被错分类问题,本文提出了基于类边界的重采样集成模型(REMCB)。该模型利用边界样本划分以着重学习决策边界附近的样本,进而利用基于Kmeans的随机欠采样技术来挑选出具有代表性的样本,然后利用条件表格生成对抗网络来生成少数类样本以解决数据不平衡问题,最后使用Bagging集成提升分类效果。在Prosper、Lending Club与Taipei信用评分数据集来验证了REMCB的性能,与其他方法相比,REMCB模型有较好的综合性能。

关键词：信用评分数据不平衡一分类重采样方法类决策边界集成学习

一种基于数据不平衡技术的TLS未知应用流量分类方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一种基于数据不平衡技术的TLS未知应用流量分类方法研究

作者：贺慧杰北京工业大学

学位级别：硕士

网络流量分类作为网络管理和网络安全的基础,对于网络运营而言有着举足轻重的作用,因此网络流量分类在网络环境中各领域的研究已成为重点。随着研究的深入,对于含有未知应用流量(应用类别不包含在训练集中的流量)的网络流量分类研究已... 详细信息

网络流量分类作为网络管理和网络安全的基础,对于网络运营而言有着举足轻重的作用,因此网络流量分类在网络环境中各领域的研究已成为重点。随着研究的深入,对于含有未知应用流量(应用类别不包含在训练集中的流量)的网络流量分类研究已经成为新的潮流,尤其是TLS未知应用流量。针对含有TLS未知应用流量的网络流量分类方法不同于传统的网络流量分类方法。具体而言,网络流量分类方法在对TLS未知应用流量进行分类时,不仅需要提高TLS已知应用流量(应用类别包含在训练集中的流量)的分类准确率,还需要有效处理TLS未知应用流量。然而,传统的网络流量分类方法不仅难以实现对TLS加密流量进行高准确分类,而且无法对TLS未知应用流量进行有效处理。因此,鉴于传统的网络流量分类方法存在的问题和TLS未知应用流量分类面对的挑战,本文的主要研究内容如下:(1)TLS加密流量的特征提取与表示本文以TLS加密流量为研究对象。首先,以整条流的层面为出发点,从报文长度角度和报文字节角度提取能高度区分不同应用的高质量特征;然后,将这些特征按数据报文到达的顺序排列形成报文长度序列和报文字节序列,用这两个序列共同表示一条TLS加密流。这种特征提取与表示方法不仅可以更准确地描述加密流,而且在后续的数据使用方面也更加灵活。(2)已知应用流和未知应用流的精准分离本文利用数据不平衡技术对已知应用流和未知应用流分离模块进行设计。首先,该模块构建多个不平衡数据集,并利用这些数据集训练多个能压缩一类已知应用流输入空间范围的单类别分类器;然后,将所有单类别分类器进行聚合达到压缩所有已知应用流输入空间范围并为未知应用流预留出输入空间的目的,从而实现已知应用流和未知应用流的精准分离,为未知应用流的有效处理奠定基础。(3)TLS加密流的准确分类本文利用随机森林算法的输入包容性,结合多角度拼接数据训练并生成一个高准确分类TLS加密流的精细化分类模型。首先,本文将报文长度序列和报文字节序列进行拼接融合,形成对TLS加密流描述更加准确的多角度拼接序列;然后,采用基于集成学习的随机森林算法训练并生成针对TLS加密流的精细化分类模型,确保对TLS加密流分类的准确性和可靠性。最后,为了证明本文提出方法的有效性,本文在涵盖25种应用程序的真实TLS数据集的基础上,设计了三组不同未知应用占比(20%、40%和60%)的场景,并根据本文所提方法在各场景的综合表现去评估该方法的优越性和可靠性。实验结果表明,本文所提方法的-Score值达到94%-96%,比现有最先进的方法平均高出5个百分点。

关键词：数据不平衡 TLS未知应用流量网络流量分类随机森林