检索结果-南通市图书馆

非均衡视角下基于数据重采样与文本生成的方面类别检测研究

在线全文

学校读者我要写书评

暂无评论

非均衡视角下基于数据重采样与文本生成的方面类别检测研究

作者：延志鹤山西财经大学

学位级别：硕士

在自然语言处理领域(Natural language processing,NLP)的方面级情感分析(Aspect based sentiment analysis,ABSA)子任务-方面类别检测中,处理文本数据中的方面级别类别不平衡一直是具有挑战性的研究课题。由于目前建立的检测模型往往... 详细信息

在自然语言处理领域(Natural language processing,NLP)的方面级情感分析(Aspect based sentiment analysis,ABSA)子任务-方面类别检测中,处理文本数据中的方面级别类别不平衡一直是具有挑战性的研究课题。由于目前建立的检测模型往往更侧重于多数类的特征,此现象可能会导致难以识别少数类别,并忽略文本数据中包含的更丰富的情感或类别信息。因此,在评论文本方面类别检测任务中,针对少数类别的甄别问题通常是更为重要的任务。传统的不平衡分类算法在数据类别倾斜程度过大时模型可能失效,使其难以应用于现实生活中的不平衡文本类别检测场景。因此,本文基于数据类别非均衡的视角,提出Select-SMOTE算法(Select-Synthetic minority oversampling technique)与混合增强算法的双重策略以解决文本数据集中的方面类别数据倾斜问题。本文具体工作内容如下:(1)基于数据重采样技术,本文提出了Select-SMOTE算法的Light GBM(Light gradient boosting machine)非均衡方面类别检测模型。其中,Select-SMOTE的算法用于解决传统SMOTE算法样本生成过于随机且可能产生噪声的问题。该算法对方面类别样本进行划分,并在进行少数类样本插值生成时,规定两个样本点不同时为边界样本时才允许进行插值。此外,算法采用类间边界样本剔除的方法,以保证多数类和少数类之间的边界更加清晰。最后,输出处理后的均衡数据集,将其输入经过权重调整、超参数优化等微调操作的Light GBM模型,以执行在线评论方面类别检测任务。实验结果表明,本文提出的算法优于基线非均衡方面类别检测算法,并在多数据集上展现出良好的泛化能力。(2)基于文本生成技术,本文提出了混合增强的Bert(Bidirectional encoder representations from transformers)非均衡方面类别检测模型。该模型通过构建均衡公式进而确认数据集的失衡程度,并根据生成倍率采用XLNet(Extra-long network)文本生成和噪声扰动相结合的方式生成类别均衡数据集。随后,将生成的数据集输入Bert预训练模型,并进行参数调整,以进行提高方面类别检测模型的性能。实验结果表明,所提出的模型在准确性方面相对于其他深度学习方面类别检测模型具有显著优势,同时通过文本生成混合增强策略,能够有效解决数据集不平衡分类问题。(3)基于本文提出的Select-SMOTE、文本混合增强的非均衡学习技术,设计并实现了一个面向非均衡文本数据集的方面类别检测系统。该系统具有多项关键功能,可有效提升方面类别检测性能及实用性。首先,该系统能够让用户直观地了解输入文本数据集的方面类别不平衡程度。其次,针对数据不平衡问题,该系统可以自动对文本数据集进行方面类别平衡操作,并显示平衡后的数据类别程度图供用户查看。最后,系统将数据均衡操作与文本方面类别检测功能进行了整合,使得系统易于操作、用户友好。

关键词：非均衡学习方面类别检测数据重采样数据生成系统应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

遥感图像数据重采样的一种快速算法

遥感学报 2002年第2期6卷 96-101页

作者：楼琇林黄韦艮周长宝杨劲松国家海洋局海洋动力过程与卫星海洋学重点实验室国家海洋局第二海洋研究所浙江杭州310012

从原始遥感图像几何畸变特征出发 ,建立了SeaStarSeaWiFS和NOAAAVHRR遥感图像数据重采样的一种快速算法 ,并提出了邻点权重重采样方式。该种快速算法能有效地提高遥感图像几何校正的速度 ,并适用于连续对地观测系统遥感数据的重采样过程。

关键词：遥感图像数据重采样快速算法

在线全文

学校读者我要写书评

暂无评论

面向不平衡数据分类的数据重采样技术研究

面向不平衡数据分类的数据重采样技术研究

作者：刘鹏国防科技大学

学位级别：硕士

随着信息化技术和计算机硬件的发展,各领域产生并存储了大量数据,研究人员致力于从海量数据中提取出对人类社会有价值的信息,却一直受到数据不平衡问题的困扰。所谓的不平衡数据就是指数据集中某一类样本的数量与其他类别样本数量差距较... 详细信息

随着信息化技术和计算机硬件的发展,各领域产生并存储了大量数据,研究人员致力于从海量数据中提取出对人类社会有价值的信息,却一直受到数据不平衡问题的困扰。所谓的不平衡数据就是指数据集中某一类样本的数量与其他类别样本数量差距较大,不平衡数据问题广泛存在于恶意流量检测、故障检测、疾病诊断、金融诈骗检测等领域。在处理不平衡数据时,现有的机器学习方法大多性能较差,直接使用以总体分类精度最大为目标的传统分类算法处理不平衡数据,最终训练出的分类模型会偏向于样本数量众多的多数类而忽略少数类,导致少数类的分类精度较低,如何正确分类不平衡数据面临着巨大的挑战。本文围绕不平衡分类问题展开深入的研究,取得的主要研究进展如下:(1)针对不平衡二分类问题,设计开发了基于样本分类困难度的过采样集成算法OSEA。本文引入样本分类困难度这一概念,它反映的是所有影响分类准确的因素对分类器的综合影响。OSEA算法采用过采样算法与集成学习算法结合的方法,用样本分类困难度作为采样权重指导分类器训练过程。在人工合成数据集和现实世界数据集上测试算法性能,OSEA的AUCPRC指标达到91.1%。相比于多个目前性能优良的通用不平衡分类算法,OSEA的多个评价指标有明显提高。(2)针对不平衡多分类问题,设计开发了基于分解策略的混合重采样集成算法MC-HSEA。本文引入球形邻域清理技术,可以在保留邻域样本信息的基础上缓解样本重叠问题。算法应用OVO分解策略简化多分类问题,然后应用球形邻域清理技术对样本进行数据清理,使用过采样集成算法在少数类样本周围的球形区域内进行过采样。在多个不平衡多分类数据集上测试算法性能,相比于4个通用不平衡多分类算法,MC-HSEA算法的m GM平均提高9.93%,Av Acc平均提高9.33%。(3)针对不平衡时间序列分类问题,设计开发了基于共享最近邻相似性的密度聚类欠采样算法SNN-DCUS。本文使用共享最近邻相似性来缓解时间序列数据维度灾难的问题,用密度聚类中核点的概念去处理聚类数据存在不同大小和形状的簇的问题。在多个不平衡时间序列数据集上测试算法,SNN-DCUS算法的F1-score平均提升5.4%,G-mean平均提升7.45%,AUCPRC平均提升7.55%。

关键词：不平衡数据多分类时间序列数据重采样集成学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

不平衡数据分类中的数据重采样比较研究

通信技术 2020年第6期53卷 1376-1384页

作者：衷宇清陈文文李昭桦广州供电局通信中心广东广州510000 中国能源建设集团广东省电力设计研究院广东广州510000

机器学习在异常检测、疾病诊断等许多不同领域的应用中,普遍存在类别分布不平衡的数据现象。数据重采样是解决不平衡数据分类问题最通用的方法,近年来学术界提出了合成数据采样、聚类采样以及集成采样等一系列算法。各算法所采样生成的... 详细信息

机器学习在异常检测、疾病诊断等许多不同领域的应用中,普遍存在类别分布不平衡的数据现象。数据重采样是解决不平衡数据分类问题最通用的方法,近年来学术界提出了合成数据采样、聚类采样以及集成采样等一系列算法。各算法所采样生成的数据集各具特性,对不同类型分类器的作用各不相同。因此,提出一种系统比较方法,基于多个不同领域的真实数据集,采用9种不同类型的数据重采样算法实现训练集类别均衡化,比较各算法对C4.5决策树、支持向量机和最近邻3种经典分类器的精确率、召回率和F值的影响。实验结果表明,不同重采样算法生成的数据集是分类器敏感的,并给出了适用于3种分类器的重采样算法。

关键词：机器学习数据分类不平衡数据数据重采样

在线全文

学校读者我要写书评

暂无评论

基于多特征聚合的水面遮挡目标检测算法

华中科技大学学报（自然科学版） 2024年第4期52卷 76-81页

作者：冯辉蒋成鑫徐海祥谢磊武汉理工大学高性能船舶技术教育部重点实验室湖北武汉430063 武汉理工大学船海与能源动力工程学院湖北武汉430063 武汉理工大学智能交通系统研究中心湖北武汉430063

针对智能船舶在内河航道航行时经常出现的船舶互相遮挡而影响目标检测精度的问题,提出了一种基于多特征聚合的水面遮挡目标检测算法.首先,在骨干网络设置多尺度感受野特征融合结构,融合被遮挡船舶可视区域与周围环境特征;其次,在骨干网... 详细信息

针对智能船舶在内河航道航行时经常出现的船舶互相遮挡而影响目标检测精度的问题,提出了一种基于多特征聚合的水面遮挡目标检测算法.首先,在骨干网络设置多尺度感受野特征融合结构,融合被遮挡船舶可视区域与周围环境特征;其次,在骨干网络及网络的特征拼接部分添加混合注意力机制,增强网络的长程依赖性,聚合船首和船尾的特征;然后,设计了数据重采样策略,在训练过程中根据船舶类别的数量自适应地调整样本采样频率,缓解数据集中船舶数量的严重不均匀;最后对算法进行验证。结果表明:算法通过聚合被遮挡船舶可视区域与周围环境等多尺度特征,聚合船首、船尾长程特征,相较于原算法精度提升达到了3.3%,有效提升了视觉遮挡状态下水面目标的检测精度.

关键词：智能船舶遮挡检测多尺度特征融合混合注意力机制数据重采样

同方期刊数据库

基于数据采样方法的城市道路自由流行程时间估计

在线全文

学校读者我要写书评

暂无评论

浙江大学学报（工学版） 2022年第6期56卷 1241-1248页

作者：俞怡曾佳棋王殿海浙江大学建筑工程学院浙江杭州310058

基于交通波模型,提出利用车牌识别数据估计城市道路自由流行程时间.无需额外架设检测器或现场测算,所提方法具备准确性、科学性、实用性的特点.基于车辆均匀到达的假设,将行程时间分为自由流行程时间和延误,建立信号影响下的路段行程时... 详细信息

基于交通波模型,提出利用车牌识别数据估计城市道路自由流行程时间.无需额外架设检测器或现场测算,所提方法具备准确性、科学性、实用性的特点.基于车辆均匀到达的假设,将行程时间分为自由流行程时间和延误,建立信号影响下的路段行程时间分布函数.针对现实环境中车流非均匀到达的特点,提出数据重采样方法生成符合均匀流假设的行程时间数据;拟合行程时间分布函数以获得路段自由流行程时间.在杭州市多个路段的数据验证结果表明,重采样后的行程时间数据较好地拟合了行程时间分布模型,估得的自由流行程时间准确且具备理论支撑.

关键词：自由流行程时间行程时间分布数据重采样城市道路

基于生成对抗网络和强化学习的非平衡数据分类研究

在线全文

学校读者我要写书评

暂无评论

基于生成对抗网络和强化学习的非平衡数据分类研究

作者：岳人可云南财经大学

学位级别：硕士

在需要实现分类任务的应用场景中,广泛存在的类别样本数据集非平衡现象是机器学习算法面对的困难。随着智能计算、互联网等领域的快速发展,规模更大、不平衡率更高的非平衡数据集不断产生。为应对数据集非平衡造成的分类困难,本论文将... 详细信息

在需要实现分类任务的应用场景中,广泛存在的类别样本数据集非平衡现象是机器学习算法面对的困难。随着智能计算、互联网等领域的快速发展,规模更大、不平衡率更高的非平衡数据集不断产生。为应对数据集非平衡造成的分类困难,本论文将分别从数据生成和分类算法两个方面,提出一种结合生成对抗网络和强化学习的算法框架,在缓解数据非平衡问题的同时提升对少数类样本的识别能力。其中,将生成对抗网络应用在数据重采样阶段,通过判别器和生成器的对抗学习生成新的分布内数据样本,增加智能体的训练机会。使用强化学习中的奖励机制训练智能体实现分类任务,通过不同类别样本对应奖励大小的区别,强调对少数类样本的识别。论文中提出的算法框架,对处理数据集非平衡问题有以下三个优势:(1)通过奖励机制对少数类样本的强调,能够提升智能体对少数类样本的分类能力。(2)通过生成对抗网络生成的新数据,实现了基于原始数据分布的样本扩充,能够用于平衡奖励大小,缓解智能体训练数据不平衡带来的问题。(3)通过学习数据分布生成的数据集能够增加智能体训练的机会,提升其对数据的探索能力。强化学习算法中,将每个由特征组成的样本作为状态,将环境的奖励与智能体对样本标签预测结果正确与否相结合,以此为基础建立马尔科夫决策过程,将有监督的分类任务转化为序贯决策任务。将生成数据和原始数据随机混合后生成新数据集作为智能体的训练数据,通过智能体不断试错与奖励反馈,引导其实现对不同类别样本的分类任务。通过对真实数据集的实验,表明应用强化学习训练分类器的可行性和使用生成对抗网络生成新数据以提升分类能力的有效性。通过对非平衡数据集的实验,并与其他机器学习算法分类结果进行对比,通过召回率、F1值、马修斯系数等评价指标表明强化学习对少数类样本有更好的识别能力,结合使用生成对抗网络对智能体的分类能力有一定的提升。

关键词：非平衡数据集数据重采样生成对抗网络奖励机制强化学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向分布极端不平衡数据的分类算法研究

面向分布极端不平衡数据的分类算法研究

作者：刘厚涛南京邮电大学

学位级别：硕士

现实世界的数据,往往存在分布不平衡的现象,在一些实际应用问题中甚至存在极端分布不平衡的情况,在这类问题中重点关注的是少数类样本的分类结果。关于分布极端不平衡数据分类问题的研究,主要分为数据和算法两个角度,其中前者进一步分... 详细信息

现实世界的数据,往往存在分布不平衡的现象,在一些实际应用问题中甚至存在极端分布不平衡的情况,在这类问题中重点关注的是少数类样本的分类结果。关于分布极端不平衡数据分类问题的研究,主要分为数据和算法两个角度,其中前者进一步分为采样、特征和代价,后者通常采用的是集成学习方法。本文主要基于贪心的思想,致力于寻找不同方法的最佳组合策略。本文通过实验对比得出深度森林算法在分布极端不平衡数据的分类任务中具有最好的分类效果。为了进一步提升性能,本文主要从采样、特征和代价三个角度研究如何改进深度森林算法,主要工作如下:(1)从采样角度来说,数据重采样是处理不平衡数据分类任务的一种有效方法。本文将混合采样方法与深度森林算法相结合,在使用过采样方法添加少数类样本的同时使用欠采样方法消除噪声样本,从而增加有效的少数类样本信息。实验结果表明该方法相比仅采用过采样或欠采样方法,拥有更好的分类效果。(2)从特征角度来说,数据分布的不平衡往往伴随着特征分布的不平衡,从而导致特征层面的信息分布不均匀,可以使用特征选择方法挑选出合适的特征子集增大少数类样本与多数类样本的区分度。本文基于常见的异常检测算法提取新的特征加入到原始数据中,提出一种基于Top-K贪心改进的特征提取及选择的深度森林算法。实验结果表明该方法在所有方法组合中具备最好的表现。(3)从代价角度来说,代价敏感学习是处理分布不平衡数据的分类问题的常用方法之一。深度森林采用的是级联结构,每一层都包含多个基分类器(通常来说这里的基分类器采用的都是决策树森林)。本文将代价敏感直接学习与深度森林算法相结合,提出一种基于代价敏感的深度森林算法。实验结果表明,引入代价敏感因子的深度森林在分布极端不平衡数据中相比其他的代价敏感方法具备更好的表现。

关键词：极端不平衡数据深度森林数据重采样特征提取及选择代价敏感

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于集成学习的空间科学卫星工作模式识别

空间科学学报 2023年第4期43卷 768-779页

作者：高立京陈志敏郭国航王春梅中国科学院国家空间科学中心北京100190 中国科学院大学北京100049

针对空间科学卫星遥测参数数据量大且特征维度高、需要消耗大量人力资源预先设置海量阈值、预先设置的阈值可能不再适用、现有监测手段可扩展性低等问题,提出了一种基于集成学习的空间科学卫星工作模式识别方法。该方法采用相关系数统... 详细信息

针对空间科学卫星遥测参数数据量大且特征维度高、需要消耗大量人力资源预先设置海量阈值、预先设置的阈值可能不再适用、现有监测手段可扩展性低等问题,提出了一种基于集成学习的空间科学卫星工作模式识别方法。该方法采用相关系数统计特性和互信息理论对遥测参数数据进行筛选降维,使用数据重采样技术解决数据集中存在的类别不平衡问题,构建集成学习模型,实现空间科学卫星工作模式的识别。借助某型号科学卫星真实遥测参数数据对该方法进行验证,在短时内便可构建完成算法模型,模型对整体类别的识别正确率高达99.67%,可正确识别多数类样本和少数类样本,为地面运控人员判断空间科学卫星工作模式提供了决策依据。

关键词：遥测参数数据特征降维数据重采样集成学习