检索结果-南通市图书馆

检索条件"主题词=Tomek Links"

共 3 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

基于机器学习算法的高速公路交通事件检测研究

基于机器学习算法的高速公路交通事件检测研究

引用

作者：王娴南京大学

学位级别：硕士

近年来,国家大力发展交通运输,高速公路产业发展迅猛,截至2018年底,我国的高速公路通车里程突破14万公里,里程规模位居世界第一。同时,随着交通网络的不断扩大和车辆的大规模增加,交通事故频繁发生,交通拥堵严重,损害了正常的交通秩序... 详细信息

近年来,国家大力发展交通运输,高速公路产业发展迅猛,截至2018年底,我国的高速公路通车里程突破14万公里,里程规模位居世界第一。同时,随着交通网络的不断扩大和车辆的大规模增加,交通事故频繁发生,交通拥堵严重,损害了正常的交通秩序。及时准确的交通事件检测,能够有效缓解交通事件造成的交通拥堵,预防二次事故的发生,增加高速公路通行的安全性。交通事件自动检测(Automatic Incident Detection,AID)属于经典的二分类问题,可以将事件状态分为两种:正常运行和交通事件。现实场景中,交通事件数据一般远少于正常运行状态数据,因此,交通事件检测问题实质是不平衡分类问题。本文以基本的机器学习算法作为分类器,并结合不平衡数据集的处理算法,提出了几种交通事件检测模型。首先,将贝叶斯网络、逻辑回归、SVM、决策树、神经网络、AdaBoost、梯度提升树、随机森林分别作为分类器,并采用网格搜索方法进行参数优化,比较不同分类器的性能,筛选出综合性能更优的随机森林作为交通事件检测算法的分类器。其次,为了解决交通数据集的不平衡问题,提出基于合成少数过采样技术(Synthetic Minority Over-sampling Technique,SMOTE)的随机森林算法模型,使用少量样本来控制人工样本的生成和分布,以达到数据集均衡的目的,再通过随机森林分类器,实验获得相应的性能参数值,并与仅使用基本机器学习算法的模型进行对比分析。最后,考虑到SMOTE方法生成的样本存在重复项,从而容易导致模型过拟合的问题,于是引入数据清洗技术tomek links和ENN(Edited Nearest Neighbor),可以清除重复样本。先使用SMOTE方法得到平衡数据集,再利用tomek links或者ENN方法剔除平衡数据集中的噪声点,随后通过随机森林分类器,并与前面几种模型的检测性能进行对比分析。得出最终结论,基于SMOTE和tomek links结合的随机森林算法事件检测模型的性能最优。本文的实验数据来源于京沪高速公路无锡检测点的真实数据库,实验算法以PyCharm软件为编程平台实验。实验结果表明,本文提出的基于SMOTE和tomek links方法的随机森林交通事件检测模型能改善不平衡数据集的交通事件检测效果,提升事件检测效率,获得更佳的综合性能。

关键词：交通事件检测随机森林不平衡数据集 SMOTE tomek links

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向不平衡数据的分类技术研究及应用

面向不平衡数据的分类技术研究及应用

引用

作者：张鹏山西财经大学

学位级别：硕士

数据的不平衡分类问题广泛存在于工业生产、金融、信息安全等诸多领域,是近年来持续研究热点之一。不平衡数据中往往是某些类样本所占比例少,使用传统的数据挖掘分类算法在处理这类数据集的分类问题时,很容易把其中的小类样本错误分类,... 详细信息

数据的不平衡分类问题广泛存在于工业生产、金融、信息安全等诸多领域,是近年来持续研究热点之一。不平衡数据中往往是某些类样本所占比例少,使用传统的数据挖掘分类算法在处理这类数据集的分类问题时,很容易把其中的小类样本错误分类,但这些类的识别是用户重点关注的,具有更高的研究价值。不平衡数据集中类标签不平衡、类重叠、小类样本过少等特点是影响分类困难的主要原因。目前解决不平衡数据分类问题的方法主要为数据层面的样本采样方法和算法层面的分类器改进方法,现有样本采样处理方法中存在一些问题,如欠采样方法易丢失有效信息、过采样方法易导致过拟合。分类器算法的改进方法各有千秋,都有局限性。本文就分类中数据的不平衡问题进行两方面的研究,并将研究成果应用于医疗诊断问题中。本论文在数据层面,针对有标签的数据集中存在的数据不平衡问题,提出了一种数据不平衡处理的TLS(tomek links-Smote)混合采样算法。该算法对于数据集中的所有样本,找出数据集中属于“tomek links对”的所有样本点,然后把这些样本点都剔除之后对剩余的小类样本点用Smote算法进行过采样,将得到的新的大类样本和新的小类样本结合,从而得到新的数据集。论文选择UCI数据集进行实验验证,实验证明TLS采样算法相较于传统的类别不平衡处理采样算法,对数据集中小类样本具有更好的识别效果。在算法层面,本文主要对随机森林分类的决策规则做了改变。传统随机森林算法采用绝对多数投票法,最后输出的类别是由决策树输出的类别的众数而定。此种方法看似公平,但随机森林中每棵决策树的分类能力不同其表现的分类结果也有好有坏,若投票权重相同往往会导致最终结果存在误差,这种情况在不平衡数据集上表现得尤为明显,分类结果往往偏向于多数类别。本文将随机森林的决策规则“输出的类别是由决策树输出的类别的众数而定”改变为取决于随机森林中预测为小类样本树数量与预测为大类样本树数量之比。通过大量实验发现这能很好的改善数据集中小类样本的识别效果。通过选定的数据集进行了实验验证,并对各个数据集的评价指标结果进行了简单的可视化展示,更直观地对比分析各个算法模型的优劣,证明了改进随机森林方法在不平衡数据分类中的有效性。本文将不平衡数据集在数据层面与算法层面所做的工作同时用于糖尿病诊断中,建立了TLS(tomek links-Smote)、改进随机森林、TLS+改进随机森林三种糖尿病诊断模型。分析了各种模型的合理性,为医生对糖尿病的诊断提供辅助。

关键词：不平衡数据 tomek links Smote 随机森林分类

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一种改进的不平衡数据集过采样方法及其并行算法研究

一种改进的不平衡数据集过采样方法及其并行算法研究

引用

作者：高阳烟台大学

学位级别：硕士

不平衡数据集是指数据集中各类别所含样本数有较大的差距,含有较多样本数的类别是多数类(反例)样本,反之为少数类(正例)样本。在不平衡数据集中,少数类样本所蕴含的信息更有挖掘价值。过采样方法可以通过增大正例样本数目使数据集中正... 详细信息

不平衡数据集是指数据集中各类别所含样本数有较大的差距,含有较多样本数的类别是多数类(反例)样本,反之为少数类(正例)样本。在不平衡数据集中,少数类样本所蕴含的信息更有挖掘价值。过采样方法可以通过增大正例样本数目使数据集中正反例样本数达到相对平衡,从而达到提高不平衡数据集的分类准确性的目的,为此提出基于蚁群聚类的不平衡数据过采样方法ACC-SMOTE。现有的过采样方法处理高维的、海量的不平衡数据集效率相对较低,而本文借助Spark平台处理海量数据集时快速高效全面的分析能力,将ACC-SMOTE算法在Spark平台上进行并行算法设计,提出基于Spark的不平衡数据过采样并行算法ACCOP。具体工作如下所述:对于提出的基于蚁群聚类的不平衡数据过采样算法ACC-SMOTE,其算法设计思想主要包括以下两个方面:一方面根据改进的蚁群聚类算法将所有正例样本分成若干个子簇,不仅考虑到类间样本数目的不平衡还考虑到少数类内部样本的不平衡,根据子簇所占样本的比例运用SMOTE算法进行过采样,从而降低类间与类内数据的不平衡度;另一方面对过采样后的少数类样本采用tomek links数据清理技术进行及时修正,清除少数类样本中的噪声,从而保证合成样本的质量。本文所用训练集和测试集均为UCI数据集。实验结果表明本算法可以合成较高质量的少数类样本,从而明显提升分类器对不平衡数据集的分类精度。对于提出的基于Spark的不平衡数据过采样并行算法ACCOP,其算法思想是在Spark集群平台分别实现对蚁群聚类算法阶段和过采样算法阶段的并行算法设计。蚁群聚类阶段将每只蚂蚁确定类簇和中心节点后计算目标函数值的过程进行并行算法设计;过采样阶段将所有结点中的样本计算其所含正例样本之间的欧氏距离的过程进行并行算法设计。实验表明,在计算机节点数不变时,随着数据集样本数目的增加,该算法在Spark集群平台环境下的执行时间比该算法在一个单机环境下的执行时间要明显地短,这说明该算法具备并行处理大数据集的能力,从而提高算法执行的效率。

关键词：不平衡数据集过采样蚁群聚类 tomek links Spark框架

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

全选清除本页清除全部题录导出标记到“检索档案”

共1页 << < 1 > >>

回到顶部

执行限定条件

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：