检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

变精度相容粗糙集模型

计算机工程与应用 2012年第26期48卷 134-138,143页

作者：翟俊海翟梦尧高原原王熙照河北大学数学与计算机学院河北保定071002 河北大学机器学习与计算智能重点实验室河北保定071002 河北大学工商学院河北保定071002

将变精度粗糙集的思想引入相容粗糙集,提出了两种变精度相容粗糙集模型,在模型I中,目标概念的下近似和边界域的交集非空;在模型II中,目标概念的下近似和边界域的交集为空。研究了两种模型中上、下近似算子的基本性质、两种模型之间的关... 详细信息

将变精度粗糙集的思想引入相容粗糙集,提出了两种变精度相容粗糙集模型,在模型I中,目标概念的下近似和边界域的交集非空;在模型II中,目标概念的下近似和边界域的交集为空。研究了两种模型中上、下近似算子的基本性质、两种模型之间的关系,以及与其他粗糙集模型之间的关系。

关键词：粗糙集上近似下近似变精度粗糙集相容粗糙集

基于HBase和SimHash的大数据K-近邻算法

在线全文

学校读者我要写书评

暂无评论

山东大学学报（工学版） 2018年第3期48卷 54-59页

作者：王婷婷翟俊海张明阳郝璞河北大学河北省机器学习与计算智能重点实验室河北保定071002 河北大学数学与信息科学学院河北保定071002

针对大数据K-近邻(K-nearest neighbors,K-NN)计算复杂度高的问题,提出一种基于HBase和Sim Hash的大数据K-近邻分类算法。利用Sim Hash算法将大数据集从原空间映射到Hamming空间,得到哈希签名值集合;将样例的行键与值的二元对存储到HBas... 详细信息

针对大数据K-近邻(K-nearest neighbors,K-NN)计算复杂度高的问题,提出一种基于HBase和Sim Hash的大数据K-近邻分类算法。利用Sim Hash算法将大数据集从原空间映射到Hamming空间,得到哈希签名值集合;将样例的行键与值的二元对存储到HBase数据库中,行健(rowkey)为样例的哈希签名值,值(value)为样例的类别;对于测试样例,以其哈希签名值作为健rowkey,从HBase数据库中获取所有样例的value,通过对这些values进行多数投票,即可以得到测试样例的类别。与基于MapReduce的K-NN和基于Spark的K-NN在运行时间和测试精度两方面进行试验比较。试验结果显示,在保持分类能力的前提下,提出的算法的运行时间远远低于其他两种方法。

关键词：大数据 K-近邻分类算法 HBase SimHash

基于Spark和SimHash的大数据K-近邻分类算法

在线全文

学校读者我要写书评

暂无评论

河北大学学报（自然科学版） 2019年第2期39卷 201-210页

作者：翟俊海沈矗张素芳王婷婷河北大学数学与信息科学学院河北省机器学习与计算智能重点实验室河北保定071002 中国气象局气象干部培训学院河北分院河北保定071000

在笔者之前的工作中,提出了一种基于MapReduce和SimHash的大数据K-近邻算法(HMR-K-NN).虽然该算法能够有效解决大数据K-近邻算法的计算效率问题,运行时间远远低于基于MapReduce的K-近邻(MR-K-NN)所用的运行时间.然而,用MapReduce处理大... 详细信息

在笔者之前的工作中,提出了一种基于MapReduce和SimHash的大数据K-近邻算法(HMR-K-NN).虽然该算法能够有效解决大数据K-近邻算法的计算效率问题,运行时间远远低于基于MapReduce的K-近邻(MR-K-NN)所用的运行时间.然而,用MapReduce处理大数据时,需要从磁盘读取数据,再将中间结果写回磁盘,导致系统的I/O开销极大,这大大降低了MapReduce的效率.与MapReduce不同,Spark是一种基于内存的计算框架,它将数据第1次从磁盘读入内存,生成一种抽象的内存对象RDD(resilient distributed datasets).此后,Spark只操作内存中的RDD,计算过程只涉及内存读写,因此大幅提升了数据处理效率.基于这一事实,对算法H-MR-K-NN进行了改进,提出了一种改进的算法(简记为HSpark-K-NN),可以进一步提高大数据K-近邻分类的运行效率.

关键词：内存计算框架 K-近邻哈希技术分类算法大数据集

在线全文

学校读者我要写书评

暂无评论

有序决策树的比较研究

计算机科学与探索 2013年第11期7卷 1018-1025页

作者：王鑫王熙照陈建凯翟俊海河北大学数学与计算机学院河北省机器学习与计算智能重点实验室河北保定071002

有序分类是现实生活中广泛存在的一种分类问题。基于排序熵的有序决策树算法是处理有序分类问题的重要方法之一,这种方法是以排序互信息作为启发式来构建有序决策树。基于这项工作,通过引入模糊有序熵,并以模糊有序互信息作为启发式构... 详细信息

有序分类是现实生活中广泛存在的一种分类问题。基于排序熵的有序决策树算法是处理有序分类问题的重要方法之一,这种方法是以排序互信息作为启发式来构建有序决策树。基于这项工作,通过引入模糊有序熵,并以模糊有序互信息作为启发式构建模糊有序决策树,对有序决策树进行了扩展。这两种算法在实际应用中各有自己的优劣之处,从四个方面对这两种算法进行了详细的比较,并指出了这两种算法的异同及优缺点。

关键词：有序分类模糊有序互信息有序决策树

在线全文

学校读者我要写书评

暂无评论

大数据与大数据机器学习

河北大学学报（自然科学版） 2018年第3期38卷 299-308,336页

作者：张素芳翟俊海王聪沈矗赵春玲中国气象局气象干部培训学院河北分院河北保定071000 河北省机器学习与计算智能重点实验室河北大学数学与信息科学学院河北保定071002

大数据时代已经到来,大数据是指具有海量(Volume)、多样(Variety)、时效(Velocity)、不精确(Veracity)和价值(Value)这5种特征的数据,大数据研究是近几年信息处理领域最热门的研究方向,已经引起了工业界、学术界乃至政府部门的高度关注... 详细信息

大数据时代已经到来,大数据是指具有海量(Volume)、多样(Variety)、时效(Velocity)、不精确(Veracity)和价值(Value)这5种特征的数据,大数据研究是近几年信息处理领域最热门的研究方向,已经引起了工业界、学术界乃至政府部门的高度关注.大数据之所以备受关注,是因为大数据里面蕴藏着巨大的价值.如何把蕴藏在大数据中的价值挖掘出来,为企业或政府部门提供决策支持具有重要的意义.大数据给传统的机器学习带来了许多挑战,这些挑战可以从大数据的5个特征或从5个不同的角度进行分析.本文首先介绍大数据的概念,并详细剖析大数据5种特征的内涵;然后在此基础上,重点分析大数据给机器学习带来的挑战及可能的解决方法.本文对从事大数据研究的人员,特别是从事大数据机器学习研究的人员具有较高的参考价值.

关键词：大数据机器学习云计算决策支持

在线全文

学校读者我要写书评

暂无评论

多哈希表投票样例选择算法

山西大学学报(自然科学版) 2020年第4期43卷 713-718页

作者：黄雅婕翟俊海周翔申瑞彩侯璎真河北大学数学与信息科学学院河北大学河北省机器学习与计算智能重点实验室

随着数据的海量型增长,如何提高数据处理的效率已经对现有的数据挖掘算法提出了挑战。样例选择是指从初始数据中,依据既定规则选出能够代表初始数据的样例,从而有效地减少后续工作的数据量。局部敏感哈希方法是一种近似近邻查找算法,利... 详细信息

随着数据的海量型增长,如何提高数据处理的效率已经对现有的数据挖掘算法提出了挑战。样例选择是指从初始数据中,依据既定规则选出能够代表初始数据的样例,从而有效地减少后续工作的数据量。局部敏感哈希方法是一种近似近邻查找算法,利用同类型数据间距离近,发生哈希碰撞概率高的特点查找近似近邻,但该方法是基于概率的随机映射方法,精确度不高。为了解决这个问题,本文提出一种多哈希表投票样例选择算法,通过基于P-stable分布的局部敏感哈希技术将数据映射到欧式空间,设计多个随机哈希函数,利用生成的多个独立的哈希表投票选择出最终的样例。实验结果显示本文提出的算法在压缩比方面较基于P-Stable分布的局部敏感哈希方法平均提高了47%。

关键词：样例选择局部敏感哈希欧氏距离相似度估计投票

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

核心集径向基函数极限学习机

山东大学学报（工学版） 2016年第2期46卷 1-5 13,13页

作者：翟俊海张素芳胡文祥王熙照河北大学河北省机器学习与计算智能重点试验室河北保定071002 中国气象局气象干部培训学院河北分院河北保定071000 河北大学计算机科学与技术学院河北保定071002

径向基函数极限学习机(radial basis function-extreme learning machine,RBF-ELM)中的两个参数都随机地生成,这导致RBF-ELM算法的不稳定性问题。另外,对于不同的数据集,难于确定隐含层结点的个数。针对RBFELM的这两个问题,提出了一种... 详细信息

径向基函数极限学习机(radial basis function-extreme learning machine,RBF-ELM)中的两个参数都随机地生成,这导致RBF-ELM算法的不稳定性问题。另外,对于不同的数据集,难于确定隐含层结点的个数。针对RBFELM的这两个问题,提出了一种改进算法。首先用核心集方法选择重要的样例,然后用选择的样例初始化中心参数,宽度参数采用随机化方法初始化。该算法不仅可以在一定程度上解决RBF-ELM的不稳定性问题,而且可以确定隐含层结点的个数。试验结果表明:该算法优于RBF-ELM。

关键词：核心集核函数径向基函数极限学习机随机映射

基于随机森林和投票机制的大数据样例选择算法

在线全文

学校读者我要写书评

暂无评论

计算机应用 2021年第1期41卷 74-80页

作者：周翔翟俊海黄雅婕申瑞彩侯璎真河北大学数学与信息科学学院河北保定071002 河北省机器学习与计算智能重点实验室(河北大学) 河北保定071002

针对大数据样例选择问题,提出了一种基于随机森林(RF)和投票机制的大数据样例选择算法。首先,将大数据集划分成两个子集,要求第一个子集是大型的,第二个子集是中小型的。然后,将第一个大型子集划分成q个规模较小的子集,并将这些子集部署... 详细信息

针对大数据样例选择问题,提出了一种基于随机森林(RF)和投票机制的大数据样例选择算法。首先,将大数据集划分成两个子集,要求第一个子集是大型的,第二个子集是中小型的。然后,将第一个大型子集划分成q个规模较小的子集,并将这些子集部署到q个云计算节点,并将第二个中小型子集广播到q个云计算节点。接下来,在各个节点用本地数据子集训练随机森林,并用随机森林从第二个中小型子集中选择样例,之后合并在各个节点选择的样例以得到这一次所选样例的子集。重复上述过程p次,得到p个样例子集。最后,用这p个子集进行投票,得到最终选择的样例子集。在Hadoop和Spark两种大数据平台上实现了提出的算法,比较了两种大数据平台的实现机制。此外,在6个大数据集上将所提算法与压缩最近邻(CNN)算法和约简最近邻(RNN)算法进行了比较,实验结果显示数据集的规模越大时,与这两个算法相比,提出的算法测试精度更高且时间消耗更短。证明了提出的算法在大数据处理上具有良好的泛化能力和较高的运行效率,可以有效地解决大数据的样例选择问题。

关键词：大数据样例选择决策树随机森林投票机制

基于MapReduce和Spark的大数据模糊K-means算法比较

在线全文

学校读者我要写书评

暂无评论

河北大学学报（自然科学版） 2020年第4期40卷 433-440页

作者：翟俊海田石张素芳王谟瀚宋丹丹河北大学数学与信息科学学院河北省机器学习与计算智能重点实验室河北保定071002 中国气象局气象干部培训学院河北分院河北保定071000

从原理和实验2方面对基于MapReduce和Spark的大数据模糊K-均值算法进行分析比较,并对2种大数据开源平台的优缺点进行了总结.由于模糊K-均值算法是一种迭代算法,需要对部分数据进行重复操作以得到最终聚类结果,因此主要从算法执行时间、... 详细信息

从原理和实验2方面对基于MapReduce和Spark的大数据模糊K-均值算法进行分析比较,并对2种大数据开源平台的优缺点进行了总结.由于模糊K-均值算法是一种迭代算法,需要对部分数据进行重复操作以得到最终聚类结果,因此主要从算法执行时间、同步次数、文件数目、容错性能、资源消耗这5方面进行比较,得出的结论对从事大数据研究的人员具有较高的参考价值.

关键词：大数据机器学习聚类算法模糊聚类算法迭代算法