检索结果-南通市图书馆

基于Spark和三路交互信息的并行深度森林算法

在线全文

学校读者我要写书评

暂无评论

通信学报 2023年第8期44卷 228-240页

作者：毛伊敏周展陈志刚江西理工大学信息工程学院江西赣州341000 韶关学院信息工程学院广东韶关512026 中南大学计算机学院湖南长沙410083

针对并行深度森林在处理大数据时存在冗余及无关特征过多、类向量过长、模型收敛速度慢以及并行化训练效率低等问题,提出了基于Spark和三路交互信息的并行深度森林(PDF-STWII)算法。首先,提出基于特征交互的特征选择(FSFI)策略过滤原始... 详细信息

针对并行深度森林在处理大数据时存在冗余及无关特征过多、类向量过长、模型收敛速度慢以及并行化训练效率低等问题,提出了基于Spark和三路交互信息的并行深度森林(PDF-STWII)算法。首先,提出基于特征交互的特征选择(FSFI)策略过滤原始特征,剔除无关及冗余特征;其次,提出多粒度向量消除(MGVE)策略,融合相似类向量,缩短类向量长度;再次,提出级联森林特征增强(CFFE)策略提高信息利用率,加快模型收敛速度;最后,结合Spark框架提出多级负载均衡(MLB)策略,通过自适应子森林划分和异构倾斜数据划分,提高并行化训练效率。实验结果表明,所提算法能显著提升模型分类效果,缩短并行化训练时间。

关键词： Spark框架并行深度森林算法特征选择多级负载均衡

同方期刊数据库

在线全文

学校读者我要写书评

暂无评论

结合信息论和范数的并行随机森林算法

计算机科学与探索 2022年第5期16卷 1064-1075页

作者：毛伊敏耿俊豪江西理工大学信息工程学院江西赣州341000

针对MapReduce框架下的随机森林算法在处理大数据问题时存在的冗余与不相关特征过多,训练特征信息量低以及并行化效率低等问题,提出了大数据下基于信息论和范数的并行随机森林算法(PRFITN)。首先,该算法基于信息增益和Frobenius范数设... 详细信息

针对MapReduce框架下的随机森林算法在处理大数据问题时存在的冗余与不相关特征过多,训练特征信息量低以及并行化效率低等问题,提出了大数据下基于信息论和范数的并行随机森林算法(PRFITN)。首先,该算法基于信息增益和Frobenius范数设计了一种混合降维策略(DRIGFN),获得降维后的数据集,有效减少了冗余及不相关特征数;其次,提出了基于信息论的特征分组策略(FGSIT),根据FGSIT策略将特征分组,采用分层抽样方法,保证了随机森林中决策树构建时训练特征的信息量,提高了分类结果的准确度;最后,在Reduce阶段提出了一种键值对重分配策略(RSKP),获取全局的分类结果,实现了键值对的快速均匀分配,从而提高了集群的并行效率。实验结果表明,该算法在大数据环境下,尤其是针对特征数较多的数据集有更好的分类效果。

关键词： MapReduce框架随机森林(RF) DRIGFN策略基于信息论的特征分组策略(FGSIT) 键值对重分配策略(RSKP)

在线全文

学校读者我要写书评

暂无评论

极光带下层区电双层及密度空穴

强激光与粒子束 2011年第10期23卷 2645-2649页

作者：廖晶晶陈亮毛伊敏江西理工大学应用科学学院信息工程系江西赣州341000

为了得到极光带下层区电双层及密度空穴的形成和演化过程,分析了在静态极限下,强湍动等离子中低频电势、高频调制场及密度扰动之间的非线性耦合方程,并对其进行了数值计算。结果表明,在极光带下层区,坍塌的高频场导致了电双层及密度空... 详细信息

为了得到极光带下层区电双层及密度空穴的形成和演化过程,分析了在静态极限下,强湍动等离子中低频电势、高频调制场及密度扰动之间的非线性耦合方程,并对其进行了数值计算。结果表明,在极光带下层区,坍塌的高频场导致了电双层及密度空穴的形成。所得的电双层为双双层,是一种非线性的实体,即腔子,其电势峰值范围为14～40V,厚度为100～200m,几十个Debye尺度;空穴的最大密度扰动率达到80%以上,这与FAST卫星观测结果相一致。

关键词：电双层密度空穴等离子体极光数值计算

在线全文

学校读者我要写书评

暂无评论

基于KD树和混沌蜉蝣优化的并行谱聚类算法

计算机集成制造系统 2023年第12期29卷 4001-4020页

作者：胡健刘祥敏毛伊敏陈志刚江西理工大学信息工程学院江西赣州341000 赣南科技学院信息工程学院江西赣州341000 中南大学计算机学院湖南长沙410000

针对大数据环境下并行谱聚类算法存在的节点负载不均衡、冗余计算、矩阵相乘时间开销大以及初始簇中心敏感等问题,提出了基于KD(k-dimension)树和混沌蜉蝣优化算法的并行谱聚类算法(PSC-MO)。首先,提出基于采样的KD-tree数据分区策略(D... 详细信息

针对大数据环境下并行谱聚类算法存在的节点负载不均衡、冗余计算、矩阵相乘时间开销大以及初始簇中心敏感等问题,提出了基于KD(k-dimension)树和混沌蜉蝣优化算法的并行谱聚类算法(PSC-MO)。首先,提出基于采样的KD-tree数据分区策略(DPS)划分数据,保证了节点间负载均衡;其次,在构建稀疏相似矩阵过程中,提出优化的分区分配策略(OPA)和基于三角不等式的KD树剪枝策略以进行跨分区的t近邻搜索,避免了过多的冗余计算;然后,提出正规化定理,通过元素对应相乘的方式代替矩阵相乘以优化Laplacian矩阵正规化过程,有效地减少了时间开销;最后,提出混沌蜉蝣优化算法(CMO),得到最佳位置作为初始簇中心后进行k-means并行聚类,解决了算法对初始簇中心敏感的问题。实验表明,PSC-MO算法不但具有良好的聚类效果,而且在大规模数据集上表现出了良好的数据和系统可扩展性。

关键词：大数据并行化 MapReduce模型谱聚类 KD树混沌蜉蝣优化算法

同方期刊数据库

基于Spark框架和ASPSO的并行划分聚类算法

在线全文

学校读者我要写书评

暂无评论

通信学报 2022年第3期43卷 148-163页

作者：毛伊敏甘德瑾廖列法陈志刚江西理工大学信息工程学院江西赣州341000 中南大学计算机学院湖南长沙410083

针对划分聚类算法处理海量的数据存在的数据离散系数较大与抗干扰性差、局部簇簇数难以确定、局部簇质心随机性及局部簇并行化合并效率低等问题,提出了一种基于Spark框架和粒子群优化自适应策略(ASPSO)的并行划分聚类(PDC-SFASPSO)算法... 详细信息

针对划分聚类算法处理海量的数据存在的数据离散系数较大与抗干扰性差、局部簇簇数难以确定、局部簇质心随机性及局部簇并行化合并效率低等问题,提出了一种基于Spark框架和粒子群优化自适应策略(ASPSO)的并行划分聚类(PDC-SFASPSO)算法。首先,提出了基于皮尔逊相关系数和方差的网格划分策略获取数据离散系数较小的网格单元并进行离群点过滤,解决了数据离散系数较大与抗干扰性差的问题;其次,提出了基于势函数与高斯函数的网格划分策略,获取局部聚类的簇数,解决了局部簇簇数难以确定的问题;再次,提出了ASPSO获取局部簇质心,解决了局部簇质心的随机性问题;最后,提出了基于簇半径与邻居节点的合并策略对相似度大的簇进行并行化合并,提高了局部簇并行化合并的效率。实验结果表明,PDC-SFASPSO算法在大数据环境下进行数据的划分聚类具有较好的性能表现,适用于对大规模的数据集进行并行化聚类。

关键词： Spark框架并行划分聚类网格划分粒子群优化自适应策略并行化合并

基于信息熵与遗传算法的并行关联规则增量挖掘算法

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

通信学报 2021年第5期42卷 122-136页

作者：毛伊敏邓千虎陈志刚江西理工大学信息工程学院江西赣州341000 中南大学计算机学院湖南长沙410083

针对大数据环境下基于Can树的增量关联规则算法存在树结构空间占用过大、支持度阈值无法动态设置以及Map与Reduce阶段数据传输耗时等问题,提出了一种基于信息熵和遗传算法的并行关联规则增量挖掘算法MR-PARIMIEG。首先,该算法设计基于... 详细信息

针对大数据环境下基于Can树的增量关联规则算法存在树结构空间占用过大、支持度阈值无法动态设置以及Map与Reduce阶段数据传输耗时等问题,提出了一种基于信息熵和遗传算法的并行关联规则增量挖掘算法MR-PARIMIEG。首先,该算法设计基于信息熵的相似项合并策略(SIM-IE)来合并相似数据项,并根据合并后的数据集进行Can树构造,从而减少树结构的空间占用;其次,提出基于遗传算法的DST-GA策略获取大数据环境下相对最优的动态支持度阈值,根据此阈值进行频繁项集挖掘,避免了冗余的频繁模式挖掘导致的时间消耗;最后,在MapReduce并行化运算过程中使用并行LZO数据压缩算法对Map端输出数据进行压缩,从而减少传输的数据规模,最终提升算法的运行速度。实验仿真结果表明,MR-PARIMIEG在大数据环境下进行频繁项集挖掘时具有较好的性能表现,适用于对较大规模的数据集进行并行化处理。

关键词： Can树信息熵大数据增量挖掘数据压缩

在线全文

学校读者我要写书评

暂无评论

基于不确定贝叶斯分类技术的滑坡危险性评价

中国矿业大学学报 2015年第4期44卷 769-774页

作者：毛伊敏张茂省程秀娟彭喆国土资源部黄土地质灾害重点实验室陕西西安710054 长安大学地质工程与测绘学院陕西西安710036 江西理工大学应用科技学院江西赣州341000

由于引起滑坡的诱发因素(降雨)值无法准确获取,应用概率统计思想,刻画雨量值;依据延安黄土滑坡成灾机理研究,确定坡高、坡度、坡向、坡型、岩土体结构和植被覆盖为滑坡成灾基本因素;提出了不确定贝叶斯分类挖掘技术构建区域滑坡危险性... 详细信息

由于引起滑坡的诱发因素(降雨)值无法准确获取,应用概率统计思想,刻画雨量值;依据延安黄土滑坡成灾机理研究,确定坡高、坡度、坡向、坡型、岩土体结构和植被覆盖为滑坡成灾基本因素;提出了不确定贝叶斯分类挖掘技术构建区域滑坡危险性评价模型方法,达到提高区域滑坡危险性预测精度的目的.以延安市宝塔区为例,验证了运用该方法进行区域滑坡危险评价的可行性.结果表明:采用不确定贝叶斯分类模型对研究区进行危险性划分,评价结果和实际滑坡发育情况吻合,合理地反映区内滑坡灾害发育的总体特征;不确定贝叶斯分类方法的零阶矩曲线下面积值比朴素贝叶斯方法有所提高,证明该方法科学合理.

关键词：不确定贝叶斯模型滑坡危险性评价黄土

在线全文

学校读者我要写书评

暂无评论

基于加权网格和信息熵的并行密度聚类算法

计算机科学与探索 2020年第12期14卷 2094-2107页

作者：胡健徐锴滨毛伊敏江西理工大学信息工程学院江西赣州341000 江西理工大学应用科学学院信息工程系江西赣州341000

针对大数据下基于密度的聚类算法中存在的数据网格划分不合理,聚类结果准确度不高以及并行化效率较低等问题,提出了基于MapReduce和加权网格信息熵的DBWGIE-MR算法。首先提出自适应网格划分策略(ADG)来划分网格单元;其次提出邻居网格扩... 详细信息

针对大数据下基于密度的聚类算法中存在的数据网格划分不合理,聚类结果准确度不高以及并行化效率较低等问题,提出了基于MapReduce和加权网格信息熵的DBWGIE-MR算法。首先提出自适应网格划分策略(ADG)来划分网格单元;其次提出邻居网格扩展策略(NE)用于构建每个数据分区的加权网格,以此提高聚类效果;同时提出加权网格信息熵策略(WGIE)来计算网格密度以及密度聚类算法的ε邻域和核心对象,使密度聚类算法更适用于加权网格;接着结合MapReduce计算模型,提出并行计算局部簇算法(COMCOREMR),从而加快获取局部簇;最后提出了基于并查集的并行合并局部簇算法(MECORE-MR),用于加快合并局部簇的收敛速度,提升了基于密度的聚类算法对局部簇合并的效率。实验结果表明,DBWGIE-MR算法的聚类效果更佳,且在较大规模的数据集下算法的并行化性能更好。

关键词：大数据密度聚类加权网格信息熵

采用N-list结构的混合并行频繁项集挖掘算法

在线全文

学校读者我要写书评

暂无评论

计算机科学与探索 2022年第1期16卷 120-136页

作者：刘卫明张弛毛伊敏江西理工大学信息工程学院江西赣州341000

针对大数据环境下并行MRPrePost频繁项集挖掘算法中存在计算节点负载不均衡,N-list合并效率低以及冗余搜索等问题,提出了基于N-list结构的混合并行频繁项集挖掘算法HP-FIMBN。首先,设计负载量估计函数(LE)来计算出频繁1项集F-list中每... 详细信息

针对大数据环境下并行MRPrePost频繁项集挖掘算法中存在计算节点负载不均衡,N-list合并效率低以及冗余搜索等问题,提出了基于N-list结构的混合并行频繁项集挖掘算法HP-FIMBN。首先,设计负载量估计函数(LE)来计算出频繁1项集F-list中每一项的负载量,同时提出基于贪心策略的分组方法(GM-GS)将F-list中的每一项根据其负载量进行均匀分组,既解决了数据划分中计算节点负载不均衡的问题,又降低了集群中各节点上子PPC-Tree树的规模;其次,提出预先放弃策略(EAS),该策略不仅能有效避免合并过程中的无效计算,而且不需要遍历初始N-list结构就能得到最终的N-list,极大地提高了N-list结构的合并效率;最后,采用集合枚举树作为搜索空间,并提出超集等价剪枝策略(SES)来避免挖掘过程中的冗余搜索,生成最终的挖掘结果。实验结果表明,该算法在大数据环境下进行频繁项集挖掘具有较好的效果。

关键词：频繁项集挖掘 N-list结构贪心策略集合枚举树超集等价剪枝策略(SES)