检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于统计显著性检验的高效用项集挖掘算法

计算机应用研究 2024年

作者：吴军魏丹丹欧阳艾嘉王亚遵义师范学院信息工程学院

针对传统高效用项集挖掘算法在具有不同类型标签事务中报告假阳性高效用项集的问题，提出两个基于统计显著性检验的高效用项集挖掘算法——FHUI和PHUI算法。这两个算法首先找到所有待检验高效用项集并依据项集长度进行分组；然后，FHUI... 详细信息

针对传统高效用项集挖掘算法在具有不同类型标签事务中报告假阳性高效用项集的问题，提出两个基于统计显著性检验的高效用项集挖掘算法——FHUI和PHUI算法。这两个算法首先找到所有待检验高效用项集并依据项集长度进行分组；然后，FHUI算法根据项集自身的频率分布生成零分布，PHUI算法根据事务内置换策略或事务间置换策略构造置换事务集合生成零分布。最后，FHUI和PHUI算法从零分布中计算出p值并运用错误发现率剔除假阳性高效用项集。基准事务集合实验结果显示FHUI和PHUI算法能够剔除大量的假阳性高效用项集，在后续分类任务中取得了更高的正确率；仿真事务集合实验结果显示FHUI和PHUI算法报告的项集中假阳性高效用项集数量占比低于4.8%且平均效用高于39000。实验结果证明在具有不同类型标签事务中FHUI和PHUI算法报告的统计显著高效用项集可靠性和实用性更强。

关键词：数据挖掘高效用项集挖掘统计显著性检验 Fisher检验置换检验

HHUIM:一种新的启发式高效用项集挖掘方法

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

计算机应用研究 2024年第1期41卷 94-101页

作者：高智慧韩萌李昂刘淑娟穆栋梁北方民族大学计算机科学与工程学院银川750021

针对基于启发式的高效用项集挖掘算法在挖掘过程中可能丢失大量项集的问题,提出一种新的启发式高效用项集挖掘算法HHUIM。HHUIM利用哈里斯鹰优化算法进行种群更新,能够有效减少项集丢失。提出并设计了鹰的替换策略,解决了搜索空间较大... 详细信息

针对基于启发式的高效用项集挖掘算法在挖掘过程中可能丢失大量项集的问题,提出一种新的启发式高效用项集挖掘算法HHUIM。HHUIM利用哈里斯鹰优化算法进行种群更新,能够有效减少项集丢失。提出并设计了鹰的替换策略,解决了搜索空间较大的问题,降低了适应度函数值低于最小效用阈值的鹰的数量。此外,提出存储回溯策略,可有效防止算法因收敛过快陷入局部最优。大量的实验表明,所提算法优于目前最先进的启发式高效用项集挖掘算法。

关键词：哈里斯鹰优化算法高效用项集挖掘启发式算法智能优化算法

在线全文

学校读者我要写书评

暂无评论

高效用项集挖掘算法的改进及其应用研究

高效用项集挖掘算法的改进及其应用研究

作者：谢观燕北方工业大学

学位级别：硕士

高效用项集挖掘是数据挖掘领域中研究热点之一,它旨在发现事务数据库中具有高度重要性的模式。近年来,学者们提出了大量相关方面的算法,并取得了一定的研究成果。然而,目前大多数高效用项集挖掘算法仅仅关注项集的效用值,导致挖掘出的... 详细信息

高效用项集挖掘是数据挖掘领域中研究热点之一,它旨在发现事务数据库中具有高度重要性的模式。近年来,学者们提出了大量相关方面的算法,并取得了一定的研究成果。然而,目前大多数高效用项集挖掘算法仅仅关注项集的效用值,导致挖掘出的项集大多数是弱相关的,在实际生活中没有意义。首先,本文针对上述问题提出了ULB-CHMiner算法来发现相关性更强的高效用项集。该算法在ULB-Miner算法的基础上引入了全置信度约束,并提出了相关效用的新概念。为了提高算法的挖掘效率,改进了效用列表缓冲区结构,并基于提出的相关效用上界和估计相关效用共生结构进行剪枝。在不同数据集上进行的大量实验表明,ULB-CHMiner算法可以修剪大量弱相关项集,并且在时间性能、内存消耗和可扩展性方面相比于选取的对比算法整体上表现更好。然后,针对ULB-CHMiner算法中阈值难以设定的问题,本文提出了ULBTKCH算法。该算法旨在挖掘相关效用值最大的k个项集,用户只需设定k值即可。为了有效提升算法的效率,它使用了提前设定阈值策略、阈值提升策略、基于相关效用上界的剪枝策略等五种策略。此外,该算法选用改进的效用列表缓冲区结构来有效存储和检索效用信息。最后在多个数据集上对算法的性能进行评估,结果表明ULB-TKCH算法比TKO算法的挖掘速度更快且内存消耗更少,并且具备较好的可扩展性。最后,本文设计并实现了相关高效用MOOC模式可视化平台。先对MOOC数据进行预处理得到两种不同的事务数据库,然后分别对课程模式和课程种类模式进行挖掘。之后,搭建可视化平台来直观地展现挖掘结果,以更好地分析用户的选课行为。

关键词：高效用项集挖掘相关性效用列表缓冲区 Top-k算法

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

高效用项集挖掘算法研究

高效用项集挖掘算法研究

作者：李星桂林电子科技大学

学位级别：硕士

高效用项集挖掘是数据挖掘领域中分析客户行为的高效工具,为决策者提供了可靠的决策依据。然而,先前大多数高效用项集挖掘算法应用场景相对统一,无法满足有特定需求的挖掘任务。在商场购物数据集挖掘中,传统高效用项集挖掘只能发现最低... 详细信息

高效用项集挖掘是数据挖掘领域中分析客户行为的高效工具,为决策者提供了可靠的决策依据。然而,先前大多数高效用项集挖掘算法应用场景相对统一,无法满足有特定需求的挖掘任务。在商场购物数据集挖掘中,传统高效用项集挖掘只能发现最低抽象级别的项集,忽略现实情况中项集之间的类别关系,使得挖掘出的高效用项集不够完整。在学生课程成绩数据集挖掘中,传统高效用项集挖掘只能挖掘出具有高成绩的课程,忽略完成课程需要花费的成本,挖掘出的结果在作为决策依据时不够准确。此外,虽然高效用项集挖掘算法可以发现效用高的项集,但算法中最小效用阈值的设置是不直观的,并且影响发现项集的数量和算法的性能。针对以上问题,本文从以下方面开展进一步的研究:(1)针对传统高效用项集挖掘算法不考虑数据项类别的问题,本文提出了基于数据索引结构的跨级高效用项集挖掘算法DISCH。DISCH算法在效用链表基础上添加索引链表和分类结构创建数据索引结构DIS,将项集的位置信息、效用信息和指向子项的指针存储到DIS中。利用位置信息快速定位到目标项集,使用指针建立当前项和子项之间的连接,减少算法扫描分类结构的次数。此外,在挖掘过程中动态管理内存,及时清除内存中无用的效用链表。在项集构建过程中,使用修剪策略提前结束构建程序,减少连接操作。在真实数据集和合成数据集上进行实验,结果表明:DISCH算法比对比算法在运行时间上平均降低了57.6%,在内存消耗量上平均降低了53.3%。该算法能高效挖掘跨级高效用项集,并且能提升算法的整体性能。(2)针对阈值难以确定的问题,本文提出了基于数据索引结构的Top-k跨级高效用项集挖掘算法TKDISCH。TKDISCH算法利用阈值提升策略缩减搜索空间,并逐步提高最小效用阈值;使用DIS结构和修剪策略为算法保证时间和内存性能。在相同的条件下对比实验结果表明:虽然TKDISCH算法和DISCH算法在运行时间和内存使用量上差异很小,但TKDISCH算法更容易挖掘出用户要求数量的项集。在Liquor数据集中,DISCH算法找到Top-k项集对应的最优效用阈值的概率平均只有3.31%,而在Friuthut数据集中只有1.76%。(3)针对传统高效用项集挖掘算法不考虑数据项成本信息的问题,本文提出了基于成本效用索引结构的低成本高效用项集挖掘算法CUIM。CUIM算法使用成本效用索引结构CUIS管理项集,CUIS中包含索引链表和成本链表。利用索引链表快速查找项集,使用成本链表存储项集的成本和效用信息。此外,引入平均成本下界概念度量项集的成本。对该算法展开测试,结果表明:CUIM算法不仅可以挖掘出有意义的低成本高效用项集,而且比对比算法在运行时间上平均降低了66.1%。

关键词：高效用项集挖掘分类关系成本 Top-k算法

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于数据索引结构的跨级高效用项集挖掘算法

计算机应用 2023年第7期43卷 2200-2208页

作者：蒋华李星王慧娇韦静海广西可信软件重点实验室(桂林电子科技大学) 广西桂林541004

针对现有的跨级高效用项集挖掘(HUIM)算法非常耗时且占用大量内存的问题,提出一种基于数据索引结构的跨级高效用项集挖掘算法(DISCH)。首先,为了高效存储和快速检索到搜索空间中的所有项集,拓展带有分类信息和索引信息的效用链表为数据... 详细信息

针对现有的跨级高效用项集挖掘(HUIM)算法非常耗时且占用大量内存的问题,提出一种基于数据索引结构的跨级高效用项集挖掘算法(DISCH)。首先,为了高效存储和快速检索到搜索空间中的所有项集,拓展带有分类信息和索引信息的效用链表为数据索引结构(DIS);然后,为了提高内存利用率,对不满足条件的效用链表所占的内存进行回收再分配;最后,在构建效用链表时使用提前结束策略,以减少效用链表的产生。基于真实零售数据集和合成数据集进行的实验结果表明,与CLH-Miner(Cross-Level High utility itemsets Miner)算法相比,DISCH在运行时间上平均降低了77.6%,同时在内存消耗上平均降低了73.3%,可见该算法能高效完成跨级高效用项集的搜索,并且降低算法的内存消耗。

关键词：数据挖掘高效用项集挖掘分类关系索引链表重用内存

在线全文

学校读者我要写书评

暂无评论

基于马尔可夫优化的高效用项集挖掘算法

计算机应用 2023年第12期43卷 3764-3771页

作者：钟新成刘昶赵秀梅长治学院计算机系山西长治046000 中国科学院沈阳自动化研究所沈阳110169

基于树型和链表结构的高效用项集挖掘(HUIM)算法通常需要指数量级的搜索空间,而基于进化类型的挖掘算法未能充分考虑变量间的相互作用,因此提出一种基于马尔可夫优化的HUIM算法(HUIM-MOA)。首先,采用位图矩阵表示数据库和使用期望向量编... 详细信息

基于树型和链表结构的高效用项集挖掘(HUIM)算法通常需要指数量级的搜索空间,而基于进化类型的挖掘算法未能充分考虑变量间的相互作用,因此提出一种基于马尔可夫优化的HUIM算法(HUIM-MOA)。首先,采用位图矩阵表示数据库和使用期望向量编码,以实现对数据库的快速扫描和效用值的高效计算;其次,通过计算优势个体间的互信息估计马尔可夫网络(MN)结构,并根据它们的局部特性使用吉布斯采样以产生新的种群;最后,为防止算法过快陷入局部最优和减少高效用项集的缺失,分别采用种群多样性保持策略和精英策略。在真实数据集上的实验结果表明,相较于次优的基于粒子群优化(PSO)的生物启发式HUI框架(Bio-HUIF-PSO)算法,在给定较大最小阈值的情况下,HUIM-MOA可以找到全部的高效用项集(HUI),收敛速度平均提升12.5%,挖掘HUI数平均提高2.85个百分点,运行时间平均减少14.6%。HUIM-MOA较进化型HUIM算法有更强的搜索性能,能有效减少搜索时间和提高搜索质量。

关键词：高效用项集挖掘马尔可夫网络位图矩阵吉布斯采样精英策略

在线全文

学校读者我要写书评

暂无评论

基于智能优化算法的高效用项集挖掘方法综述

计算机应用 2023年第6期43卷 1676-1686页

作者：高智慧韩萌刘淑娟李昂穆栋梁北方民族大学计算机科学与工程学院银川750021

高效用项集挖掘(HUIM)能够挖掘事务数据库中具有重要意义的项集,从而帮助用户更好地进行决策。针对智能优化算法的应用能够显著提高海量数据中高效用项集的挖掘效率这一现状,对基于智能优化算法的HUIM方法进行了综述。首先,以智能优化... 详细信息

高效用项集挖掘(HUIM)能够挖掘事务数据库中具有重要意义的项集,从而帮助用户更好地进行决策。针对智能优化算法的应用能够显著提高海量数据中高效用项集的挖掘效率这一现状,对基于智能优化算法的HUIM方法进行了综述。首先,以智能优化算法的类别为角度,从基于群智能优化、基于进化以及基于其他智能优化算法的方法这3个方面对基于智能优化算法的HUIM方法进行了详细的分析与总结。同时,从粒子更新方式的角度对基于粒子群优化(PSO)的HUIM方法进行了详细梳理,包括基于传统更新策略、基于sigmoid函数、基于贪心、基于轮盘赌以及基于集合的方法。另外,从种群更新方法、对比算法、参数设置、优缺点等角度对比分析了基于群智能优化算法的HUIM方法。然后,从遗传和仿生两个方面对基于进化的HUIM方法进行总结概括。最后,针对目前基于智能优化算法的HUIM方法所存在的问题,提出了下一步的研究方向。

关键词：高效用项集挖掘智能优化算法粒子群优化算法进化算法启发式算法

在线全文

学校读者我要写书评

暂无评论

基于长度约束的蝙蝠高效用项集挖掘算法

计算机应用 2023年第5期43卷 1473-1480页

作者：袁泉唐成亮徐雲鹏重庆邮电大学通信与信息工程学院重庆400065 重庆邮电大学通信新技术应用研究中心重庆400065

为了挖掘满足用户特殊需求,如含指定项目数量的高效用项集(HUI),提出一种基于长度约束的蝙蝠高效用项集挖掘算法(HUIM-LC-BA)。该算法融合蝙蝠算法(BA)和长度约束构建高效用项集挖掘(HUIM)模型,首先将数据库转换为位图矩阵,实现高效的... 详细信息

为了挖掘满足用户特殊需求,如含指定项目数量的高效用项集(HUI),提出一种基于长度约束的蝙蝠高效用项集挖掘算法(HUIM-LC-BA)。该算法融合蝙蝠算法(BA)和长度约束构建高效用项集挖掘(HUIM)模型,首先将数据库转换为位图矩阵,实现高效的效用计算和数据库扫描;其次,采用重新定义的事务加权效用(RTWU)策略缩减搜索空间;最后,对项集进行长度修剪,使用深度优先搜索和轮盘赌注选择法确定修剪项目。在4个数据集的仿真实验中,当最大长度为6时,与HUIM-BA相比,HUIM-LC-BA挖掘的模式数量分别减少了91%、98%、99%与97%,同时运行时间也少于HUIM-BA;且在不同长度约束条件下,与FHM+(Faster High-utility itemset Ming plus)算法相比运行时间更稳定。实验结果表明,HUIM-LC-BA能有效挖掘具有长度约束的HUI,并减少挖掘模式的数量。

关键词：高效用项集挖掘蝙蝠算法长度约束位图矩阵轮盘赌注选择法

基于多目标演化的频繁-高效用项集挖掘算法研究

在线全文

学校读者我要写书评

暂无评论

基于多目标演化的频繁-高效用项集挖掘算法研究

作者：李重阳江南大学

学位级别：硕士

频繁-高效用项集挖掘作为数据挖掘的一个重要领域,能够帮助用户在数据集中寻找到频繁出现且有着较高效用值的项集。相比于仅关注项集出现的频次或项集的效用,频繁-高效用项集能够满足用户多元的需求。传统算法在求解频繁-高效用项集挖... 详细信息

频繁-高效用项集挖掘作为数据挖掘的一个重要领域,能够帮助用户在数据集中寻找到频繁出现且有着较高效用值的项集。相比于仅关注项集出现的频次或项集的效用,频繁-高效用项集能够满足用户多元的需求。传统算法在求解频繁-高效用项集挖掘问题时,会遇到搜索空间爆炸和参数设计的困难。近期,有学者将频繁-高效用项集挖掘问题定义为一个多目标优化问题,并提出了基于多目标演化的算法来求解此问题。利用多目标演化的方法挖掘频繁-高效用项集可以避免传统算法中参数设置的困难,在可以接受的时间挖掘出有着较高支持度和效用值的项集,同时能够高效的一次性获得多个解。然而,当数据集中事务数量和不同项个数较多时,现有解决频繁-高效用项集挖掘的多目标演化算法的搜索空间将会变的很大,搜索效率将会变低。针对此问题,本文将对基于多目标演化的频繁-高效用项集挖掘算法进行优化,展开以下工作。(1)现有的求解频繁-高效用项集的多目标演化算法无法高效的对搜索空间进行约减,当数据集规模变大时,已有算法的搜索效率将会遇到瓶颈。为了提高算法的效率,本文提出了一种两目标演化算法(Bi-Objective Evolutionary Algorithm for Mining Frequent and High Utility Itemsets,BOEA-FHUI)。为了能够有效减少算法的搜索空间,BOEA-FHUI算法基于项集支持度的反单调性和事务加权效用的向下封闭属性提出了一种搜索空间剪枝策略。基于剪枝结果,BOEA-FHUI算法提出了一种子代修复策略,来保证新生子代有可能跳出已有非支配解所支配的区域。为了提高种群中优质项的数量,BOEA-FHUI算法基于频繁-高效用项集的稀疏性提出了一种改进变异策略。通过使用BOEA-FHUI中提出的变异策略,算法收敛速度将得以提升。实验结果表明,本论文提出的BOEA-FHUI相比于最新求解频繁-高效用项集挖掘问题的多目标演化算法,在算法收敛速度和最终解集质量上有着更好的表现。(2)为了进一步提高多目标演化算法对频繁-高效用项集的挖掘效率,本文提出了一种改进的频繁-高效用项集挖掘两目标演化算法(Improved Bi-Objective Evolutionary Algorithm for Mining Frequent and High Utility Itemsets,IBOEA-FHUI)。为了使初始种群中的个体有更好的分布,IBOEA-FHUI算法提出了一种新的种群初始化策略,此初始化策略将种群的支持度、效用值和多样性全部考虑在内。使用IBOEA-FHUI中提出的初始化策略得到的初始种群在保持多样性的同时,能够具有相对较高的支持度和效用值。为了提高算法生成的子代质量,IBOEA-FHUI算法提出了一种支持度和效用值的估计方法和基于项集支持度和效用值估计值的子代生成策略。IBOEA-FHUI中提出的支持度和效用值的估计方法能够花费极少的计算代价得到与项集支持度和效用值真实值大致成正相关的估计值。基于项集支持度和效用值估计值,IBOEA-FHUI中提出的子代生成策略可以选择预估质量较优的个体作为子代。实验结果表明,IBOEA-FHUI与包括本文提出的BOEA-FHUI在内的求解频繁-高效用项集挖掘问题的最新的多目标演化算法相比,有着更快的收敛速度。本文针对提高频繁-高效用项集挖掘效率这个问题,基于多目标演化的方法,提出了两个高效解决频繁-高效用项集挖掘的算法。这两个算法分别从搜索空间剪枝、个体变异、种群初始化和子代采样等方面设计了不同的策略,这些策略能够成功加快多目标演化算法对频繁-高效用项集的挖掘效率。

关键词：频繁-高效用项集多目标演化计算高效用项集挖掘频繁项集挖掘遗传算法