检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

top-n查询处理TA-类算法的实验评价

Top-N查询处理TA-类算法的实验评价

作者：杨明乾河北大学

学位级别：硕士

单调聚集函数top-n查询是数据库领域和信息检索领域的重要课题之一,能够提高查询效率,弥补传统数据库查询存在的局限性。top-n查询既能够快速地检索到与查询条件完全匹配的结果又能够找到与查询条件相似的结果,并且按照聚集函数对输出... 详细信息

单调聚集函数top-n查询是数据库领域和信息检索领域的重要课题之一,能够提高查询效率,弥补传统数据库查询存在的局限性。top-n查询既能够快速地检索到与查询条件完全匹配的结果又能够找到与查询条件相似的结果,并且按照聚集函数对输出的结果进行排序。Fagin等人在其原始文献中定义了TA-类算法,包括FA,TA,TAz,nRA和CA等算法,并证明了这些算法的正确性,然而在其原始论文中没有给出相关的实验报告。此后,一些学者对相关TA-类算法进行优化和改进,但是这些TA-类算法没有在统一的实验框架下进行评价。本文针对八种TA-类算法和一种朴素算法,使用十一个数据集,三种聚集函数,运用多种参数,通过大量实验对其进行验证,基于实验结果比较,分析和研究TA-类算法。主要内容如下:第一,为了适用于Web数据库和管道处理技术,对TA、TAz和nRA算法进行研究,增加了缓存技术,分别得到了相应的改进算法TA1、TAz1和nRA1。原始TA和TAz算法用有限的缓冲区存储top-n元组;改进的TA1和TAz1算法存储其所有看到的元组。nRA算法输出的元组可能没有总分,无法排序;改进的nRA1算法得到元组的全部属性值及总分,能够排序。第二,构造了基于2-104维的十一个数据集以及各种参数和单调聚集函数的统一实验框架,测试了算法的时间开销、顺序访问次数、随机访问次数、看到元组的个数,以及当n变化和数据集归一化为[0,1]区间等情况下TA-类算法的效率,通过对实验结果的分析、对比和研究,揭示了每种算法的本质特征及其应用的环境。第三,对FA开销的理论模型在统一实验框架下进行研究,首先用极限理论对FA的开销模型进行论证,然后运用各种参数对FA开销模型的理论值和与实验值进行对比和分析。

关键词： top-n 查询 TA-类算法信息检索 Web 数据库聚集函数

基于正负反馈的SVM协同过滤top-n推荐算法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

小型微型计算机系统 2017年第5期38卷 961-966页

作者：张宇王文剑赵胜男山西大学计算机与信息技术学院太原030006 计算智能与中文信息处理教育部重点实验室太原030006

经典的top-n推荐算法利用用户正反馈信息对全部项目进行排序,然后选择前n个项目推荐给用户.针对经典推荐算法未充分利用用户负反馈信息的问题,提出基于正负反馈的SVM协同过滤(SVM Collaborative Filtering based on Positive and negati... 详细信息

经典的top-n推荐算法利用用户正反馈信息对全部项目进行排序,然后选择前n个项目推荐给用户.针对经典推荐算法未充分利用用户负反馈信息的问题,提出基于正负反馈的SVM协同过滤(SVM Collaborative Filtering based on Positive and negative Feedback,PnF-SVMCF)top-n推荐算法,充分利用用户负反馈信息过滤测试集中用户可能不喜欢的项目,只对测试集中剩余的项目进行top-n排序.PnF-SVMCF算法过滤用户可能不喜欢的项目,这样可以缩减需要排序的项目规模,提升推荐效率;同时去除这些项目对排序的干扰,提高推荐精度.在MovieLens数据集上的实验结果表明,该方法具有良好的推荐速度和精度,特别是在较少的推荐项目情况下,能够表现出更好的推荐精度.

关键词：支持向量机协同过滤基于项目协调过滤 PnF-SVMCF top-n

动态数据库top-n效用模式挖掘算法的设计与实现

在线全文

学校读者我要写书评

暂无评论

动态数据库top-n效用模式挖掘算法的设计与实现

作者：赵容浙江工商大学

学位级别：硕士

随着大数据时代的到来,各行各业面临着海量待处理数据,如何从中快速高效地提取出有价值的信息,成为了数据挖掘领域的重要课题。效用模式挖掘是数据挖掘问题中一个重要的分支,效用模式挖掘在频繁模式挖掘基础上考虑了不同项目的价值,目... 详细信息

随着大数据时代的到来,各行各业面临着海量待处理数据,如何从中快速高效地提取出有价值的信息,成为了数据挖掘领域的重要课题。效用模式挖掘是数据挖掘问题中一个重要的分支,效用模式挖掘在频繁模式挖掘基础上考虑了不同项目的价值,目前对效用模式挖掘的研究也逐渐成熟。在此过程中,为了满足实际需要,人们又对效用模式挖掘问题进行了拓展,有增量型效用模式挖掘和top-n效用模式挖掘等。本文首先介绍了效用模式挖掘及其分支课题的问题定义,并介绍和比较了效用模式挖掘及其分支课题的现有算法。在此基础上,考虑到动态数据库的频繁使用,以及用户对于top-n效用模式的需求,本文提出了动态数据库top-n效用模式挖掘问题,并提出了用于解决该问题的topnTD算法,实现在动态数据库更新后快速得到top-n效用模式的变动情况。本文具体设计了topnTD算法的数据结构、剪枝策略以及优化策略,改进了短列表结构,制定了针对动态数据库top-n效用模式挖掘问题的剪枝策略以及从属标记策略。本文通过编程实现了topnTD算法,验证了算法的正确性,并在大数据集中对topnTD算法进行运行时间和内存开销的测试,对比类似算法,评估算法性能。测试结果表明topnTD算法已基本达到设计目标,在解决动态数据库top-n效用模式挖掘问题时topnTD算法优于重跑静态top-n效用模式挖掘算法。

关键词：效用模式挖掘增量型动态数据库 top-n

面向大数据的高效top-n局部异常检测方法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向大数据的高效Top-n局部异常检测方法

作者：刘芳烟台大学

学位级别：硕士

近年来,随着各类智能移动设备的广泛普及,社交网络、网上购物、移动支付、位置服务等新兴应用不断涌现,各类海量大数据被采集和处理,而面向这些大数据的挖掘分析服务已俨然成为一大独具特色的新兴产业。异常检测作为数据挖掘最重要的任... 详细信息

近年来,随着各类智能移动设备的广泛普及,社交网络、网上购物、移动支付、位置服务等新兴应用不断涌现,各类海量大数据被采集和处理,而面向这些大数据的挖掘分析服务已俨然成为一大独具特色的新兴产业。异常检测作为数据挖掘最重要的任务之一,在网络监控、信用卡欺诈等各种应用领域都被认为是至关重要的内容。此外,在实际生活中,数据分布往往是倾斜的,而局部异常检测能够有效解决数据倾斜分布下的异常检测问题,在很多应用领域具有较好的检测效果。因此,局部异常检测在学术界和工业界都受到了越来越多的关注,本文为了更加高效快速地检测出海量大数据中的异常对象,提出了两个基于密度的局部异常检测方法,主要研究内容如下:（1）在面向静态大数据异常检测方面,提出了一种快速的top-n局部异常点检测算法,融合索引结构和多层LOF上界设计了多粒度的剪枝策略,以快速发现top-n局部异常点。首先,提出了四个更接近真实LOF值的上界,以避免直接计算LOF值,并对它们的计算复杂度进行了理论分析;其次,结合索引结构和UB1、UB2上界,提出了两层的Cell剪枝策略,不仅采用全局Cell剪枝策略,还引入了基于Cell内部数据对象分布的局部剪枝策略,有效解决了高密度区域的剪枝问题;第三,利用所提的UB3和UB4上界,提出了两个更加合理有效的数据对象剪枝策略,UB3和UB4上界更加接近于真实LOF值,有利于剪枝更多数据对象,而基于计算复用的上界计算方法,大大降低了计算成本;第四,优化了初始top-n局部异常点的选择方法,利用区域划分和建立的索引结构,在数据稀疏区域选择初始局部异常点,有利于将LOF值较大的数据对象选为初始局部异常点,有效提升初始剪枝临界值,使得初始阶段剪枝掉更多的数据对象,进一步提高检测效率。在七个真实数据集上的综合实验评估验证了所提方法的高效性和可扩展性,相比最新的方法,时间效率提升可高达3.5倍。（2）针对流式大数据的局部异常检测问题,提出了面向大数据流的基于KDE的top-n局部异常检测方法。首先,定义了基于KDE的局部异常因子KOF（KDE-based Outlier Factor）来衡量每个数据对象的局部异常程度;其次,提出了 KOF上界和基于上界的剪枝策略,为了避免直接计算昂贵的KOF值,利用上界来快速地剪枝掉大部分非异常对象;此外,提出了面向大数据流的基于上界剪枝的top-n KOF检测方法（UKOF）,以有效解决滑动窗口环境中的数据更新。同时,为了进一步降低计算成本,提出了 UKOF延迟更新的方法（LUKOF）来批量更新高速大规模的数据流中的数据对象。实验结果表明所提出的方法在时间效率上比最新方法高出3600倍,同时在检测数据流上的局部异常点方面达到了最佳性能。

关键词：异常检测局部异常检测数据流核密度估计 top-n 剪枝策略

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

用户特征的混合top-n推荐方法

合肥学院学报（自然科学版） 2014年第3期24卷 31-34页

作者：李红何鹏合肥学院计算机科学与技术系合肥230601

为解决协同过滤方法中面向新用户的冷启动问题,提出基于用户特征的混合top-n推荐方法.通过对用户特征的聚类分析,获得特征相似用户集,根据目标新用户与不同用户集的距离、用户集对不同项目的评分来预测新用户对项目的评分,并结合传统协... 详细信息

为解决协同过滤方法中面向新用户的冷启动问题,提出基于用户特征的混合top-n推荐方法.通过对用户特征的聚类分析,获得特征相似用户集,根据目标新用户与不同用户集的距离、用户集对不同项目的评分来预测新用户对项目的评分,并结合传统协同过滤方法进行推荐,最后采用命中率来评价推荐的准确度.实验结果表明,该方法针对新用户有较好的推荐精度.

关键词：推荐系统协同过滤冷启动用户特征 top-n

在线全文

学校读者我要写书评

暂无评论

一种基于位置和时间信息的兴趣点推荐方法

重庆大学学报 2022年第7期45卷 93-102页

作者：谭伟贾朝龙桑春艳重庆邮电大学软件工程学院重庆400065

在社交网络中,人们往往会访问自己比较感兴趣和离自己比较近的地方,而兴趣点推荐就是根据用户的兴趣偏好能够有效地帮助用户选择自己比较感兴趣的地点。笔者提出一种基于位置和时间信息的兴趣点推荐方法。该方法从兴趣点的角度出发分为... 详细信息

在社交网络中,人们往往会访问自己比较感兴趣和离自己比较近的地方,而兴趣点推荐就是根据用户的兴趣偏好能够有效地帮助用户选择自己比较感兴趣的地点。笔者提出一种基于位置和时间信息的兴趣点推荐方法。该方法从兴趣点的角度出发分为3个步骤,首先使用用户历史访问的兴趣点的位置信息计算用户历史访问兴趣点和用户未曾访问过的兴趣点的相似度;然后使用时间信息,将一天划分为不同的时间段,统计所有兴趣点在一天中不同时间段被签到的次数,计算用户历史访问兴趣点和用户未曾访问过的兴趣点的相似度;最后根据兴趣点的位置和时间信息综合计算用户历史访问兴趣点与用户未曾访问兴趣点的相似度,根据top-n策略向用户推荐用户未曾访问过的兴趣点。在现实社会中的真实数据集上进行实验验证,实验结果表明笔者提出的方法是有效的。

关键词：社交网络兴趣点推荐兴趣偏好相似度 top-n

维普期刊数据库博看期刊

在线全文

学校读者我要写书评

暂无评论

一种自适应的异常流量检测方法

信息网络安全 2020年第12期20卷 28-32页

作者：张新跃胡安磊李炬嵘冯燕春中国互联网络信息中心北京100190 国家信息技术安全研究中心北京100044

文章针对DDoS异常流量攻击提出一种自适应攻击检测方法,该方法基于网络访问行为特征进行快速学习建模,再通过一个流量top-n排序表来实现异常流量的动态过滤。top-n排序表的样本模板采用自适应收敛算法来快速自学习更新,可以快速、准确... 详细信息

文章针对DDoS异常流量攻击提出一种自适应攻击检测方法,该方法基于网络访问行为特征进行快速学习建模,再通过一个流量top-n排序表来实现异常流量的动态过滤。top-n排序表的样本模板采用自适应收敛算法来快速自学习更新,可以快速、准确地识别出异常流量和攻击行为,大大提升异常流量攻击行为检测的准确率,特别适用于慢速的应用型DDoS攻击检测和防护领域。

关键词： DDoS top-n 自适应训练模板

在线全文

学校读者我要写书评

暂无评论

大数据中关于效用模式挖掘的扩展研究

大数据中关于效用模式挖掘的扩展研究

作者：张兴兴浙江工商大学

学位级别：硕士

数据库技术的飞速发展以及各行各业数据量的指数级增长引领着人们步入大数据时代。如何快速而有效的从大量的未处理的数据中获取到人们所需要的信息已经引起了人们的重视。高效用模式挖掘作为数据挖掘领域中一个重要的研究课题,首次被... 详细信息

数据库技术的飞速发展以及各行各业数据量的指数级增长引领着人们步入大数据时代。如何快速而有效的从大量的未处理的数据中获取到人们所需要的信息已经引起了人们的重视。高效用模式挖掘作为数据挖掘领域中一个重要的研究课题,首次被提出主要用于解决频繁模式挖掘的缺陷,即频繁模式挖掘仅仅考虑模式出现的频率,而忽视了其他重要的信息,比如数量和利润,效用模式挖掘正好弥补了这个缺陷。目前已有很多算法被提出用于效用模式挖掘的基础问题。然而,考虑到各种实际因素,在效用模式挖掘的基础问题上延伸出了许多新的研究课题还有待解决,包括非确定性高效用模式挖掘、闭合高效用模式挖掘、增量型高效用模式挖掘以及top-n高效用模式挖掘等等。现有的增量型高效用模式挖掘算法和top-n高效用模式挖掘算法或者基于一个两阶段的模型,产生了大量的候选集、造成了规模性问题,或者基于一个垂直数据结构、产生了大量的连接操作、导致效率低下。为了解决上述问题,本文基于现有的d2HUP算法,使用了一种新的数据结构和多个新的剪枝策略,分别提出了两个新算法来解决增量型效用挖掘和top-n效用挖掘问题。本文首先对现有的高效用模式挖掘算法做一个综述性的分析及对比,主要表现在运行时间、内存使用、候选集数量以及规模性方面,并得出d2HUP算法是目前已知的最优的算法,尤其是在运行时间方面相比于其他的算法有1到2个数量级的提升,该算法作为后续增量型效用模式挖掘和top-n效用模式挖掘研究的基础算法。HUPTID算法是在d2HUP算法基础上提出的主要用于在数据库交易项记录增加和删除的情况下直接的挖掘出所有的高效用模式。首先,一个新的数据结构被提出用于增量型效用模式挖掘。第二,三个策略被提出用于各种可能的改变情况下减少不必要的挖掘操作,同时,对挖掘过程中可能出现的三种情况分别提出了相应的策略来进行剪枝。在实验部分,三种情况分别被分析,即交易项记录既有插入也有删除,交易项记录只有插入、以及交易项记录只有删除。结果表明HUPTID算法比目前已知的增量型效用模式挖掘算法效率高出了 1到2个数量级。TOnUP算法也是在d2HUP算法基础上提出的主要用于解决top-n高效用模式挖掘问题。该算法首先对d2HUP算法本身进行了优化,然后提出了5个策略来尽可能快的提高阈值,并最终得到最优的阂值以及所需要的n个模式。实验表明,TOnUP比目前已知的top-n高效用模式挖掘算法效率高到了 1到3个数量级,甚至优于在最优的阈值条件下执行的效用模式挖掘算法,效率高出了 2个数量级。

关键词：效用挖掘增量型动态数据库 top-n 算法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于协同过滤及关联规则的个性化图书推荐

基于协同过滤及关联规则的个性化图书推荐

作者：邵方舒浙江工商大学

学位级别：硕士

目前高校图书馆的图书种类繁多,数量庞大,面对海量的图书信息资源,一方面学生需要花费大量的时间和精力来获取需要的图书,另一方面传统的检索查询或热门推荐等方式往往不能产生令人满意的结果。面对学生日益变化的个人需求,传统的图书... 详细信息

目前高校图书馆的图书种类繁多,数量庞大,面对海量的图书信息资源,一方面学生需要花费大量的时间和精力来获取需要的图书,另一方面传统的检索查询或热门推荐等方式往往不能产生令人满意的结果。面对学生日益变化的个人需求,传统的图书馆工作模式显然不能满足学生的个性化需求。因此,发展高校图书馆个性化图书推荐服务是未来的必然趋势。在查阅了相关文献的基础上,本文提出了基于协同过滤及关联规则的个性化图书推荐算法。首先针对基于图书借阅记录协同过滤算法中存在的系统扩展性和数据稀疏性问题进行了分析和解决。其次,本文改进了协同过滤算法中用户相似度计算模型。在用户相似度计算中,本文不仅考虑了传统基于图书借阅信息的用户相似度,针对高校图书推荐的背景,还考虑了基于学生属性特征的用户相似度,并将两者进行加权融合得到用户的综合相似度。在推荐结果集上,本文利用关联挖掘对其进行了优化,首先通过改进的协同过滤算法选择出top-n个目标用户感兴趣的图书,然后将所有用户的借阅记录集合进行关联规则的挖掘,找出图书间的强关联规则并保存。接着将top-n图书通过规则数据库进行匹配进一步找出与之关联的图书,并且将这些关联图书与top-n图书进行混合推荐。最后本文分别对传统协同过滤推荐算法、基于改进相似度的协同过滤推荐算法和基于协同过滤及关联规则推荐算法进行了实验,并从推荐的准确率(Precision)和召回率(Recall)进行对比分析。实验结果表明改进后的算法在准确率和召回率上都有进一步的提高。同时,基于改进算法,本文实现了一套个性化图书推荐原型系统。

关键词：协同过滤 top-n 属性特征关联规则相似度