检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

一种基于集合的Web用户会话实时聚类算法

价值工程 2010年第13期29卷 182-183页

作者：王凯丽朝阳市工程技术学校朝阳122000

随着互联网的普及和电子商务、个性化推荐技术等的发展,Web使用挖掘成为了数据挖掘的新的研究热点。针对Web用户会话聚类,提出了一种基于序列对集合的用户会话实时聚类方法。对聚类算法进行了分析与比较,给出了时空复杂度,实验比较了BO... 详细信息

随着互联网的普及和电子商务、个性化推荐技术等的发展,Web使用挖掘成为了数据挖掘的新的研究热点。针对Web用户会话聚类,提出了一种基于序列对集合的用户会话实时聚类方法。对聚类算法进行了分析与比较,给出了时空复杂度,实验比较了BOM算法与BOC算法的效率,并验证了BOC算法的有效性与时效性。

关键词： web 实时聚类集合相似度簇相似度

在线全文

学校读者我要写书评

暂无评论

流数据实时在线演化聚类算法研究

流数据实时在线演化聚类算法研究

作者：田蓝武汉理工大学

学位级别：硕士

随着互联网技术的迅猛发展,许多新兴领域产生的数据都是以一种“流”的形式出现。这些流数据里携带着大量具有价值的信息,通常人们都是通过聚类与分类技术对数据进行处理,从而挖掘出人们所需要的信息来获得更大的效益。目前,大多数聚类... 详细信息

随着互联网技术的迅猛发展,许多新兴领域产生的数据都是以一种“流”的形式出现。这些流数据里携带着大量具有价值的信息,通常人们都是通过聚类与分类技术对数据进行处理,从而挖掘出人们所需要的信息来获得更大的效益。目前,大多数聚类算法面向的是离线静态数据,需要先将待处理的数据全部存储在内存中,然后通过多次遍历全部数据得到最终的聚类结果。然而,流数据是按时间序列连续到达的,其数据规模是不确定的,每个时刻到达的数据的接收过程和处理过程通常需要同步进行。流数据的时序性决定了流数据是在线数据流,其处理算法必须能够针对在线数据进行处理。流数据的无界性决定了全部数据无法也没有必要保存在有限的内存空间里,其处理算法必须能够在单个数据到来时及时处理并实时反馈处理结果。为了提高流数据聚类算法的准确率,本文在演化聚类算法（ECM）的基础上,采用均值法来更新聚类中心,采用簇中样本数据到其聚类中心的最大距离来更新聚类半径,引入戴维森堡丁指数（DBI）作为聚类处理过程中的数据归类准则,提出了一种基于DBI的流数据在线演化聚类算法DBIECM。与ECM算法相比,DBIECM算法保留了面向流数据在线聚类的能力,并且提高了聚类性能。为了在保留ECM算法的实时在线处理和一遍扫描的特性的前提下,同时提高聚类性能,本文在ECM算法的基础上,设计了新的聚类中心和聚类半径的更新方式,提出了一种流数据实时在线演化聚类算法SD-ECM。本文为SD-ECM算法设计了一个三元组的聚类特征向量,在没有访问历史数据的情况下,SD-ECM算法能够通过特征向量以较低的计算量来完成单个数据的聚类处理。与ECM算法和DBIECM算法相比,SD-ECM算法对流数据实时在线聚类具有更好的聚类性能。在研究中,我们发现SD-ECM算法、DBIECM算法和ECM算法对参数阈值Dthr非常敏感,Dthr的取值直接影响着最终的聚类簇数和聚类质量。为了解决因为先验知识的缺乏导致算法参数阈值Dthr设置不合理而产生过大聚类簇数的问题,本文在SD-ECM算法的基础上,新增了一个用于限制最大聚类簇数的参数阈值MaxNum,提出了一种参数阈值优化的流数据实时在线演化聚类算法ECMStream。ECMStream算法不但保留了一遍扫描的特性,而且降低了参数阈值Dthr的取值难度,使参数阈值Dthr能够自适应的增量更新。与本文中的其他算法相比,ECMStream算法面向流数据实时在线聚类不但具有更好的聚类性能和效率,而且具有更好的实际应用性能。由于聚类结果中的过期数据可能不再具有参考价值,对流数据聚类过程中的过期数据,本文设计了一种具有较低时间复杂度和空间复杂的处理方案,使得在删除过期数据的同时能够快速地更新聚类特征向量,从而消除过期数据对当前聚类过程的影响。

关键词：流数据在线聚类演化聚类实时聚类一遍扫描算法

基于并行结构的DOA聚类算法及FPGA实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

微计算机信息 2007年第26期23卷 201-203页

作者：王萌黄振陆建华清华大学电子工程系北京硕士研究生100084

脉冲到达角(DOA)是脉冲信号分选中可利用的重要参数。目前,利用DOA进行的脉冲分选都是基于传统的串行聚类算法,实时性能差。本文针对阈值分割的聚类方式,设计了一种基于并行流水结构的实时聚类算法,使单个DOA的聚类可在单周期内完成,并... 详细信息

脉冲到达角(DOA)是脉冲信号分选中可利用的重要参数。目前,利用DOA进行的脉冲分选都是基于传统的串行聚类算法,实时性能差。本文针对阈值分割的聚类方式,设计了一种基于并行流水结构的实时聚类算法,使单个DOA的聚类可在单周期内完成,并通过对聚类数目分裂过多的情况进行控制,保证了算法的稳定性和有效性。文章还介绍了算法在FPGA上的实现方法,以及应用在XilinxV2P芯片上的实时性能,并对其聚类性能进行了比较分析。

关键词： DOA 并行实时聚类 FPGA

数据流聚类算法在Web访问日志分析中的应用研究

在线全文

学校读者我要写书评

暂无评论

数据流聚类算法在Web访问日志分析中的应用研究

作者：张倩天津理工大学

学位级别：硕士

近年来互联网技术取得了惊人的发展成绩,各类使用也日益普及,在使用互联网的过程中产生了大量的Web数据,如何从这些海量数据中统计和分析出有价值的信息,挖掘日志数据中蕴藏的访问行为是一个值得研究和关注的热点问题。对这一问题的研... 详细信息

近年来互联网技术取得了惊人的发展成绩,各类使用也日益普及,在使用互联网的过程中产生了大量的Web数据,如何从这些海量数据中统计和分析出有价值的信息,挖掘日志数据中蕴藏的访问行为是一个值得研究和关注的热点问题。对这一问题的研究有助于网站管理员及时发现网站安全风险,修复网站漏洞,不断提升网站运维人员的网络安全意识,也有助于管理员及时了解用户关注的网站内容,及时更新维护相关内容,更好发挥网站的作用。本文针对Web访问日志分析的问题,对数据流相关的概念及算法进行研究,提出数据流聚类算法优化方法,对现有的基于密度网格的数据流聚类算法进行改进。然后在充分研究Storm框架基本原理的前提下,将改进算法基于Storm进行分布式并行化设计,提高改进数据流聚类算法的处理效率。最后将改进的分布式数据流聚类算法在实际采集的Web访问日志的分析上加以应用。本文的主要研究内容如下:(1)选择基于密度网格的数据流聚类算法作为Web访问日志分析的基础算法。针对现有算法在阈值参数设置和簇边界判定两个方面的不足,对现有算法进行改进,以提高现有算法聚类性能为目的,提出改进的基于密度网格的数据流聚类算法。(2)针对无法在单机环境下高效处理Web访问日志这类实时、海量数据的问题,搭建分布式流处理平台Storm,以并行化分布式的方式来设计数据流聚类算法,并且基于Storm来实现该算法。(3)将基于Storm实现的分布式数据流聚类算法在Web访问日志分析中应用,设计Web访问日志分析模型。基于实际采集的校园网站Web访问日志进行实验,结果表明,改进的算法聚类效果更优,并行化的计算更好地适应了Web访问日志的数据特点,算法具有分布性、实时性和准确性。得出的分析结果对网站的管理具有一定的参考价值,可以为网站管理中的类似问题提供参考依据。

关键词： Web访问日志数据流 Storm计算框架实时聚类密度网格

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于增量学习的聚类方法研究

基于增量学习的聚类方法研究

作者：杨梦思电子科技大学

学位级别：硕士

随着人工智能场景的不断落地,大数据驱动的深度学习网络通过训练可以让人工智能快速占领市场并驱动行业应用。从互联网下载并用于深度学习的海量数据样本绝大部分是未标注的,采用手工的方式标注这些样本是一项异常耗时耗力且昂贵的工作... 详细信息

随着人工智能场景的不断落地,大数据驱动的深度学习网络通过训练可以让人工智能快速占领市场并驱动行业应用。从互联网下载并用于深度学习的海量数据样本绝大部分是未标注的,采用手工的方式标注这些样本是一项异常耗时耗力且昂贵的工作。基于数据自表达的聚类作为无监督学习的关键技术,可以帮助人们进行分簇集群,已在产品推荐、异常检测和文本分析等诸多领域具有非常广泛的应用。目前,大多数研究都在寻找静态数据集的最佳集群划分,对增量情况下动态数据集的聚类研究还比较少。然而,现实世界中的数据在持续发展,需要重复整合数据并训练模型的聚类模式已无法满足存储资源受限及数据库频繁更改等实际需求。因此,对动态数据集的研究是一项必须同时极具挑战性的工作。为了解决动态数据集的聚类问题,本文从相关实际应用场景出发,分别围绕数据以批次及单个形式增加的情况开展研究,目的是构建两个针对不同增量场景的聚类框架并提高聚类结果的准确率。本文的相关工作现总结如下:1.首先,本文对聚类的种类及算法的相关基础知识进行了介绍,并对基于数据块和数据流的相关原理及技术发展历程进行重点介绍,最后就算法性能和效率分析了对应的优缺点。2.其次,在集群数已知的情况下,提出了基于内部信息挖掘的深度自适应批增量聚类算法。该方法将聚类问题重构为二值分类问题,通过挖掘不同数据之间和同一数据增强前后等的多种内部相关信息,并将表示学习和聚类结合在一起以端到端的深度神经网络进行实现。最后,通过多组实验证明了所提出的算法能够在数据以批次为单位逐渐增加的过程中实现集群中心的动态调整以及聚类准确率的大幅度提升。3.最后,在集群数未知且初始数据量为零的情况下,提出了基于单样本增量的实时聚类方法。为了解决没有初始数据进行深度学习进而提取良好的深度表示的问题,本文通过引入迁移学习技术,迁移与目标数据集相关且具有相对比较完备的纯标注源域上训练好的深度网络模型并将其作为目标域的特征库,并在此基础上采用改进的Single-Pass算法完成数据流的实时聚类。

关键词：增量聚类实时聚类迁移学习卷积神经网络

基于RNGK-FCM算法的大梁焊接障碍物识别

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

焊接学报 2018年第12期39卷 58-62,131页

作者：唐明洪波李湘文雷伟成湘潭大学焊接机器人及应用技术湖南省重点实验室湘潭411105

针对大梁焊接时难以通过传统的识别方法实现实时而精确的障碍物识别的问题,提出一种优化模糊C均值实时聚类(RNGK-FCM)的大梁焊接障碍物识别方法.引入实时聚类策略,替换核化距离函数,全局快速优化.通过MATLAB平台进行仿真对比分析各类FC... 详细信息

针对大梁焊接时难以通过传统的识别方法实现实时而精确的障碍物识别的问题,提出一种优化模糊C均值实时聚类(RNGK-FCM)的大梁焊接障碍物识别方法.引入实时聚类策略,替换核化距离函数,全局快速优化.通过MATLAB平台进行仿真对比分析各类FCM算法聚类性能,RNGK-FCM相比于传统FCM算法,能实时获取聚类数;对噪声点具有较好的鲁棒性;降低了对初值的敏感性,聚类识别精度高.在某公司大梁自动焊生产线进行障碍物识别试验.结果表明,各类障碍物聚类数准确,实时性优良,障碍物规避动作精准,为实现大梁自动焊打下了坚实的基础.

关键词： RNGK-FCM算法实时聚类核化函数全局快速优化大梁障碍物识别

在线全文

学校读者我要写书评

暂无评论

基于Web使用挖掘的个性化系统

计算机工程与设计 2006年第7期27卷 1155-1157页

作者：曾志聪姚国祥暨南大学网络中心广东广州510632

Web个性化在信息量巨大的互联网中显得越来越重要。针对一般聚类算法不可以用于在线预测的缺点,提出了一个实现个性化的实时聚类算法,并对个性化系统模型进行了设计,使模型不但能实时提供个性化服务,还可以根据用户的短期浏览变化对个... 详细信息

Web个性化在信息量巨大的互联网中显得越来越重要。针对一般聚类算法不可以用于在线预测的缺点,提出了一个实现个性化的实时聚类算法,并对个性化系统模型进行了设计,使模型不但能实时提供个性化服务,还可以根据用户的短期浏览变化对个性化服务进行调整。最后通过实验系统验证了模型的准确性。

关键词：实时聚类个性化 Web使用挖掘信息检索

基于激光传感器的工业机器人动态抓取系统设计

在线全文

学校读者我要写书评

暂无评论

传感器与微系统 2023年第10期42卷 84-87页

作者：杨永杨进兴黄伟龙李俊中北大学电气与控制工程学院山西太原030051 中国科学院海西研究院泉州装备制造研究中心福建泉州362216

针对大、重箱体在随传送带运输过程中的抓取作业问题,设计了一种基于激光传感器的工业机器人动态抓取系统。首先,使用单线激光传感器获取箱体点云数据,利用基于帧内和帧间密度聚类算法实现点云数据实时聚类与分割,通过箱体的最小外接矩... 详细信息

针对大、重箱体在随传送带运输过程中的抓取作业问题,设计了一种基于激光传感器的工业机器人动态抓取系统。首先,使用单线激光传感器获取箱体点云数据,利用基于帧内和帧间密度聚类算法实现点云数据实时聚类与分割,通过箱体的最小外接矩形获取箱体的位姿;其次,利用二分法求解近似抓取位置;最后,控制机器人实现对箱体动态抓取。在视觉测试中,箱体尺寸识别误差为±14 mm,角度偏差为±5°。在抓取测试中,抓取位置平均误差为±16 mm,抓取效率为20 s/件。测试结果表明:该系统能够满足箱体实时定位与动态抓取的要求。

关键词：动态分拣单线激光传感器工业机器人实时聚类

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

入侵检测响应系统事件关联的研究

入侵检测响应系统事件关联的研究

作者：刘威哈尔滨理工大学

学位级别：硕士

入侵检测系统已经能够用各种检测方法来检测入侵,但是,大多数的入侵响应系统只是形成日志或报警来通知系统管理员,滞后的人工响应造成了不可恢复的严重损失。入侵检测系统迫切需要自动响应,一旦发生入侵,系统能采取适当的措施及时抵御... 详细信息

入侵检测系统已经能够用各种检测方法来检测入侵,但是,大多数的入侵响应系统只是形成日志或报警来通知系统管理员,滞后的人工响应造成了不可恢复的严重损失。入侵检测系统迫切需要自动响应,一旦发生入侵,系统能采取适当的措施及时抵御面临的威胁。本论文在对相关研究领域己有工作进行总结的基础上,提出了一种自动入侵响应系统的通用框架。入侵响应系统以入侵检测系统输出的安全事件作为输入。由于入侵检测系统的局限,它检测出的事件与攻击的发生存在多对一的关系,因此本文研究了冗余消除问题,它对响应系统的输入进行预处理,对每次攻击仅产生一个事件,从而避免响应系统做出多余的响应。本文对冗余事件的关联特征进行系统的分析,包括攻击类型关联特征、空间关联特征、时间关联特征。对于空间关联特征,本文采取枚举的方法进行分析;对于时间关联特征,本文通过对大量的攻击实例进行分析,提出了相对均方差模型来刻画其特征。在提取这些关联特征的基础上,本文使用基于规则的方法描述每种可能的冗余情况,并提出了基于实时聚类的冗余消除算法,根据冗余消除规则集,实时接收安全事件进行冗余消除。入侵意图识别的主要目的是实现警报关联和对复合攻击的预警。本文提出的入侵意图识别算法基于复合攻击的步骤间主要存在因果逻辑关系的特点,提出基于因果关系关联警报以进行意图识别。该意图识别算法具有算法复杂度较低和易于计算环境参数等优点。对冗余消除算法的测试和分析表明,该算法能够有效地消除原始安全事件流中的冗余,对高速网络中一周安全事件分析显示冗余消除程度达10倍以上。实验证明事件关联算法具有较强的事件关联能力,一定的意图识别能力,数据基于DARPA的两个测试数据集。

关键词：入侵响应因果关联复合攻击实时聚类