检索结果-南通市图书馆

计算机工程与应用 2011年第8期47卷 118-121,142页

作者：琚春华殷贤君许翀寰浙江工商大学计算机与信息工程学院杭州310018

动态数据流具有数据量大、变化快、随机存取代价高、详细数据难以存储等特点,挖掘动态数据流对计算能力与存储能力要求非常高。针对动态数据流的以上特点,设计了一种基于自助抽样的动态数据流贝叶斯分类算法,算法运用滑动窗口模型对动... 详细信息

动态数据流具有数据量大、变化快、随机存取代价高、详细数据难以存储等特点,挖掘动态数据流对计算能力与存储能力要求非常高。针对动态数据流的以上特点,设计了一种基于自助抽样的动态数据流贝叶斯分类算法,算法运用滑动窗口模型对动态数据流进行处理分析。该模型以每个窗口的数据为基本单位,对窗口内的数据进行处理分析;算法采用自助抽样技术对待分类数据中的属性进行裁剪和优化,解决了数据属性间的多重线性相关问题;算法结合贝叶斯算法的特点,采用动态增量存储树来解决动态样本数据流的存储问题,实现了无限动态数据流无信息失真的静态有限存储,解决了动态数据流挖掘最大的难题——数据存储;对优化的待分类数据使用all-贝叶斯分类器和k-贝叶斯分类器进行分类,结合数据流的特性对两个分类器进行实时更新。该算法有效克服了贝叶斯分类属性独立性的约束和传统贝叶斯只对静态数据分类的缺点,克服了动态数据流最大的难题——数据存储问题。通过实验测试证明,基于自助抽样的贝叶斯分类具有很高的时效性和精确性。

关键词：数据流自助抽样贝叶斯分类滑动窗口增量存储树

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于增量存储的商业数据流分类挖掘算法研究与应用

基于增量存储的商业数据流分类挖掘算法研究与应用

引用

作者：殷贤君浙江工商大学

学位级别：硕士

数据流挖掘目前已成为数据挖掘的热点话题,如挖掘通信领域中的电话记录数据流以期发现潜在的优质客户、挖掘Web上的用户点击数据流、网络监测中的数据包流以期发现可能存在的黑客攻击、挖掘零售业务中的交易数据流以期实现相关服务的推... 详细信息

数据流挖掘目前已成为数据挖掘的热点话题,如挖掘通信领域中的电话记录数据流以期发现潜在的优质客户、挖掘Web上的用户点击数据流、网络监测中的数据包流以期发现可能存在的黑客攻击、挖掘零售业务中的交易数据流以期实现相关服务的推荐等。以上案例都是对动态商业数据流进行挖掘,与传统数据的挖掘不同,商业数据流挖掘必须适应数据的海量、连续、突变、保密、快速处理及更新、仅读取一次等特点。商业数据流的突变性引发了其所蕴含的概念随着时间而变化的,正是由于随时间的持续变化,必然会导致概念模型的更新,进而引起概念漂移(Concept Drift)问题。数据流的以上特点使得数据流上的分类模型不同于传统的分类模型,需要能够快速的处理流入的数据,并且及时对模型进行调整以反映新的分类信息。本文在国内外研究基础上首先研究了数据流的存储问题,提出了数据流的增量存储结构——增量存储树;接着,研究了数据流中存在的概念漂移现象,提出了集成贝叶斯分类技术,以及基于2次方的增量存储树更新策略;最后,通过上面的研究提出了基于增量存储树的数据流中隐含概念漂移的分类挖掘算法(CMCD-ST),并以插件的形式开发了CMCD-ST应用程序。主要研究内容包括：第一,对数据挖掘、数据挖掘的商业应用背景、数据流分类挖掘及其现有模型等相关理论进行研究,总结出目前该领域的最新研究成果,以期取其之长运用到商业数据流相关任务的挖掘上。第二,针对数据流的存储进行研究。基于对Bayesian算法的特性以及数据流的特性分析,本文提出了动态增量存储树结构,该结构把以记录为单位进行存储的数据转变为属性存储树,树的大小是由属性、属性值和分类的类别数量决定的。由此数据流的存储容量不是由记录数决定的,而是由属性、属性值和分类的类别数量共同决定,从而解决了动态数据流挖掘最大的难题——数据存储问题。第三,对数据流属性间的多重线性相关等进行研究,采用自助抽样技术对待分类数据中的属性进行裁剪和优化,解决了数据属性间的多重线性相关问题。第四,针对数据流中出现的概念漂移现象进行研究。构建了多个动态增量存储树,设计了存储树的实时更新策略——2次方更新策略,结合集成贝叶斯分类器技术,提出了一个基于增量存储树的数据流中隐含概念漂移的分类挖掘算法(CMCD-ST)。最后,结合上述的研究成果,以插件的形式开发了CMCD-ST算法,并成功的把该算法应用在隐含概念漂移的商业数据流的挖掘中。实验证明：该算法具有很好的处理数据流中概念漂移的能力和较高的分类精度。

关键词：数据流自助抽样贝叶斯分类概念漂移增量存储树

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：