检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于FSM的物联网大数据清洗算法

通信技术 2020年第2期53卷 301-311页

作者：郭雷勇李宇广东药科大学医药信息工程学院

在定长滑动窗口算法的基础上,应用有限状态机,按照标签的状态,对RFID标签数据进行清洗。算法解决了在清洗算法中重复窗口的问题,通过创建多阶哈希表存储标签读写记录,针对在海量标签数据中存在的多读、冗余读的现象,通过改进滑动窗口的... 详细信息

在定长滑动窗口算法的基础上,应用有限状态机,按照标签的状态,对RFID标签数据进行清洗。算法解决了在清洗算法中重复窗口的问题,通过创建多阶哈希表存储标签读写记录,针对在海量标签数据中存在的多读、冗余读的现象,通过改进滑动窗口的数据清洗方法,解决其在处理效率方面的不足。对阈值等影响清洗算法准确率的相关因素进行仿真,结果表明基于FSM的海量RFID标签数据清洗算法可以有效清洗标签数据,且性能优于SMURF等算法。

关键词：有限状态机物联网大数据清洗算法

在线全文

学校读者我要写书评

暂无评论

基于时序关系的RFID不确定数据清洗算法

辽宁大学学报（自然科学版） 2012年第2期39卷 174-178页

作者：王霞玄丽娟夏秀峰沈阳职业技术学院计算机学院辽宁沈阳110026 沈阳航空航天大学计算机学院辽宁沈阳110136

RFID原始数据具有海量性和不确定性的特点.通过对不确定数据时序关系的分析,提出了针对不同清洗节点的清洗算法.该类算法打破了传统的基于标签回应次数的方法,在综合考虑RFID数据时间特性的基础上,将RFID数据看成一系列时间序列数据,挖... 详细信息

RFID原始数据具有海量性和不确定性的特点.通过对不确定数据时序关系的分析,提出了针对不同清洗节点的清洗算法.该类算法打破了传统的基于标签回应次数的方法,在综合考虑RFID数据时间特性的基础上,将RFID数据看成一系列时间序列数据,挖掘数据间的潜在规律.实验表明,该类算法具有很好的可扩展性,有效地提高了数据清洗的准确率.

关键词： RFID 时间序列不确定数据清洗算法

在线全文

学校读者我要写书评

暂无评论

数据清洗中重复记录清洗算法的研究

软件工程师 2015年第9期18卷 61-62页

作者：谢文阁佟玉军贾丹梅红岩辽宁工业大学电子与信息工程学院辽宁锦州121001

介绍了数据清洗中的SNM算法和全文索引技术,通过引入全文索引技术对SNM算法进行了改进,以此提高了重复记录查找的速度和准确率,从而较好地提升了SNM算法的性能。

关键词：数据清洗全文索引重复记录清洗算法

基于最优组方差算法的风电SCADA定子温度数据清洗研究

在线全文

学校读者我要写书评

暂无评论

基于最优组方差算法的风电SCADA定子温度数据清洗研究

作者：黄昊湘潭大学

学位级别：硕士

基于最优组方差算法的风电SCADA定子温度数据清洗研究,主要通过风电场SCADA系统对其风机机组的运行状态进行发电机的运行参数采集,由数据处理工具将定子温度相关的参数存储至数据库。由于SCADA数据分析过程低效、模型精度不高以及经济... 详细信息

基于最优组方差算法的风电SCADA定子温度数据清洗研究,主要通过风电场SCADA系统对其风机机组的运行状态进行发电机的运行参数采集,由数据处理工具将定子温度相关的参数存储至数据库。由于SCADA数据分析过程低效、模型精度不高以及经济效益不足的问题,需要对其数据源进行清洗与优化等数据预处理的研究,使得数据源的质量和精度有明显的提升。在数据预处理的清洗算法使用与研究期间,结合神经网络基本原理,进行不断研究,主要工作如下:(1)SCADA数据前期处理研究。回顾了 SCADA系统的结构以及其作为数据源的作用。SCADA数据前期处理工具进行数据源到研究中所需要的前期准备工作,该工具是为了方便数据前期的使用便利性自主独立开发的数据软件。并着重讲解了该数据处理软件的设计框架,界面生成脚本及软件使用说明等,为本文定子温度的研究提供了研究保障与平台。(2)数据清洗算法的使用与探究。为了提高定子模型精度,定子温度的相关参数的数据源的质量高低起到了绝对性的作用,通过分析风电SCADA系统采集的各部件数据,对于其中发电机的定子温度,优化数据处理与分析的过程,这里提到了两种数据预处理的清洗算法,拟合曲线阈值法以及领域临近。这两个算法主要根据通过最标准数据点,前者拟合出标准曲线,后者以标准点为圆心划圆领域,区分两种数据集。(3)最优组方差算法研究。结合常规数据清洗算法需要依赖标准数据点的明显不足,提出了这种算法,该算法主要是通过滑差值得到较为理想的阈值,并在整体的数据集中进行阈值划分,一处为非正常,一处为正常,而正常部分的数据集便是后期需要建模的数据源。该算法主要特点是在数据预处理过程中不需要依赖标准数据点,相比常规的两种算法,无需寻找标准点便可直接使用。(4)改进OIV算法的研究。将原OIV算法的算式结构进行了一定的改进。由原本的单阈值划分改为双阈值的限定,改进最优组内方差算法其核心点便是其双阈值的使用。通过实例分析表明改进后的最优组方差算法可行且高效,能够准确处理发电机定子温度曲线数据并通过使用神经网络进行预测,显著提高了风电机组中发电机定子温度预测的准确性,最后与拟合曲线阈值法、领域临近法、原最优组方差算法进行比较,在模型的精度上得到了进一步的提升。

关键词：风电SCADA数据数据预处理清洗算法数据前期处理工具定子温度

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

光伏发电系统异常数据清洗及其应用研究

光伏发电系统异常数据清洗及其应用研究

作者：胡傲宇华北电力大学(北京)

学位级别：硕士

光伏发电作为一种清洁、可再生的发电方式,正在迅速成为可持续发展和能源战略的重要组成部分。近年来中国光伏发电发展速度惊人,光伏装机容量快速增长。装机容量的大幅增加也给光伏发电系统的运行维护带来了更大的挑战。当代的光伏电站... 详细信息

光伏发电作为一种清洁、可再生的发电方式,正在迅速成为可持续发展和能源战略的重要组成部分。近年来中国光伏发电发展速度惊人,光伏装机容量快速增长。装机容量的大幅增加也给光伏发电系统的运行维护带来了更大的挑战。当代的光伏电站都以实际运行过程中产生的数据为核心开展运维工作,因此高质量、高可靠性的光伏运行数据是光伏运维工作开展的必要前提。然而在光伏系统实际运行过程中存在大量的异常值,产生这些异常值的原因包括数据传播信号噪声,传感器故障,通信、测量设备故障,最大功率跟踪异常以及阵列停机限电等。大量的异常值会严重影响原始数据的质量,影响运维功能的实现。因此,能否对运行数据中的异常数据进行准确地识别与清洗对于保障光伏电站的安全经济运行有很重要的影响。为了解决上述问题,本文对光伏阵列的异常数据清洗进行了详尽的研究分析,研究内容包括以下方面。首先从理论上分析了光伏阵列功率和辐照量、电压和温度之间的单对参数、多对参数之间的理论关系,结合实际的运行数据分析了不同气象数据会对光伏出力曲线造成的影响。同时,论文从运行数据数据分布特征出发,归纳了单个以及多个环境参数下光伏阵列异常数据的种类、产生原因以及数据分布特征。其次,本文从辐照量和阵列输出功率入手,提出了基于滑动标准差突变的光伏阵列异常数据清洗方法。该方法可以通过分析运行数据的离散程度来识别异常值,同时通过滑动窗口的设计来保持不同组之间数据标准偏差的连续性,从而提高突变指数的敏感性。在实例分析中,本文从大型并网发电站中选择了多组实际运行数据并对其进行了清洗,清洁结果说明了该算法的可用性。然后,与基于分位数算法的异常数据识别方法的比较说明了滑差算法的有效性。由于阵列的出力曲线不仅仅受辐照度的影响,在同时考虑辐照度、温度对阵列电流、电压的影响下,本文提出了基于2步分位数的光伏阵列数据清洗方法。本文通过重复使用分位数方法的设计思想,保证了所有电流、电压的异常数据都能被识别到。实例分析中以某实际电站阵列的运行数据为清洗样本,验证了所提方法的有效性。通过对多组参数下算法清洗结果的研究,说明了运用分位数算法时要根据对清洗数据的要求来对应的调整分位点的参数设置。同时通过对比两种异常数据分布条件下一步四分位方法与本章节所提方法的性能结果,证明了2步分位数方法能具有更好的适应性和识别准确度。最后,为了探究数据清洗算法应用于光伏阵列故障诊断的可能性,本文以第四章二步分位数方法为基础,利用算法计算出的光伏阵列运行数据的正常数据上下阈值为判定根据,设计了可以应用于光伏阵列的故障诊断算法,并设计了四种不同典型故障条件以验证故障诊断算法的有效性。

关键词：光伏阵列数据清洗出力曲线异常数据清洗算法故障诊断

物联网中基于时间序列的RFID数据清洗技术研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

物联网中基于时间序列的RFID数据清洗技术研究

作者：玄丽娟沈阳航空航天大学

学位级别：硕士

高质量的数据能够为企业决策提供重要的依据和向导。随着物联网及RFID技术的发展,RFID不确定数据的清洗技术得到了国内外研究学者的广泛关注。目前,RFID不确定数据清洗技术已经取得了阶段性的成果,但是这些研究并没有深入挖掘RFID数据... 详细信息

高质量的数据能够为企业决策提供重要的依据和向导。随着物联网及RFID技术的发展,RFID不确定数据的清洗技术得到了国内外研究学者的广泛关注。目前,RFID不确定数据清洗技术已经取得了阶段性的成果,但是这些研究并没有深入挖掘RFID数据间的时间关联性。在详细分析已有的RFID数据清洗框架和清洗算法优缺点的基础上,提出了基于选择机制的RFID不确定数据清洗框架CFBS（Cleaning Framework Based on Selection Mechanism）。在充分考虑RFID数据不确定性和海量性的基础上,对进入框架的数据进行扫描和检测,判断其是否符合进入处理层的清洗条件,数据无需遍历所有的处理层而只需选择最优的清洗路线,节省了清洗时间,提高了清洗效率。在CFBS框架的基础上,结合RFID数据间的时间关联特性,提出了基于时间序列的针对不同种类不确定数据的清洗算法,实现了对RFID数据的分层清洗。该算法引入标签回应率的概念,通过对回应次数和时间的综合考虑来实现对数据的清洗。最后,对本文所提出的清洗框架和算法与传统的方法进行了实验对比。实验结果表明,文中构建的CFBS框架能够有效降低数据清洗的时间消耗,具有很好的时间性能,提高了清洗的效率;基于时间序列的清洗算法不仅对静态标签有很好的清洗效果,还能够及时地检测到动态标签的存在。

关键词：物联网 RFID技术时间序列清洗框架清洗算法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于科技创新大数据公共平台的数据清洗研究

基于科技创新大数据公共平台的数据清洗研究

作者：赵月琴石家庄铁道大学

学位级别：硕士

随着科技和信息技术的飞速发展,在数据库的基础上,产生了能够满足组织管理人员决策分析所需要的数据环境—数据仓库。但是,在构建过程中,存在数据质量问题,最终影响分析结果,所以,数据进入数据仓库前,必须进行数据清洗,从而保证数据质... 详细信息

随着科技和信息技术的飞速发展,在数据库的基础上,产生了能够满足组织管理人员决策分析所需要的数据环境—数据仓库。但是,在构建过程中,存在数据质量问题,最终影响分析结果,所以,数据进入数据仓库前,必须进行数据清洗,从而保证数据质量。论文依托“河北省科技攻关项目科技大数据标准化处理与应用系统研发”(172110113D)和项目“河北省科技创新大数据公共平台”,针对科技创新大数据的特点,构建数据清洗框架,制定清洗规则,研究清洗算法,并在真实数据集上进行实验,实现健壮的数据质量。论文主要研究工作如下。(1)构建数据清洗框架分析业务需求、开发环境、框架设计原则,梳理清洗规则与清洗算法间的业务流程关系。针对“脏数据”差异性特点,以及数据可修复性,动态配置业务所需的数据清洗规则。进一步根据所提出的数据清洗算法,对“脏数据”进行二次清洗,以确保流入数据仓库的数据质量。(2)制定数据清洗规则为制定适合科技创新大数据的清洗规则,重定义了“脏数据”基本概念。基于范式和集合相关理论,根据不同数据源中各表之间的关联关系,对多维数据表进行降维处理。针对“脏数据”差异性特点以及数据业务规范,定义空值、异常、冗余数据的清洗规则,以及制定初步的“脏数据”修复规则。(3)研究与实现数据清洗算法分析数据表中字段的属性特征,结合数据字典,定义相似重复记录。基于基本近邻排序算法以及多趟近邻排序算法,以记录间的相似度为切入点,为每个字段分配权重。分析科技创新大数据业务特点,设定重复记录判定阈值。根据字段权重与判定阈值之间的关系,筛选重复记录,分析数据质量,并在系统中实现数据清洗算法。最后,在真实数据集上进行实验,结果表明所提出的数据清洗规则和算法可以有效地完成科技创新大数据的清洗任务,并提高数据质量。

关键词：数据清洗数据仓库清洗规则清洗算法数据质量

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

数据清洗技术研究及清洗框架的设计与实现

数据清洗技术研究及清洗框架的设计与实现

作者：王江内蒙古大学

学位级别：硕士

在当今信息化时代的背景下,数据对于各行业发展的重要性不言而喻。由于数据来源的广泛性和数据模型定义的无关性,在整合数据源数据,尤其是整合多数据源数据时,常常会暴露出严重的数据质量问题。这些数据质量问题常常会导致错误决策的制... 详细信息

在当今信息化时代的背景下,数据对于各行业发展的重要性不言而喻。由于数据来源的广泛性和数据模型定义的无关性,在整合数据源数据,尤其是整合多数据源数据时,常常会暴露出严重的数据质量问题。这些数据质量问题常常会导致错误决策的制定,使信息驱动型应用失去潜在的效益。所以数据质量越来越受到人们的关注,作为提高数据质量有效手段的数据清洗技术得到了广泛的研究和发展。论文所做的主要工作包括以下三部分：第一部分,阐述了当前数据清洗在国内外的研究状况,论述了数据质量的概念,对数据质量问题的分类进行了讨论,并分析了多种造成数据质量问题的原因。同时阐述了数据清洗的概念、原理及一般过程。第二部分,着重研究了几种重复数据清洗算法,提出了一种适合本设计的数据清算法。根据已有项目的需求,结合已有数据特点,制定了清洗流程。第三部分,设计并实现了一个数据清洗框架模型,并利用测试数据对所设计的框架进行了性能测试。数据清洗框架的设计与实现是论文工作的重点。此框架包含多个清洗流程,在数据入库之前就对数据的基本格式与取值进行校验,达到初步控制数据质量的目的。利用多级数据库存取模式实现“脏数据”与决策资源池间的有效隔离,保证进入资源池的数据都是经过清洗的数据。系统使用Java面向对象设计语言与ORACLE数据库进行设计开发,很大程度上提高了系统跨平台运行的能力。框架采用模块化设计的方式,方便以后的拓展和维护。文章最后对所做工作进行了总结并对后续的发展进行了展望。

关键词：数据清洗数据质量清洗框架清洗算法

基于滑动标准差计算的光伏阵列异常数据清洗办法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

电力系统保护与控制 2020年第6期48卷 108-114页

作者：时珉尹瑞胡傲宇吴骥国网河北省电力有限公司河北石家庄050000 华北电力大学北京102206 中国电力科学研究院有限公司江苏南京210000

光伏阵列运行数据中存在大量异常数据,这些异常数据会对光伏阵列性能分析、建模、故障诊断的实现带来困难。为了有效剔除光伏阵列运行数据中的异常数据,提出了一种基于滑动标准差的光伏阵列异常数据清洗方法。分析了阵列异常数据的来源... 详细信息

光伏阵列运行数据中存在大量异常数据,这些异常数据会对光伏阵列性能分析、建模、故障诊断的实现带来困难。为了有效剔除光伏阵列运行数据中的异常数据,提出了一种基于滑动标准差的光伏阵列异常数据清洗方法。分析了阵列异常数据的来源及分布特性,给出了光伏阵列滑动标准差的计算方法。该方法以滑动标准差的曲线上翘作为异常数据的判断依据。最后通过实例分析以及其他方法对比,说明该算法可以有效降低由于异常数据集中分布带来的异常数据清洗困难。

关键词：光伏阵列功率曲线异常数据数据清洗清洗算法