检索结果-南通市图书馆

基于动态融合注意力机制的电力负荷缺失数据填充模型

在线全文

学校读者我要写书评

暂无评论

郑州大学学报(工学版) 2024年

作者：赵冬李亚瑞王文相宋伟中原工学院软件学院许昌许继软件技术有限公司中原工学院计算机学院郑州大学计算机与人工智能学院

为了提高电力负荷数据的缺失值填充精度,保障后续数据分析与应用的高效进行,提出一种基于动态融合注意力机制的填充模型DFAIM。该模型由注意力机制模块和动态加权融合模块构成,通过注意力机制模块的2种不同注意力机制挖掘特征与时间戳... 详细信息

为了提高电力负荷数据的缺失值填充精度,保障后续数据分析与应用的高效进行,提出一种基于动态融合注意力机制的填充模型DFAIM。该模型由注意力机制模块和动态加权融合模块构成,通过注意力机制模块的2种不同注意力机制挖掘特征与时间戳之间的深层关联;通过动态加权融合模块将可学习的权重赋予注意力机制模块的2个输出以得到特征表示;最后,利用特征表示来替换缺失位置的值,从而得到准确的填充结果。使用纽约市某地区的气象及负荷数据集及UCI电力负荷数据集对提出的模型进行验证,实验结果表明:相较于统计学、机器学习和深度学习填充模型,DFAIM在评价指标MAE、RMSE和MRE上均具有一定优势。

关键词：缺失值填充注意力机制电力负荷时序特征

基于注意力机制的城市多元空气质量数据缺失值填充

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

计算机工程与科学 2023年第8期45卷 1354-1364页

作者：马思远焦佳辉任晟岐宋伟郑州大学河南省大数据研究院河南郑州450052 郑州大学计算机与人工智能学院河南郑州450001

空气污染严重影响着人类的身体健康与社会的可持续发展,但传感器获取的多元变量空气质量数据往往存在缺失值,这为数据的分析与处理带来了困扰。目前,许多对某一种空气成分变化的分析方法只依赖于此属性的时间数据与空间数据,忽略了在相... 详细信息

空气污染严重影响着人类的身体健康与社会的可持续发展,但传感器获取的多元变量空气质量数据往往存在缺失值,这为数据的分析与处理带来了困扰。目前,许多对某一种空气成分变化的分析方法只依赖于此属性的时间数据与空间数据,忽略了在相同时间区间内其他空气成分对此属性变化趋势的影响,且在离散型缺失数据的填充上难以达到理想的效果。提出了一种时间注意力深度学习模型(TAM)。该模型使用注意力机制来关注不同时间戳之间的相关性与不同特征时间序列之间的相关性,并结合短期历史数据来填充多元变量空气质量数据中的缺失读数。使用北京市的空气质量数据对所提出的模型进行评估,实验结果表明,相比较于其他10种基线模型,TAM具有一定优势。

关键词：空气质量缺失值填充注意力机制深度学习

基于聚类和LSTM的电力分钟冻结数据缺失值填充方法

在线全文

学校读者我要写书评

暂无评论

控制工程 2022年第4期29卷 611-616页

作者：卢继哲刘宣唐悦阿辽沙·叶侯帅叶方彬中国电力科学研究院有限公司北京100192 国网浙江省电力有限公司营销服务中心浙江杭州310000

在用电信息采集系统中,由于采集和配电设备的海量接入,终端获取的分钟冻结数据普遍存在缺失。针对该问题,提出一种基于聚类的时间序列预测方法填充缺失值。该方法利用终端获取的分钟冻结数据具有时序自相似和关联性特征,首先对终端聚类... 详细信息

在用电信息采集系统中,由于采集和配电设备的海量接入,终端获取的分钟冻结数据普遍存在缺失。针对该问题,提出一种基于聚类的时间序列预测方法填充缺失值。该方法利用终端获取的分钟冻结数据具有时序自相似和关联性特征,首先对终端聚类,使具有相似时序特征的终端在同一分组,针对长时间序列具有的高维特征造成聚类困难的问题,使用自编码器降维,提高聚类性能;然后,对各分组建立基于长短期记忆(LSTM)单元的神经网络模型预测缺失值。实验结果表明该方法能有效利用终端时间序列的特性,验证了基于自编码器的聚类可提升预测性能。

关键词：用电信息采集系统分钟冻结数据缺失值填充聚类 LSTM

在线全文

学校读者我要写书评

暂无评论

核动力装置运行参数缺失值填充方法研究

海军工程大学学报 2023年第3期35卷 8-14页

作者：毛伟余刃王天舒殷少轩海军工程大学核科学技术学院武汉430033 海军参谋部安全评估保障室北京100166

核动力装置监控系统中,由于数据采集和传输过程中受到外部干扰或由于设备自身问题,导致在运行参数监测数据中存在数据缺失现象,这将很大程度影响对运行数据分析结果的正确性。为解决此问题,首先基于核动力装置某一特定的运行状态对应的... 详细信息

核动力装置监控系统中,由于数据采集和传输过程中受到外部干扰或由于设备自身问题,导致在运行参数监测数据中存在数据缺失现象,这将很大程度影响对运行数据分析结果的正确性。为解决此问题,首先基于核动力装置某一特定的运行状态对应的各组运行参数之间有着极高相似性的特点,开展了基于热卡填充法的核动力装置运行数据缺失值填充方法研究,并利用运行参数与系统状态对应关系,实现了缺失值的估计;然后,设计了系统状态表达方法、状态相似性测量方法以及缺失数据填充算法总体流程;最后,以模拟机运行数据为例,构建了测试集进行测试。测试结果证明了所设计算法的可行性与准确性。

关键词：核动力装置缺失值填充马氏距离热卡填充法

基于TSnet模型的多元时间序列缺失值填充方法研究

在线全文

学校读者我要写书评

暂无评论

基于TSnet模型的多元时间序列缺失值填充方法研究

作者：黄才豪重庆大学

学位级别：硕士

多元时间序列普遍存在于日常生活和科学研究之中,比如空气质量数据、股票数据、气候变化记录以及其他各种科研数据等等。然而,由于传感器故障、数据传输故障或是存储单元的损坏,这些时间序列中很有可能存在缺失值,从而严重影响人们对这... 详细信息

多元时间序列普遍存在于日常生活和科学研究之中,比如空气质量数据、股票数据、气候变化记录以及其他各种科研数据等等。然而,由于传感器故障、数据传输故障或是存储单元的损坏,这些时间序列中很有可能存在缺失值,从而严重影响人们对这些数据的使用。因此,如何有效准确地填充这些缺失值是一个具有实用意义的问题。现有的方法没有考虑到不同特征的对缺失值填充的不同影响,也没有对时域信息和空间信息有效地进行融合。为了解决这样的问题,本文提出了TSnet(Temporal-Spatial net)深度学习模型来提升缺失值填充的精度,该模型结合了时域(Temporal)信息和空间(Spatial)特征信息。TSnet模型包含两部分,第一部分是特征注意力CNN神经网络、第二部分是时域信息提取网络。本文的主要贡献和工作如下:(1)我们提出了一种基于时域信息引导的特征注意力CNN网络,它能根据不同特征提供的不同信息比重来帮助CNN神经网络更好地实现对空间特征的学习。(2)我们提出了基于LSTM改进的时域信息提取模块Imputation-LSTM和基于BERT改进的时域信息提取模块I-BERT。这两个模块均能从带有缺失值的多元时间序列数据中学习时域信息。(3)我们构建基于Imputation-LSTM的TSnet-L模型和基于I-BERT的TSnet-T模型。本文在三个来自不同领域的数据集上进行实验,将TSnet与其他常用模型的实验结果进行对比,结果显示TSnet-L比其他模型在多元时间序列的缺失值填充任务上表现得更为出色,TSnet-T则在训练速度上更有优势。同时消融实验的结果也显示,在添加了特征注意力模块后,模型对缺失值的预测精度有了提升。

关键词：多元时间序列时域信息空间特征缺失值填充深度学习

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

缺失值填充:基于信息增益的方法

计算机工程与设计 2006年第24期27卷 4810-4812页

作者：张红霞桂林航天工业高等专科学校计算机系广西桂林540000

在数据挖掘以及机器学习等领域,都需要涉及一个数据预处理过程,以消除数据中所包含的错误、噪声、不一致数据或缺失值。其中,缺失值的填充是一个非常具有挑战性的任务,因为填充效果的好坏会极大的影响学习算法及挖掘算法的后续处理过程... 详细信息

在数据挖掘以及机器学习等领域,都需要涉及一个数据预处理过程,以消除数据中所包含的错误、噪声、不一致数据或缺失值。其中,缺失值的填充是一个非常具有挑战性的任务,因为填充效果的好坏会极大的影响学习算法及挖掘算法的后续处理过程。目前已有的一些填充算法,如基于粗糙集的和基于最近邻法的算法等,在一定程度上能够处理缺失值问题。与以上方法不同,提出了一种扩展的基于信息增益的缺失值填充算法,它充分利用数据集中各属性之间隐含的关系对缺失的数据进行填充。大量的实验表明,提出的扩展的基于信息增益的缺失值填充算法是有效的。

关键词：机器学习缺失值填充信息增益分类准确率

在线全文

学校读者我要写书评

暂无评论

缺失值填充的若干问题研究

缺失值填充的若干问题研究

作者：朱晓峰广西师范大学

学位级别：硕士

数据缺失在实际中是经常发生的,甚至是不可避免的。造成数据缺失可能是信息(暂时)无法获取或者在操作过程中被遗漏等。数据缺失对数据挖掘的过程和结果都有十分严重的影响。数据缺失可能直接影响到模式发现的准确性和运行性能,甚至导致... 详细信息

数据缺失在实际中是经常发生的,甚至是不可避免的。造成数据缺失可能是信息(暂时)无法获取或者在操作过程中被遗漏等。数据缺失对数据挖掘的过程和结果都有十分严重的影响。数据缺失可能直接影响到模式发现的准确性和运行性能,甚至导致错误的挖掘模型。处理有缺失数据的数据集是极端困难的,因为,现有的模式发现算法通常假设输入的数据是无缺失的。于是,这些可用的模式发现算法和实际数据之间存在一条不可逾越的鸿沟。缺失数据的处理方法可分为删除元组、缺失数据填充和不处理三大类。Han和Zhang等认为,从使用的频率和研究的程度等各方面来看,填充方法是最常用的一种处理缺失值的方法,因此,本论文研究如何用填充的方法处理缺失数据。填充缺失数据的方法无论是在技术上还是理论上都得到了空前的重视,国际上有很多专门机构研究这个问题,例如:美国宾州大学和佛蒙特大学都成立有专门的研究小组。但是,无论在统计方面还是数据挖掘领域的缺失填充方法仍然存在许多致命的缺陷。首先,现实数据集通常缺失十分严重,常见的填充方法仅仅利用没有缺失值的完全事例去填充缺失的数据。这类处理方式一方面可能要面对可用信息不足;另一方面忽略了含有缺失值的事例中的有效信息,这样不仅造成了资源浪费,而且填充效果也会出现偏差。其次,用户对所处理的数据集通常没有任何先验知识,常用的参数填充方法经常可能由于参数的错误估计而导致填充的结果严重失实,存在的非参数填充方法在技术上和理论上都很粗糙,并且只在本应用范围内十分有效,一旦被应用到其他应用领域或者一些交叉应用领域,这些在某领域内十分优秀的方法可能会导致极差的填充效果。上述表明,缺失数据填充是一个实际且具有挑战性的研究课题。本论文研究缺失数据填充的如下三方面问题。填充决策属性的缺失问题:本论文提出的DAIM算法能处理混合类型的条件属性,算法首次使用基于混和核的非参重复填充方法填充离散型或者连续型缺失决策属性,并且提出了一种新颖的发现最优窗宽(bandwidth)的网格搜索(grid search)方法,能在有限的空间内穷举式地搜索最优窗宽,大大地减少搜索空间和时间。在缺失值填充过程中研究了填充代价和填充代价约束的问题:本论文首次提出建立代价敏感的填充器必须考虑构造填充器的有效信息问题,算法折中考虑了经济因素和构造填充器所需有效信息来对缺失数据进行排序,提出了一个考虑填充顺序的条件属性缺失的增量式填充算法CAIM。条件属性和决策属性同时有缺失的问题:本论文分析了kNN算法中Minkowski距离公式正确选择Minkowski参数的复杂性,提出了用灰色分析的方法代替Minkowski距离的思想,然后分析了填充缺失值充分利用所有有效信息的必要性,并且提出非参重复填充方法来充分利用所有有效信息的理论,最后的填充算法CDAIM能处理条件属性和决策属性同时缺失的情况。本论文的每种算法都用模拟数据和真实数据进行评估和分析,在各个评价指标的比较中,本论文的算法都优于存在的一些经典算法。本论文的主要创新点如下:(1)在对所处理的数据集的分布没有任何先验知识的情况下,参数填充方法经常由于错误的参数估计导致填充的结果严重失实,此时非参方法是一个很好的替换,但是存在的非参方法在技术上和理论上都很粗糙,本论文的三个算法都对传统的非参方法进行了改进。为了充分利用所有有效的信息,本论文的三个算法都采用重复填充技术。本论文提出的非参数重复填充算法收敛速度要比现有的参数重复填充算法EM算法快,且填充效果上优于一次填充或者多重填充的效果。本论文的三个非参重复填充方法既丰富了重复填充算法理论,也是对非参理论无重复算法的填补。(2)本论文在核填充方法中首次引入混合核,在填充过程中能加强核函数的内插能力和外延能力;在最近邻算法中使用灰色分析代替Minkowski距离的方法,弥补了由于选择Minkowski参数造成填充效果不稳定的缺陷。这些研究建立了新的缺失值填充的理论、方法和技术。(3)本论文首次把填充代价和构造填充器所需的有效信息综合考虑,把填充理论和代价理论有机地融合在一起进行研究。

关键词：缺失值填充增量填充重复填充代价敏感混合核核函数最近邻算法

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一种大域数据流中缺失值的填充方法

南京大学学报（自然科学版） 2011年第1期47卷 32-39页

作者：赵飞刘奇志张剡柏文阳南京大学软件新技术国家重点实验室计算机科学与技术系南京210093

在网络流量监控等数据流应用场景中,数据流中的IP地址等属性的值域往往很大,对于连续到达的数据流,管理系统一般不存储全体数据集,而是维护一个较小规模的数据概要.对于这类大域数据流中的缺失数据,难以采用邻近值填充等传统方法进行填... 详细信息

在网络流量监控等数据流应用场景中,数据流中的IP地址等属性的值域往往很大,对于连续到达的数据流,管理系统一般不存储全体数据集,而是维护一个较小规模的数据概要.对于这类大域数据流中的缺失数据,难以采用邻近值填充等传统方法进行填充,也不能轻易删除.最小计数概要是一种轻量级的数据流概要,适合大域数据流的概要维护.本文基于最小计数概要及其维护技术,提出最小频率概要,并根据这两种概要填充大域数据流中的缺失数据.该填充方法首先设计一组两两独立的Hash函数族,将一段时间内大域数据流的属性值(如网络流量)映射并累加到非大域二维表数据结构中,形成大域数据流的计数概要(如一段时间内网络总流量),与此同时,在二维表中存储计数概要伴随的频率概要(即数据流到达次数,如数据包的个数),然后根据最小计数概要与最小频率概要之比对大域数据流的缺失值(如某个数据包的流量)进行填充.采用模拟大域数据集在通用软硬件环境下进行大量实验,结果表明,基于最小计数/频率概要的填充方法可获得较高的精度,而且填充误差随数据属性值定义域的变化呈非单调性变化,另外,随着数据量的增加,填充误差虽然越来越大,但是变化越来越缓慢,最终趋于一个稳定值.对于给定误差参数ε,本文设计的填充算法时空界限为1/ε,部分应用的时间界限为1.

关键词：大域数据流不确定性缺失值填充最小计数概要

基于Map-Reduce的大数据缺失值填充算法

在线全文

学校读者我要写书评

暂无评论

计算机研究与发展 2013年第S1期50卷 312-321页

作者：金连王宏志黄沈滨高宏哈尔滨工业大学计算机科学与技术学院哈尔滨150001 哈尔滨工业大学网络与信息中心哈尔滨150001

缺失值大量存在于现实数据库中,这不仅严重影响了信息查询质量,还会扭曲数据挖掘与数据分析结论,进而误导决策.解决这一问题的最佳方法是预先填充这些丢失的数据.给出了一种基于概率推理的填充分类属性的算法.推理过程是在一个基于属性... 详细信息

缺失值大量存在于现实数据库中,这不仅严重影响了信息查询质量,还会扭曲数据挖掘与数据分析结论,进而误导决策.解决这一问题的最佳方法是预先填充这些丢失的数据.给出了一种基于概率推理的填充分类属性的算法.推理过程是在一个基于属性相关性而建立起来的贝叶斯网中完成.为实现大数据处理的并行化,在Map-Reduce框架中给出这两个算法.实验部分分别验证了贝叶斯网构建方法和概率推理对分类数据处理的有效性,以及算法在hadoop中运行的并行化程度.

关键词：缺失值填充概率推理 Map-Reduce