检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

时序数据异常检测方法研究

时序数据异常检测方法研究

作者：徐天慧山东财经大学

学位级别：硕士

时序数据通常含有一些不符合预期模式的异常。精准、全面、低时延地检测异常有助于提取重要信息并及时地处理异常。时序数据的异常检测是数据挖掘领域的重要研究问题之一,已被广泛应用于网络流量异常检测、工业故障检测和交易欺诈检测... 详细信息

时序数据通常含有一些不符合预期模式的异常。精准、全面、低时延地检测异常有助于提取重要信息并及时地处理异常。时序数据的异常检测是数据挖掘领域的重要研究问题之一,已被广泛应用于网络流量异常检测、工业故障检测和交易欺诈检测等领域。时序数据的异常检测方法可大致分为两类:传统的基于邻近度的方法和基于深度学习的方法。基于邻近度的方法主要利用数据分布的概率密度比来度量时间子序列间的邻近度以捕捉时序异常。基于深度学习的方法大多采用循环神经网络或长短期记忆网络来捕捉时序依赖性,并利用自编码器以重构数据,进而根据重构误差的大小实现异常检测。虽然这两类方法均实现了较高的异常检测率,但是仍存在检测时延较长、计算效率较低和鲁棒性较低的问题。为缓解这些问题,本文分别对这两类时序数据的异常检测方法进行研究,主要贡献如下:(1)针对传统的基于邻近度的方法检测时延较大和计算复杂度较高的问题,提出一种基于全变分比分隔距离的检测方法(TVRSE-AD)。采用全变分提取序列波动特征,进而计算全变分比分隔距离度量序列的邻近度。该距离的计算可避免复杂的参数估计,有助于提高方法的计算效率,并降低方法的检测时延。针对噪声干扰问题,引入相对全变分以进一步增强方法的鲁棒性和检测准确度。实验结果表明,TVRSE-AD方法在检测精度、时延以及计算效率三个方面均具有较好的表现。(2)针对基于深度学习的方法中网络所含参数较多导致方法计算效率较低的问题,提出一种基于串行自编码器的异常检测方法(SEAE-AD)。该方法含有两个自编码器(AE和AE),其结构简单且所含参数较少,较少的参数加快了方法的训练和推理速度。此外,通过将AE和AE串行拼接,即AE的输出作为AE的输入,提高AE的解码器对正常数据特征的解码能力,有助于提升方法的检测准确率。实验结果表明,相较于其他新近提出的异常检测方法,SEAE-AD方法取得了更高的精确率、召回率和F1值以及更快的推理速度。本文采用TVRSE-AD方法计算子序列之间的邻近度,实现高效的异常检测。当数据维度和数据量较大时,描述数据分布的难度加大,导致该方法的异常检测率和计算效率降低。为此,SEAE-AD方法借助神经网络较强的特征提取和数据表示能力,有效提高了检测性能。本文为时序数据的异常检测领域提供了两种较为有效的方法,并为后续工作提供一定的研究思路。

关键词：时序数据异常检测概率密度神经网络自编码器

融合Informer和深度哈希的时序数据相似性搜索研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

控制工程 2023年第7期30卷 1317-1323页

作者：梁英杰张明元姜锋王迪平作为海军工程大学舰船综合电力技术国防科技重点实验室湖北武汉430033

针对工业大数据相似性搜索的效率和准确率不高的问题,提出了一种融合Informer和深度哈希算法的时序数据相似性搜索方法。首先,基于Informer搭建深度哈希数据特征提取模型;然后,通过贪婪哈希函数和层归一化构建深度哈希函数,通过对损失... 详细信息

针对工业大数据相似性搜索的效率和准确率不高的问题,提出了一种融合Informer和深度哈希算法的时序数据相似性搜索方法。首先,基于Informer搭建深度哈希数据特征提取模型;然后,通过贪婪哈希函数和层归一化构建深度哈希函数,通过对损失函数进行优化提高深度哈希算法的性能;最后,对M树(M-tree)进行改进,提高时序数据相似性搜索的效率。基于不同数据集的实验结果表明,该方法在保证较高准确性的前提下,可以有效提高时序数据相似性搜索的速度。

关键词：时序数据 Informer 相似性搜索深度哈希

基于LSTM-GAN的加油时序数据异常检测

在线全文

学校读者我要写书评

暂无评论

计算机应用与软件 2022年第7期39卷 13-19页

作者：赵飏李晓马博王保全周喜中国科学院新疆理化技术研究所新疆乌鲁木齐830011 中国科学院大学北京100049 新疆理化技术研究所新疆民族语音语言信息处理实验室新疆乌鲁木齐830011

加油站时序数据中蕴藏着大量信息,但加油数据庞大复杂且各变量间蕴含隐性关系,目前的异常检测方法经常产生“假异常”或遗漏真实异常,无法有效挖掘加油数据中的异常点。针对这种现象,提出一种基于无监督学习的异常检测方法。通过PCA对... 详细信息

加油站时序数据中蕴藏着大量信息,但加油数据庞大复杂且各变量间蕴含隐性关系,目前的异常检测方法经常产生“假异常”或遗漏真实异常,无法有效挖掘加油数据中的异常点。针对这种现象,提出一种基于无监督学习的异常检测方法。通过PCA对数据进行降维,提取有效的特征信息,采用基于LSTM的GAN模型(LSTM-GAN)对加油时序数据进行检测,通过生成器和鉴别器共同得到的异常损失定义异常点。通过在加油数据集和公开数据集上的实验证明了该方法的有效性,并且相较于目前的异常检测方法具有一定提升。

关键词：生成式对抗网络长短期递归神经网络无监督学习时序数据异常检测

基于强化学习的多变量时序数据缺失值补全方法

在线全文

学校读者我要写书评

暂无评论

中国科技论文 2023年第11期18卷 1205-1212,1229页

作者：陈俊扬戴志江李雪亮李子健唐显彬万昌许铮铧巩志国深圳大学计算机与软件学院广东深圳518060 大数据系统计算技术国家工程实验室(深圳大学) 广东深圳518060 智慧城市物联网国家重点实验室(澳门大学) 中国澳门999078 电工装备可靠性与智能化国家重点实验室(河北工业大学) 天津300131

针对基于深度神经网络填补多变量时序数据缺失值时存在误差引入的问题,将强化学习和图神经网络结合,提出了基于强化学习的多变量时序数据缺失值补全方法(reinforcement learning based missing value completion method for multivariat... 详细信息

针对基于深度神经网络填补多变量时序数据缺失值时存在误差引入的问题,将强化学习和图神经网络结合,提出了基于强化学习的多变量时序数据缺失值补全方法(reinforcement learning based missing value completion method for multivariate time series data,RL-CFMTS)。具体地,设计了一个图神经网络模块,用于预测最终的缺失值。同时,该模块还为强化学习模块提供状态向量和奖励,指导强化学习为目标时序节点挑选其认为最相似的b个节点来建立时序关系,以减少误差的引入。在3个真实世界数据集上的实验结果表明,RL-CFMTS在插补准确性方面优于近年来的多变量时序数据缺失值填补方法,在天气、股票和疫情数据集中平均绝对误差(mean absolute error,MAE)指标分别提升了12.78%、15.80%和55.73%。

关键词：时序数据缺失值填补强化学习误差累积

基于GAT-GRU的增量式KPI时序数据异常检测模型

在线全文

学校读者我要写书评

暂无评论

昆明理工大学学报（自然科学版） 2023年第4期48卷 55-63页

作者：李杉闵帆西南石油大学计算机科学学院四川成都610500 西南石油大学机器学习研究中心四川成都610500

互联网软硬件系统的运行状态通常由关键性能指标KPI刻画,相应的多维时序数据为异常检测和智能运维提供了支撑.这些数据的特征间依赖关系和特征动态变化给异常检测算法带来了挑战.本文利用图神经网络和循环神经网络,构建了具有连续学习... 详细信息

互联网软硬件系统的运行状态通常由关键性能指标KPI刻画,相应的多维时序数据为异常检测和智能运维提供了支撑.这些数据的特征间依赖关系和特征动态变化给异常检测算法带来了挑战.本文利用图神经网络和循环神经网络,构建了具有连续学习能力的异常检测模型.其中,异常检测模块使用并列的GRU和GAT提取正常数据的时间依赖性与特征相关性,然后使用多层感知机进行数据重构,这种非对称的编码-解码机制支持稳定的异常检测.增量学习模块基于A-GEM算法进行参数更新,在适应新数据的同时保证模型兼容性.使用四个真实运维数据进行了实验,结果表明,本文模型对高维KPI时序数据异常检测有较好表现.

关键词：异常检测时序数据增量学习图神经网络循环神经网络智能运维

在线全文

学校读者我要写书评

暂无评论

基于跨模态深度度量学习的时序数据异常检测

计算机仿真 2022年第10期39卷 533-537页

作者：李娟李海瑛边玲刘秋红河北医科大学河北石家庄050031

为妥善解决时序数据异常检测敏感度低、耗时长等问题,提出基于跨模态深度度量学习的异常检测方法。创建由输入层、三元组选择层和损失函数计算层构建的跨模态深度度量学习特征聚类模型,计算各聚类中心间欧式距离平方值,采用随机梯度下... 详细信息

为妥善解决时序数据异常检测敏感度低、耗时长等问题,提出基于跨模态深度度量学习的异常检测方法。创建由输入层、三元组选择层和损失函数计算层构建的跨模态深度度量学习特征聚类模型,计算各聚类中心间欧式距离平方值,采用随机梯度下降策略优化模型,归类不同时序特征数据;以主成分方向矢量内积当作数据异常衡量标准,运用vMF分布描述时序数据的方向特征,训练历史数据得到评估时序参数,对比真实时序数据主成分方向矢量与门限值,完成异常数据检测。实验结果证明,所提检测方法能准确划分不同属性的时序数据,对异常数据敏感,检测精度高、速率快,鲁棒性强。

关键词：跨模态深度度量学习时序数据异常检测核主成分分析

基于时序数据的公交车速预测及异常检测方法研究

在线全文

学校读者我要写书评

暂无评论

基于时序数据的公交车速预测及异常检测方法研究

作者：肖宇长安大学

学位级别：硕士

城市公交车辆是组成公共交通系统的重要部分,与城市居民出行息息相关,对公交车辆的运行进行有效管理与检测是城市交通治理的关键环节。由于公交车辆行驶在固定运营线路上,中途停靠固定公交站点,公交车辆的速度在连续的时间序列上表现出... 详细信息

城市公交车辆是组成公共交通系统的重要部分,与城市居民出行息息相关,对公交车辆的运行进行有效管理与检测是城市交通治理的关键环节。由于公交车辆行驶在固定运营线路上,中途停靠固定公交站点,公交车辆的速度在连续的时间序列上表现出一定的规律性;同时公交车辆的行驶过程受到包括乘客、驾驶员、行人和机动车等其他交通主体各种行为活动的干扰,公交车辆运行中的异常情况时有发生,公交车速具有随机性。因此,基于具有双重属性的公交车速时序数据,进行公交短时车辆速度预测以及异常检测研究,对城市公交运行管理具有重要的理论指导价值和现实意义。鉴于此,本文基于公交车辆时序速度的特点,考虑历史车速数据与当前车速数据的关联性,构建基于极限梯度提升决策树算法(XGBoost)的车速预测模型,将时序数据序列转换为监督学习序列作为预测模型的输入变量,通过搭建滑动时间窗口实现车速预测,同时引入Optuna参数优化方法,以损失函数最小为优化目标,通过遍历参数空间获得预测模型的最优参数。提出平均绝对均值误差(MAME)作为预测模型评价的补充指标,避免了预测数据集本身大小对评价结果的影响。在公交车速预测的基础上,提出一种基于分层动态阈值的异常检测方法,深入分析车速数据的组成部分,根据是否具有规律性,将车速数据进行基于局部加权回归的季节性和趋势性时序分解(STL),得到趋势分量、周期分量和残差分量,对各分量分层进行预测并求解预测值与实际值间的误差序列,采用动态阈值方法计算各分量阈值,根据分量对车速数据变化的影响程度对分量阈值进行赋权,求和后得到总阈值,最后将总阈值与分解前的车速预测误差绝对值序列进行比较,大于阈值的被认为是异常值,并输出异常时刻。研究结果表明:在雅加达市公交系统实际GPS数据集中,使用基于XGBoost的预测模型表现优异,经Optuna框架优化参数后,得到最终优化迭代结果和参数重要程度排序,基于Optuna优化的预测模型能够克服参数局部最优和寻优时间过长的不足;同时对比卡尔曼滤波、随机森林、卷积神经网络以及决策树算法,基于XGBoost的预测模型的平均绝对误差(MAE)为5.225,均方根误差(RMSE)为6.890,MAME为22.717%,评估指标均小于其他对比模型预测结果,同时调整后的拟合优度(R＿adjusted)为0.638,拟合效果更优,进一步证明本文提出的预测模型表现更为准确。分层动态异常检测模型能够发现验证数据集中存在的四个异常时段,指明异常时段的开始时间和结束时间。与传统固定阈值法、局部异常因子算法(LOF)和具有噪声的密度聚类(DBSCAN)方法进行比较,本文提出的检测方法避免了传统检测的弊端,能够更为全面地定位异常数据,降低了异常检测的错误率,验证了分层动态阈值检测方法的有效性,有助于提高公交运行过程异常情况的检测效率,保障公共交通平稳高效运营。

关键词：城市公交时序数据车速预测异常检测 XGBoost STL分解

基于深度学习的物联网时序数据缺失值填补和无监督异常检测方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的物联网时序数据缺失值填补和无监督异常检测方法研...

作者：杨金升海南大学

学位级别：硕士

物联网是指将物理世界中的各种对象与互联网相连接,使它们能够相互通信、交互、协作,以实现智能化的控制和管理。时序数据是物联网的重要组成部分,主要用于的分析和决策。由于时序数据存在被干扰和丢失等问题,因此物联网时序数据可能存... 详细信息

物联网是指将物理世界中的各种对象与互联网相连接,使它们能够相互通信、交互、协作,以实现智能化的控制和管理。时序数据是物联网的重要组成部分,主要用于的分析和决策。由于时序数据存在被干扰和丢失等问题,因此物联网时序数据可能存在缺失值和异常值。这些问题对于物联网应用的正确性和可靠性有很大影响,需要针对性地进行处理。深度学习是一种基于神经网络的机器学习方法,具有处理大规模复杂数据的优势。在物联网时序数据分析中,也取得了不错的效果。但是现存的缺失值填补方法仍然存在度量指标单一、填充策略缺乏适应性、实验环境与现实环境存在割裂等问题,同样的异常检测方法也存在网络结果设计不合理从而导致的准确性低、错报误报频发等问题。这将严重影响物联网的数据分析和应用、增加系统的误判率并降低系统的稳定性和可靠性。本文将针对以上问题对现存的深度学习方法进行改进,从而减轻由于数据自身问题对物联网系统造成的影响。本文主要研究内容如下:(1)针对缺失值填补的现存问题,本文提出了一种新的缺失值填补框架,称为基于深度学习的多阶段大段缺失值填补框架。该框架包括混合测量指标和更具适应性的评估指标,可以同时考虑数据分布的低阶和高阶统计特征,用于改进现有度量指标单一的问题。此外,框架还采用了多阶段填补策略和动态数据长度调整,以适应数据周期变化,提高模型对不同缺失状况数据的适应性。在此基础上,在实验部分引入新的缺失值模拟方法,以尽可能保证实验模拟环境和现实环境相符。最后,实验结果显示所提出的框架在各种时序数据上都表现出卓越的性能,尤其是在解决大分段填补问题方面表现更为出色。(2)为改进现存异常检测方法准确率低、错报误报频发问题,本文提出了一种名为“时间序列合作网络”(CNTS)的新型无监督异常检测方法。该方法包含两个组件:检测器和重构器。检测器直接负责检测异常,而重构器则向检测器提供重构信息,并根据来自检测器的异常信息更新其学习。CNTS的核心是一个通过合作策略解决多目标优化问题。通过在三个真实数据集上的实验验证,CNTS方法表现出领先的性能,并且证明了检测器和重构器的合作有效性。物联网时序数据缺失值填补和异常检测是物联网领域中重要的数据处理技术,它们不仅是数据处理的重要环节,还具有重要的管理学意义。对物联网时序数据进行有效地缺失值填补和异常检测,可以提高数据质量、优化决策结果、降低风险、推动技术创新,为物联网技术的发展提供有力支持。

关键词：物联网时序数据深度学习缺失值填补无监督异常检测

基于自编码器的多维时序数据异常检测方法及其应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于自编码器的多维时序数据异常检测方法及其应用

作者：朱星辉西北师范大学

学位级别：硕士

火力发电仍是我国目前最重要的发电方式之一。锅炉作为火力发电厂最重要的核心设备,对其运行中的各项状态参数进行检测和分析,对于其安全运行至关重要。本文以电厂锅炉管道的异常检测为背景,对多维时序数据异常检测方法及其在锅炉管道... 详细信息

火力发电仍是我国目前最重要的发电方式之一。锅炉作为火力发电厂最重要的核心设备,对其运行中的各项状态参数进行检测和分析,对于其安全运行至关重要。本文以电厂锅炉管道的异常检测为背景,对多维时序数据异常检测方法及其在锅炉管道异常检测中的应用展开了相关研究。主要研究内容如下:（1）提出了一种多维时序数据异常检测方法ALSTM-AE。引入了一种结合滑动窗口和统计学特征提取的时序数据预处理方法,可丰富原始时序数据的特征维度。在此基础上,基于数据重构的思想,引入LSTM自编码器（LSTM-AE）,基于重构误差完成异常检测。另外,由于LSTM-AE中间码容量的限制,在时间序列长度增加的情况下,可能导致LSTM-AE中解码器的解码准确率严重下降。针对该问题,进一步引入注意力机制,通过对输入序列进行权重分配来提高解码的准确率。在来源于真实场景的公开数据集UAH-Drive Set和NAB上的实验表明,与LOF、OC-SVM、2DCNN-AE和LSTM-AE四种异常检测方法相比,ALSTMAE的精确率提高了0.33%到19.7%,召回率提高0.61%到121%,F1分数提高0.42%到63.6%。（2）以ALSTM-AE模型为基础,提出了一种针对电厂锅炉管道异常检测的改进模型CNN-ALSTM-AE。电厂锅炉中过热器和再热器的管道壁温受减温水速度、烟气温度、给煤量的大小等多种因素的影响,而ALSTM-AE难以很好地提取这些因素之间的潜在相关性信息。因此,在相关性分析的基础上,进一步引入CNN,提出一种锅炉管道异常检测模型CNN-ALSTM-AE。该模型不仅能够通过CNN有效提取多特征之间的相关性,又能通过ALSTM-AE捕获该数据的时序信息。实验表明,CNN-ALSTM-AE相比于LOF、OC-SVM、AE、LSTM-AE、ALSTM-AE五种异常检测方法,在电厂锅炉管道异常检测上表现出最好,其F1得分比ALSTM-AE平均提高了1.59%。

关键词：时序数据异常检测自编码器电厂锅炉