检索结果-南通市图书馆

基于influxdb的工业时序数据库引擎设计

在线全文

学校读者我要写书评

暂无评论

计算机应用与软件 2019年第9期36卷 33-36,40页

作者：徐化岩初彦龙冶金自动化研究设计院混合流程工业自动化系统及装备技术国家重点实验室北京100071 辽宁警察学院治安管理系辽宁大连116036

工业时序数据具有测点多、采样频率快、读取性能要求高等特点。influxdb提出时间结构合并树TSM,解决了数据的读写性能优化问题,并针对整数、浮点数、布尔、字符串、时间五种数据类型采用不同的压缩算法。它在读写性能、存储空间占用方... 详细信息

工业时序数据具有测点多、采样频率快、读取性能要求高等特点。influxdb提出时间结构合并树TSM,解决了数据的读写性能优化问题,并针对整数、浮点数、布尔、字符串、时间五种数据类型采用不同的压缩算法。它在读写性能、存储空间占用方面取得了较好的效果,在开源时序数据库软件中排名第一。针对influxdb元数据结构相对于工业时序数据过于复杂的问题,提出简化后的TSM文件结构,开发工业时序数据库的引擎,并进行了读写性能测试。结果显示,该引擎一次5万点整型数据写入平均耗时约310 ms,读取1 000点共计100万条数据耗时约626 ms,并且具有很大的性能提升潜力。

关键词：时序数据库 influxdb TSM 压缩索引

基于influxdb的时序数据库优化研究与实现

在线全文

学校读者我要写书评

暂无评论

基于InfluxDB的时序数据库优化研究与实现

作者：朱晓祥电子科技大学

学位级别：硕士

随着物联网（IoT）的迅速发展,互联网企业和数据中心都越发关注如何更加有效地采集、存储和分析IoT设备的日志信息,从而为上层业务提供更好的支撑。为了解决IoT应用场景下设备日志信息的存储与分析,时序数据库应运而生。IoT应用场景的... 详细信息

随着物联网（IoT）的迅速发展,互联网企业和数据中心都越发关注如何更加有效地采集、存储和分析IoT设备的日志信息,从而为上层业务提供更好的支撑。为了解决IoT应用场景下设备日志信息的存储与分析,时序数据库应运而生。IoT应用场景的复杂多变性决定了时序数据库具有广阔的研究前景。因此,针对时序数据库的优化研究具有重要意义。influxdb是一个由InfluxData研发的开源时序数据库,可作为各类日志分析系统的数据存储及查询分析的主要平台。influxdb以LSM-Tree存储架构为基础,实现了支持时序数据存储的TSM（Time-Structured Merge Tree）存储引擎。因此influxdb存储引擎不可避免地存在LSM-Tree存储架构的部分性能问题,例如写放大、写停顿以及读放大等,给数据库的整体性能带来了一定程度的负面影响。另外,随着近年来云原生（cloud-native）应用的蓬勃发展,互联网企业对于数据库向云端迁移的需求愈来愈大,数据库的集群化部署是研发人员面临的一大挑战。而influxdb原生的集群方案较为单一,缺乏一定的拓展能力,不能很好地满足用户对于数据存储的高可靠与高可用的需求。本文首先针对influxdb的TSM存储引擎所存在的写性能问题展开研究。本文认为influxdb并未充分利用时序数据的时戳单调递增这一整体特征对存储引擎展开足够的优化,因此在写性能上受制于LSM-Tree的写停顿和写放大等问题。对此,本文以消除TSM存储引擎的写停顿、降低写放大以及在长时间持续写入场景下的资源开销为目标,对influxdb展开优化设计与实现。其次,本文在对influxdb的TSM存储引擎所做改造的基础上,重新设计并实现了“计算-存储”分离的influxdb集群架构。一是在计算层内将原本仅保证最终一致的数据节点集群扩展为多个分片的强一致副本集,二是通过存储层内的若干存储节点缓解计算层的存储压力,同时扩展系统的存储能力。实验结果表明,本文对influxdb存储引擎的改造达到设计目标,写性能得到了一定程度的提升,查询性能未受到明显的削弱。另外,“计算-存储”分离的influxdb集群架构在一致性和容错能力上均达到了设计要求,具备良好的性能。

关键词：时序数据库 influxdb TSM存储引擎集群架构 “计算-存储”分离

基于Opc+influxdb+grafana的数据可视化设备运维平台在钢铁企业的开发应用

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

冶金设备 2022年第S2期 71-73页

作者：胡安东宁波钢铁有限公司设备部浙江宁波315807

设备高质量运行是钢铁企业提升产品质量和企业竞争力的基本要素,本文主要介绍基于Opc、Telegraf收集信息,influxdb时序数据库存储数据,grafana平台展示数据,实现基于大数据分析的可视化智能运维系统的应用,有效的解决了钢铁企业设备管... 详细信息

设备高质量运行是钢铁企业提升产品质量和企业竞争力的基本要素,本文主要介绍基于Opc、Telegraf收集信息,influxdb时序数据库存储数据,grafana平台展示数据,实现基于大数据分析的可视化智能运维系统的应用,有效的解决了钢铁企业设备管理的共性问题,实现关键设备的全生命周期管理,提升了企业设备管理水平。

关键词： Opc Telegraf influxdb Grafana

在线全文

学校读者我要写书评

暂无评论

C#结合influxdb在工业中的应用

冶金自动化 2020年第S1期 178-181页

作者：孟宇陈峰郝晓东冶金自动化研究设计院钢铁制造流程优化国家工程实验室北京金自天正智能控制股份有限公司

Influx DB是用Go语言编写的一个开源时序数据库,可以实时对大量数据进行计算,满足了统计并实时分析高频率、大批量产生的工业实时数据的要求。此外,Influx DB内置HTTP API,且具有强大的类SQL语法,方便通过C#进行数据写入与查询读取以及... 详细信息

Influx DB是用Go语言编写的一个开源时序数据库,可以实时对大量数据进行计算,满足了统计并实时分析高频率、大批量产生的工业实时数据的要求。此外,Influx DB内置HTTP API,且具有强大的类SQL语法,方便通过C#进行数据写入与查询读取以及快速删改等操作。基于C#进行SQLServer以及Influx DB两种数据库对数据写入与删除测试对比试验。结果显示,在处理大批量实时数据时,Influx DB数据库占用存储空间小且删除速度快,具有较好的稳定性与可操作性,降低了程序崩溃的可能性,有较大的开发潜力。此外,提出了在C#中将Influx DB数据查询结果的字符串格式转化为Data Table数据表格式的方法,解决了Influx DB的UTC格式的时间戳以标准时间格式显示的问题。

关键词： C# 时序数据库 influxdb SQLServer JSON

基于influxdb的监控设备通用运维管理平台

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

计算机系统应用 2021年第12期30卷 123-127页

作者：张世贤张少春谢晓东泉州时刻防盗电子有限责任公司泉州362212 华侨大学计算机科学与技术学院厦门361021

监控设备大规模安装和应用带来了运维困难的问题.本文研发了一个通用运维管理平台,平台通过前端状态采集装置获取监控设备运行时产生的各种状态信息;平台的运维管理系统汇总、存储状态信息,并提供监控、统计、分析、报警等管理功能以支... 详细信息

监控设备大规模安装和应用带来了运维困难的问题.本文研发了一个通用运维管理平台,平台通过前端状态采集装置获取监控设备运行时产生的各种状态信息;平台的运维管理系统汇总、存储状态信息,并提供监控、统计、分析、报警等管理功能以支持运维业务;平台的可视化展示子系统对状态信息进行可视化渲染呈现,为系统运维提供智能化的支持.状态采集装置模块化和冗余设计使得设备具有通用性、可扩展性、高可靠性和易维护性.状态信息具有时序数据特征,运维管理系统使用influxdb存储状态信息,大幅度降低了存储空间需求,并保证了数据查询和管理的性能需求.基于influxdb的监控设备通用运维管理平台已在多个用户单位安装试用,运行状态良好,具有很好的经济社会效益和推广价值.

关键词：监控设备运维运维管理平台状态信息采集设备模块化和冗余设计 influxdb

基于Telegraf+influxdb+Grafana搭建长输供热系统的监控平台研究

在线全文

学校读者我要写书评

暂无评论

中国设备工程 2021年第22期 177-178页

作者：王博远梁子阳刘雪萌李少彬谢英柏华北电力大学(保定) 河北保定071000

在现今工业生产中,对测量数据进行实时监控显得尤为重要,特别对于保障基础民生的产业方面,可以尽早排查问题并进行修复,提高居民生活的幸福感。本文以某长输供热系统为例,介绍使用开源工具Telegraf、influxdb和Grafana来搭建监控平台的... 详细信息

在现今工业生产中,对测量数据进行实时监控显得尤为重要,特别对于保障基础民生的产业方面,可以尽早排查问题并进行修复,提高居民生活的幸福感。本文以某长输供热系统为例,介绍使用开源工具Telegraf、influxdb和Grafana来搭建监控平台的方法。首先介绍这三种工具的作用以及优势,接着介绍如何将数据在三个工具之间进行传递,最后通过Grafana界面进行监控效果的展示。

关键词： Telegraf influxdb Grafana 长输供热监控

基于IoT和influxdb的数据搜集与统计系统设计

在线全文

学校读者我要写书评

暂无评论

智能物联技术 2024年第5期56卷 107-110页

作者：汪超峰上海深透医疗有限公司上海200000

设计一套集成物联网(Internet of Things,IoT)技术和influxdb时间序列数据库的创新数据采集与统计分析系统,旨在实现对IoT设备产生的大量监测数据的高效采集、存储、分析和可视化。采用IoT技术,确保数据采集的实时性和精准性。influxdb... 详细信息

设计一套集成物联网(Internet of Things,IoT)技术和influxdb时间序列数据库的创新数据采集与统计分析系统,旨在实现对IoT设备产生的大量监测数据的高效采集、存储、分析和可视化。采用IoT技术,确保数据采集的实时性和精准性。influxdb数据库以其优化的存储结构和查询性能,有效管理海量时间序列数据。系统的数据分析模块利用先进的统计方法,提供了数据聚合、异常检测和相关性分析等功能,增强了数据处理的深度和广度。可视化和实时监控功能进一步增强了系统的用户交互性和实用性。通过全面的系统测试,验证系统的功能正确性、性能指标和可靠性,确保系统能够满足实际应用需求,为IoT领域的数据处理提供新的视角和解决方案。

关键词：物联网(IoT) influxdb 数据搜集

基于时序数据库与深度学习的制丝实时数据应用研究

在线全文

学校读者我要写书评

暂无评论

中国烟草学报 2021年第3期27卷 104-113页

作者：顾茜钱继春厦门烟草工业有限责任公司信息技术部福建厦门361022

【目的】研究气流烘丝机叶丝干燥工序出口叶丝含水率实时趋势预测的解决方案,提高产品工艺质量稳定性。【方法】基于时序数据库influxdb对实时生产数据进行存储、查询统计、分析告警,使用三次指数平滑算法、长短期记忆网络(LSTM)和序列... 详细信息

【目的】研究气流烘丝机叶丝干燥工序出口叶丝含水率实时趋势预测的解决方案,提高产品工艺质量稳定性。【方法】基于时序数据库influxdb对实时生产数据进行存储、查询统计、分析告警,使用三次指数平滑算法、长短期记忆网络(LSTM)和序列到序列学习(Seq2Seq)对生产过程数据建模预测。【结果】①三次指数平滑算法集成在时序数据库中,可实现精度良好、准实时的叶丝出口含水率趋势预测;②在料头生产关键参数模仿学习方面,LSTM模型在整体性能上具有显著优势。【结论】采用时序数据库和深度学习算法结合的实时数据应用框架,横向集成最优算法模型,预测精度和应用效果良好。

关键词：时间序列数据库深度学习工业物联网 LSTM模型 Seq2Seq模型 influxdb 边缘计算

在线全文

学校读者我要写书评

暂无评论

基于时序库的棒线材连轧过程数据编码优化

控制工程 2023年

作者：张东李铁中冶京诚工程技术有限公司

提升高频时序数据的存储效率和提取性能在关键工业应用中有重要意义，通常要结合应用数据特点和时间序列数据库(time series database，TSDB)编码方法进行联合优化。为优化应用端，针对棒线材连轧过程数据的结构特点和应用特点，建立基... 详细信息

提升高频时序数据的存储效率和提取性能在关键工业应用中有重要意义，通常要结合应用数据特点和时间序列数据库(time series database，TSDB)编码方法进行联合优化。为优化应用端，针对棒线材连轧过程数据的结构特点和应用特点，建立基于工作模式的复合信源模型；为优化TSDB端，针对influxdb在存储复合信源数据时，由Block定长分段引起的时间戳编码冗余问题，提出Block变长分段编码优化方法；为保证优化后系统的稳定性，提出重写TSM文件的非源码改造方案。为验证优化效果，用1#轧机生产数据进行测试，在存储效率测试中，TSM文件总编码长度和时间戳编码长度分别达到优化前的62.4%和8.7%；在提取性能测试中，采用常规Http标准查询提取数据平均耗时124.8ms，而优化后可直接读取文件提取数据，平均耗时4.2ms。

关键词：棒线材 influxdb 编码优化时序数据复合信源