检索结果-南通市图书馆

基于HBase的工业时序大数据分布式存储性能优化策略

在线全文

学校读者我要写书评

暂无评论

计算机应用 2023年第3期43卷 759-766页

作者：杨力陈建廷向阳同济大学电子与信息工程学院上海201804

在自动化的工业场景中,大量工业设备产生的时序性日志数据量呈爆炸式增长,业务场景对时序数据的访问需求进一步提升。虽然目前基于分布式列族的数据库HBase能够存储工业时序大数据,但由于未考虑特定业务场景中数据与访问行为特征的关联... 详细信息

在自动化的工业场景中,大量工业设备产生的时序性日志数据量呈爆炸式增长,业务场景对时序数据的访问需求进一步提升。虽然目前基于分布式列族的数据库HBase能够存储工业时序大数据,但由于未考虑特定业务场景中数据与访问行为特征的关联,现有策略无法较好地满足工业时序数据的特定访问需求。针对上述问题,基于分布式存储系统HBase,利用工业场景中数据与访问行为特征的关联性,提出面向海量工业时序数据的分布式存储性能优化策略。针对工业时序数据特点引发的负载倾斜问题,提出基于冷热数据分区及访问行为分类的负载均衡优化策略。使用逻辑回归模型(LR)对数据进行冷热分类,并将热数据分散存储在不同节点;同时,为进一步降低存储集群中跨节点的通信开销,以提升工业时序数据高维索引的查询效率,提出索引主数据同Region化策略,设计索引RowKey字段及拼接规则,将索引存放到与它对应的主数据相同的Region中。在真实工业时序数据上的实验结果表明,引入优化策略后的数据负载分布倾斜度降低28.5%,查询效率提升27.7%,验证了所提优化策略能够有效地挖掘特定时序数据的访问模式,合理地分配负载,降低数据访问开销,有能力满足对特定时序大数据的访问需求。

关键词：分布式存储时序大数据工业大数据负载均衡 HBase

在线全文

学校读者我要写书评

暂无评论

基于水车模型的时序大数据快速存储

计算机科学 2023年第1期50卷 25-33页

作者：陆铭琛吕晏齐刘睿诚金培权中国科学技术大学计算机科学与技术学院合肥230027

近年来,随着物联网的高速发展,传感器部署的规模日益壮大。大规模的传感器每秒都会产生大量数据流,并且数据的价值会随着时间的流逝逐渐降低。因此,存储系统不仅需要能承受高速到达的数据流带来的写入压力,还需要以最快的速度将数据持久... 详细信息

近年来,随着物联网的高速发展,传感器部署的规模日益壮大。大规模的传感器每秒都会产生大量数据流,并且数据的价值会随着时间的流逝逐渐降低。因此,存储系统不仅需要能承受高速到达的数据流带来的写入压力,还需要以最快的速度将数据持久化,以供后续的查询和分析。这对存储系统的写入性能提出了更高的要求。基于水车模型的快速存储系统可以满足大数据应用场景下的高速时序数据流快速存储需求。该系统部署在高速时序数据流和底层存储节点之间,利用多个数据桶构建一个逻辑上轮转的存储模型(类似于中国古代的水车),并且通过控制每个数据桶的状态来协调数据的写入和落盘。水车模型将数据桶分配给不同的底层存储节点,从而将瞬时写入压力均摊到多个底层存储节点上,并借助多节点的并行写入提高写吞吐。水车模型被部署在单机版MongoDB上,并和分布式MongoDB进行了实验对比。实验结果表明,水车模型可以有效提升系统的写吞吐,降低写入延迟,并且具有良好的横向可扩展性。

关键词：时序大数据流式数据快速存储水车模型中间件

基于重要度计算的物联网时序大数据智能清洗算法

在线全文

学校读者我要写书评

暂无评论

自动化与仪器仪表 2023年第12期 71-75,80页

作者：曹勇于海重庆城市职业学院重庆402160 河南化工技师学院河南开封475000

由于网络环境、硬件或软件设备等因素的影响,致使时序大数据中存在着较多的异常数据,为时序大数据的后续应用带来了较大的困难,提出基于重要度计算的物联网时序大数据智能清洗算法研究。首先根据数据之间具有相关性,对缺失的数据进行补... 详细信息

由于网络环境、硬件或软件设备等因素的影响,致使时序大数据中存在着较多的异常数据,为时序大数据的后续应用带来了较大的困难,提出基于重要度计算的物联网时序大数据智能清洗算法研究。首先根据数据之间具有相关性,对缺失的数据进行补全,其次采用滑动窗口方法提取时序大数据特征,然后有效融合时序大数据的结构重要度与效用重要度,衡量时序大数据综合重要度,将其与重要度阈值进行比较,完成时序大数据的初级清洗,最后联合改进的模糊C-均值聚类算法检测异常时序大数据,并根据滑动平均的方法依次捕捉数据集的密度范围,确定合适的异常判断阈值,进行异常数据剔除,完成时序大数据的高级清洗,从而实现了物联网时序大数据的智能清洗。实验数据显示:在不同数据量背景下,提出算法获得的时序大数据清洗时间消耗相对较低,最高为32 s;在不同实验工况背景下,提出算法获得的时序大数据清洗质量最大值为98%,其错误清洗率最高为0.02,充分证实了提出算法应用性能较佳。

关键词：时序大数据物联网清洗算法时间序列重要度计算智能清洗

基于Hadoop的智能电网时序大数据处理方法

在线全文

学校读者我要写书评

暂无评论

计算机仿真 2020年第12期37卷 67-71页

作者：孙利宏宁夏医科大学宁夏银川750001

为了提高电网数据处理的安全性和效率,提出基于Hadoop的智能电网时序大数据处理方法。依据智能电网时序大数据简析,结合Map、Reduce及Partition三个函数具备的过滤器和工厂法以及监听器等一系列模式,实现数据清洗处理。依据分布式计算思... 详细信息

为了提高电网数据处理的安全性和效率,提出基于Hadoop的智能电网时序大数据处理方法。依据智能电网时序大数据简析,结合Map、Reduce及Partition三个函数具备的过滤器和工厂法以及监听器等一系列模式,实现数据清洗处理。依据分布式计算思想,结合近邻分类法和Map-Reduce模型设计的并行分类混合法,实现数据分类处理。对分类数据进行安全存储,通过消息摘要算法针对需要存储的智能电网时序大数据生成相应数字摘要;根据密钥生成函数获取随机密钥,同时利用上述密钥针对待存储数据实行加密,获取对应密文。针对获取的随机密钥实行信息隐藏处理;把密文存储至云中;当密文成功存储至云之后,把获取的密钥和数字摘要两种信息并同文件名至HBase中,实现数据存储。仿真结果表明,上述方法具有较强的安全性与时效性。

关键词：智能电网时序大数据处理

在线全文

学校读者我要写书评

暂无评论

面向时序大数据的数据库性能研究

广州大学学报（自然科学版） 2021年第3期20卷 69-79页

作者：李庆宇王松波林伟伟华南理工大学计算机科学与工程学院广东广州510006

在大数据背景下,物联网技术的广泛应用产生了大量的时序数据。如何合理选择最适合的数据库来存储时序大数据是一个重要的研究内容。然而现有的数据库性能对比研究没有考虑数据的具体应用场景,缺乏特定场景下的性能对比实验。为了在存储... 详细信息

在大数据背景下,物联网技术的广泛应用产生了大量的时序数据。如何合理选择最适合的数据库来存储时序大数据是一个重要的研究内容。然而现有的数据库性能对比研究没有考虑数据的具体应用场景,缺乏特定场景下的性能对比实验。为了在存储时序大数据时能够从不同存储结构的数据库中选择最适合当前场景的数据库,文章对关系型数据库、本地NoSQL数据库以及公有云NoSQL数据库在燃气大数据的应用场景下进行了定量定性的实验与分析。实验结果表明,相比于关系型数据库,NoSQL数据库更加适合存储时序大数据。然后,进一步提出了针对不同应用场景下时序大数据的数据库选型建议。

关键词：时序大数据 NoSQL TSDB 公有云

基于贝叶斯模型的时序大数据并行去重方法研究

在线全文

学校读者我要写书评

暂无评论

自动化与仪器仪表 2021年第7期 34-37页

作者：唐新宇广东工商职业技术大学计算机学院广东肇庆526040

由于时序大数据的体量过大,信息检索工作变得极为困难,因此,需要利用去重算法管理时序大数据。由于传统算法对大数据类别的分类效果不够理想,导致应用去重算法的相关系统性能下降,因此,研究基于贝叶斯模型的时序大数据并行去重算法。该... 详细信息

由于时序大数据的体量过大,信息检索工作变得极为困难,因此,需要利用去重算法管理时序大数据。由于传统算法对大数据类别的分类效果不够理想,导致应用去重算法的相关系统性能下降,因此,研究基于贝叶斯模型的时序大数据并行去重算法。该算法预先定义了时序大数据重复度,对冗余数据进行压缩,基于超级特征值检测相似数据,通过贝叶斯模型分类相似数据,实现对时序大数据的并行去重。测试结果表明:此次研究算法占用的空间内存更低,最低内存占用量为52.3 B,出现在数据集B内。与两种传统去重算法相比,应用该算法后系统吞吐量更高,最高可达到915 MB/S,数据去重执行时间更短,平均执行时间为30 s。可见基于贝叶斯模型的去重算法,对于大数据并行去重有更好的应用效果。

关键词：大数据重复度贝叶斯模型时序大数据并行去重

武汉市商业和公共服务设施对居民迁居的空间异质性影响

在线全文

学校读者我要写书评

暂无评论

地理科学 2023年第5期43卷 860-868页

作者：牛强盛嘉菲刘晓阳严雪心武汉大学城市设计学院湖北武汉430072

以武汉都市发展区为例,采用手机信令时序数据挖掘与解析居民迁居行为,结合服务设施POI(兴趣点)数据,综合运用多元线性回归模型和地理加权回归方法,分析商业服务设施(餐饮、生活性服务、购物设施)和公共服务设施(医疗和教育设施)对居民... 详细信息

以武汉都市发展区为例,采用手机信令时序数据挖掘与解析居民迁居行为,结合服务设施POI(兴趣点)数据,综合运用多元线性回归模型和地理加权回归方法,分析商业服务设施(餐饮、生活性服务、购物设施)和公共服务设施(医疗和教育设施)对居民迁居的影响。结果表明:①不同服务设施对居民迁居的影响程度不同,且服务设施在中心城区和近郊区的影响作用呈现明显的空间分异特征。②商业服务设施中,餐饮对居民迁居影响最大,其次为生活性服务和购物设施;近郊区商业服务设施对居民迁居的影响力大于中心城区,且各郊区新城之间的影响也存在差异。③公共服务设施中,医疗设施相较于教育设施对居民迁居的影响更大;且中心城区公共服务设施对居民迁居的影响力高于近郊区。

关键词：时序大数据城市内部居民迁居服务设施武汉都市发展区

基于时间窗的智慧工地扬尘监测数据异常检测研究

在线全文

学校读者我要写书评

暂无评论

中国建设信息化 2022年第19期 76-78页

作者：韦勇陈铭徐淑芳南京城市建设管理集团有限公司河海大学计算机与信息学院河海大学项目管理研究所

本文以智慧工地的扬尘监管为例,将扬尘监测设备的巡检问题转化成基于时间窗的异常数据检测问题,通过标记异常子序列,进一步排查出产生该数据序列的设备,实现扬尘监测设备的在线巡检功能。分别使用人工巡检和本文提出的在线巡检方法,选取... 详细信息

本文以智慧工地的扬尘监管为例,将扬尘监测设备的巡检问题转化成基于时间窗的异常数据检测问题,通过标记异常子序列,进一步排查出产生该数据序列的设备,实现扬尘监测设备的在线巡检功能。分别使用人工巡检和本文提出的在线巡检方法,选取了207个建设项目进行实验,比对两者的检测结果,验证了本文提出的在线异常检测方法的有效性。

关键词：时间窗智慧工地时序大数据异常检测在线巡检

在线全文

学校读者我要写书评

暂无评论

复杂语义时序事件高效聚合

复杂语义时序事件高效聚合

作者：聂廷宝华中科技大学

学位级别：硕士

随着大数据技术的普及和不断发展,许多流处理系统使用多个带有Kleene模式的查询从时序事件流中聚合事件趋势,这些Kleene模式能从时序事件流中匹配一个至多个满足条件的事件。这些Kleene查询能为流处理应用实时提供许多有用的建议,帮助... 详细信息

随着大数据技术的普及和不断发展,许多流处理系统使用多个带有Kleene模式的查询从时序事件流中聚合事件趋势,这些Kleene模式能从时序事件流中匹配一个至多个满足条件的事件。这些Kleene查询能为流处理应用实时提供许多有用的建议,帮助应用及时作出决策。传统的时序事件聚合系统在对时序事件流做聚合计算时分别计算每一个模式查询的聚合结果,产生了较高的时间延迟。还有的工作对多个聚合查询进行优化,为多个查询提供共享计划,但并不支持带Kleene模式的聚合查询。针对这些问题,一个新的时序事件聚合方法SC（Split-Connect）针对多个具有Kleene语义的模式,将聚合查询的模式拆分各个事件类型,先对拆分的事件类型进行聚合计算,并将聚合结果保存,利用保存的事件类型聚合结果将类型整合得到整个模式的聚合结果。多个Kleene模式通过共享核心类型的聚合结果降低了查询的处理时延。对于多个查询模式,基于SC的共享聚合方案使得SC优先共享包含Kleene语义的核心类型,高效计算出多个查询的聚合结果。对SC方法在模拟数据上进行的实验表明,在多个具有相同核心类型的模式查询下,SC方法能在一定的内存资源下比当前最好的聚合方法具有更高的实时性。将SC方法应用到“黑车”检测系统中,系统能高效计算出多个查询的结果,这对公共安全具有重要意义。

关键词：时序大数据复杂事件处理模式聚合 Kleene闭包