检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

面向实时计算的大数据处理框架性能优化

微型计算机 2024年第5期 64-66页

作者：冯泽北京世纪互联宽带数据中心有限公司北京100025

文中旨在探索面向实时计算的大数据处理框架性能优化策略。针对大数据处理Flink框架进行了性能分析,发现在实时计算任务中Flink框架存在数据流速度管理、事件时间处理、状态管理的复杂性、容错机制的开销、计算任务的复杂性等一系列常... 详细信息

文中旨在探索面向实时计算的大数据处理框架性能优化策略。针对大数据处理Flink框架进行了性能分析,发现在实时计算任务中Flink框架存在数据流速度管理、事件时间处理、状态管理的复杂性、容错机制的开销、计算任务的复杂性等一系列常见性能挑战。针对问题和挑战,文章提出了硬件和基础设施优化、Flink应用程序优化、并行与分布式处理等一系列Flink性能优化策略和技术。

关键词：实时计算大数据处理框架 Flink框架性能优化

基于Spark Streaming的海量GPS数据实时地图匹配算法

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

计算机应用研究 2024年第5期41卷 1338-1342页

作者：陈艳艳李四洋张云超北京工业大学交通工程北京市重点实验室北京100124

浮动车GPS数据作为交通信息处理的基础,随着被监控车辆数量的高速增长,产生了海量GPS数据,对地图匹配提出了挑战。为了解决传统匹配方法难以满足匹配效率和精度的不足,提出一种针对海量GPS数据的实时并行地图匹配算法,能够同时保证较高... 详细信息

浮动车GPS数据作为交通信息处理的基础,随着被监控车辆数量的高速增长,产生了海量GPS数据,对地图匹配提出了挑战。为了解决传统匹配方法难以满足匹配效率和精度的不足,提出一种针对海量GPS数据的实时并行地图匹配算法,能够同时保证较高匹配精度和运算效率。为构建一种面向实时数据流的高效、准确实时地图匹配算法,首先通过引入速度、方向综合权重因子对依赖历史轨迹的离线地图匹配算法进行重构,进而引入Spark Streaming分布式计算框架,实现地图匹配算法的实时、并行运算,大幅提升实时地图匹配效率。实验结果表明,该算法在复杂路段的匹配准确率较常规拓扑匹配算法提高10%以上,整体匹配准确率达到95%以上;在匹配效率方面,较同等数量的单机服务器效率可提高4倍左右。实验结果表明,该算法在由11台机器组成的计算集群上实现8000万个GPS数据点的实时地图匹配,证明了该算法可以完成城市地区的实时车辆匹配。

关键词：海量 GPS 并行计算地图匹配实时计算 Spark

在线全文

学校读者我要写书评

暂无评论

一种SAR回波历程快速实时计算方法

航空兵器 2023年第4期30卷 98-105页

作者：邢晨潘明海南京航空航天大学电子信息工程学院南京210016

针对合成孔径雷达(Synthetic Aperture Radar,SAR)目标回波模拟计算量过大的问题,采用两次多阶泰勒级数展开对回波系统函数中的距离历程进行计算,并结合数据外推的方法完成距离历程的快速实时计算。该方法使用多次乘法和加法代替计算量... 详细信息

针对合成孔径雷达(Synthetic Aperture Radar,SAR)目标回波模拟计算量过大的问题,采用两次多阶泰勒级数展开对回波系统函数中的距离历程进行计算,并结合数据外推的方法完成距离历程的快速实时计算。该方法使用多次乘法和加法代替计算量较大的开方运算,可保证在一定计算精度的前提下提高距离计算的实时性,同时结合距离历程模型的规律性,采用数据外推代替重复的计算过程,进一步降低计算量,提高实时性。通过仿真对比不同阶数泰勒级数展开在同一距离处的计算误差,得到了4阶为该仿真条件下的最优泰勒展开阶数,最后分别对9个分布密集的点目标和真实场景目标进行回波模拟和成像。点目标仿真结果表明,该方法在不影响回波信号性能的前提下可以使生成回波信号的时间减少53%,速度提升2倍;真实场景仿真结果表明,该方法可以应用于大场景的回波模拟。

关键词：回波模拟回波系统函数实时计算距离历程数据外推点目标 SAR

基于FPGA系统的广域电磁信号实时计算与处理

在线全文

学校读者我要写书评

暂无评论

基于FPGA系统的广域电磁信号实时计算与处理

作者：唐红非中南大学

学位级别：硕士

广域电磁法是一种先进的人工源频率域电磁勘探方法,伪随机信号电法能一次发送多个频率的伪随机信号,二者相结合能够同时测量多个频率的地电信息,实现高精度、大深度、高效率的电磁法勘探。现场可编程门阵列(FPGA)可以通过编程改变其内... 详细信息

广域电磁法是一种先进的人工源频率域电磁勘探方法,伪随机信号电法能一次发送多个频率的伪随机信号,二者相结合能够同时测量多个频率的地电信息,实现高精度、大深度、高效率的电磁法勘探。现场可编程门阵列(FPGA)可以通过编程改变其内部结构而实现不同的功能,常用于数据采集与实时信号处理。然而上一代广域电磁接收机对FPGA的应用仅仅停留在采集控制层面,并没有充分发挥其并行处理与实时计算的优势,同时采集的信号受工频干扰影响大,各频组数字信号在进行FFT时点数不统一且低频组点数过大,不能直接在FPGA上进行实时计算。本文分析了广域电磁法基本原理与伪随机信号特征,基于ZYNQ芯片设计了新一代广域电磁接收机,并在FPGA部分设计了巴特沃斯工频陷波器,用于压制工频干扰。再结合插值与FIR抗混叠抽取算法,将广域电磁信号各频组点数统一变换到8192点,采用FPGA中的FFT和CORDIC IP核实时计算出各频组广域电磁信号的振幅信息。通过仿真与测试,设计的实时计算与处理模块能够基本滤除50Hz工频噪声,并且计算出8192点广域电磁信号的振幅耗时只需约124.055us,计算后的振幅与MATLAB计算结果相比误差仅为2.34%。结果表明,本文基于FPGA设计的计算与处理系统能够满足新一代广域电磁接收机实时信号处理要求。图64幅,表7个,参考文献71篇

关键词：广域电磁法 FPGA 实时计算 FFT

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于流数据的实时计算平台研究与实现

基于流数据的实时计算平台研究与实现

作者：倪文翰华北水利水电大学

学位级别：硕士

近些年随着众多领域对数据时效性有了更高的要求,大数据处理体系由离线批处理转向实时流处理,从而在数据产生后立刻对其处理并产生价值。通常的实时数据处理流程是使用实时计算框架提供的接口,实现数据处理的逻辑代码,再上传程序包到集... 详细信息

近些年随着众多领域对数据时效性有了更高的要求,大数据处理体系由离线批处理转向实时流处理,从而在数据产生后立刻对其处理并产生价值。通常的实时数据处理流程是使用实时计算框架提供的接口,实现数据处理的逻辑代码,再上传程序包到集群终端手动执行启动脚本。该处理流程,弊端较多,首先,程序编写成本高,对实时流数据的处理较为繁琐;其次,程序的部署存在大量重复的工作,并且无法精准监控实时计算任务的状态,出现问题不能及时感知。本文采用目前主流的Flink作为实时计算框架,使用Flink处理实时数据也存在上述问题,程序的编写、部署和监控流程复杂且繁琐,同时Flink在任务运行中无法根据实际资源使用情况调整集群所分配给的计算资源,需手动调整资源参数并重启任务。针对Flink引擎资源分配调度策略和实时流数据处理流程存在的局限性,本文主要通过以下三个方面来展开介绍。首先,针对Flink引擎资源分配调度存在的问题,本文提出DRAS-Flink动态资源分配策略。动态资源分配策略通过分析Flink任务过去一段时间资源使用情况,再根据设置的Ratio预留参数计算出Flink所期望的计算资源,最后通过Resource Scheduler服务进行计算资源的重分配调度,从而实现Flink任务在运行中进行计算资源的动态调整。其次,针对繁琐的实时流数据处理流程,设计并实现实时计算平台,将Flink任务的开发、部署、监控以及运维等操作集成在实时计算平台上。在平台系统设计上,设计并实现计算引擎模块、任务开发模块以及任务监控模块,降低Flink实时计算程序的开发难度,简化任务的部署、监控和运维操作。最后,在实时计算平台上设计实验任务,对动态资源分配策略进行实验验证。实验结果表明,对于计算资源不足或过剩的情况,动态资源分配策略可在Flink任务运行中进行资源的扩容或缩容,并且重分配后的资源使用率保持在健康状态,任务的稳定性和数据处理效率都保持在较高水平;同时实时计算平台功能完善,各项功能满足设计要求。实时计算平台的研究实现,显著提升使用Flink处理实时数据的效率,并且Flink任务稳定性和数据时效性均得到保证。

关键词：大数据技术分布式实时计算 Flink 资源分配策略

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于物联网的移动式油井动液面监测系统

物联网技术 2024年

作者：李梦华杨浩张宁张杰吴海张钰哲 1.延长油田股份有限公司靖边采油厂 2.延长油田有限公司定边采油厂 3.西安海联石化科技有限公司延长油田股份有限公司靖边采油厂延长油田有限公司定边采油厂西安海联石化科技有限公司

油井液面实时可靠监测对于油井开发生产至关重要，也是油气田数字化智能化开发的关键工作。为此设计了一种基于物联网的移动式油井液面监测系统，该系统通过井口仪表采集次声波信号并使用WiFi网络传输至监控计算平台进行数据处理，实现... 详细信息

油井液面实时可靠监测对于油井开发生产至关重要，也是油气田数字化智能化开发的关键工作。为此设计了一种基于物联网的移动式油井液面监测系统，该系统通过井口仪表采集次声波信号并使用WiFi网络传输至监控计算平台进行数据处理，实现实时计算与远程监控。该移动式油井液面监测系统可通过太阳能板供电，方便移动灵活监测，数据实时稳定传输，能够有效降低油井动液面监测生产成本，提高油井动液面连续实时监测的准确性与可靠性，在数字化智能油田建设与油田开发生产中具有典型应用价值。

关键词：油井动液面移动式物联网 WiFi 实时计算远程监测

实时计算在商业银行数字化转型中的应用及建议

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

中国金融电脑 2023年第5期 35-40页

作者：宋首文中国银行企业级架构办公室

在数字中国建设过程中,数字经济的发展极为重要,商业银行数字化转型则是数字经济发展中不可或缺的一个环节。在客户体验提升和金融科技创新的双轮驱动下,如何通过对大量有效数据的探索分析实现传统银行业务的流程重塑,如何构建与互联网... 详细信息

在数字中国建设过程中,数字经济的发展极为重要,商业银行数字化转型则是数字经济发展中不可或缺的一个环节。在客户体验提升和金融科技创新的双轮驱动下,如何通过对大量有效数据的探索分析实现传统银行业务的流程重塑,如何构建与互联网经济环境相匹配的客户服务能力,将成为商业银行数字化转型的战略重点。

关键词：传统银行业务商业银行数字化转型客户体验双轮驱动战略重点实时计算互联网

航空发动机非线性模型实时计算的迭代方法研究

在线全文

学校读者我要写书评

暂无评论

航空动力学报 2010年第3期25卷 681-686页

作者：陆军郭迎清张书刚西北工业大学动力与能源学院西安710072

针对航空发动机非线性模型将作为未来机载应用而需要严格实时性的问题,研究了求解模型的迭代方法,综述其历史发展情况,并讨论收敛性问题,同时提出一种改进应用方案,即模型在过渡态仿真时可将上一状态点雅可比矩阵直接应用于下一点计算,... 详细信息

针对航空发动机非线性模型将作为未来机载应用而需要严格实时性的问题,研究了求解模型的迭代方法,综述其历史发展情况,并讨论收敛性问题,同时提出一种改进应用方案,即模型在过渡态仿真时可将上一状态点雅可比矩阵直接应用于下一点计算,能够在典型应用方案基础上直接减少气动热力模型计算次数,从而提高整体模型执行效率.通过实际算例对这些应用方案进行仿真比较与分析,结果表明:①Broy-den秩1法执行效率最高,更适宜用于模型实时计算;②改进应用方案简单、有效,为进一步满足非线性模型的严格实时性要求奠定基础.

关键词：航空发动机非线性模型实时计算迭代方法 Broyden法

考虑轴向传热的单芯电缆线芯温度实时计算模型研究

在线全文

学校读者我要写书评

暂无评论

高电压技术 2012年第8期38卷 1877-1883页

作者：刘刚雷鸣阮班义周凡李应宏刘毅刚华南理工大学电力学院广州510640 广州供电局有限公司输电部广州510310

为了研究轴向传热对电缆线芯温度的影响,首先以单芯电缆的三维微元热路模型为基础,建立了考虑单芯电缆轴向与径向传热的三维热路模型,且根据该三维热路模型实现了单芯电缆线芯温度实时计算的理论推导。其次,通过不同敷设环境下分别加载... 详细信息

为了研究轴向传热对电缆线芯温度的影响,首先以单芯电缆的三维微元热路模型为基础,建立了考虑单芯电缆轴向与径向传热的三维热路模型,且根据该三维热路模型实现了单芯电缆线芯温度实时计算的理论推导。其次,通过不同敷设环境下分别加载恒定与阶跃电流的实验,讨论了电流、电缆敷设环境与外界环境温度等因素对轴向、径向温度分布的影响。实验结果表明,电流是决定轴向温度梯度变化趋势的主要因素,空气中电缆的线芯温度上升速度最快,土壤中电缆次之,水中电缆最慢。最后通过有限元仿真工具,对比了空气中电缆中间接头三维有限元模型与二维有限元模型计算的线芯温度。研究结果表明,只考虑电缆径向传热的二维热路模型会造成线芯温度计算的误差,而考虑电缆轴向与径向传热的三维热路模型能够提高计算的精度。

关键词：单芯电缆轴向传热三维热路模型线芯温度实时计算有限元法