检索结果-南通市图书馆

基于Flink的电商实时分析系统的设计与实现

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

基于Flink的电商实时分析系统的设计与实现

作者：蒋婷华东师范大学

学位级别：硕士

近年来,随着信息通信技术的发展,各行各业对其系统的数据采集、处理和积累的数据量越来越多,数据量呈爆炸式增长。在此背景下,大数据在各个领域得以高速发展,全球正大步迈向大数据新时代。随着数据量越来越大,数据的高效存储和实时分析... 详细信息

近年来,随着信息通信技术的发展,各行各业对其系统的数据采集、处理和积累的数据量越来越多,数据量呈爆炸式增长。在此背景下,大数据在各个领域得以高速发展,全球正大步迈向大数据新时代。随着数据量越来越大,数据的高效存储和实时分析处理等需求也随之被提及。想要从海量的数据中既快速又有效的分析出对于我们有意义的数据信息,就需要一套贴合实际业务需求的数据实时统计分析系统。电商行业作为互联网行业,在如今的大数据时代,同样也面临着相同的挑战,目前主流的电商数据分析都是基于非实时数据的,存储的往往是T+1的数据,无法满足对数据的实时处理的需求,有些企业把调度调整到半天甚至更短。这种方式具有耗时较长以及高吞吐量,只满足对时效行不高的场景需求。本论文为满足实际业务中的实时数据统计分析需求,基于Flink技术实现对用户产生的行为数据以及业务交易数据进行实时分析。本论文分为四大模块,分别为数据实时采集,数据建模,数据实时统计分析以及数据接口可视化。数据实时采集模块中日志数据通过Nignx实时采集至Kafka中,业务数据采用Flink CDC实时同步到Kafka消息队列,事实数据和维度数据分别存入下一层Kafka中和Kudu数据库,通过Flink拉取Kafka上的业务数据进行实时处理,计算结果实时写入至Kudu中;结合实际需求场景对接收到的数据进行数据建模,设计合理且复用性高的宽表。最后的统计分析通过接口传输给前端Sugar大屏展示。本论文主要应用于电商行业的大数据实时分析。本系统满足运营人员对实时流数据进行在线实时处理分析,运营人员可以直观的从Sugar大屏上实时的看到商城营销数据分析。本系统可以通过错误日志分析模块使线上App的错误日志预警得到即时响应。本系统同时也为推荐算法部门提供模型训练数据,以及本系统的接口和宽表层数据可以作为模型入参,为商城的实时推荐提供不可缺少的数据源。

关键词： Flink Kafka 实时分析大数据 Kudu

基于广告投放的运营数据实时分析系统的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于广告投放的运营数据实时分析系统的设计与实现

作者：陈育伟华东师范大学

学位级别：硕士

近几年,随着移动互联网的发展,广告业务迎来了新的变革。为了吸引更多用户,在提升项目运营收益的同时,减少广告投放的成本,广告主们希望能够实时的分析广告投放数据和项目运营数据。因此设计出一款能够结合广告投放数据和项目运营数据... 详细信息

近几年,随着移动互联网的发展,广告业务迎来了新的变革。为了吸引更多用户,在提升项目运营收益的同时,减少广告投放的成本,广告主们希望能够实时的分析广告投放数据和项目运营数据。因此设计出一款能够结合广告投放数据和项目运营数据的实时分析系统,就是当下各大广告主不可或缺的需求。本文的基于广告投放的实时运营数据分析系统就是为了满足广告主的需求而设计开发的。系统采用埋点自动化实时数仓的解决方案,保证数据能够被实时的分析处理,并快速查出结果。同时,系统仍然要保留离线分析的能力,保证部分指标结果的准确性。此外,系统还要支持多维度,多模型的数据分析,并且还要尽量降低数据开发的成本。本文从系统的需求着手,主要讲述了系统架构和功能的设计、系统的实现和系统的测试。根据需求分析,可以将系统划分为两个部分,八个模块。两个部分分别是数据中台和系统服务端。数据中台负责处理数据,系统服务端负责查询分析和展示。以下为系统的八个模块。(1)运营数据采集模块:主要负责收集APP产生的运营数据,将其存放到消息队列中,以供后面的模块分析处理。(2)埋点自动化实时数仓模块:此模块为系统核心模块,提出了埋点自动化实时数仓的解决方案。主要是负责将埋点数据自动化的接入到实时数仓当中,降低数据开发人员的工作量。(3)广告投放分析模块:主要是实时处理广告相关数据,计算指标,对广告数据进行可视化分析。(4)行为分析模块:主要是支持分析师以高度自由化的方式,从多维度多模型的角度,对数据进行实时分析。(5)用户画像分析模块:主要是负责给用户打标签,分析同类用户的使用习惯,进一步辅助广告主做出合理的决策。(6)数据风控模块:主要是负责监控指标数据的异常变化,和排查IOS异常充值的用户。(7)数据管理模块:主要是负责管理系统查询的数据源,系统的埋点事件和事件属性,方便数据中台处理数据。(8)权限管理模块:主要是负责管理系统用户、系统角色和系统权限的,使系统能够做到合理管控。以上就是系统的开发背景和论文的主要内容。

关键词：广告投放数据中台实时分析用户画像数据风控数据管理

基于试验数据的实时分析与预警技术研究与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于试验数据的实时分析与预警技术研究与实现

2022年中国航空工业技术装备工程协会年会

作者：弓晓波王璐瑶中国飞机强度研究所

在强度地面试验验证过程中,飞机结构可能会出现各种预期及非预期的破坏,若在破坏发生之前给出预警信息,可以给试验指挥人员决策提供支持,降低试验风险。通过研究试验数据分析处理技术与试验过程的实时预警技术,借助数字化试验的测量数... 详细信息

在强度地面试验验证过程中,飞机结构可能会出现各种预期及非预期的破坏,若在破坏发生之前给出预警信息,可以给试验指挥人员决策提供支持,降低试验风险。通过研究试验数据分析处理技术与试验过程的实时预警技术,借助数字化试验的测量数据进行筛选。基于历史数据与数字化试验仿真值,实时开展试验数据的多维度数据分析。依据数据阈值规则,按照等级实时推送预警信息,提示试验人员偏差发生的部位和数值。通过该方法的应用,提高了试验人员的数据分析能力与试验掌控能力,为飞机强度试验设计与分析的不断改进与完善提供了支持。

关键词：实时分析数据预警试验数据

来源： cnki会议评论

在线全文

cnki会议

学校读者我要写书评

暂无评论

同步辐射光束线束斑形状实时分析技术

核技术 2015年第5期38卷 8-15页

作者：张春波汪启胜黄胜何建华中国科学院上海应用物理研究所张江园区上海201204 中国科学院大学北京100049

同步辐射是由同步辐射装置产生的宽光谱、高通量、高准直、高亮度的优质光源,在许多领域已得到广泛应用。同步辐射光束的光斑大小是其最为重要的特性之一。常规测量光斑大小的方法是采用狭缝或刀片扫描光束,然后根据光强变化计算出光斑... 详细信息

同步辐射是由同步辐射装置产生的宽光谱、高通量、高准直、高亮度的优质光源,在许多领域已得到广泛应用。同步辐射光束的光斑大小是其最为重要的特性之一。常规测量光斑大小的方法是采用狭缝或刀片扫描光束,然后根据光强变化计算出光斑的大小,这种方式准确度高,但过程繁琐、效率较低。同步辐射光束照射到荧光靶上会形成可见光光斑,通过安装在光束线上的共轴摄像头可以获取光斑的图像信息。本文提出一种基于图像处理的光斑提取方法,能够快速提取光斑大小并显示光斑中心的位置以及光斑的对称性。测试结果表明:该方法能够实时地获取同步辐射光斑特征信息,且光斑尺寸在一定范围变化时具有较高的准确性,在光束线调试过程中可以作为一种有效的辅助测量手段。

关键词：同步辐射光斑实时分析数字图像处理直方图自适应阈值

在线全文

学校读者我要写书评

暂无评论

多通道时间间隔实时分析仪设计与实现

宇航计测技术 2021年第1期41卷 20-26页

作者：邓智峰刘娅刘音华肖波王嘉琛中国科学院国家授时中心中国科学院时间频率基准重点实验室陕西西安710600 中国科学院大学北京100039

针对现代时间间隔测量领域对测量仪器大量程、多通道、实时分析的要求,设计并实现了一台时间间隔实时分析仪原理样机。采用脉冲计数法对时间间隔进行大量程粗测,结合时间-数字转换芯片构建插值模块进行精密细测,整个仪器实现了8通道时... 详细信息

针对现代时间间隔测量领域对测量仪器大量程、多通道、实时分析的要求,设计并实现了一台时间间隔实时分析仪原理样机。采用脉冲计数法对时间间隔进行大量程粗测,结合时间-数字转换芯片构建插值模块进行精密细测,整个仪器实现了8通道时间间隔的并行精密测量。同时使用低成本小型化的微控制器对时间间隔测量结果进行图形显示、实时分析和存储。测试结果表明,本仪器测量秒脉冲信号间时差标准差优于45ps,测量稳定度5.68ps@1000s;可以实时分析取样间隔1s到10000s的阿伦方差和时间偏差。

关键词：时间间隔多通道阿伦方差时间偏差实时分析

基于J2EE的新媒体管理平台运营数据实时分析系统研究与设计

在线全文

学校读者我要写书评

暂无评论

基于J2EE的新媒体管理平台运营数据实时分析系统研究与设计

作者：陈大新北京邮电大学

学位级别：硕士

随着互联网时代的日益发展,新兴知识的了解方式多样而便捷,由此,引发了“书、报”式的传统阅读方式的改变。新媒体作为科技的新型产物应运而生,并促进了出版社的网络发文阅读量的迅猛增长,推动了媒体平台的发展。然而庞大的阅读量增加... 详细信息

随着互联网时代的日益发展,新兴知识的了解方式多样而便捷,由此,引发了“书、报”式的传统阅读方式的改变。新媒体作为科技的新型产物应运而生,并促进了出版社的网络发文阅读量的迅猛增长,推动了媒体平台的发展。然而庞大的阅读量增加了出版社网络维护人员的需求与工作量,因此一款以改变繁重的人力操作以实现半自动化管理的产品为社会所需。本文基于此设计并实现新媒体发文管理平台系统。新媒体发文管理平台系统是一款集多家发文平台于一体的,可实时分析、任务分配、一键发文、消息整合的智能文章管理平台。该平台集搜狐号、豆瓣号、一点号等多家媒体平台为一体,可实现在本平台编辑文章后,便可以一键发布到各大媒体平台,实时查看文章浏览量、评论量、转发量等,并可与读者等进行实时互动的智能平台。该平台使用RESTful实现多服务之间的通信,Restful通信模式的优势在于运用SOAP协议传输系统所需数据,并把HTTP当作传输协议来安全稳定的实现接口之间的通信。新媒体管理系统使用Spring+SpringMVC+Mybatis框架进行业务代码的构建与整合,在热点数据的存储上使用Redis非关系型数据库,通信模块使用HTTPS通信协议,以JSON方式进行服务之间的数据传输,并通过类加载器去解析数据,保障了客户端与服务端间的数据可靠性传输。该平台使用RESTful架构较之前Web Services架构降低了耦合度,提升了可扩展性,进而保证了系统的高可用性、高稳定性,已使用在了出版社、县政府媒体报道部等几家公司,并保证了系统兼容性、用户体验度、上线稳定运行等多方面需求。

关键词：一键发文数据采集实时分析 Spring框架

基于特定场景的大数据实时分析平台的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

信息技术与标准化 2022年第7期 22-27页

作者：曾小松张路工业和信息化部装备工业发展中心

为了解决单表数据记录条数在亿级以上的数据实时统计分析问题,针对聚合运算后的结果数据记录数量显著少于原始记录数量的一类特定场景,提出构建大数据实时分析平台的方案。通过对比流式架构、Lambda架构、Kappa架构、Unifield架构等4种... 详细信息

为了解决单表数据记录条数在亿级以上的数据实时统计分析问题,针对聚合运算后的结果数据记录数量显著少于原始记录数量的一类特定场景,提出构建大数据实时分析平台的方案。通过对比流式架构、Lambda架构、Kappa架构、Unifield架构等4种主流数据处理架构的优缺点,提出选择Kappa架构,并基于Apache Flink计算引擎来构建大数据实时分析平台,并通过全量数据全运算(会定期运行)、增量数据实时运算两个流处理过程来实现。该方案设计了3种运算结果存储方案,以满足不同应用情形下对最终运算结果的查询效率要求。

关键词：大数据实时分析 Kappa 架构 Flink NoSQL ClickHouse

基于Cortex-M3的具有实时分析功能的动态心电软硬件系统的研究

在线全文

学校读者我要写书评

暂无评论

基于Cortex-M3的具有实时分析功能的动态心电软硬件系统的研究

作者：蒋坤坤浙江大学

学位级别：硕士

动态心电可以长时间监测人体心电信号,对心律失常等疾病检测具有重大价值。目前被广泛应用的动态心电监测仪仅有记录事后分析功能,难以满足心电信号实时分析的需求,限制了心电分析系统的广泛应用。因此,开发一种具有实时分析功能的动态... 详细信息

动态心电可以长时间监测人体心电信号,对心律失常等疾病检测具有重大价值。目前被广泛应用的动态心电监测仪仅有记录事后分析功能,难以满足心电信号实时分析的需求,限制了心电分析系统的广泛应用。因此,开发一种具有实时分析功能的动态心电软硬件系统具有重要意义,该系统应具有适用复杂心电检测算法的能力,同时满足低功耗、便携式、高可靠性等需求。论文基于载人航天型号任务需求,研究内容包括:①研制高可靠性、高性能硬件电路:采用基于Cortex-M3内核的具有高达120M主频、512KB Flash程序存储器、96KB SRAM数据存储器的ARM芯片,24bit高精度采样前端解决方案进行硬件电路设计;②研究心电实时分析算法:算法具有准确度高、运算复杂度低的特点,可适用于嵌入式环境;③研究具有心电信号采集、实时分析、存储与传输等功能的嵌入式软件。对系统的测试结果表明,仪器具有低噪声(峰值噪声<4 μ V)、高精度(24bit)、低功耗(工作电流<80mA,两节5号电池可支持32小时连续工作)、便携(体≯积120*80*31.5mm3、重量≯0.41kg)、算法准确度高(QRS波群检测准确率96.89%,室性早搏检测准确率86.55%)、可靠性高(静电接触放电8kV)等特点。可同时满足医疗仪器和航天型号任务的性能、可靠性、EMC等要求。本论文所设计的样机已通过中国航天员中心性能与可靠性测试,有望在不久将来应用于我国重大载人航天活动,关键技术可解决当前远程心电监测诊断领域的痛点问题,具有广泛应用价值。

关键词：动态心电实时分析高精度低功耗便携

基于大数据的电动汽车报文实时分析系统设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

城市勘测 2022年第2期 76-79页

作者：周佳佳南通市测绘院有限公司江苏南通226000

基于提高电动汽车报文分析系统的实时性、可扩展性、高可用性的目的,采用了Flume+Kafka+Storm+HBase大数据框架的组合技术,通过了电动汽车报文实时分析系统的建设及对实时数据清洗、分析、预警的使用,得出了该项技术在实时性、可扩展性... 详细信息

基于提高电动汽车报文分析系统的实时性、可扩展性、高可用性的目的,采用了Flume+Kafka+Storm+HBase大数据框架的组合技术,通过了电动汽车报文实时分析系统的建设及对实时数据清洗、分析、预警的使用,得出了该项技术在实时性、可扩展性、高可用性方面的提升起到了有效、关键的作用。

关键词：大数据实时分析电动汽车报文