检索结果-南通市图书馆

作者：马中豪北京工业大学

学位级别：硕士

近年来,工业互联网在我国得到了大力发展。今年六月,工业和信息化部提出了到2020年底的总体发展目标:“我国工业互联网发展的总体目标是,到2020年底,初步建成工业互联网基础设施和产业体系。”这份计划书预示着国家对发展工业互联网的... 详细信息

近年来,工业互联网在我国得到了大力发展。今年六月,工业和信息化部提出了到2020年底的总体发展目标:“我国工业互联网发展的总体目标是,到2020年底,初步建成工业互联网基础设施和产业体系。”这份计划书预示着国家对发展工业互联网的决心。工业4.0时代,物联网(IoT)和工业互联网的发展大大推动了工业制造企业的信息化。但同时,如何对工业设备进行数据采集,边缘计算和数据的实时计算成为众多工业制造企业研究的重点问题。在此背景下,本论文提出了一个基于nifi,Minifi,SparkStreaming,HBase和Hive的实时工厂设备采集及计算系统。本系统中,Minifi和nifi可用于工厂设备采集,并将工业数据以16进制格式使用HTTP协议发送,Kafka对各地工厂的数据进行缓存,SparkStreaming实时接收消息队列中的二进制工业数据并对其进行解析,同时对设备实时状态,设备当前生产量等关键指标进行实时计算;对于工业数据的解析结果和计算结果,可将当天数据存储到HBase(实时数据存储)和Hive(历史数据存储),方便对HBase中的实时数据做检索和展示,以及对Hive中的历史数据做数据分析及挖掘。本系统运用了分布式物联网采集终端Minifi及中央nifi采集集群对分布式的采集设备做统一数据接收及基于MQTT协议的数据分发,同时运用了分布式实时流数据计算框架SparkStreaming。为搭建本文提出的优化后的工业数据实时采集与计算系统,笔者搭建了一个8个节点的物理机与虚拟机混合集群,并实现了这个可大规模拓展的实时工业设备数据采集及计算系统,改进了传统架构中存在采集,解析和存储效率低等弊端,并提高了数据传输的实时性,以及数据存储的时效性。为验证结果,笔者搭建了一个规模为20个节点的物理机与虚拟机混合集群,对基于本论文架构构建的系统做了各个子系统的物理机与虚拟机的单节点与集群性能测试,从而得到优化后系统的性能指标。

关键词：工业互联网 IoT 数据采集 nifi SparkSteaming

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于数据挖掘的大学生上网行为分析

基于数据挖掘的大学生上网行为分析

引用

作者：孙全超青岛科技大学

学位级别：硕士

本课题立足于高校各业务部门的实际需求,从统一规划的全局设计理念出发,研究设计了适用于高校管理、决策的智慧学工大数据平台。在学工大数据平台建设过程中,本文解决了高校各业务系统海量数据采集、存储、处理分析的难题,提高了高校决... 详细信息

本课题立足于高校各业务部门的实际需求,从统一规划的全局设计理念出发,研究设计了适用于高校管理、决策的智慧学工大数据平台。在学工大数据平台建设过程中,本文解决了高校各业务系统海量数据采集、存储、处理分析的难题,提高了高校决策管理信息化的水平、增强了各级管理部门的工作效率以及精细化管理的力度,为高校的决策管理提供数据支持。本文以高校各业务部门的实际需求为驱动,利用先进的架构理念,打造集业务系统数据查询、功能管理、信息交互、决策支持为一体的高校智慧学工大数据平台。提出学工数据平台体系架构,采用数据采集工具nifi完成业务系统数据的实时抽取;采用Elasticsearch作为平台的数据仓库进行海量业务系统数据的实时存储;采用分布式计算工具Spark完成对数据的实时并行处理并通过其计算框架MLlib对各业务系统数据深度挖掘;最后采用Echarts作为平台前端,通过图表的形式将数据的分析结果可视化展示。本文对平台用到的模型进行分析讨论,并建立精准资助模型用以发现群体中的贫困生,结果显示模型准确率达到80%以上。数据平台共分为九大模块,本文对每个模块的功能进行分析讨论并给出模块的界面展示图。本文利用平台,对用户的上网日志数据进行分析。包括用户群体的上网时长、浏览网址类型与学习成绩的关系,个体用户的上网时长、时段等,以及用户对网贷网址、游戏网址、图书馆资源等的使用情况。并将分析的结果可视化。截止目前,平台在测试推广过程中得到了学校各部门管理人员、各学院辅导员、以及在校学生的认可,不久将正式上线并广泛推广。本文对数据平台的研究不仅具有实用价值,而且对高校信息化建设具有借鉴意义。

关键词： nifi ES Spark 数据平台高校信息化上网行为分析

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Kubernetes的注塑成型装备大数据采集和存储系统研究与设计

基于Kubernetes的注塑成型装备大数据采集和存储系统研究与设计

引用

作者：朱叶华南理工大学

学位级别：硕士

以大数据、云计算和人工智能为代表的信息技术的快速发展,深刻有力地推动了世界工业的第四次变革,标志着利用信息化技术促进产业变革的智能化时代的到来,在全球工业发展中,塑料工业占有极为重要的地位,塑料工业的创新与变革正在世界各... 详细信息

以大数据、云计算和人工智能为代表的信息技术的快速发展,深刻有力地推动了世界工业的第四次变革,标志着利用信息化技术促进产业变革的智能化时代的到来,在全球工业发展中,塑料工业占有极为重要的地位,塑料工业的创新与变革正在世界各地展开,我国是塑料制品消费与生产大国,塑料制品行业市场发展前景广阔,随着国家经济持续稳定发展,注塑成型装备行业实现了跨越式发展,产业规模不断扩大,但与工业发达国家相比,还有一定差距,行业智能化和信息化水平较低,大部分企业还是劳动密集型企业,生产效率和产品附加值低,严重制约了我国塑料制品行业的发展。本文针对以上注塑成型装备行业所面临的问题,结合自动化控制技术,利用大数据和云计算技术,研究并设计了注塑成型装备大数据采集与存储系统,从而为离线大数据分析制品质量与工艺参数关系,建立参数与质量关系模型,以及在线质量监控提供关键数据,对优化注塑成型装备行业生产和提高制品质量,促进注塑行业数据共享与整合,推动注塑行业的智能化和信息化升级具有重要意义。本文主要内容包括如下几方面:1.基于工业过程控制标准协议OPC和MES生产管理系统,构建注塑机生产数据采集系统,实现注塑机生产数据的现场采集与上传。2.基于nifi大数据整合工具,构建nifi数据流处理集群,并部署多种数据流处理器,完成对注塑生产数据多种数据源的接入和可视化的数据流处理。3.分析注塑生产数据采集需求,使用高吞吐量的Kafka分布式发布订阅消息系统,构建Kafka集群,为注塑生产数据提供缓存,作为大数据离线分析和实时处理的数据来源,实现大数据接收与处理的解耦。4.结合注塑成型装备大数据采集和存储系统后期上云需求,基于Kubernetes容器编排技术和Docker容器虚拟化技术,设计并构建Kubernetes集群来管理和部署nifi集群、Kafka集群和HBase分布式数据库,以提高大数据系统扩展性、可靠性和移植性,为构建注塑行业数据云创造条件。

关键词： Kubernetes nifi Kafka HBase 注塑成型

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Ambari的数据处理平台

引用

电脑知识与技术 2019年第11期15卷 1-5页

作者：任女尔魏金津蔡建军天津卡达克数据有限公司

汽车行业会产生大量数据,需要对这些数据进行存储与分析。基于Apache Ambari搭建大数据基础设施,通过nifi可以将各种型式的数据进行处理、整合并导入大数据存储。通过Kylin可以对存储的大数据进行降维,提高查询速度。基于SpringCloud与... 详细信息

汽车行业会产生大量数据,需要对这些数据进行存储与分析。基于Apache Ambari搭建大数据基础设施,通过nifi可以将各种型式的数据进行处理、整合并导入大数据存储。通过Kylin可以对存储的大数据进行降维,提高查询速度。基于SpringCloud与开发计算模块并,对外提供Rest接口,实现大数据查询功能。

关键词： Amabri nifi Kylin SpringCloud

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：