检索结果-南通市图书馆

基于Hadoop技术的电子商务配送系统设计和实现

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

信息记录材料 2023年第5期24卷 134-136页

作者：苗丽广西经贸职业技术学院智能与信息工程学院广西南宁530021

随着社会发展,电商平台作为重要网络终端,已经迎来了广阔的市场前景。本文基于Hadoop技术设计了电子商务配送系统,收集配送源数据并将数据加载到每个HBase集群节点。节点根据hadoop分布式框架实现大量分布式数据的储存功能,并对分布式... 详细信息

随着社会发展,电商平台作为重要网络终端,已经迎来了广阔的市场前景。本文基于Hadoop技术设计了电子商务配送系统,收集配送源数据并将数据加载到每个HBase集群节点。节点根据hadoop分布式框架实现大量分布式数据的储存功能,并对分布式数据进行实时更新,同时存储在HBase集群的每个节点上。通过分支限界法处理各个节点的数据,获得每个车辆的最优分配方案。通过交互层,可以随时查看车辆的配送计划和历史路线,并实时跟踪配送车辆的信息。结果表明,该系统可以实现特定货物清单和配送车辆信息的查询功能,加强对配送货物的有效监管,制定车辆的最佳配送计划,提高电子商务平台的配送效率。

关键词：电子商务配送系统 Hadoop技术系统设计

基于Hadoop技术的Web电子产品信息检索系统研究

在线全文

学校读者我要写书评

暂无评论

信息与电脑 2022年第12期34卷 82-84,88页

作者：王思尧北京天融信网络安全技术有限公司广西南宁530000

为使网络商业信息具备海量化、类型多元化、结构多样化等特性,迅速且精确获取产品信息并及时加以呈现,本文基于Hadoop技术设计Web电子产品信息检索系统,对系统的数据抓取性能、索引构建性能进行了对比分析测试实验。实验结果表明,Anchor... 详细信息

为使网络商业信息具备海量化、类型多元化、结构多样化等特性,迅速且精确获取产品信息并及时加以呈现,本文基于Hadoop技术设计Web电子产品信息检索系统,对系统的数据抓取性能、索引构建性能进行了对比分析测试实验。实验结果表明,Anchor-Hop-T模型相比较Anchor-Hop模型,查准率相对更高,花费时间也较短。

关键词： Hadoop技术 Web电子产品信息检索索引构建

基于Hadoop技术的电网建设物资需求预测模式识别分析

在线全文

学校读者我要写书评

暂无评论

电子技术（上海） 2023年第3期52卷 316-318页

作者：王学兵张国生徐恩超宋宸张红权耿新国国网新疆电力有限公司吐鲁番供电公司新疆838000 国网吐鲁番供电公司经济技术研究所新疆838000

阐述一种基于Hadoop技术的电网建设物资需求预测模式的识别方法。通过识别项目库分类项目以构建典型项目库,汇总分析各种项目库的电网建设物资,识别物资样本,从而收集电网建设物资的需求数据。探讨计算各影响因素对于各类物资需求计划... 详细信息

阐述一种基于Hadoop技术的电网建设物资需求预测模式的识别方法。通过识别项目库分类项目以构建典型项目库,汇总分析各种项目库的电网建设物资,识别物资样本,从而收集电网建设物资的需求数据。探讨计算各影响因素对于各类物资需求计划的实际影响程度,获取影响值较大的因素作为关键因素,构建电网建设物资需求预测模型,利用基于Hadoop技术构建电网建设物资需求预测模式识别平台,实现电网建设物资需求预测模式识别。

关键词：数据分析 Hadoop技术物资需求预测模式识别

Hadoop技术在油气生产物联网中的应用研究

在线全文

学校读者我要写书评

暂无评论

Hadoop技术在油气生产物联网中的应用研究

作者：陈健兰州理工大学

学位级别：硕士

在石油勘探行业中,伴随着物联网技术的不断应用,油气开发环境和业务环境中产生了海量的数据。收集数据成本的逐渐降低和收集数据意识的不断提高,使油田上积累了海量、多维度的油气生产和管理数据。然而“海量的生产数据”与“匮乏的油... 详细信息

在石油勘探行业中,伴随着物联网技术的不断应用,油气开发环境和业务环境中产生了海量的数据。收集数据成本的逐渐降低和收集数据意识的不断提高,使油田上积累了海量、多维度的油气生产和管理数据。然而“海量的生产数据”与“匮乏的油田认知”逐渐成为油田行业发展的瓶颈。油气生产非结构化数据量庞大、类型众多,主要包含各种没有固定格式的基本业务数据体、生产成果文档、生产报表及“四化”(模块化建设、标准化设计、信息化提升、标准化采购)建设等数据,数据量在6TBTB。当前油气生产数据量的与日俱增,大大超出了传统数据库的存储范围,常规的数据库(如:My SQL、SQL Server、DB2等)存储和数据处理方法遇到了瓶颈。hadoop作为一种新兴的分布式数据存储和计算框架,具有高可靠性、高扩展性、高效性和高容错性的特点,为存储和处理海量油气生产数据提供了新的思路。因此,本文将Hadoop技术应用于油气生产物联网中,设计并部署了hadoop油气生产数据存储平台,并基于历史生产数据改进了油气产量预测模型,具体工作重点如下:首先,对hadoop研究现状和技术优势进行分析归纳,明确油气生产数据在存储方面遇到的困难,从而确定将Hadoop技术应用到油气生产中用于可靠存储、高效查询和数据挖掘分析。其次,针对油田现场生产数据具有数据结构复杂,数据规模庞大,数据间关联性大等特点,结合Hadoop技术,本文设计了一种基于Hadoop技术的油气生产数据存储平台,实现了不同种类数据在hadoop平台和传统数据库中共享交互,有利于在日后生产中对数据做深入的分析和挖掘。对于非结构化数据的存储设计,利用基于HDFS的HBase作为存储数据库;对于结构化数据的存储设计,采用了Oracle数据库作为离线数据仓库,提供离线的历史数据分析。而对于需要被实时查询的生产数据,则通过Redis内存数据库完成。在理论设计的基础上,实现了hadoop油气生产数据存储平台的部署,并且对平台的性能进行测试,说明将Hadoop技术应用到油气生产物联网中是高效的、可行的。最后,针对国内许多油田已经进入产量递减阶段的问题,通过基于hadoop平台存储的历史生产数据,在双曲递减跟指数递减模型的基础上提出了一种最优加权组合法产量预测模型,通过三种模型的预测结果和实际产量进行对比,得出最优加权组合预测模型的预测结果最逼近实际产量,具有极好的预测效果,可以考虑在广大油田试点运行。

关键词： Hadoop技术数据存储产量预测最优加权

基于Hadoop技术的高校学生行为分析系统研究与实现

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Hadoop技术的高校学生行为分析系统研究与实现

作者：潘奇北京邮电大学

学位级别：硕士

随着社会的不断进步,信息技术的不断发展,物联网、云计算和大数据等技术的不断完善,高校数字校园乃至智慧校园工程的持续建设,以及上层应用系统的不断增加,校园信息化环境中积累的数据也在迅速膨胀,已经初步形成了一个典型的校园大数据... 详细信息

随着社会的不断进步,信息技术的不断发展,物联网、云计算和大数据等技术的不断完善,高校数字校园乃至智慧校园工程的持续建设,以及上层应用系统的不断增加,校园信息化环境中积累的数据也在迅速膨胀,已经初步形成了一个典型的校园大数据环境。传统的管理理念和管理方法无法满足日益增长的数据处理需求,如何对校园数据进行高效的管理和实现数据共享,是当今校园建设所面临的急需解决的问题。本文采用主流的hadoop框架对校园环境产生的大规模数据进行存储和分析,研究了Hadoop技术在教育信息化领域的应用,研究形成基于Hadoop技术的高校学生行为分析系统的总体架构,研究形成高校学生行为分析系统的数据采集框架和算法,研究基于Hadoop技术的高校学生行为分析系统的功能架构和关键算法。完成了校园异构数据的分布式存储和处理,实现了校园数据的深入挖掘和分析。分析了科研数据,辅助及时关注学校科研动态,更好的指导科研发展方向。分析教师数据,辅助及时把握教学近况,合理指导教学方案的制定。进而分析学生数据,辅助及时掌握学生的行为动态,并对重点学生的行为发展进行预判。论文完成了基于Hadoop技术的高校学生行为分析系统的设计与实现,系统首先采用HDFS分布式文件系统完成对数据的采集、处理和存储,然后采用MapReduce编程模型对各个专题编写分析算法,进而对数据进行数据挖掘和智能分析,最后在此基础之上基于JAVAWEB并采用主流的SSH架构完成相关模块的开发,同时对分析结果进行图形化直观展示。本文中的系统,在北京邮电大学校园环境中进行了部署实施,测试结果得到了初步验证,并取得了一定的成果。

关键词：大数据 Hadoop技术 MapReduce校园数据数据分析

基于Hadoop技术的远程教学智慧云平台设计

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

微型电脑应用 2021年第11期37卷 90-93页

作者：王晓晗咸阳师范学院数学与信息科学学院陕西咸阳712000

针对教育信息化建设过程中出现的教育平台信息分散、共享度较差的问题,提出并设计了一种基于hadoop数据库的智能教育云平台。该平台通过hadoop集群对海量教育资源数据进行存储和处理,在保证稳定运行的条件下极大地提高了数据的处理效率... 详细信息

针对教育信息化建设过程中出现的教育平台信息分散、共享度较差的问题,提出并设计了一种基于hadoop数据库的智能教育云平台。该平台通过hadoop集群对海量教育资源数据进行存储和处理,在保证稳定运行的条件下极大地提高了数据的处理效率。平台以应用服务、平台构建、基础设施3个结构层搭建总体架构,通过教育存储、远程课堂、教务管理、教育门户等服务实现了具体功能。测试结果表明,这一平台的hadoop集群及各项服务均具有较高的负载能力,能够满足大规模数据信息的存储和处理需求。

关键词：远程教学云平台 Hadoop技术数据存储

在线全文

学校读者我要写书评

暂无评论

基于Hadoop技术的联通大数据采集研究

信息与电脑 2021年第24期33卷 198-200页

作者：张雪中国联合网络通信有限公司哈尔滨软件研究院黑龙江哈尔滨150036

为了提高联通大数据采集架构的性能,本文以提升数据采集效率为目标,对数据采集中的数据提取、转换和加载进行改进,提出新的提取变换负载(Extract-Transform-Load,ETL)运行方案。该研究方案建立在hadoop平台上,根据中国联合网络通信有限... 详细信息

为了提高联通大数据采集架构的性能,本文以提升数据采集效率为目标,对数据采集中的数据提取、转换和加载进行改进,提出新的提取变换负载(Extract-Transform-Load,ETL)运行方案。该研究方案建立在hadoop平台上,根据中国联合网络通信有限公司运营体系的特点,对大数据采取预处理,并引入动态触发控制模式,优化ETL调度流程,实现并发量的监测与控制,使得数据采集效率得以提升。测试结果显示,本文提出的大数据采集方案能够缩短等待时间、改善数据资源拥堵问题,从而大大提高数据采集效率。

关键词： Hadoop技术数据采集 ETL

基于Hadoop技术的电子商务配送系统设计

在线全文

学校读者我要写书评

暂无评论

机械设计与制造工程 2021年第7期50卷 47-50页

作者：王洋杨凌职业技术学院经济与贸易分院陕西杨凌712100

针对电子商务配送的监管水平与效率低的问题,设计了基于Hadoop技术的电子商务配送系统。采集配送源数据,并将数据向HBase集群各节点传送,节点依靠hadoop分布式框架分散存储海量数据,实时更新配送数据并存入HBase集群各节点内,采用分支... 详细信息

针对电子商务配送的监管水平与效率低的问题,设计了基于Hadoop技术的电子商务配送系统。采集配送源数据,并将数据向HBase集群各节点传送,节点依靠hadoop分布式框架分散存储海量数据,实时更新配送数据并存入HBase集群各节点内,采用分支限界法处理各节点内的数据,获得各车辆的最佳配送方案,通过交互层随时查看配送方案和车辆历史轨迹等,实时监控配送车辆的信息。结果表明,该系统可实现指定货单与配送车辆的信息查询功能,加强了对配送中货物的有效监管,可制定最佳车辆配送方案,提升配送效率。

关键词： Hadoop技术电子商务配送方案分支限界法

基于Hadoop技术的大数据分析应用系统的研究与设计

在线全文

学校读者我要写书评

暂无评论

电子设计工程 2019年第16期27卷 11-14,19页

作者：鲁志芳上海东海职业技术学院

传统的信息处理技术已难以满足现代数据处理的要求。因此,文中针对云计算时代数据处理计算量大、实时性要求高的特点,研究了基于Hadoop技术的大数据分析应用系统。该系统以Hadoop技术为基本框架,采用HDFS系统作为数据存储的基本单元。... 详细信息

传统的信息处理技术已难以满足现代数据处理的要求。因此,文中针对云计算时代数据处理计算量大、实时性要求高的特点,研究了基于Hadoop技术的大数据分析应用系统。该系统以Hadoop技术为基本框架,采用HDFS系统作为数据存储的基本单元。并在此基础上,利用Hive方式建立新的数据库系统,结合MySQL数据管理系统和Kylin进行数据分析系统完成对数据的获取、存储、分析、管理功能。最后,通过大数据可视化系统和大数据报表分析系统完成对数据分析结果的呈现。本研究内容对实现大数据的管理和分析具有重要意义。

关键词：大数据 Hadoop技术数据存储数据管理数据分析