检索结果-南通市图书馆

大数据时代hadoop和Spark技术研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

品牌研究 2020年第4期 88-90页

作者：王玉河源职业技术学院

在我国信息技术水平的日益提升下,为了能够提高大数据的利用率,需要建立起专门的平台对大数据进行计算与处理。其中以Hadoop技术与Spark技术颇具代表性,本文将通过结合相关研究资料,分别从核心技术、技术升级、生态系统与技术应用等方... 详细信息

在我国信息技术水平的日益提升下,为了能够提高大数据的利用率,需要建立起专门的平台对大数据进行计算与处理。其中以Hadoop技术与Spark技术颇具代表性,本文将通过结合相关研究资料,分别从核心技术、技术升级、生态系统与技术应用等方面出发,着重围绕大数据时代下的Hadoop技术与Spark技术进行简要分析研究。

关键词：大数据时代 Hadoop技术 Spark技术

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

人工智能技术驱动的纺纱质量预测研究进展

丝绸 2023年第4期60卷 61-70页

作者：赵薇玲章军辉陈明亮李庆陈大鹏中国科学院大学集成电路学院北京100049 常熟理工学院电气与自动化工程学院江苏苏州215500 无锡物联网创新中心有限公司江苏无锡214135 昆山微电子技术研究院江苏苏州215347

本文探讨了人工智能技术在纺纱质量预测领域的应用、创新与不足,介绍了Hadoop技术为纺纱质量预测建模提供可靠高效的数据处理与运算平台,重点阐述了智能建模方法在纺纱质量预测领域的研究进展。通过分析得出基于数据与知识融合驱动的人... 详细信息

本文探讨了人工智能技术在纺纱质量预测领域的应用、创新与不足,介绍了Hadoop技术为纺纱质量预测建模提供可靠高效的数据处理与运算平台,重点阐述了智能建模方法在纺纱质量预测领域的研究进展。通过分析得出基于数据与知识融合驱动的人工智能技术,构建出多工序关联的混合智能模型,用以准确描述纱线质量与纤维特性、工艺参数、环境参数等之间的非线性映射关系,可为试纺、过程参数设计、态势预测等环节提供指导,具有重要的理论研究意义。

关键词：纺纱质量预测人工智能 Hadoop技术混合智能模型目标优化发展趋势

在线全文

学校读者我要写书评

暂无评论

高安智慧物流平台车辆调度优化研究

高安智慧物流平台车辆调度优化研究

作者：郑亚伟江西财经大学

学位级别：硕士

消费主义在科技发展、信息便捷的氤氲之下表现出众多时代特征,例如智慧物流现如今已渗透到人们生活的方方面面,而现代社会中信息技术的不断更新迭代,使得信息化、互联和智能化的智慧物流平台应运而生。现代智慧物流配送平台,在融合了现... 详细信息

消费主义在科技发展、信息便捷的氤氲之下表现出众多时代特征,例如智慧物流现如今已渗透到人们生活的方方面面,而现代社会中信息技术的不断更新迭代,使得信息化、互联和智能化的智慧物流平台应运而生。现代智慧物流配送平台,在融合了现代化服务理念、先进计算机技术与现代管理方式的基础上,最大限度地整合了配送网络资源与信息流通渠道,从而更有效地提高了现代物流配送的管理效能与服务水平,同时实现了对配送信息的全程监测,已经成为了中国现代物流配送发展中的核心技术和关键。江西省宜春市高安市是安驰天下的汽运之都,随着国家对大数据产业的大力支持,高安智慧物流平台的建设将促进高安市整个物流行业的加速发展。高安市于2017年初搭建“互联网+智慧物流”线上线下一体化运营商业模式的平台,通过网络云技术,整合业务交易,输出运力,无缝对接车、企、货及专用配套设备,实现物流企业大交易、大数据、大税收。基于智慧城市的发展方向我们也得到了启发,通过将近年热门的云计算技术和传统物流管控方法相互融合构建了云物流管理平台,从高安智慧物流平台的具体实践入手并提供优化意见。经过对高安市物流现状的分析及行者智慧物流平台的调研,了解到目前高安汽运物流领域中,信息不透明、配送效率不高以及物流产业人均收益不稳定等仍是存在的问题。针对这些问题,本文从问题产生的原因、问题产生的过程以及问题解决的方向三个方面进行分析,并作出相应的优化研究。在分析了高安市物流发展现状的基础上,本文从高安物流的车辆调度方面作出分析优化,基于价值链理论对高安物流车辆调度中的调度问题、配送效率和经济效益三个部分进行分析,发现问题并分析提出优化策略,在此基础上对高安智慧物流平台的车辆调度进行优化设计,通过引入hadoop大数据技术,建立高安智慧物流的车辆调度优化模型,并设计车辆调度价值评价模型,从车辆调度的服务价值、经济效益以及配送效率三个方面来分析证明基于云计算技术下的智慧物流平台拥有巨大的价值。根据前景理论,高安智慧物流平台依据Hadoop技术建立车辆调度的功能设计将为高安物流产业带来很大的价值,具体而言,物流的财务效益、配送效率提升、价值服务的增长等都是其价值提升下的产物。基于对高安智慧物流平台的车辆调度优化设计,配合车辆调度的优化策略,高安市智慧物流平台的优化升级具有重大价值和实践意义。

关键词：智慧物流平台汽运物流 Hadoop技术车辆调度优化研究

大数据思维对构建能源-经济-环境(3E)大数据平台的启示

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

科技管理研究 2018年第16期38卷 205-211页

作者：邱立新李筱翔青岛科技大学经济与管理学院山东青岛266061

以大数据应用技术和能源-经济-环境协调发展理论为基础,融合大数据和能源-经济-环境三位一体两种思维,提出能源-经济-环境(3E)大数据平台的框架构想和运营模式,为大数据背景下分析能源、经济、环境复杂系统,挖掘大数据背后所隐藏的关联... 详细信息

以大数据应用技术和能源-经济-环境协调发展理论为基础,融合大数据和能源-经济-环境三位一体两种思维,提出能源-经济-环境(3E)大数据平台的框架构想和运营模式,为大数据背景下分析能源、经济、环境复杂系统,挖掘大数据背后所隐藏的关联规则,将不规则、散乱的数据变成政府、企业、研究机构等各类组织的信息资源提供数据支撑、工具支撑、方法论支撑等研究平台。

关键词：大数据 Hadoop技术能源-经济-环境大数据平台

海上风电智能数据共享发展研究 ——以广西海上风电智能数据共享平台建设为例

在线全文

学校读者我要写书评

暂无评论

海上风电智能数据共享发展研究 ——以...

作者：谭灵峰广西大学

学位级别：硕士

作为一种现实需要和战略考量,广西正在积极规划海上风电产业链发展,关注到这一趋势,根据作者对广西海上风电发展战略规划的研究,本文从行业发展、政府科学治理和主动服务、打造中国-东盟信息港等三个角度需求展开研究,论证了“利用智能... 详细信息

作为一种现实需要和战略考量,广西正在积极规划海上风电产业链发展,关注到这一趋势,根据作者对广西海上风电发展战略规划的研究,本文从行业发展、政府科学治理和主动服务、打造中国-东盟信息港等三个角度需求展开研究,论证了“利用智能数据共享平台解决广西海上风电发展痛点”的必要性,提出了“广西海上风电智能数据共享平台建设”这一课题。围绕这一研究课题,本文采用了文献研究法、资料分析法、数据研究法、分析比较法等研究方法,分析了智能数据共享平台的普遍性技术结构和主要技术,以及面对海上风电产业需要的特殊性技术特点、存在问题、研究价值及应用现状,通过对广西海上风电产业发展规模进行测算,并针对可借鉴的局部单体风机案例进行研究采样,分析得到建设广西海上风电智能数据共享平台对数据处理的刚性设计要求,作出了基于hadoop的平台技术构架选择,并基于Hadoop技术设计了广西海上风电智能数据共享平台的总体功能和实现方案,其中包括平台总体架构、数据库架构、网络架构、应用层架构以及五个子系统的设计。最后,针对本文中广西海上风电智能数据共享平台的建设设想,在经济、技术、社会效益和应用前景等四个方面进行了预期评估、分析与总结,并期待能够对其他区域海上风电智能数据共享发展研究和下一步广西海上风电产业发展产生一定的参考和借鉴意义。

关键词：海上风电数据共享平台建设 Hadoop技术

泛在电力物联网的数据挖掘与智能处理技术研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

泛在电力物联网的数据挖掘与智能处理技术研究

作者：邱锡鑫华东师范大学

学位级别：硕士

泛在电力物联网是实现电网智能化的必经之路,对实现电网能源转换、电力生产优化升级有着至关重要的作用。电力从产出到使用,经历了从输变电到配电,再从配电到营销等关键环节,而配电网在当中起了关键的衔接作用。配电网的飞速发展和设备... 详细信息

泛在电力物联网是实现电网智能化的必经之路,对实现电网能源转换、电力生产优化升级有着至关重要的作用。电力从产出到使用,经历了从输变电到配电,再从配电到营销等关键环节,而配电网在当中起了关键的衔接作用。配电网的飞速发展和设备陆续智能化,促使了配电网数据的快速增长。配电网大数据是泛在电力物联网实现过程的产物,它的研究和分析关系着电网的发展脉络。本文主要围绕配电网大数据的规范化集成、高效存储和查询以及并行化挖掘和处理进行研究,对提升配电网数据的高效交互具有重要意义,为构建强力的泛在电力物联网提供了技术保障。本文主要研究内容如下:1.提出了一种配电网规范数据集成方法。实现了电网异构数据的中继转换,同时将实际数据映射成统一规范的存储格式,解决了配电网数据集成过程中数据格式不一致的问题。2.设计了基于hadoop的配电网数据高效存储方法。运用配电网数据关联性的链地址存储算法,将相同关联字段名的数据存储在相同节点,可以显著提高数据存储的效率;同时提出了一种基于Map Reduce的联合查询方法,有效提升数据查询的速度和稳定性。3.提出了基于Spark技术的配电网数据挖掘和处理技术。将非标准数据按照国际标准的规定进行统一格式转换,解决了非标数据不能直接应用于系统中的问题,避免缺陷数据对电网运行产生负面影响;同时采用粒子群优化算法对配电网拓扑数据中的负荷聚类中心进行优化,规避离群样本对后续电力负荷预测模型造成的消极影响。4.依据上述泛在电力物联网中配电网大数据技术,基于数据挖掘与人工智能处理算法,采用FCM-CNN联合模型来进行负电荷时空分布预测,并在预测精确度上相较于传统的电力元胞技术有着显著提升。

关键词：泛在电力物联网 Hadoop技术 Spark 电力负荷预测

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于云计算技术的变电站视频监控系统研究

基于云计算技术的变电站视频监控系统研究

作者：赵维山四川大学

学位级别：硕士

变电站视频监控系统为变电站安防、作业反违章检查、智能巡检提供了便利和手段,而7×24小时持续监控将会产生海量的视频数据,从而引发了海量数据存储、视频快速检索等问题。针对这些问题,本文以视频监控系统作为研究对象,从云技术、关... 详细信息

变电站视频监控系统为变电站安防、作业反违章检查、智能巡检提供了便利和手段,而7×24小时持续监控将会产生海量的视频数据,从而引发了海量数据存储、视频快速检索等问题。针对这些问题,本文以视频监控系统作为研究对象,从云技术、关键帧提取、CBIR图像内容检索、并行处理等技术方向入手,对实现海量监控视频存储管理、视频快速检索展开研究,主要工作内容描述如下:首先,本文详细分析了变电站视频监控系统目前对视频数据的存储和快速检索方式所存在的困难,进而确定变电站视频监控系统的具体功能需求,并从总体结构设计、检索流程设计和数据库设计三个方面,对视频监控系统进行总体设计研究。同时确定了检索流程为视频采集、储存、归并储存和视频检索四个重要步骤。其次,为了确保变电站监控视频处理和储存效率更好,本文采取分布式云计算平台技术,通过Map Reduce编写程序把视频格式转变为一串map进行输出和输入,让视频的质量和存储速度达到更好。同时,针对变电站监控环境的复杂性,本文提出基于像素序列梯度信息改进高斯混合背景模型进行监控视频目标检测与关键帧提取,并为了提高关键帧的检索效率,将非结构化数据处理成结构化和半结构化数据,本文采取了基于云计算平台的Map Reduce模型算法,以实现非常高效的计算能力和数据挖掘的准确度。最后,通过构建分布式视频检索平台的测试环境,对本文所研究的分布式视频检索平台的功能和性能进行测试,实验结果表明,本课题所研究的分布式检索项目可以完成建立在视频中的搜索任务,同时有着很强的分布式处理与分布式检索效率,达到了平台研究目的。

关键词：视频检索分布式 Hadoop技术运动目标检测关键帧

基于hadoop的大数据高校舆情监测系统研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

电脑编程技巧与维护 2022年第7期 89-91页

作者：魏超李玲陕西财经职业技术学院陕西咸阳712000 西藏民族大学陕西咸阳712000

基于大数据平台hadoop对高校学生的校园生活、学习等方面数据进行抓取,再进行关联、聚类分析,将学生进行不同维度的预警画像,给出预警,从而达到减少各类安全事故的发生,促进学生在校园健康积极向上生活的目的。基于hadoop的高校典情检... 详细信息

基于大数据平台hadoop对高校学生的校园生活、学习等方面数据进行抓取,再进行关联、聚类分析,将学生进行不同维度的预警画像,给出预警,从而达到减少各类安全事故的发生,促进学生在校园健康积极向上生活的目的。基于hadoop的高校典情检测系统是智慧校园的重要组成部分,具有较高的实际应用价值。

关键词： Hadoop技术大数据典情高校

高职院校劳动实践网络教学管理系统的设计研究

在线全文

学校读者我要写书评

暂无评论

电子技术与软件工程 2022年第19期 238-241页

作者：刚宪水德州职业技术学院山东省德州市253034

本文以高职院校劳动时间网络教学管理系统为主要研究对象,针对高职院校劳动时间网络教学管理系统在具体管理方面的不足展开深入研究,结合高职院校自身特点,说明网络教学管理系统在高职院校劳动实践教学管理中的主要作用,以此为基础,结... 详细信息

本文以高职院校劳动时间网络教学管理系统为主要研究对象,针对高职院校劳动时间网络教学管理系统在具体管理方面的不足展开深入研究,结合高职院校自身特点,说明网络教学管理系统在高职院校劳动实践教学管理中的主要作用,以此为基础,结合实习项目管理、现场监控、现场数据采集、远程应用等综合性功能进行综合设计,希望可以为同领域工作者提供合理参考作用。

关键词：管理系统设计 Hadoop技术模块设计网络管理系统