检索结果-南通市图书馆

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

PetroV分布式数据存储与分析框架设计

石油地球物理勘探 2017年第4期52卷 875-883页

作者：盛秀杰金之钧彭成中国石化石油勘探开发研究院北京100086

随着三维地震数据采集、油气田开发等系列新技术带来的快速数据更新,大数据背景下三维数据体的高效存储与处理分析变得越来越复杂。在参考GFS(Google File System,谷歌文件系统)设计理念和消化其关键分布式处理技术的基础上,本文设计了P... 详细信息

随着三维地震数据采集、油气田开发等系列新技术带来的快速数据更新,大数据背景下三维数据体的高效存储与处理分析变得越来越复杂。在参考GFS(Google File System,谷歌文件系统)设计理念和消化其关键分布式处理技术的基础上,本文设计了PetroV(Petroleum Valuation,勘探部署决策一体化软件系统)最新软件架构并研发了系列大数据存储与分析的关键软件技术。利用三维空间下八叉树结构与编码的快速空间定位和多分辨率机制,实现对三维大数据体的结构分层、分块存储与二级内存缓存框架,支持并发访问和不同分辨率流式显示。由数据存取客户端、元数据服务和子数据块存取服务组成的八叉树分布式存储框架,屏蔽了基于八叉树切分后子体数据块在上百台计算机的后台冗余或备份存储事实,实现了几乎与单机文件系统接口一致的分布式文件存取接口;由任务执行客户端、任务管理服务和面向地震、数字岩心或测井数据的系列专业解释算法服务组成的分布式大数据分析框架,利用八叉树分块存储的特点实现"分而治之"并行编程模型,显著降低并行编程模型实现的复杂度。大数据下PetroV软件体系架构设计及衍生的系列专业软件版本,最终目的是希望能够推动应用导向与新技术发展深度结合,持续追求卓越,增强自主创新能力。

关键词：分布式存储与计算八叉树映射规约(Map-Reduce) PetroV

基于多源异构大数据的学者用户画像关键技术研究

在线全文

学校读者我要写书评

暂无评论

基于多源异构大数据的学者用户画像关键技术研究

作者：温昂展华南理工大学

学位级别：硕士

随着科学研究的飞速发展,积累了海量的学者用户属性信息和学术行为信息,这为学者用户画像构建提供了更多的数据基础,也带来了更高的挑战。本文首先介绍了学者用户画像相关的研究背景和现状,接着深入分析相关技术,将学者用户画像模型划... 详细信息

随着科学研究的飞速发展,积累了海量的学者用户属性信息和学术行为信息,这为学者用户画像构建提供了更多的数据基础,也带来了更高的挑战。本文首先介绍了学者用户画像相关的研究背景和现状,接着深入分析相关技术,将学者用户画像模型划分为画像基本信息抽取、学者兴趣标签发现、未来学术影响力预测三个模块,分别提出相应的模型并进行实验评估。最后,采用分布式存储与并行计算框架实现上述模型,构建了一个基于多源异构大数据的学者用户画像原型系统。本文的研究工作主要包括以下几个方面:(1)提出了一种基于双向长短期记忆网络和条件随机场的学者画像信息抽取模型(PAE-NN)。相比以往研究提出的基于CRF的抽取模型,该模型通过深度神经网络自动提取文本的字符级和上下文特征,实现了模型的端到端训练,同时有效地解决了抽取实体间的长时期依赖关系问题,提高了学者基本属性信息抽取的精度。(2)构建了一种融合文本语义信息和学术网络关系的学者兴趣标签多分类模型(LDANE)。不同于已往研究只是单一采用文本挖掘或标签传播方法,该模型将所有学术实体的文本语义信息统一整合到主题模型中,同时利用大规模网络表征学习方法对学术异构网络连接结构进行特征提取,最后结合Stacking方法进行特征融合,提升了兴趣标签发现能力。(3)设计一种学者未来学术影响力预测模型(XG-RWTA),并结合分类筛选算法使模型适应数据长尾分布特性。该模型考虑论文发表的时间和作者署名顺序的因素,提出基于网络随机游走的学者影响力评估方法(RWTAModel),并将该特征融合到学者未来影响力预测模型,有效地应对了长周期预测的难题,提升了预测效果。(4)基于Hadoop、Spark和TensorFlcw等大数据分析框架对上述用户画像模型进行实现,设计一套基于多源异构数据融合的分布式系统架构,实现了一个基于大数据的学者用户画像的原型系统。

关键词：学术大数据用户画像兴趣标签学术影响力分布式存储与计算

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

用电信息采集系统数据库的云存储设计

用电信息采集系统数据库的云存储设计

作者：宋振伟山东大学

学位级别：硕士

随着用电采集范围的逐步扩大,特别是“全覆盖、全采集、全费控”建设工作的推进,用电采集数据量的不断激增给数据管理带来了极大的难题,一是大量采集数据的存储问题,二是大数据的业务分析应用问题。以采集系统全覆盖为支撑,深入挖掘采... 详细信息

随着用电采集范围的逐步扩大,特别是“全覆盖、全采集、全费控”建设工作的推进,用电采集数据量的不断激增给数据管理带来了极大的难题,一是大量采集数据的存储问题,二是大数据的业务分析应用问题。以采集系统全覆盖为支撑,深入挖掘采集系统数据,深化应用采集系统功能,加强与营销、配电等相关系统集成,实现电费抄核自动化、线损管理精细化、互动服务智能化、费控功能实用化的“四化”目标,全面推进营销发展方式转变,全面提升公司供电服务水平。但面对电网每天采集上传的大数据如何实时存储和对存储采集数据的业务分析挖掘成为系统控制和应用的关键。特别是线损管理、负荷管理、计量在线监测、电压合格率管理、供电可靠性分析等都需要通过对所采集到的数据进行存储、快速分析和智能诊断,为系统应用提供支撑。根据目前用电信息采集系统中存在的存储、计算和扩展瓶颈,积极探索新技术的应用。利用基于实时数据库、云计算一体机相融合技术,即实现由传统的“集中分析->集中处理->统一展示”到“分布式分析->分布式处理->统一展示”的过度,用电采集信息数据入库采用实时数据流处理技术,底层数据管理采用DataCube分布式基础架构,基于云存储文件系统,以实现类关系型数据库的复杂关联查询。主要工作、方法及研究内容： 1)研究基于用电信息采集系统的数据实时处理支撑技术,解决用电信息实时高效存储、实时分析、实时计算等时效性比较高的一系列需求;2)针对不同的数据类型,开发关系数据库、实时数据库及云实时存储平台之间进行数据交换共享的接口;3)设计通用的数据接口,为营销稽查监控系统、供电品质实时在线智能评价系统、配电生产指挥平台、营销业务应用系统、营销GIS系统等提供数据分析及数据处理支持;4)搭建具有高可靠性、稳定性和扩展性的云计算服务平台,为用电信息采集系统的业务功能拓展做好技术支撑;5)研究针对海量数据实时在线分析挖掘和统计的功能,为有序用电智能决策分析提供强有力的依据。项目应用实施效果：基于实时数据库与云计算、云实时存储平台技术相融合的一体化应用,由主控制节点和处理节点构成,包括了存储子系统、处理子系统和调度子系统等,使用高效的并行计算技术和先进的索引机制实现实时任务的快速处理、复杂任务的高效计算以及大数据批处理任务的高吞吐率。为电力企业提供一个整合的业务框架蓝图,帮助电力企业成为“随需而变”的企业。

关键词：用电采集实时数据库分布式存储与计算海量数据云计算云存储

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

智能园区管控平台集成架构设计及关键技术

供用电 2018年第12期35卷 21-28页

作者：万静罗开明徐大青黄浩然许继集团有限公司河南许昌461000

随着智能配用电园区规模的扩大,配电自动化、用电信息采集等应用系统的推广应用,配电网中会产生指数级增长的海量异构、多态的数据,配用电环节的管理需求也逐渐复杂起来,因此需要建立高效的管控平台。基于海量数据的运行监控、用电管理... 详细信息

随着智能配用电园区规模的扩大,配电自动化、用电信息采集等应用系统的推广应用,配电网中会产生指数级增长的海量异构、多态的数据,配用电环节的管理需求也逐渐复杂起来,因此需要建立高效的管控平台。基于海量数据的运行监控、用电管理等基本功能高度融合,智能运维、能源服务、售电管理等多种智慧功能按需集成的智能园区管控平台是未来智能园区管控系统的发展方向。针对智能园区海量数据的高速采集、高效处理、高速存储与计算,以及统一服务等需求,提出了管控平台的集成架构设计方案。通过关键技术性能验证了智能园区管控平台集成架构的优势和可行性。

关键词：智能园区集成架构海量数据实时并行处理分布式存储与计算

在线全文

学校读者我要写书评

暂无评论

基于大数据的决策支持平台建设研究

中国管理信息化 2021年第7期24卷 99-101页

作者：王瑞宋梦佳刘磊康莹何淳真西安应用光学研究所西安710065

文章根据大数据的特点,构建了大数据分析平台,该平台利用分布式存储与计算技术解决了企业数据信息高效存储和管理的需求,通过数据分析与挖掘,将企业的海量数据转化为有效的信息来辅助企业决策层进行准确决策。

关键词：大数据分析决策支持分布式存储与计算数据挖掘

内蒙古自治区气象大数据管理云平台设计与实现

在线全文

学校读者我要写书评

暂无评论

内蒙古气象 2023年第3期 32-36页

作者：杨鹏杜宇池继忠内蒙古气象数据中心内蒙古呼和浩特010051

文章介绍了内蒙古自治区气象大数据管理云平台利用分布式存储与计算架构,构建数据采集子系统、数据加工处理子系统、数据存储管理子系统、业务监视子系统、数据共享服务子系统和数据展示子系统,实现部门内外常规气象观测资料、服务产品... 详细信息

文章介绍了内蒙古自治区气象大数据管理云平台利用分布式存储与计算架构,构建数据采集子系统、数据加工处理子系统、数据存储管理子系统、业务监视子系统、数据共享服务子系统和数据展示子系统,实现部门内外常规气象观测资料、服务产品、行业部门相关数据的集约化、标准化、统一存储管理,对接内蒙古自治区政府“云上北疆大数据平台”和“政务资源共享平台”,完成了行业的互补和延伸,开辟了气象信息化发展的新舞台。

关键词：内蒙古自治区气象大数据管理云平台分布式存储与计算气象信息化

在线全文

学校读者我要写书评

暂无评论

用电采集系统云计算技术构架的分析与研究

科技创新与应用 2015年第9期5卷 71-71页

作者：柴长安国网淄博供电公司山东淄博255000

随着用电采集范围的逐步扩大,以采集系统全覆盖为支撑,深入挖掘采集系统数据,深化应用采集系统功能,利用基于实时数据库、云计算一体相融合技术应运而生,即实现由传统的"集中分析->集中处理->统一展示"到"分布式分析->分布式处理->统一... 详细信息

随着用电采集范围的逐步扩大,以采集系统全覆盖为支撑,深入挖掘采集系统数据,深化应用采集系统功能,利用基于实时数据库、云计算一体相融合技术应运而生,即实现由传统的"集中分析->集中处理->统一展示"到"分布式分析->分布式处理->统一展示"的过度,用电采集信息数据入库采用实时数据流处理技术,底层数据管理采用Data Cube分布式基础架构,基于云存储文件系统,以实现类关系型数据库的复杂关联查询。主要研究内容:(1)研究基于用电信息采集系统的数据实时处理支撑技术,解决用电信息实时高效存储、实时分析、实时计算等时效性比较高的一系列需求;(2)设计通用的数据接口,为配电生产指挥平台、营销业务应用系统、营销GIS系统等提供数据分析及数据处理支持;(3)研究针对海量数据实时在线分析挖掘和统计的功能,为有序用电智能决策分析提供强有力的依据。

关键词：用电采集实时数据库分布式存储与计算海量数据云计算云存储