检索结果-南通市图书馆

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于时间序列的动态城市路况导航方法的研究

基于时间序列的动态城市路况导航方法的研究

作者：邓有朋天津大学

学位级别：硕士

城市交通的智能化和智慧化是城市规划和城市发展的重要衡量指标,同时智能交通和智慧城市也一直是国内外学者的研究热点问题。在诸多研究热点问题之中,如何实现扩展性强、准确性高、实时性快的动态城市网络,自然就成为了构建智慧城市的... 详细信息

城市交通的智能化和智慧化是城市规划和城市发展的重要衡量指标,同时智能交通和智慧城市也一直是国内外学者的研究热点问题。在诸多研究热点问题之中,如何实现扩展性强、准确性高、实时性快的动态城市网络,自然就成为了构建智慧城市的关键技术和基础保证。本文主要基于城市内的海量实时出租车的GPS数据进行了动态城市交通网络的构建;在此基础平台上进行了深度的数据分析与挖掘以此构建城市的路网模型;并对传统的基于路径最短的路径搜索算法进行了补充,加入了时间片以及城市路网状态的考量。首先为了构建数据承载力强、服务响应快、系统拓展行强的基础平台,本文选择使用HDFS分布式文件系统来解决大的实时出租车数据。其次,本文针对实时出租车GPS数据的特点,结合HDFS分布式文件系统和Spark分布式计算平台,对数据进行深度地挖掘和分析。包括分析每一趟出租车每天的出行规律、载客状态、乘客客流分布、城市OD情况等交通问题,并在此基础上将出租车的运行速度,地理位置等信息映射到具体的城市路网上,通过分析历史数据进而构建城市骨干交通网络。最后再此基础上针对SPFA等基于道路最短原则的路径导航算法进行了补充和完善,添加了行车时间以及道路平均速度的考量,提出了结合导航路径以及行车时间多维度的最优路径导航算法,并在全文最后的实验部分进行了相关可视化的对比结果。城市动态网络的构建和基于城市动态网络的最优导航问题,是实现未来城市实时路况查询,车辆动态导航乃至构建智慧城市的关键技术。本文提出的城市交通网络基础平台构建方法、基于出租车GPS数据的分析与挖掘方法以及多尺度考量下的城市路径导航算法。能够较好的满足现代化智慧城市的城市特点。在实现城市交通智能化方面具有良好的应用价值。

关键词：数据挖掘 SPFA路径搜索算法动态路径导航出租车 GPS数据分析城市路网构建分布式计算平台

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

电子政务云系统的应用研究

电子政务云系统的应用研究

作者：程瑶兰州大学

学位级别：硕士

改革开放三十年来,经济发展取得举世瞩目的成就,城市人口数量也急剧增加,城市基础设施建设、资源的可持续发展等面临诸多问题和困难,城市信息化战略正是为这些问题的解决提供了理论的支持和实现的可能。目前,沿海部分城市的政务信息化... 详细信息

改革开放三十年来,经济发展取得举世瞩目的成就,城市人口数量也急剧增加,城市基础设施建设、资源的可持续发展等面临诸多问题和困难,城市信息化战略正是为这些问题的解决提供了理论的支持和实现的可能。目前,沿海部分城市的政务信息化建设已经取得了一系列成就,但是大部分城市政务信息化建设发展滞后,主要有以下几个原因：区域经济发展不平衡,资源配置不均衡,资金投入不到位,政府部门缺少信息化专业人才等。针对城市信息化建设中面临的问题,本文主要研究将云计算技术应用到政务信息化建设中,提出了基于云计算平台的电子政务系统建设方案,将传统的以桌面为核心的任务处理转变为以网络为核心的任务处理,利用互联网实现任务处理,使网络成为传递服务、计算力和信息的综合媒介,以实现政府职能部门间信息资源共享和网络协作。云计算提高了计算资源的利用率,降低了对用户终端性能的要求,从而使用户终端尽可能的简便,同时也降低了对用户计算机操作知识的需求,有助于城市信息系统的推广应用。电子政务云系统主要包含云计算中心和服务应用系统两个方面。云计算中心平台的搭建采用分布式文件存储系统设计开发信息数据存储平台,以作为电子政务云系统的中枢,接收存储来自不同子系统的数据。服务应用系统采用Java和MySql开发模块功能,实现客户端与云计算中心的数据交互,从而实现政府部门间的数据资源共享、政务信息公开和多部门协同审批等功能,提高政府部门的工作效率,更好的实现社会服务功能。最后,本论文基本完成了云计算中心的设计实现工作,并同时实现了电子政务云系统的构建,为云计算在城市信息化建设中的其他领域的推广应用提供了科学依据和技术支持,云计算将进一步推动我国城市信息化发展水平,城市信息化的发展也必将推进云计算等信息技术的创新与进步。

关键词：云计算城市信息化分布式计算平台电子政务云

基于Hadoop的煤岩体CT图像处理及并行空间统计

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Hadoop的煤岩体CT图像处理及并行空间统计

作者：刘邵鹏中国矿业大学

学位级别：硕士

CT图像是不同灰度的像素按矩阵排列构成,这些像素反映了相应体素的X射线吸收系数。CT图像在不破坏物体的前提下可以获取其内部信息的优点,使得CT扫描成像成为医学、地学等学科不可或缺的研究手段。由于CT图像数据量较大,造成传统CT图像... 详细信息

CT图像是不同灰度的像素按矩阵排列构成,这些像素反映了相应体素的X射线吸收系数。CT图像在不破坏物体的前提下可以获取其内部信息的优点,使得CT扫描成像成为医学、地学等学科不可或缺的研究手段。由于CT图像数据量较大,造成传统CT图像的处理速度慢,甚至难以进行。目前,Hadoop已成为业内公认的应对大数据冲击的分布式计算平台,具有高效性及高容错性、高可靠性、高扩展性等优势。利用Hadoop的分布高效特性,解决CT图像处理中的速度慢、内存需求高等问题具有针对性,为实现上述研究本文做出了如下探索:使用Hadoop平台研究了提高CT图像识别度的若干方法,并利用Hadoop分布式计算平台的计算优势研究更高效率的并行空间统计。详细介绍了Hadoop平台及其核心组件HDFS和MapReduce,并对数据集处理过程中HDFS和MapReduce的工作流程和方法进行了详细阐述。此外,还介绍了Hadoop集群的搭建方法,研究了几种提高CT图像识别度的图像增强方式,并针对本文采用的实验源数据实践了两种更为适合该类型CT图像的图像去噪和图像增强方法。最后,对1208张CT图片包含的煤岩体裂隙、岩石等信息进行了并行空间统计,进而从CT图像中挖掘更为详细的定量信息。

关键词： CT图像图像处理分布式计算平台 Hadoop 并行计算

油气田单井生命周期大数据智能管管理关键技术研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

油气田单井生命周期大数据智能管管理关键技术研究

作者：龚磊中国石油大学(北京)

学位级别：硕士

油气田单井生命周期是指从井的诞生到消亡的整个过程,包括钻井、测井、生产、报废等的所有业务和数据。目前,石油勘探开发数据管理存在数据可用性差、数据检索复杂、服务对象单一等问题。因此,实现以井为单位,以时间为轴线的数据管理技... 详细信息

油气田单井生命周期是指从井的诞生到消亡的整个过程,包括钻井、测井、生产、报废等的所有业务和数据。目前,石油勘探开发数据管理存在数据可用性差、数据检索复杂、服务对象单一等问题。因此,实现以井为单位,以时间为轴线的数据管理技术研究对于石油勘探开发数据管理具有重要意义。针对以上问题本文展开了如下研究:首先,研究了基于主题域、业务流和数据流的油气田单井生命周期本体知识划分方法,参照油气田单井生命周期和领域本体理论和业务流程,提出了以井为单位,时间为轴线的本体构建方法。其次,针对大规模油气田单井生命周期RDF数据,设计了基于分布式的数据模型。该数据模型改进了传统数据模型中的垂直划分方法,使用布隆过滤器减小连接表的大小,并在构造过程中消除了大量空表,减少了预连接的消耗。最后,根据油气田单井生命周期数据的数据模型,将SPARQL查询语句转化为Spark SQL语句,并利用遗传算法对基本图模式的连接顺序重排列,实现了查询优化,可以满足油气田单井生命周期数据的多重查询需求。本文通过数据加载时间实验和完整性检查实验,验证了数据模型的可用性;通过查询时间估算实验,验证了查询优化方法的有效性。基于以上研究成果,设计了油气田单井生命周期大数据智能管理平台架构,实现了一键查询单井数据的原型展示。

关键词：生命周期管理本体大数据管理分布式计算平台

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于分布式聚类关联优化的工业故障分析研究

基于分布式聚类关联优化的工业故障分析研究

作者：黄秋凤西南科技大学

学位级别：硕士

随着工业4.0时代的来临,在大数据、人工智能、云计算等新兴技术的引领下,形成大规模的工业数据信息,使得人们正面临着数据处理困难的问题,拥有大规模的数据资源,却由于算法本身需要多次迭代,让挖掘效率受限于计算机性能,无法深入挖掘数... 详细信息

随着工业4.0时代的来临,在大数据、人工智能、云计算等新兴技术的引领下,形成大规模的工业数据信息,使得人们正面临着数据处理困难的问题,拥有大规模的数据资源,却由于算法本身需要多次迭代,让挖掘效率受限于计算机性能,无法深入挖掘数据背后蕴含的信息。上述问题出现的主要原因源于传统的串行机制处理方法不再适用于大数据分析场景,从而衍生出了以Hadoop为代表的分布式计算平台,这些计算平台具有良好的灵活性和扩展性,能够为处理大数据提供新思路和可靠保证,可以作为研究并行挖掘算法以及开展算法应用的计算基础。因此,本文基于对分布式集群平台和数据挖掘的深入理解,在现有的聚类和关联规则基础上进行研究,具体工作如下:聚类优化:以聚类算法中的K-Means算法为研究对象,针对聚类效果过度依赖于初始聚类中心的设定,且无法处理大规模数据的问题。本文引入Canopy算法优化聚类中心,并将优化算法移植于Spark平台上,避免了聚类中心选取的盲目性,降低了运算规模。最后,通过串行和并行实验验证算法具有良好的准确率和并行计算性能。关联优化:以关联规则中的FP-Growth算法为研究对象,针对大规模数据挖掘时无法构造基于内存的FP-tree、需要重复迭代遍历全局FP-tree等过程造成资源浪费的问题。本文引入多角度剪枝策略优化和分组均衡策略优化,剔除冗余数据,降低了频繁模式数目,保证每个分区之间负载总和近似相等,从而减少了遍历次数,降低时间复杂度。最后,通过多组对比实验验证算法的准确性和并行性。聚类关联优化模型应用:结合聚类优化算法和关联优化算法形成聚类关联模型,并将该模型应用于实际的工业场景-风机覆冰故障,在分布式计算框架之下,利用聚类优化算法对数据进行分段、采用正太分布将连续数据离散化、使用关联优化算法挖掘变量与覆冰故障之间的关联关系;同时,设计了一个风机覆冰故障分析系统,以数据可视化的形式对模型挖掘结果进行呈现。从工业覆冰故障数据集的实验结论证明,本文的风机覆冰故障分析系统能够快速精准的实现覆冰故障诊断,并及时分析出变量与覆冰故障之间的关联关系,易于用户决策分析,验证了聚类关联模型的有效性和可行性。

关键词：分布式计算平台聚类关联规则故障分析

基于面向对象机制的TMN的网管系统的结构设计

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

光通信研究 2005年第4期 27-29页

作者：柯俊杰毛谦武汉邮电科学研究院湖北武汉430074

文章探讨了面向对象的机制在系统管理中的运用。通过设置数据点信息采集、资源关联共享、结构化信息模型和总线型模块通信模式等办法,可寻求降低网络开销,支持多样部署,来动态管理系统资源,增强系统稳定性的途径,使系统能向网络管理人... 详细信息

文章探讨了面向对象的机制在系统管理中的运用。通过设置数据点信息采集、资源关联共享、结构化信息模型和总线型模块通信模式等办法,可寻求降低网络开销,支持多样部署,来动态管理系统资源,增强系统稳定性的途径,使系统能向网络管理人员提供更全面的知识,实现更优化的控制。

关键词：面向对象机制分布式计算平台系统状态模板

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于行为特征的私有P2P流量的识别和分析

基于行为特征的私有P2P流量的识别和分析

作者：逯尧北京邮电大学

学位级别：硕士

基于P2P技术的应用在我国经过十余年的发展,己逐步成为互联网技术改变广大用户生活方式进程中不容忽视的组成部分。但对于网络服务提供商而言,随着P2P应用的广泛使用,带宽资源的巨大消耗一直是影响网络整体服务质量的重要因素。尽管网... 详细信息

基于P2P技术的应用在我国经过十余年的发展,己逐步成为互联网技术改变广大用户生活方式进程中不容忽视的组成部分。但对于网络服务提供商而言,随着P2P应用的广泛使用,带宽资源的巨大消耗一直是影响网络整体服务质量的重要因素。尽管网络服务提供商已经针对P2P流量的识别和管理做了很多研究,提出了一些解决方案,这个问题仍有进一步改善的空间。特别是随着大数据时代的到来,使得在大规模的数据集上实现计算成为可能,与这些新型技术的结合为很多领域的理论研究带来了新的突破。面对海量的P2P网络流量,可以利用云计算技术突破计算的瓶颈,从更加完整和宏观的角度上观察P2P流量的分布情况,总结其特征,进而提出在海量数据中识别P2P流量的方案。本文中,首先介绍了当前得到广泛应用的分布式计算平台Hadoop的基本结构和相关组件的特点。之后,以具体的P2P应用软件为例介绍了P2P业务的通信流程,并在此基础上从P2P中不同角色的行为特征的角度,总结提出了适用于MapReduce编程模型的P2P流量的识别方法,这种方法可以有效处理海量网络流量数据,适应当前快速增长的数据规模和处理需求。接着,介绍了基于Hadoop平台实现的分布式P2P流量识别和分析系统的详细设计方案,重点介绍了话单关联、并发汇聚和角色识别等核心组件。最后,结合识别结果对P2P流量的一些特征进行了总结和分析。

关键词： P2P流量海量数据分布式计算平台行为特征

支持动态任务拓扑与负载分流的流式处理系统D-Stream的研究与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

支持动态任务拓扑与负载分流的流式处理系统D-Stream的研究与实现

作者：马进浙江大学

学位级别：硕士

大数据时代的来临,为数据的实时处理技术带来了巨大的变革和挑战,在这个背景下,D-Stream作为D-Ocean非结构化数据管理系统的流式处理子系统,为基于海量数据实时处理的应用提供给了一套通用的、可靠的、可扩展的分布式计算框架。 D-St... 详细信息

大数据时代的来临,为数据的实时处理技术带来了巨大的变革和挑战,在这个背景下,D-Stream作为D-Ocean非结构化数据管理系统的流式处理子系统,为基于海量数据实时处理的应用提供给了一套通用的、可靠的、可扩展的分布式计算框架。 D-Stream系统的实现基于一套流式处理通用框架设计,借鉴了S4, Storm等众多开源流式处理平台的先进思想。它的功能结构主要包含三大部分：首先是一套简洁开放的任务模型,通过D-Stream任务模型,应用能够根据需求动态地定制任务拓扑。其次是一套可靠稳定的流式处理引擎,保障数据在计算任务间快速透明地传输,使不同的任务可以高效地协调工作。最后是一个高可用的调度框架,通过有效调度计算资源,充分发挥集群的计算能力,并在消息积压时提供高效的负载分流机制。围绕这三大问题,本文描述了用D-Stream任务模型为现实应用建模的方法。就D-Stream实现部分,介绍了D-Stream组件架构和对称式调度框架,重点描述了流式处理引擎实现中用到的相关算法和设计模式,并针对D-Stream系统的各方面特性给予了全面评估。最后本文通过D-Ocean CBIR勺应用案例,验证了在海量数据的实时应用中D-Stream系统的优越性。

关键词：流式处理分布式计算平台任务拓扑实时计算增量处理引擎

大规模结构化及半结构化生物数据查询方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

大规模结构化及半结构化生物数据查询方法研究

作者：刘秋如哈尔滨工业大学

学位级别：硕士

人类基因组计划的启动和顺利实施,使得对生命与科学的研究迈进了后基因组时代,各种基因组学、蛋白质以及疾病等相关的生物大数据呈现爆炸性增长的趋势,研究这些海量生物数据会给生命科学技术提供广阔的前景。但相继而来的便是给传统计... 详细信息

人类基因组计划的启动和顺利实施,使得对生命与科学的研究迈进了后基因组时代,各种基因组学、蛋白质以及疾病等相关的生物大数据呈现爆炸性增长的趋势,研究这些海量生物数据会给生命科学技术提供广阔的前景。但相继而来的便是给传统计算设备带来的巨大的计算压力。如何从“海量”的生物数据中挖掘出有价值的信息是生物信息学研究的主要目的,也是目前制约生物学发展的主要瓶颈。因此,迫切需要对大规模的生物数据进行处理与分析。而近些年发展起来的大数据云计算等技术为海量生物数据的管理与分析指明了一个新的方向。本文探讨的就是如何利用大数据以及云平台的相关知识和原理实现对大规模结构化及半结构化生物数据的存储与高效查询工作。本文利用大数据的相关技术,研究了基于分布式计算平台Hadoop及其分布式处理框架Map Reduce的大规模的结构化和半结构化生物数据存储与查询方法。首先,利用分布式数据库Hbase存储经过映射转换后的大规模生物数据,同时结合分布式并行计算框架Map Reduce设计相应的大规模生物护具查询算法,实现了对海量生物数据的高效处理。然后提出了基于Hbase的非主键的索引方法,进而对大规模生物数据查询方法进行了性能优化。在此基础上,研发了涵盖大规模生物数据存储、查询预处理、查询、非主键索引等功能的大规模生物数据管理系统,该系统利用分布式数据库Hbase来存储异构的大规模结构化和半结构化生物数据,通过相应的映射转换模型,实现了异构生物数据的统一化查询处理。同时该系统充分利用分布式并行框架Map Reduce的优点,很好的适应了日益增长的大规模生物数据管理需求,提升了生物大数据的处理效率。最后,通过一系列对比实验,对本文提出的算法和系统进行了验证。实验结果表明,相比于传统存储查询处理方法,本文所提出的相关方法在处理性能上具有明显优势。

关键词：结构化半结构化生物数据大数据分布式计算平台非主键索引