检索结果-南通市图书馆

作者：张丽娜河北工程大学

学位级别：硕士

近年来,我国的不断发展也伴随着污染的不断加重,三峡库区也出现了许多水质问题。据调查发现受长江富营养化水质的输入和周边人类活动产生的输入等原因的共同影响,有超过80%的三峡库区支流出现水体富营养化,爆发多次水华等水质问题。这... 详细信息

近年来,我国的不断发展也伴随着污染的不断加重,三峡库区也出现了许多水质问题。据调查发现受长江富营养化水质的输入和周边人类活动产生的输入等原因的共同影响,有超过80%的三峡库区支流出现水体富营养化,爆发多次水华等水质问题。这些问题已经严重影响到三峡库区水环境的安全和当地人民的生活,成为了城市建设过程中的重大阻碍。为解决这些问题,本文对收集到的三峡典型支流—朱衣河的水质数据进行分析。这些因素在水体中发生物理和化学变化影响着水质,其背后潜藏着大量有价值的信息,而如何从这些数据中挖掘出这些有价值的信息,找出隐含的规律性信息,并据此来预测未来水质变化的趋势,已成为水污染综合治理的首要前提,更是库区水质安全管理中不可或缺的一部分。本文研究朱衣河水质数据,发现数据之间具有时间上关系的特性,应使用时间序列分析法对其水质数据进行分析与预测。这种分析方法不强制要求数据具有时序外的其他特性,只要序列中数据之间有时间上的依赖关系就可以使用。通过对本文研究的朱衣河水质数据进行分析,发现本文研究的水质数据是非线性且不平稳的时间序列。因此,使用了时间序列分析中针对非线性数据的ARIMA模型。但该模型在非线性数据预测上有一定的局限性。针对这一问题,本文提出一种基于RBF神经网络的水质预测模型。该预测模型采用用高斯函数作为隐含层基函数,通过正交最小二乘(OLS)中心选取法选取基函数的中心。进行仿真实验后发现,该模型预测精度良好,能够预测出数据未来的变化趋势。但该模型也存在陷入局部最优,错过最佳模型的问题。为此本文使用优化算法中的粒子群优化算法对RBF神经网络中的中心和宽度进行优化。本文研究ARIMA预测模型、RBF神经网络预测模型和基于粒子群优化算法改进的RBF神经网络预测模型,在朱衣河营养盐浓度预测中的适用性,并进行比较。根据历史数据对三种预测模型进行仿真,并通过平均误差和均方根误差的比较,发现基于粒子群优化算法改进的RBF神经网络预测模型,具有较强的预测精度和良好的推广能力,更适合水质时序数据的预测。该模型具有一定的推广价值,不仅为水质安全管理决策提供更有力的数据支持,对库区水环境保护和保障沿海地区的可持续发展也具有重要的理论和现实意义。

关键词：朱衣河水质预测时间序列分析 ARIMA模型 RBF神经网络粒子群优化算法

异构环境下MapReduce数据倾斜和任务调度研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

异构环境下MapReduce数据倾斜和任务调度研究

作者：贾孟玉河北工程大学

学位级别：硕士

互联网、物联网和人工智能的发展推动着云计算和大数据技术不断的进步,Hadoop平台是云计算和大数据的关键技术,而MapReduce是Hadoop集群上并行处理大型数据集有效且广泛使用的计算框架,但是MapReduce框架在异构环境下处理倾斜数据时效... 详细信息

互联网、物联网和人工智能的发展推动着云计算和大数据技术不断的进步,Hadoop平台是云计算和大数据的关键技术,而MapReduce是Hadoop集群上并行处理大型数据集有效且广泛使用的计算框架,但是MapReduce框架在异构环境下处理倾斜数据时效率较低。本文通过研究分析MapReduce框架在异构环境下处理倾斜数据时效率低下的原因,发现数据倾斜、集群异构性和网络流量是显著影响MapReduce应用程序性能的三个主要问题。针对MapReduce框架在处理倾斜数据时造成负载不均衡问题,提出两阶段分区-基于并行相似随机抽样贪心算法分区来代替原Hadoop默认的Hash分区策略,该抽样是基于Hadoop随机抽样在给定样本比率或特定置信度下的误差范围内快速且低错误率的预测key分布结果,优点在于利用MapReduce框架的并行性减少了抽样开销成本,并采用argMin()函数来确定合适的抽样率,达到减少抽样开销成本和提高抽样准确性的目的。结合贪心算法分区划分中间数据使Reduce节点上的负载趋于平均值,从而实现负载均衡。在同构环境下将本文算法和原Hash算法、群集拆分算法在不同倾斜度数据下进行WordCount实验,实验结果表明本文提出的随机抽样算法贪心算法分区具有抽样相似性、准确性和较小的抽样开销等特性,相比于对比算法减少了Reduce数据倾斜,实现了负载均衡且减少了任务的执行时间。针对异构环境下MapReduce性能下降问题,提出一种基于Reduce节点的动态平滑加权轮询调度算法来综合考虑Reduce节点性能,该算法将节点的计算能力和Shuffle阶段数据本地性传输作为该节点的权重来综合考虑Reduce节点性能,通过平滑加权轮询调度算法来均匀的选取Reduce节点。在异构环境下将本文算法和FIFO、SARS自适应算法在不同倾斜度数据下进行WordCount、图像处理实验研究,实验结果表明在异构环境下不仅实现了Reduce负载均衡,同时也减少了Shuffle阶段的网络流量和任务的执行时间。

关键词： Hadoop MapReduce 贪心算法并行抽样平滑加权轮询算法

基于Hadoop的Web日志存储及预处理优化研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Hadoop的Web日志存储及预处理优化研究

作者：宋园园河北工程大学

学位级别：硕士

互联网、移动互联网等技术的发展,使得服务器上的Web日志急剧膨胀。Web日志记录了上网用户访问Web页面的浏览行为,对网站建设和提供精准服务具有重要的指导意义。但是,原始Web日志文件中数据的通常是不完整、冗余甚至错误的,直接使用这... 详细信息

互联网、移动互联网等技术的发展,使得服务器上的Web日志急剧膨胀。Web日志记录了上网用户访问Web页面的浏览行为,对网站建设和提供精准服务具有重要的指导意义。但是,原始Web日志文件中数据的通常是不完整、冗余甚至错误的,直接使用这些数据进行日志分析非常困难,而且有可能得到错误的结果,因此,对Web日志数据进行预处理是很有必要的。同时,考虑到传统关系数据库存储的约束和单节点数据处理方式的局限性,本文使用Hadoop的分布式处理平台对Web日志数据进行存储和预处理操作,主要内容包括:(1)Web日志数据存储面对海量Web日志的急剧增长,传统存储技术面临建设成本高、运维复杂、扩展性有限等问题,而现在流行的云数据库具有动态可扩展、高伸缩性、高吞吐性能、低成本等优势,因此,本课题考虑将Web日志存储到Hadoop数据库HBase中,充分利用集群的分布式处理优势。(2)HBase负载均衡优化数据在HBase中的存储方式在很大程度上左右着整个集群的性能,直接影响着后续读取操作的效率。当MapReduce读取HBase中Web日志数据时可能会造成访问“热点”问题,本文针对这种情况提出一种改进的负载均衡算法即HBase基于子表限制的负载均衡算法,在子表分配过程中除了考虑HRegionServer的负载情况外,还考虑到切割子表region的分配情况,从而实现最大程度上的集群负载均衡。(3)用MapReduce对Web日志进行预处理Web日志预处理操作关系到Web挖掘的质量,而单一节点的计算能力在处理大规模增长的Web日志上逐渐显露出弊端,MapReduce支持大规模集群操作,本文在分析Web日志预处理过程后,从HBase中读取数据,使用MapReduce计算模型处理Web日志的预处理操作。通过对比实验,验证了优化后的HBase负载均衡算法在适当集群环境中可以有效解决负载访问失衡问题,以及验证了MapReduce在处理Web日志预处理过程的高效性。最后,本文对预处理算法进行优化,并验证优化后算法的高效性。

关键词： Web日志预处理 Hadoop HBase负载均衡 MapReduce

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

电子政务政民互动机制与互动平台建设

电子政务政民互动机制与互动平台建设

作者：王晶晶河北工程大学

学位级别：硕士

人民当家作主是中国特色社会主义民主政治的基本特征之一,以人为本是服务型政府建设首要关注的内容,要想提供优质的服务首先是要有好的发展理念,因此深化政府与公众互动机制,巩固政府与公众的互动成果显得尤其重要。电子政务政民互动是... 详细信息

人民当家作主是中国特色社会主义民主政治的基本特征之一,以人为本是服务型政府建设首要关注的内容,要想提供优质的服务首先是要有好的发展理念,因此深化政府与公众互动机制,巩固政府与公众的互动成果显得尤其重要。电子政务政民互动是一个内容包含广泛、互动形式多样的新型政民互动业务体系,是当代各国信息化建设最重要的领域之一。从目前情况来看,我国电子政务建设中普遍存在缺乏标准化和规范化,政府各部门之间、政府与公众之间的各种系统难以兼容,信息资源难以共享等的问题。为了更好的利用信息资源,减少重复建设,实现信息共享,提高政府工作效率,对信息资源进行整合已势在必行。本文研究的政民互动机制与互动平台建设对在政府与公众之间营造一种平等沟通、协同合作、良性互动的新型关系具有十分重要的意义。本文首先通过国内外政民互动现状的对比分析,借鉴国外先行国家的成功经验,提出了我国电子政务政民互动当前研究存在的问题。其次,详细阐述了电子政务、政民互动、机制等相关概念,并对深化政府与公众的互动机制,建设政民互动平台必要性及意义做了明确说明。再次,研究了电子政务政民互动建设目标和建设内容;探讨了电子政务信息资源整合模型并给出了电子政务政民互动业务体系的建立过程。在此基础上,给出了互动平台系统的设计方案,重点研究了统一应用支撑平台、信息资源目录体系与交换体系以及安全保障系统的建设。最后通过实际案例,给出政民互动实践中的经验和启示。

关键词：电子政务政民互动机制互动平台信息共享

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的生成式文本摘要研究

基于深度学习的生成式文本摘要研究

作者：李媛媛河北工程大学

学位级别：硕士

技术的出现有效缓解了人们日常生活中面对大量信息的压力,且帮助人们高效准确地获得目标信息。文本摘要方法可分为抽取式和生成式两类。抽取式摘要直接从原文摘取关键词、句,生成式摘要根据原文信息总结概括,并且允许生成原文中不存在... 详细信息

技术的出现有效缓解了人们日常生活中面对大量信息的压力,且帮助人们高效准确地获得目标信息。文本摘要方法可分为抽取式和生成式两类。抽取式摘要直接从原文摘取关键词、句,生成式摘要根据原文信息总结概括,并且允许生成原文中不存在的词、句。本文主要研究更贴合人类总结方式的生成式摘要。近年来深度学习的崛起促使生成式摘要快速发展,但是现有的生成式摘要模型中仍然存在一些问题,如获取语义信息不充分、信息冗余、关键信息丢失、暴露偏差、生成的摘要可读性差等。针对以上问题,本文主要研究内容如下:(1)编码器部分编码能力欠缺,易导致生成式摘要模型语义信息不充分、关键信息丢失的问题。针对上述问题,本文提出融合选择机制的全局和局部摘要生成模型,该模型对编码端进行研究,结合局部信息和全局信息丰富语义信息,融合选择机制提取关键信息。其中双向门控循环单元(Bidirectional Gated Recurrent Unit,Bi-GRU)从全局角度提取信息,扩张卷积网络(Dilated Convolutional Network,DCN)从局部角度提取信息。两个模块为解码器部分提供语义更加丰富的源端文本信息。对于冗余信息对解码的影响,模型在全局编码器后加入选择机制。利用所有时间步的信息作选择,不忽略每一个时间步的信息,保证了进入到解码器中的信息的质量。通过实验验证了模型能够有效避免冗余信息的生成,提升摘要的简洁性。(2)针对暴露偏差、生成的摘要可读性差的问题,本文从解码端进行研究以解决这些问题,提出一种基于联合注意力机制及强化学习的摘要生成模型。首先加入加权求和过程,使得编码器能够判断神经网络生成的向量与原文匹配程度,且给原文重要部分赋更高的权重。其次,建立联合注意力机制,并使用词句级联合注意力机制改进指针网络,迫使解码器同时关注源文本中的关键词及关键词所在句子。然后,结合先验知识,一方面使解码器得到源文本原始信息,避免摘要生成过程中层层传递带来的信息损失;另一方面给解码器传输更高级的抽象语义信息,使其能够生成更符合人类阅读习惯的摘要。最后,针对暴露偏差和评价指标与损失函数不一致的问题,引入强化学习进行优化。实验结果表明,本文模型优于现有的基线模型,生成摘要的可读性和流畅性有所提升。

关键词：文本摘要生成式选择机制注意力机制强化学习

基于动态Agent技术的分布式数据挖掘研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于动态Agent技术的分布式数据挖掘研究

作者：周凯河北工程大学

学位级别：硕士

分布式系统以其易用、方便以及高性能而被广泛的应用。但是，在分布式系统高速发展的同时也面临着数据异构性、安全性、以及统一性等问题，这些问题都在一定程度上制约着分布式系统的推广。本文正是基于分布式系统数据挖掘过程中所遇到... 详细信息

分布式系统以其易用、方便以及高性能而被广泛的应用。但是，在分布式系统高速发展的同时也面临着数据异构性、安全性、以及统一性等问题，这些问题都在一定程度上制约着分布式系统的推广。本文正是基于分布式系统数据挖掘过程中所遇到的问题，采用动态Agent技术，对分布式数据挖掘系统进行研究。首先，采用三层结构进行分布式数据挖掘系统的总体结构设计，中心Agent实现任务的分配管理;控制Agent接收中心Agent所分配的任务，接收执行Agent的数据挖掘结果;执行Agent完成具体的数据挖掘任务，并将所得到的知识反馈给控制Agent。具有较强灵活行和可扩展性的层次化的系统结构，并通过中心Agent的任务分配控制来实现负载均衡。其次，通过报文来实现Agent之间的通信，把通信报文格式进行规范设计，降低网络中的数据传输量，降低各Agent之间的耦合度，增强数据不一致性对分布式数据挖掘的影响。最后，采用二分法对蚁群算法进行改进，使改进的蚁群算法更好的适应分布式环境，并对改进蚁群算法在基于动态Agent的分布式数据挖掘系统进行了研究。本文所研究的基于动态Agent的分布式数据挖掘系统，采用层次化的系统结构提高了系统的灵活性和可扩展性，同时通过规范的通信格式来降低网络中的数据传输量，然后通过对蚁群算法的改进，对执行Agent上的数据挖掘算法进行研究。

关键词：数据挖掘分布式系统动态Agent 蚁群算法报文通信

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于RSA的动态口令身份认证技术研究

基于RSA的动态口令身份认证技术研究

作者：郭林凤河北工程大学

学位级别：硕士

随着计算机网络与信息技术的发展,网络安全问题已经成为一个不容忽视的问题,而事实上利用网络进行各种违法的行为也日趋上升。网络的安全访问控制越来越重要,身份认证作为网络应用系统的首要屏障,目的是验证用户的真实身份,防止非法用... 详细信息

随着计算机网络与信息技术的发展,网络安全问题已经成为一个不容忽视的问题,而事实上利用网络进行各种违法的行为也日趋上升。网络的安全访问控制越来越重要,身份认证作为网络应用系统的首要屏障,目的是验证用户的真实身份,防止非法用户窃取敏感数据。口令认证是最常用的身份认证方式,而动态口令由于其较高的安全性受到人们的普遍关注。本文论述了动态口令的原理及实现方式,通过分析传统的静态口令认证方式和现有的一些结合密码算法的改进方案,总结出静态口令认证方案中存在的一些不足,并结合公钥密码算法RSA和网络时间同步协议NTP,设计了种能够实现双向认证的一次性口令改进方案。文中对新方案做了详细的描述,对其系统的具体设计实现做了详细说明。新方案中采用RSA加密技术和SHA算法实现服务器和客户端的双向认证,采用客户端服务器都存储两个随机数来挑战信息,这样可以有效防止第三方攻击,采用RSA加密技术实现加密,一定程度上提高了安全性,采用网络时间协议NTP是用于互联网中时间同步的标准互联网协议,这样就不用担心服务器和客户端的时间不同步了。论文方案实现了服务器和客户端的双向认证,体现了认证的公平性,安全性高、操作简单、成本较低等特点。

关键词：动态口令基于时间同步认证技术 RSA NTP

Hadoop平台下基于时间与负载均衡的任务调度优化

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

Hadoop平台下基于时间与负载均衡的任务调度优化

作者：潘志刚河北工程大学

学位级别：硕士

随着“互联网+”的提出,各大中小企业都积极响应号召,对企业进行转型,而这些企业每天都会产生海量的数据。海量数据的存储以及计算处理迫切需要需要一种新型的计算方式,云计算在这种情况下应运而生。而Hadoop平台是目前应用最广泛的云... 详细信息

随着“互联网+”的提出,各大中小企业都积极响应号召,对企业进行转型,而这些企业每天都会产生海量的数据。海量数据的存储以及计算处理迫切需要需要一种新型的计算方式,云计算在这种情况下应运而生。而Hadoop平台是目前应用最广泛的云计算平台,也是专家学者们对大数据进行研究使用最多的平台。MapReduce是一种分布式计算框架,是Hadoop对大数据进行分布式计算的核心组件。MapReduce的性能直接影响着Hadoop集群的性能,因此对MapReduce作业调度算法进行研究,对提高Hadoop集群的性能有着重要的意义。而现有的调度算法中,对Reduce阶段的调度略显简单,主要存在着以下两方面的缺陷。他们分别是是小作业的Reduce阶段执行效率不高和数据倾斜的问题。本文通过对MapReduce执行过程以及其调度算法的研究,提出了一种基于时间与负载均衡的Reduce任务调度算法(task time and load balance,TTALB)。该算法在作业开始执行Map阶段的时候,采用合理的抽样方法对Map阶段产生的key进行抽样,并根据Map阶段的用时等相关信息,对Map阶段的剩余完成时间进行预估,通过对Map阶段剩余完成时间的比较,对等待队列中的Reduce任务进行重排序,从而提高小作业的Reduce执行效率。另一方面,在抽样的基础上,得到key的频次分布,进而估计出数据分布情况,然后根据贪心算法把这些数据均分到Reduce节点上,从而解决数据倾斜的问题,实现负载均衡。最后,本文算法通过与Hadoop自带的公平调度算法和分位数分区算法的实验结果进行对比,表明了本文提出的算法不仅能提高小作业Reduce的执行效率,而且还能更好地实现负载均衡,降低作业的执行时间。

关键词： MapReduce 数据倾斜小作业负载均衡贪心算法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

云平台的任务优先级调度研究

云平台的任务优先级调度研究

作者：程邺华河北工程大学

学位级别：硕士

云平台虚拟化技术不但使得软件应用具有更高的效率,也给任务调度与资源管理带来了新的机遇。随着云平台的任务逐渐增加,一些调度任务之间的关联性逐渐淡化,传统云平台任务调度模型,无法运用准确的约束关系确定其先后顺序,造成资源利用... 详细信息

云平台虚拟化技术不但使得软件应用具有更高的效率,也给任务调度与资源管理带来了新的机遇。随着云平台的任务逐渐增加,一些调度任务之间的关联性逐渐淡化,传统云平台任务调度模型,无法运用准确的约束关系确定其先后顺序,造成资源利用效率低、空闲时间高和任务请求缺失率高等弊端。本文提出一种云平台的任务优先级调度模型,对云平台任务调度进行了描述,探讨了平均响应时间与平台调度任务量之间的关联,对任务优先级进行计算,在任务队列中对任务优先级作适当的处理。对任务分配阶段响应平均时间等特性作适当的分析,优先对优先等级高的分配任务进行调度。将任务分配优先级运用起来,使得平均响应时间最小化的同时,达到任务执行量的最大化。仿真实验结果表明,所提模型降低了云平台的平均响应时间,使得资源具有更高的使用效率。

关键词：云平台任务调度优先级等级队列

基于深度差分神经进化的混沌时间序列预测研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度差分神经进化的混沌时间序列预测研究

作者：李永涛河北工程大学

学位级别：硕士

混沌在气候、能源、水文和金融等非线性系统中广泛存在,混沌的出现往往会使得非线性系统更加难以分析和预测。在混沌系统中,影响系统运动的因素较多且难以界定。另外,在对一个非线性系统进行观测时很难获取完整的系统信息,这无疑会给非... 详细信息

混沌在气候、能源、水文和金融等非线性系统中广泛存在,混沌的出现往往会使得非线性系统更加难以分析和预测。在混沌系统中,影响系统运动的因素较多且难以界定。另外,在对一个非线性系统进行观测时很难获取完整的系统信息,这无疑会给非线性系统的预测带来困难。此外,传统的基于神经网络的混沌时间序列预测模型存在预测精度低、网络拓扑结构难以确定等问题。近年来,混沌时间序列预测问题也引起了深度学习领域研究人员的关注。为了提高混沌时间序列的预测精度,本文开展了基于混沌理论和深度学习的混沌时间序列预测算法和模型研究,主要研究内容如下:(1)本文提出了基于卷积神经网络(CNN)、门控循环单元网络(GRU)和注意力机制的深度混合神经网络进行混沌时间序列预测。在数据预处理中,本文结合归一化和混沌理论中的相空间重构技术对数据进行处理。在本文提出的深度混合神经网络中,利用CNN从混沌时间序列的重构相空间中获取系统的空间特征信息。而后将空间特征信息与原始混沌时间序列相结合,并利用GRU从组合序列中提取系统的时空特征信息。此外,本文还设计了一个具有自适应学习能力的注意力机制来捕捉关键时空特征信息。该注意力机制可对关键时空特征信息进行权重分配,预测模型会根据获取的加权时空特征信息进行计算。(2)本文利用神经进化的思想来优化提出的深度混合神经网络的拓扑结构。使用差分进化算法(DE)优化CNN的卷积核数量、GRU隐藏神经元的数量和预测所需的时间步。针对DE收敛速度和运行速度较慢的问题,本文提出了具有自适应变异算子和动态混沌交叉算子的DE算法。(3)本文通过Lorenz理论数据集验证提出的预测算法及模型的可行性,使用月平均太阳黑子数据集和煤矿瓦斯浓度数据集验证其在不同非线性系统下的适用性。实验结果表明,改进后的DE算法不仅拥有更快的收敛速度,还能够加速寻优时间。此外,经过改进DE算法优化后的深度混合神经网络,在混沌时间序列预测中能够取得稳定且精度较高的预测表现。本文提出的混沌时间序列预测模型具有较强的适用性,能够推广到不同的非线性系统中,这对研究和认识非线性系统有着重要的理论和现实意义。

关键词：混沌时间序列预测卷积神经网络门控循环单元注意力机制差分进化算法神经进化