检索结果-南通市图书馆

改进q-learning的路径规划算法研究

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

小型微型计算机系统 2024年第4期45卷 823-829页

作者：宋丽君周紫瑜李云龙侯佳杰何星西安建筑科技大学信息与控制工程学院西安710055

针对q-learning算法学习效率低、收敛速度慢且在动态障碍物的环境下路径规划效果不佳的问题,本文提出一种改进q-learning的移动机器人路径规划算法.针对该问题,算法根据概率的突变性引入探索因子来平衡探索和利用以加快学习效率;通过在... 详细信息

针对q-learning算法学习效率低、收敛速度慢且在动态障碍物的环境下路径规划效果不佳的问题,本文提出一种改进q-learning的移动机器人路径规划算法.针对该问题,算法根据概率的突变性引入探索因子来平衡探索和利用以加快学习效率;通过在更新函数中设计深度学习因子以保证算法探索概率;融合遗传算法,避免陷入局部路径最优同时按阶段探索最优迭代步长次数,以减少动态地图探索重复率;最后提取输出的最优路径关键节点采用贝塞尔曲线进行平滑处理,进一步保证路径平滑度和可行性.实验通过栅格法构建地图,对比实验结果表明,改进后的算法效率相较于传统算法在迭代次数和路径上均有较大优化,且能够较好的实现动态地图下的路径规划,进一步验证所提方法的有效性和实用性.

关键词：移动机器人路径规划 q-learning算法平滑处理动态避障

维普期刊数据库博看期刊

改进q-learning算法的柔性上料系统研究

在线全文

学校读者我要写书评

暂无评论

现代制造工程 2023年第4期 87-92,129页

作者：丁慧琴曹雏清徐昌军李龙安徽工程大学计算机与信息学院芜湖241000 哈尔滨工业大学芜湖机器人产业技术研究院芜湖241000

现有振动式给料柔性上料系统的工作效果多数依靠出厂前人工手动调试,手动振动参数调试存在耗时长、费人力问题,且调试结果有较强针对性,导致系统柔性能力不足。提出一种基于改进q-learning算法的柔性上料系统,结合柔性上料系统自身特性... 详细信息

现有振动式给料柔性上料系统的工作效果多数依靠出厂前人工手动调试,手动振动参数调试存在耗时长、费人力问题,且调试结果有较强针对性,导致系统柔性能力不足。提出一种基于改进q-learning算法的柔性上料系统,结合柔性上料系统自身特性对传统q-learning算法的奖励函数和ε-贪婪策略进行改进,令柔性上料系统自学习寻找一组有较优料件振动效果的振动参数。由实验可得,所提算法能减少人工在柔性上料系统调试上的参与度,证明了该算法在柔性上料系统中的可行性和有效性,且与传统q-learning算法相比较,改进q-learning算法更符合柔性上料系统的实际应用。

关键词：强化学习 q-learning算法柔性上料系统

基于改进q-learning算法和DWA的路径规划

在线全文

学校读者我要写书评

暂无评论

传感器与微系统 2023年第9期42卷 148-152页

作者：王志伟邹艳丽刘唐慧美侯凤萍余自淳广西师范大学电子工程学院广西桂林541004

针对传统q-learning算法出现的规划路线转折点多,探索效率低,以及无法实现动态环境下的路径规划问题,提出一种基于改进q-learning算法和动态窗口法(DWA)的融合算法。首先,改变传统q-learning算法的搜索方式,由原先的8方向变成16方向;利... 详细信息

针对传统q-learning算法出现的规划路线转折点多,探索效率低,以及无法实现动态环境下的路径规划问题,提出一种基于改进q-learning算法和动态窗口法(DWA)的融合算法。首先,改变传统q-learning算法的搜索方式,由原先的8方向变成16方向;利用模拟退火算法对q-learning进行迭代优化;通过路径节点优化算法进行节点简化,提高路径平滑度。然后,提取改进q-learning算法规划路径的节点,将其作为DWA算法的临时目标,前进过程中,能够实时躲避环境中出现的动静态障碍物。最终实验结果表明:融合算法具有较好的路径规划能力,实现了全局最优和有效避障的效果。

关键词： q-learning算法路径规划动态窗口法

流量拥堵空域内一种基于q-learning算法的改航路径规划

在线全文

学校读者我要写书评

暂无评论

科学技术与工程 2022年第32期22卷 14494-14501页

作者：向征何雨阳全志伟中国民用航空飞行学院空中交通管理学院广汉618307

目前,空中流量激增导致空域资源紧张的问题越发凸显,为了缓解这一现状,基于流量管理层面对航空器进行改航路径的研究。首先采用栅格化的方式对空域环境进行离散化处理,根据航路点流量的拥挤程度把空域划分为3种不同类型的栅格区域。其... 详细信息

目前,空中流量激增导致空域资源紧张的问题越发凸显,为了缓解这一现状,基于流量管理层面对航空器进行改航路径的研究。首先采用栅格化的方式对空域环境进行离散化处理,根据航路点流量的拥挤程度把空域划分为3种不同类型的栅格区域。其次通过改进强化学习中马尔科夫决策过程的奖励函数对其进行建模,并基于ε-greedy策略运用q-learning算法对该模型进行迭代求解,对相应的参数取值进行探究比较以提高结果的可适用性。最后经过仿真运行,计算出不同参数赋值下的最优路径及相应的性能指标。结果表明:应用该模型和算法可以针对某一时段内的流量拥堵空域搜索出合适的改航路径,使飞机避开流量拥挤的航路点,缩短空中延误时间,有效改善空域拥堵的现况。

关键词：改航路径规划流量拥堵强化学习马尔科夫决策过程 q-learning算法 ε-greedy策略

基于n步q-learning算法的风电抽水蓄能联合系统日随机优化调度研究

在线全文

学校读者我要写书评

暂无评论

水电能源科学 2022年第1期40卷 206-210页

作者：李文武马浩云贺中豪徐康三峡大学电气与新能源学院湖北宜昌443002 梯级水电站运行与控制湖北省重点实验室(三峡大学) 湖北宜昌443002 国网湖北省电力有限公司宜昌供电公司湖北宜昌443002

针对q-learning算法求解风电抽蓄联合系统日随机优化调度中,存在功率偏差大及收敛速度慢的问题,提出基于n步q-learning算法的风电抽蓄日随机优化调度方法。先将风电出力随机过程视为Markov过程并建立风电抽蓄日随机优化调度模型;其次分... 详细信息

针对q-learning算法求解风电抽蓄联合系统日随机优化调度中,存在功率偏差大及收敛速度慢的问题,提出基于n步q-learning算法的风电抽蓄日随机优化调度方法。先将风电出力随机过程视为Markov过程并建立风电抽蓄日随机优化调度模型;其次分析n步q-learning算法应用于优化调度模型中的优势;最后按照应用流程求解优化调度模型。算例表明,n步q-learning算法的优化结果与n步和学习率取值有关,当两个参数取值适中时能得到最优功率偏差结果,在求解该问题上对比n步q-learning与q-learning算法,前者能更快收敛且较后者功率偏差降低7.4%、求解时间降低10.4%,验证了n步q-learning算法的求解优越性。

关键词：风蓄随机优化调度强化学习 q-learning算法 n步自举法

基于q-learning算法的狭水道船舶避碰算法

在线全文

学校读者我要写书评

暂无评论

基于Q-learning算法的狭水道船舶避碰算法

作者：刘子铭大连海事大学

学位级别：硕士

在现代航运领域,狭水道航行一直是一个非常重要的问题。由于船舶在狭水道中航行时的空间限制和水流变化等因素,狭水道航行存在着更高的安全风险。因此,狭水道船舶的路径规划一直是船舶自动化控制领域的热门研究方向之一。传统的狭水道... 详细信息

在现代航运领域,狭水道航行一直是一个非常重要的问题。由于船舶在狭水道中航行时的空间限制和水流变化等因素,狭水道航行存在着更高的安全风险。因此,狭水道船舶的路径规划一直是船舶自动化控制领域的热门研究方向之一。传统的狭水道船舶路径规划方法通常是基于规则的方法,如引导线法、锚地法等。这些方法在某些情况下可以取得不错的效果,但是也存在一些问题,比如在不同的环境下需要不同的规则,且这些规则的设计需要考虑许多因素,使得这些方法在实际应用中存在一定的局限性。本文针对这些问题提出了结合人工势场法的q-learning算法的船舶狭水道避碰算法,实现在满足《国际海上避碰规则》(《规则》)约束的情况下船舶在狭水道的避碰操作。首先,本文综合考虑船舶在狭水道所受到的航向、航速的限制,结合船舶碰撞危险度模型以及水域环境模型,利用人工势场法建立整体环境模型,并依据危险度值和狭水道情况将会遇局面进行划分。然后结合《规则》要求,分析不同会遇避碰情况下应该满足的约束条件。最后利用人工势场法所构建的引力和斥力模型作为强化学习qlearning算法的奖励数据进行训练,从而得到最终的避碰算法。在《规则》适用方面,利用人工势场法构建合理斥力场同时设计特殊奖励函数来对《规则》进行适用。本文做了以下工作:利用人工势场法结合船舶碰撞模型设计引力斥力场以满足q-learning算法的输入;为解决人工势场法在狭水道易发生抖震的情况,利用深度学习进行特殊训练,以避免在狭窄水道的多次转向的问题;设计优化q-learning算法从而对于人工势场法的局部最小值进行规避。为了验证本文设计的狭水道避碰系统的可行性,文末对长江水道进行场景模拟,并设计模拟情景进行了仿真避让,仿真结果表明,本文提出的狭水道避碰算法能够保证实验船舶采取的行动既能综合考虑当前的航行环境下的会遇状况,又能遵循《规则》对狭水道中关于避碰的相关规则。

关键词： q-learning算法狭水道船舶避碰人工势场法

基于q-learning算法的微电网弹性增强控制

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Q-learning算法的微电网弹性增强控制

作者：刘孟奇华北水利水电大学

学位级别：硕士

微电网是以分布式电源为主体的新型发配电系统,为应对自然灾害事件和人为恶意攻击对电力系统造成严重破坏以及局势的扩大,如何有效的求解微电网重构策略,对微电网弹性的增强具有重要意义。科学技术的快速更新迭代,电网结构也走向多样化... 详细信息

微电网是以分布式电源为主体的新型发配电系统,为应对自然灾害事件和人为恶意攻击对电力系统造成严重破坏以及局势的扩大,如何有效的求解微电网重构策略,对微电网弹性的增强具有重要意义。科学技术的快速更新迭代,电网结构也走向多样化、复杂化。传统单一的集中控制模式很难再适用。需要寻求更加灵活、有效的控制方式和解决复杂问题的有效方法。多智能体系统（Multi-agent system,MAS）与微电网系统在控制需求上具有高度的适应性,其分布式计算能够将复杂问题拆分化、简单化,满足微电网的多种运行需求,实现更智能的微电网功能。本文将多智能体强化学习技术应用于微电网重构研究,以此来提升微电网弹性,并结合微电网的运行特点对智能体进行改进。本文主要的研究工作如下:（1）对近二十年来的国内外大停电事件进行统计和分析,并对各类大停电原因进行归类统计,自然灾害和人为恶意破坏事件占比为55%和8%,是对电网安全最大的威胁,在此背景下研究如何增强微电网弹性的问题。通过大量的国内外文献的阅读,总结微电网弹性增强的方法,并比较其各自的优劣性以及适用性,选定通过微电网重构来增强其系统的弹性。（2）从系统的脆弱性和弹性两个相反的概念介绍了系统弹性的量化分析。叙述了微电网重构对系统弹性增强的意义,并重点对比了微电网重构与主电网重构的异同。结合微电网分布式电源种类较多、所属主体不同的特点。并根据集中控制相对较难管理、缺少灵活性等问题。构建MAS在拓扑结构上对微电网中拓扑结构的映射关系,并确定设备参数和智能体的属性的映射关系。根据微电网重构理论知识,设定了微电网在灾害事件下的重构目标和约束条件等。首先,分析微电网设备组成以及网络结构特征,介绍了MAS的基本理论及系统结构特征,分析MAS集中式、分布式和混合式的优劣性,以及MAS在微电网的应用优势。构建MAS中智能体与微电网设备元件的映射关系,并搭建MAS的微电网模型。其次,对MAS中智能体的框架结构进行详细的描述,并对智能体的独立性和智慧性进行分析,鉴于分布式结构极大的增加了智能体的独立性,其设备智能体的智慧性还有待提高的问题,故对设备层智能体的框架结构和求解算法进行部分改进。最后,对微电网在极端灾害事件下的弹性进行分析,并论述微电网重构对系统弹性增强的重要性,对比微电网重构与主电网重构的异同,设定MAS微电网重构目标、约束条件。（3）介绍了强化学习算法在微电网控制中的应用,以及q-learning算法在微电网控制领域中的优势,对q-learning算法的进行公式推导,对智能体的探索策略进行推导。在微电网智能重构中采用了q-learning算法作为MAS微电网重构的求解算法。采用贪心策略进行探索,鉴于智能体对周围环境探索的局限性,以及其奖励反馈的延迟性,故其决策的智慧性还有待提高。借鉴人类既能够自己通过实践学习,又能向阅历丰富的智者请教学习的思想,对设备层智能体的决策与更新做出改进,引入建议度和接受度的概念,提升智能体动作决策的智慧性。并对改进前后的算法进行实验仿真和结果分析。

关键词：微电网重构弹性控制故障恢复多智能体系统 q-learning算法

基于q-learning算法的毫微微小区功率控制算法

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

电子与信息学报 2019年第11期41卷 2557-2564页

作者：李云唐英刘涵霄重庆邮电大学移动通信技术重庆市重点实验室

该文研究macro-femto异构蜂窝网络中移动用户的功率控制问题,首先建立了以最小接收信号信干噪比为约束条件,最大化毫微微小区的总能效为目标的优化模型;然后提出了基于q-learning算法的毫微微小区集中式功率控制(PCqL)算法,该算法基于... 详细信息

该文研究macro-femto异构蜂窝网络中移动用户的功率控制问题,首先建立了以最小接收信号信干噪比为约束条件,最大化毫微微小区的总能效为目标的优化模型;然后提出了基于q-learning算法的毫微微小区集中式功率控制(PCqL)算法,该算法基于强化学习,能在没有准确信道状态信息的情况下,实现对小区内所有用户终端的发射功率统一调整。仿真结果表明该算法能实现对用户终端的功率有效控制,提升系统能效。

关键词：集中式功率控制 q-learning算法能效优化

改进的q-learning算法求解置换流水车间调度问题研究

在线全文

学校读者我要写书评

暂无评论

改进的Q-Learning算法求解置换流水车间调度问题研究

作者：赫子淼聊城大学

学位级别：硕士

随着我国经济的不断增长和科技化创新型产业的不断升级,制造业的生产规模越来越大,复杂性越来越高,人们的需求越来越多样化,日新月异的变化促使制造业朝向智能化自动化的方向发展。生产调度一直是智能制造业中一个非常活跃的领域,它被... 详细信息

随着我国经济的不断增长和科技化创新型产业的不断升级,制造业的生产规模越来越大,复杂性越来越高,人们的需求越来越多样化,日新月异的变化促使制造业朝向智能化自动化的方向发展。生产调度一直是智能制造业中一个非常活跃的领域,它被定义为一个优化过程,在各种制造活动之间分配有限的制造资源,实现生产成本、资源浪费的有效降低以及生产周期的缩短,以期提高企业竞争力,保障企业最大效益。置换流水车间调度问题(permutation flow shop scheduling problems,PFSP)是最基础的调度问题,用于求解该类问题的进化算法不计其数,体系已逐渐成熟,但由于启发式算法结构较为单一、搜索性能较低等局限性,研究人员正在尝试使用当下广受关注的机器学习算法来求解调度问题。本文主要研究单目标PFSP和多目标PFSP问题,以最小化最大完工时间和能耗为目标函数建立数学模型,改进了强化学习分支下的q-learning算法并进行PFSP问题求解。主要工作内容如下:(1)研究q-learning算法在单目标PFSP中的应用。查阅相关文献资料,首先了解单目标置换流水车间调度问题的基本流程、约束条件、具体特征,建立数学模型,定义变量符号以及目标函数;其次了解q-learning算法的具体流程,合理采用算法对问题进行建模,将模型中的动作定义为工件选择的过程,将模型中的状态定义为部分工件序列,将模型中的奖励函数定义为最大完工时间的倒数。(2)改进算法设计。结合NEH启发式算法的思想对q-learning算法模型进行改进,q-learning算法进行工件选择,执行动作时按照NEH启发式思想进行插入,形成多个部分工件序列,选择最大完工时间最小的部分工件序列作为下一状态进行一系列更新操作。(3)研究q-learning算法在双目标PFSP中的应用。根据环境保护国策与车间实际运行情况选择能量消耗作为PFSP的第二目标,在问题模型中增加对目标函数求解方式的定义;更新q-learning算法设计,增加q表数量,匹配问题模型的更新。

关键词：置换流水车间 q-learning算法最大完工时间能耗多目标