检索结果-南通市图书馆

基于蒙特卡罗树搜索-强化学习的列车运行智能调整方法

在线全文

学校读者我要写书评

暂无评论

中国铁道科学 2022年第5期43卷 146-156页

作者：王荣笙张琦张涛王涛丁舒忻中国铁道科学研究院研究生部北京100081 中国铁道科学研究院集团有限公司通信信号研究所北京100081 中国铁道科学研究院集团有限公司国家铁路智能运输系统工程技术研究中心北京100081

为提升突发事件下高速铁路应急处置效率,以列车运行图为研究对象,提出晚点场景下蒙特卡罗树搜索-强化学习(MCTS-RL)的列车运行智能调整方法,包括MCTS-RL的列车运行智能调整离线训练模型、强化学习方法、MCTS的发车次序决策方法和冲突消... 详细信息

为提升突发事件下高速铁路应急处置效率,以列车运行图为研究对象,提出晚点场景下蒙特卡罗树搜索-强化学习(MCTS-RL)的列车运行智能调整方法,包括MCTS-RL的列车运行智能调整离线训练模型、强化学习方法、MCTS的发车次序决策方法和冲突消解启发式规则。基于高速铁路列车运行调整数学模型构建强化学习环境,包括状态集、动作集、状态转移概率和奖励函数。先设计启发式规则,生成可行发车次序,作为蒙特卡罗树搜索博弈树结构的节点,应用MCTS输出列车运行调整的最优发车次序。之后再设计启发式规则,消解列车在车站和区间的运行冲突。以线路上列车总晚点时间最短为目标函数,基于MCTS-RL一次性离线训练生成在线调整模型,用于实时调整各次列车在各个车站的发车次序。以京沪高速铁路北京南—泰安段为例,设置到站晚点和发车晚点场景,分别应用先到先服务、CPLEX求解器和MCTS-RL方法进行求解。结果表明:与CPLEX求解器下的方案相比,MCTS-RL方法能在0.001 s内给出同样最优的列车运行调整方案。

关键词：高速铁路列车运行调整人工智能强化学习蒙特卡罗树搜索

基于蒙特卡罗树搜索的“2048”游戏优化算法

在线全文

学校读者我要写书评

暂无评论

控制工程 2016年第4期23卷 550-555页

作者：刘子正卢超张瑞友东北大学软件学院沈阳110819 东北大学信息科学与工程学院沈阳110819

针对一款单人手机游戏"2048",结合其具有很强不确定性的特点,设计了一种基于蒙特卡罗树搜索(Monte Carlo Tree Search,MCTS)的游戏搜索算法。基本算法分为4步:路径选择、节点扩充、模拟实验和节点更新。在路径选择部分,设计了基于信心... 详细信息

针对一款单人手机游戏"2048",结合其具有很强不确定性的特点,设计了一种基于蒙特卡罗树搜索(Monte Carlo Tree Search,MCTS)的游戏搜索算法。基本算法分为4步:路径选择、节点扩充、模拟实验和节点更新。在路径选择部分,设计了基于信心上限应用树(UCT)方法的节点选择策略;在模拟实验部分,设计了2种有效的启发式模拟策略。根据游戏局势的难易程度,提出了一种自适应调整搜索次数的优化策略,对基本算法进行改进。使用C++语言开发了"2048"游戏的并行计算机博弈系统。大量实验结果表明,设计的优化算法能够有效地求解"2048"游戏,达到资深玩家的水平。

关键词：蒙特卡罗树搜索信心上限应用树(UCT) 2048游戏不确定性

在线全文

学校读者我要写书评

暂无评论

面向高维连续行动空间的蒙特卡罗树搜索算法

计算机科学 2021年第10期48卷 30-36页

作者：刘天星李伟许铮张立华戚骁亚甘中学复旦大学智能机器人研究院上海200433 季华实验室广东佛山528000

蒙特卡罗树搜索(Monte Carlo Tree Search,MCTS)在低维离散控制任务中取得了巨大的成功。然而,在现实生活中许多任务需要在连续动作空间进行行动规划。由于连续行动空间涉及的行动集过大,蒙特卡罗树搜索很难在有限的时间内从中筛选出最... 详细信息

蒙特卡罗树搜索(Monte Carlo Tree Search,MCTS)在低维离散控制任务中取得了巨大的成功。然而,在现实生活中许多任务需要在连续动作空间进行行动规划。由于连续行动空间涉及的行动集过大,蒙特卡罗树搜索很难在有限的时间内从中筛选出最佳的行动。作为蒙特卡罗树搜索的一个变种,KR-UCT(Kernel Regression UCT)算法通过核函数泛化局部信息的方式提高了蒙特卡罗树搜索在低维连续动作空间的模拟效率。但是在与环境交互的过程中,为了找出最佳的行动,KR-UCT在每一步都需要从头进行大量的模拟,这使得KR-UCT算法仅局限于低维连续行动空间,而在高维连续行动空间难以在有限的时间内从行动空间筛选出最佳的行动。在与环境交互的过程中,智能体可以获得环境反馈回来的信息,因此,为了提高KR-UCT算法在高维行动空间的性能,可以使用这些反馈信息剪枝树搜索过程来加快KR-UCT算法在高维连续行动空间的模拟效率。基于此,文中提出了一种基于策略-价值网络的蒙特卡罗树搜索方法(KR-UCT with Policy-Value Network,KRPV)。该方法使用策略-价值网络保存智能体与环境之间的交互信息,随后策略网络利用这些信息帮助KR-UCT算法剪枝KR-UCT搜索树的宽度;而价值网络则通过泛化不同状态之间的价值信息对蒙特卡罗树搜索在深度上进行剪枝,从而提高了KR-UCT算法的模拟效率,进而提高了算法在高维连续行动任务中的性能。在OpenAI gym中的4个连续控制任务上对KRPV进行了评估。实验结果表明,该方法在4个连续控制任务上均优于KR-UCT,特别是在6维的HalfCheetah-v2任务中,使用KRPV算法所获得的奖励是KR-UCT的6倍。

关键词：蒙特卡罗树搜索高维连续行动空间深度神经网络强化学习核回归UCT

在线全文

学校读者我要写书评

暂无评论

基于蒙特卡罗树搜索的出租车路径推荐方法

计算机应用与软件 2023年第2期40卷 265-273页

作者：韩东轩路丹丹郑斯杰吴亚东西南科技大学计算机科学与技术学院四川绵阳621000 西南科技大学工程技术中心四川绵阳621000 四川轻化工大学计算机学院四川自贡643000

针对出租车路径推荐的问题,研究空闲出租车与潜在乘车请求之间接载最短路径推荐的方法。通过蒙特卡罗树搜索算法计算潜在乘车请求的权重,利用多臂老虎机算法获得出租车最大载客概率,使得出租车能够快速到达潜在乘车权重较大的街道,减少... 详细信息

针对出租车路径推荐的问题,研究空闲出租车与潜在乘车请求之间接载最短路径推荐的方法。通过蒙特卡罗树搜索算法计算潜在乘车请求的权重,利用多臂老虎机算法获得出租车最大载客概率,使得出租车能够快速到达潜在乘车权重较大的街道,减少车辆空载行驶的情况。与现有技术相比,该方法中用于预测潜在乘车请求的模型可以进行动态概率获取,对纽约真实出租车数据的应用案例表明,该方法的推荐质量明显高于现有方法。此外,利用三维粒子隐喻车辆刻画推荐结果以简化路径推荐模型的实现方式,可视化道路潜在乘客以及出租车运行状态以帮助城市管理者和用户进行理解。

关键词：路径推荐道路权重蒙特卡罗树搜索多臂老虎机路线规划

基于蒙特卡罗树搜索的多载具自动化存取系统优化算法

在线全文

学校读者我要写书评

暂无评论

舰船科学技术 2022年第8期44卷 169-173页

作者：陈俭新宁蒙黄予洛张蕾赵新灿中国船舶集团有限公司第七一三研究所河南郑州450015 郑州大学信息工程学院河南郑州450001

针对某型多载具自动化存取系统优化分配问题,分析该自动化存取系统的运行特点,建立了该自动化存取系统优化问题的马尔科夫决策过程模型,并提出了求解模型的基于改进蒙特卡罗树搜索算法。首先,以总搬运量和同类型货箱距离最小为目标建立... 详细信息

针对某型多载具自动化存取系统优化分配问题,分析该自动化存取系统的运行特点,建立了该自动化存取系统优化问题的马尔科夫决策过程模型,并提出了求解模型的基于改进蒙特卡罗树搜索算法。首先,以总搬运量和同类型货箱距离最小为目标建立货位优化模型,为了更好控制蒙特卡罗树搜索分支合理性,对算法节点选择部分进行优化。最后,对改进的蒙特卡罗树搜索算法进行货位优化及对比测试。实验结果表明:改进的蒙特卡罗树搜索算法较采用贪心思想、采用魔方还原思想以及基于传统蒙特卡罗树搜索的算法在货位优化运行效果上更优。

关键词：多载具自动化存取系统马尔科夫模型蒙特卡罗树搜索

在线全文

学校读者我要写书评

暂无评论

基于蒙特卡罗树搜索的计算机扑克程序

基于蒙特卡罗树搜索的计算机扑克程序

作者：曹一鸣北京邮电大学

学位级别：硕士

计算机博弈是测试人工智能所达到水平的一个重要平台。早期的研究主要集中在确定性完全信息博弈之上。然而由于与现实之中的问题更加贴近,非确定性非完全信息博弈逐渐引起学术界的重视。德州扑克是一种非确定性非完全信息博弈。因为它... 详细信息

计算机博弈是测试人工智能所达到水平的一个重要平台。早期的研究主要集中在确定性完全信息博弈之上。然而由于与现实之中的问题更加贴近,非确定性非完全信息博弈逐渐引起学术界的重视。德州扑克是一种非确定性非完全信息博弈。因为它的规则简单同时富于变化,所以其作为这种博弈的一个典型,正在成为计算机博弈研究领域的又一个热点。机器学习中的蒙特卡罗树搜索算法,是一种集成了蒙特卡罗方法作为评估的博弈树搜索算法,毋需引入过多的领域知识,同时具有巨大的可扩展性。多臂匪徒问题是一种从多重决策选择问题之中抽象出来的一种机器学习模型。UCB策略是求解多臂匪徒问题的一种方法。集成UCB策略的基于UCT的蒙特卡罗树搜索算法被证明可以极大地提升计算机博弈引擎水平。本文结合德州扑克的相关特性改进并设计了德州扑克的蒙特卡罗博弈树,同时对博弈树中的相关节点设计了对应的模拟、选择、回溯更新策略。本文使用C++编程序语言、面向对象技术以及设计模式思想实现了一个德州扑克的博弈引擎。本文为基于蒙特卡罗树搜索算法的博弈引擎引入了与德州扑克的相关的领域知识,其包括Bucketing的底牌提取,以及在此基础上的基于统计的对手模型用于模拟对手以及估计对手的底牌的概率分布。最后我们提出了一个保守度的概念用于将引擎的下注行为改造成一个比较“松”的策略。本文设计四个实验来验证纯粹的蒙特卡罗树搜索引擎的性能,并通过分析输出日志,发现了过“紧”的下注策略对于博弈的负面影响。我们测试了在引入保守度后执行一个比较“松”的下注策略时对博弈结果的影响,同时验证集成了对手模型后对于程序博弈水平的提升。最终,通过实验结果的分析,可以确认,蒙特卡罗树搜索算法可以应用于求解非确定性非完全信息博弈问题。同时在求解德州扑克博弈的问题中,集成领域知识以及对手模型可以提高蒙特卡罗树搜索引擎的性能。

关键词：计算机博弈德州扑克蒙特卡罗树搜索对手模型

基于蒙特卡罗树搜索的动态作业车间重调度算法研究

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于蒙特卡罗树搜索的动态作业车间重调度算法研究

作者：丁笋湖南大学

学位级别：硕士

作业车间调度问题（JSP）作为一个重要的生产调度问题,近年来受到了学术界和企业界的高度重视。现有研究围绕静态作业车间调度问题,提出了一系列生产调度模型和求解方法。然而,在实际生产中,经常会出现各种不可预知的突发事件,比如机器... 详细信息

作业车间调度问题（JSP）作为一个重要的生产调度问题,近年来受到了学术界和企业界的高度重视。现有研究围绕静态作业车间调度问题,提出了一系列生产调度模型和求解方法。然而,在实际生产中,经常会出现各种不可预知的突发事件,比如机器故障、随机工件到达、交货期变更等。为了保证整个生产系统稳定、有序地运行,制造企业需要进行必要的动态调度来处理这些突发事件,对原有调度方案进行调整或修改,快速地生成重调度方案。因此,针对动态事件影响下的车间重调度算法进行研究具有重要的研究理论意义和应用价值。本文针对动态作业车间调度问题（DJSP）展开研究,研究内容如下:（1）针对静态Job-shop调度模型,以最小化最大完工时间为优化目标,采用一种改进的遗传算法对其进行求解。根据Job-shop调度问题的特性提出了一种新的启发式调度规则,并结合文献中常用的六种调度规则（SPT、LPT、FIFO、LIFO、SRPT和LRPT）,设计了一种新的种群初始化方法。基于29个JSP调度问题标准算例进行对比实验,实验结果表明所提出的种群初始化方法可以明显提高遗传算法的收敛速度和求解质量。（2）重点研究生产系统中常见的四种动态事件,分别为工件工序加工时间改变、机器故障、随机工件到达和订单取消,建立融合这四种动态事件的动态JSP数学模型,并根据每种动态事件的特点,分别建立相应的重调度机制。为了求解动态JSP调度模型,提出一种基于蒙特卡罗树搜索（Monte Carlo Tree Search,简称MCTS）的事件驱动的重调度方法（MCTS based Event-driven Rescheduling Method,简称MCTS-ERM）。（3）所提的MCTS-ERM中包括以下研究工作:首先,将动态Job-shop调度问题建模成MCTS搜索树。其次,为了提高MCTS的搜索效率,对MCTS进行了改进,主要改进方式是采用了子树保留和Rapid Action Value Estimates（RAVE）优化技术,设计了子树修剪、先验知识和置换表三种优化技术,将这五种优化技术嵌入到MCTS的搜索过程。接着,基于改进的MCTS设计了一种新的重调度方法MCTS-ERM,包括调度规则和MCTS的多阶段联合调度机制设计、MCTS节点选择策略的改进。最后,基于静态JSP调度问题标准算例FT10设计了15个DJSP测试算例,对MCTS-ERM进行了多组对比试验,实验结果表明,所提出的MCTS-ERM相比于其他重调度算法在求解时间和求解质量上具有良好的性能。

关键词：蒙特卡罗树搜索动态作业车间调度重调度启发式调度规则

基于蒙特卡罗树搜索和ε约束算法的配电网源网荷储协同运行优化方法

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

电力与能源 2023年第2期44卷 179-186页

作者：林君豪严浩王俊翔国网上海市电力公司市北供电公司上海200072

配电网负荷侧和需求侧出现的大量灵活资源给网络运行带来了较大不确定性。为了充分调动各种灵活资源、改善网络的运行状态,提出了计及源网荷储的协同运行优化模型。该模型以降低系统运行成本及提高电源侧和负荷侧的曲线相关性为目标,调... 详细信息

配电网负荷侧和需求侧出现的大量灵活资源给网络运行带来了较大不确定性。为了充分调动各种灵活资源、改善网络的运行状态,提出了计及源网荷储的协同运行优化模型。该模型以降低系统运行成本及提高电源侧和负荷侧的曲线相关性为目标,调控资源包括配电网中的分布式电源、可响应负荷、储能系统以及网架结构。针对多时段优化问题的复杂性,提出了基于蒙特卡罗树搜索和ε约束算法的联合求解方法,该方法同时还解决了传统配电网动态重构方法对重构时段划分不够客观的局限性。最后,通过对PG69标准配电网系统进行仿真分析,验证所提方法的有效性。

关键词：源网荷储协同运行优化需求响应配电网重构蒙特卡罗树搜索

在线全文

学校读者我要写书评

暂无评论

基于蒙特卡罗树搜索的空间交会路径全局优化

基于蒙特卡罗树搜索的空间交会路径全局优化