检索结果-南通市图书馆

基于部分可观测马尔可夫决策过程的水声传感器网络介质访问控制协议

在线全文

学校读者我要写书评

暂无评论

计算机应用 2015年第11期35卷 3047-3050,3074页

作者：徐明刘广钟上海海事大学信息工程学院上海201306 同济大学计算机科学与技术系上海201804

针对水声传感器网络低带宽、高延迟特性造成的空时不确定性以及网络状态不能充分观察的问题,提出一种基于部分可观测马尔可夫决策过程(POMDP)的水声传感器网络介质访问控制协议。该协议首先将每个传感器节点的链路质量和剩余能量划分为... 详细信息

针对水声传感器网络低带宽、高延迟特性造成的空时不确定性以及网络状态不能充分观察的问题,提出一种基于部分可观测马尔可夫决策过程(POMDP)的水声传感器网络介质访问控制协议。该协议首先将每个传感器节点的链路质量和剩余能量划分为多个离散等级来表达节点的状态信息。此后,接收节点通过信道状态观测和接入动作的历史信息对信道的占用概率进行预测,从而得出发送节点的信道最优调度策略;发送节点按照该策略中的调度序列在各自所分配的时隙内依次与接收节点进行通信,传输数据包。通信完成后,相关节点根据网络转移概率的统计量估计下一个时隙的状态。仿真实验表明,与传统的水声传感器网络介质访问控制协议相比,基于POMDP的介质访问控制协议可以提高数据包传输成功率和网络吞吐量,并且降低网络的能量消耗。

关键词：水声传感器网络部分可观测马尔可夫决策过程介质访问控制信道调度

基于部分可观测马尔可夫决策过程的机会频谱接入方案设计

在线全文

学校读者我要写书评

暂无评论

基于部分可观测马尔可夫决策过程的机会频谱接入方案设计

作者：夏婷婷南京邮电大学

学位级别：硕士

通信技术快速发展，无线业务需求不断增长，通信带宽不断加大，造成频谱资源紧缺，而现有的固定频谱分配政策加剧了频谱紧缺的局面。机会频谱接入技术利用认知无线电技术，采用分层接入频谱填充方式，利用了授权用户的空闲频谱。机会频... 详细信息

通信技术快速发展，无线业务需求不断增长，通信带宽不断加大，造成频谱资源紧缺，而现有的固定频谱分配政策加剧了频谱紧缺的局面。机会频谱接入技术利用认知无线电技术，采用分层接入频谱填充方式，利用了授权用户的空闲频谱。机会频谱接入技术能够在现有频谱分配政策下，提高频谱利用率，缓解频谱紧张的局面。本文利用部分可观测马尔可夫决策过程（POMDP）理论，对机会频谱接入进行建模。对基于该模型下的机会频谱接入方案进行了分析，提出基于该模型的单个次用户最优接入方案，解决了机会频谱接入中感知信道选择和接入问题，提高了次用户吞吐量。针对该方案复杂度较高的问题，提出了一个次优贪婪方案，大大降低了复杂度。并通过仿真证明了正确性。最后本文对分布式多用户机会频谱接入场景下，由于次用户信道选择同步性造成的网络吞吐量下降的问题，提出了一种基于置信向量的随机化选择方案，使得次用户同步性得到改善。但由于方案过分考虑避免次用户碰撞，使得单用户最优信道选择能力不强，网络性能不理想。因此本文提出一种可变随机域的多用户接入方案，仿真结果显示该方案在最优信道选择与避免同步之间达到了均衡。

关键词：机会频谱接入部分可观测马尔可夫决策过程多用户分布式接入

基于深度强化学习的动态频谱智能干扰算法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

南京邮电大学学报(自然科学版) 2024年

作者：张兰张彪梁天一朱辉杰电磁空间安全全国重点实验室中国电子科技集团第三十六研究所

随着人工智能技术的不断发展，强化学习技术在提高电磁频谱控制和干扰对抗效率方面展现出巨大潜力。针对跳频通信系统抗干扰能力强、传统干扰方法效果不佳的问题，利用深度强化学习技术实现在动态频谱环境下的电磁智能干扰。首先引入部... 详细信息

随着人工智能技术的不断发展，强化学习技术在提高电磁频谱控制和干扰对抗效率方面展现出巨大潜力。针对跳频通信系统抗干扰能力强、传统干扰方法效果不佳的问题，利用深度强化学习技术实现在动态频谱环境下的电磁智能干扰。首先引入部分可观测马尔可夫决策过程对干扰机与跳频通信用户之间的通信对抗过程进行建模，然后基于卷积神经网络和长短期记忆网络设计了一个具有频谱特征挖掘和记忆回溯功能的干扰决策网络，实现基于深度强化学习的动态频谱智能干扰(Dynamic Spectrum Intelligent Jamming， DSIJ)算法。仿真实验结果表明，相较于传统DQN算法，所提DSIJ算法的干扰成功率提升了约18%。与传统的扫频干扰方法相比，其干扰成功率更是提升了约68%，从而充分证明了所提出的算法在动态频谱环境下实现智能干扰策略的有效性与显著优势。

关键词：深度强化学习跳频通信智能干扰决策部分可观测马尔可夫决策过程

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

无信号路口自动驾驶汽车左转决策规划研究

无信号路口自动驾驶汽车左转决策规划研究

作者：李建飞重庆理工大学

学位级别：硕士

本研究专注于解决自动驾驶汽车在无信号路口左转过程中的行为决策与运动规划问题。研究内容涵盖了轨迹预测、行为决策以及运动规划等关键领域,旨在提出一种适用于无信号路口场景的自动驾驶决策规划方案。具体工作内容包括:首先分析了无... 详细信息

本研究专注于解决自动驾驶汽车在无信号路口左转过程中的行为决策与运动规划问题。研究内容涵盖了轨迹预测、行为决策以及运动规划等关键领域,旨在提出一种适用于无信号路口场景的自动驾驶决策规划方案。具体工作内容包括:首先分析了无信号路口左转场景下的自动驾驶汽车安全、高效通行的难点和潜在碰撞风险,以及自动驾驶汽车在此场景中所需面对的各种复杂情况,使用了朴素贝叶斯分类算法来预测其他车辆的驾驶意图,然后以三阶贝塞尔曲线来生成其他车辆的预测轨迹。然后在对他车轨迹预测的基础上,构建了一种基于部分可观测马尔可夫决策过程的行为决策模型。该模型考虑了其他车辆的不确定性、主车的驾驶特征以及传感器噪声等因素,设计了相应的状态转移模型、动作空间和观测模型,并通过奖励函数对安全性、效率、任务完成度和舒适性等方面进行评估。随后基于行为决策模型生成的行动指令,构建了运动规划模型。并在Frenet坐标系下对运动规划问题进行了横-纵向解耦,然后采用数值优化的方法,分别基于S-L图和S-T图对横向轨迹和纵向速度进行了规划,将规划轨迹进行合并和碰撞检测之后再输出给控制模块。最后搭建了仿真平台,然后针对两类无信号路口左转场景进行仿真,并对仿真结果进行了具体分析。仿真结果表明,所提出的方法在不同场景和工况下均能准确预测其他车辆轨迹、做出合理决策,并生成连续、平滑和舒适的轨迹,为无信号路口左转行为的安全和高效完成提供了有效支持。

关键词：轨迹预测行为决策运动规划部分可观测马尔可夫决策过程

交互场景下智能车运动预测与规划一体化方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

交互场景下智能车运动预测与规划一体化方法研究

作者：王璐瑶吉林大学

学位级别：硕士

汽车工业的飞速发展有力地推动了国家经济增长,为居民提供了便捷的出行服务。与此同时,拥堵的驾驶环境和各种人为因素致使多年来世界上的交通事故频发。如何辅助人类驾驶作业提高安全和效率,或者直接将人类从驾驶任务中解放出来,正是研... 详细信息

汽车工业的飞速发展有力地推动了国家经济增长,为居民提供了便捷的出行服务。与此同时,拥堵的驾驶环境和各种人为因素致使多年来世界上的交通事故频发。如何辅助人类驾驶作业提高安全和效率,或者直接将人类从驾驶任务中解放出来,正是研究者对自动驾驶的期待。然而真实场景交通情况错综复杂,充满了各种不确定性,交互不确定尤为突出。为了兼顾交互场景下的安全性和效率,预测模块需要给出交通参与者未来的多种意图轨迹及其概率分布,规划模块需要考虑周围交通参与者未来可能运动进行多策略的防御性轨迹规划。但交通参与者的未来运动与自车的规划相互影响,因此研究预测规划一体化技术,对自动驾驶技术发展具有重要意义。本文依托十四五国家重点研发计划“自进化学习型自动驾驶系统关键技术”(编号:2022YFB2502900)和吉林省自然科学基金“碰撞后车辆动力学建模及多碰撞回避控制方法研究”(编号:20230101068JC),针对交互场景下的预测规划问题,建立一体化的预测与规划框架,在一体化框架的指导下分别开发预测与规划算法,提高自动驾驶汽车在交互场景下的应对能力。本文的主要研究内容如下:首先,建立预测规划一体化算法框架和交通参与者模型。通过数学形式明确定义需要解决的问题,采用概率图模型构建预测规划一体化演化框架去求解。在概率图框架下,预测问题被视为一个概率推断问题,通过对测量状态的不断更新来推断意图和状态等变量分布。而规划问题则被视为一个概率决策模型,在其它交通参与者多模态轨迹预测下,自车需要规划出符合最大化自身收益的轨迹树。同时,自车的行驶轨迹又会对整个概率图的演化产生影响,形成一个耦合的概率问题。此外,还建立概率图中具体的交通参与者模型,包括机动意图模型、运动模型、测量模型和道路路径模型。其中,机动意图模型是关键,包括路径意图模型、速度意图模型和意图之间的概率转移模型。路径意图模型通过控制器建立,速度意图模型通过动态规划建立,而意图之间的概率转移模型则基于行为收益构建。其次,对基于概率图的预测模型进行求解。在概率图中,求解状态变量的概率分布是一个推断问题。介绍概率推断所需的基本知识,包括概率基础和递归贝叶斯滤波。通过引入近似推断方法,将复杂的后验状态分布简化为一个混合高斯模型,在机动意图和高斯组件两个层面上进行分解。最终的推断过程被简化为在机动意图和高斯组件关联的高斯分布下进行递归推断,包括预测、测量更新和组件塌缩等步骤。接着,对推断过程中单个高斯组件所需的预测和测量更新模型进行介绍,即每个组件粒子的推断。然后,建立考虑其它交通参与者意图轨迹不确定性的规划算法。介绍概率决策的基础知识,通过将部分可观测马尔可夫决策过程应用于规划问题的建模。对模型中的动作、状态空间和奖励函数等进行设计。为了应对模型的维度灾难,将动作抽象成语义行为,利用控制理论和动态规划进行语义行为的具体设计。对部分可测量蒙特卡洛规划算法进行修改,考虑信念更新和上层概率图推断结果的耦合,提出适用于本文的求解方案。最终,通过仿真测试验证本文的研究内容和提出的方法。介绍基于Nuplan数据集的预测算法仿真环境和基于Carla的规划仿真环境。针对预测算法,选择了三类典型场景进行推断过程分析和结果验证,以定性证明预测算法的有效性和可解释性。并且通过量化指标对预测算法进行了定量评价,并与其它预测算法进行对比,证明算法的先进性。对于规划算法,选择了具有典型交互特性的十字路口和强制换道场景,分别对每种场景进行了规划算法的开环单独验证和考虑预测的闭环验证。结果表明,预测规划一体化算法能够在应对交互场景时兼顾安全性和效率,实现多策略的防御性驾驶。

关键词：智能车多模态预测概率图模型防御性驾驶部分可观测马尔可夫决策过程

基于马尔可夫决策过程的平流层浮空器自主路径规划方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于马尔可夫决策过程的平流层浮空器自主路径规划方法研究

作者：翟嘉琪国防科技大学

学位级别：硕士

平流层浮空器是当前临近空间领域的研究热点,具有驻空时间长、覆盖范围广、使用效费比高等显著优势,在对地观测、侦察预警、通信中继、科学探测等领域具有广阔应用前景。自主路径规划能力是平流层浮空器快速部署至目标区域,保障任务有... 详细信息

平流层浮空器是当前临近空间领域的研究热点,具有驻空时间长、覆盖范围广、使用效费比高等显著优势,在对地观测、侦察预警、通信中继、科学探测等领域具有广阔应用前景。自主路径规划能力是平流层浮空器快速部署至目标区域,保障任务有效开展的重要前提,也是制约未来大规模应用的关键技术之一。平流层浮空器飞行过程受风场环境影响大,且风场环境时空变化、预报和测量均存在不确定性,导致浮空器自主路径规划存在较大挑战。论文针对具有水平弱动力和高度调控能力的平流层浮空器,基于马尔可夫决策过程(Markov Decision Process,MDP)模型,研究动态不确定性状态下自主路径规划方法,主要研究内容如下:研究了基于马尔可夫决策过程的二维全局路径规划方法。基于MDP模型基本框架,对状态空间、动作空间进行离散化,设计了二维全局路径规划策略方法。考虑预测风场和实际风场存在的误差,将风场不确定性引入MDP模型,建立了确定风场和不确定风场两种环境模型。分别在两种风场场景中进行二维全局路径规划,研究了不同水平抗风能力和风场模型等因素对浮空器区域可达性、最优路径、最优动作序列的影响。研究了基于马尔可夫决策过程三维全局路径规划方法。综合考虑浮空器上升过程和驻空过程,提出基于MDP的三维全局路径规划策略方法,根据浮空器实际动力学特性,设计了基本动作集、即时奖励函数和状态转移概率函数,可在不确定风场环境、水平抗风能力、高度调控能力、飞行时间等复杂约束下,实现从地面放飞点到目标点的三维全局路径规划,为浮空器飞行试验决策和动态部署提供理论方法支持。研究了连续状态下基于部分可观测马尔可夫决策过程的平流层浮空器局部路径规划方法。针对离散状态下全局路径规划近似处理存在误差和风场环境部分可观测等问题,考虑连续状态,提出一种基于部分可观测马尔可夫决策过程(Partially Observable Markov Decision Process,POMDP)的局部路径规划方法,该方法采用高斯(Gaussian)分布表示浮空器位置等信念状态,利用扩展卡尔曼滤波方法更新信念状态,使用线性二次型高斯(Linear Quadratic Gaussian,LQG)方法,在每个时间步长下求解初始路径周围的局部最优值函数,根据最优值函数确定最优速度序列,动态规划得到新路径。论文研究成果为实际风场环境中平流层浮空器自主路径规划提供新思路和新方法,为浮空器快速、自主部署至目标区域提供技术支持,拓展了马尔可夫决策过程在智能自主系统路径规划领域应用,具有重要理论意义和工程应用价值。

关键词：平流层浮空器马尔可夫决策过程部分可观测马尔可夫决策过程不确定性风场全局路径规划局部路径规划

室内环境下基于边际约束的快速路径自主探索算法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

中国惯性技术学报 2019年第4期27卷 474-480页

作者：徐晓苏梁紫依杨博王迪微惯性仪表与先进导航技术教育部重点实验室南京210096 东南大学仪器科学与工程学院南京210096

为了提高移动机器人在室内未知环境的自主探索能力,实现移动机器人在探索目标点之间的安全、快速移动,提出一种基于边际约束的快速路径自主探索算法。首先,将机器人自主探索问题描述为部分可观测马尔可夫决策过程模型。之后,在传统的快... 详细信息

为了提高移动机器人在室内未知环境的自主探索能力,实现移动机器人在探索目标点之间的安全、快速移动,提出一种基于边际约束的快速路径自主探索算法。首先,将机器人自主探索问题描述为部分可观测马尔可夫决策过程模型。之后,在传统的快速扩展随机树(RRT)算法基础上,将随机树的生长空间划分为边际四象限空间,结合启发式评估函数的评价。该算法加快了移动机器人在探索目标点之间的移动速度,同时减少了随机树的节点,降低了对内存空间的占用。通过Matlab仿真实验,在实验设定的仿真环境中,该算法比传统RRT算法在时间上缩短约了75%,节点数量减少了约80%,并在机器人操作系统的仿真实验中验证了算法的实用性。

关键词：移动机器人自主探索部分可观测马尔可夫决策过程快速扩展随机树边际约束

人机混驾环境下无信号交叉口自动驾驶汽车左转运动规划研究

在线全文

学校读者我要写书评

暂无评论

中国公路学报 2021年第7期34卷 67-78页

作者：张名芳李慢陈子凡王庞伟程文冬北方工业大学城市道路交通智能控制技术北京市重点实验室北京100144 波士顿大学经济学系马萨诸塞波士顿MA 02134 西安工业大学机电工程学院陕西西安710021

为了使自动驾驶汽车在人机混驾环境下能安全、高效地左转通过无信号交叉口,在借鉴人类驾驶人左转时会对周围车辆驾驶意图进行提前预判的基础上,提出了一种基于周围车辆驾驶意图预测的自动驾驶汽车左转运动规划模型。首先将无信号交叉口... 详细信息

为了使自动驾驶汽车在人机混驾环境下能安全、高效地左转通过无信号交叉口,在借鉴人类驾驶人左转时会对周围车辆驾驶意图进行提前预判的基础上,提出了一种基于周围车辆驾驶意图预测的自动驾驶汽车左转运动规划模型。首先将无信号交叉口处周围车辆的驾驶意图分为左转、右转、直行3种类型,利用相关向量机预测周围车辆驾驶意图,以概率形式输出意图预测结果并实时更新,进一步界定自动驾驶汽车与周围车辆的潜在冲突区域并判断是否存在时空冲突;接着,在充分考虑他车速度、航向及车辆到达冲突区域边界距离的基础上建立基于部分可观测马尔可夫决策过程的自动驾驶汽车左转运动规划模型,生成一系列期望加速度;最后,基于Prescan-Simulink联合仿真平台搭建无信号交叉口仿真场景,对所提左转运动规划方法进行仿真验证,将基于博弈论的运动规划方法、基于人工势场理论的运动规划方法与所提出的方法进行比较,并选取行进比例达到1所用的时间和碰撞次数作为评价指标。研究结果表明:基于相关向量机的驾驶意图预测方法可在自动驾驶汽车到达交叉口之前准确预测出他车驾驶意图;基于部分可观测马尔可夫决策过程的左转运动规划方法能够通过速度调整策略实现人机混驾环境下自动驾驶汽车与周围车辆在无信号交叉口处的交互;不同算法对比效果表明,所提左转运动规划方法在自动驾驶汽车与不同数量周围车辆交互的仿真场景下均可有效避免碰撞事故发生并提高自动驾驶汽车左转通过无信号交叉口的效率。

关键词：汽车工程左转运动规划部分可观测马尔可夫决策过程无信号交叉口人机混驾自动驾驶汽车

一种无线传感器网络中目标跟踪的自适应节点调度算法

在线全文

学校读者我要写书评

暂无评论

电子与信息学报 2018年第9期40卷 2033-2041页

作者：胡波王祺尧冯辉罗灵兵复旦大学信息科学与工程学院

在无线传感器网络目标跟踪的过程中进行节点调度,可以综合考虑跟踪误差和能量消耗,延长传感器网络的使用寿命。为了综合考虑节点调度的短期和长远损失,该文将问题建模为部分可观测马尔科夫决策过程(POMDP)以得到更优的调度策略,并提出... 详细信息

在无线传感器网络目标跟踪的过程中进行节点调度,可以综合考虑跟踪误差和能量消耗,延长传感器网络的使用寿命。为了综合考虑节点调度的短期和长远损失,该文将问题建模为部分可观测马尔科夫决策过程(POMDP)以得到更优的调度策略,并提出一种近似求解算法C-QMDP。该算法利用马尔科夫链蒙特卡洛方法(MCMC)推导连续状态空间的置信状态的转移,并计算瞬时代价。使用状态离散化方法,基于马尔科夫决策过程(MDP)值迭代求解未来代价的近似值。仿真结果表明,相比现有POMDP近似算法,该文算法既可以降低跟踪过程中的累积损失,又可以将大量运算进行离线计算,减小了在线决策时的计算量。

关键词：无线传感器网络目标跟踪节点调度部分可观测马尔可夫决策过程