检索结果-南通市图书馆

维普期刊数据库

同方期刊数据库

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

基于合作博弈和强化学习的优先信号控制方法

计算机应用研究 2024年

作者：秦浩张维石大连海事大学信息科学技术学院

针对智能交通系统优先信号控制效率低问题，提出一种基于合作博弈与强化学习混合决策的八相位优先信号控制方法 CBQL-TSP。该方法将公交信号优先权分配抽象成一个八相位信号时序的多目标决策问题，将信号相序细化为优先相位与非优相位... 详细信息

针对智能交通系统优先信号控制效率低问题，提出一种基于合作博弈与强化学习混合决策的八相位优先信号控制方法 CBQL-TSP。该方法将公交信号优先权分配抽象成一个八相位信号时序的多目标决策问题，将信号相序细化为优先相位与非优相位，构建合作博弈模型。提出一种混合决策算法CBQL，解决八相位信号时序的多目标决策问题，算法通过求解夏普利值函数获取博弈各成员边缘贡献，根据夏普利值比构建状态转移概率方程。与常见控制方法相比，CBQL-TSP方法具有合作博弈的公平性原则和Q-Learning的适应性学习能力，能够根据实时交通状况动态调整信号时序，在优先信号控制上具有更高的灵活性和效率。建立仿真测试平台，比较不同需求量下系统平均等待车数和平均通行时间，评估方法的稳定性和效率。实验结果表明，提出方法具有更高的稳定性，并且整体平均通行时间减少了约24.57%，公交平均通行时间减少约37.40%。CBQL-TSP方法在公交优先路口具有更高的控制效率，可显著减少整体和公交平均通行时间。

关键词：交通信号优先控制合作博弈强化学习八相位优先信号

同方期刊数据库评论

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

一种去注意力机制的动态多层语义感知机

控制与决策 2024年第2期39卷 588-594页

作者：刘孝炎唐焕玲王育林窦全胜鲁明羽山东工商学院计算机科学与技术学院山东烟台264005 山东省高等学校协同创新中心:未来智能计算山东烟台264005 山东工商学院山东省高校智能信息处理重点实验室山东烟台264005 大连海事大学信息科学技术学院辽宁大连116026

Transformer在大规模数据集上取得了优异效果,但由于使用多头注意力使得模型过于复杂,且在小规模数据集上效果不理想.对于多头注意力替换的研究在图像处理领域已取得一些成果,但在自然语言处理领域还少有研究.为此,首先提出一种去注意... 详细信息

Transformer在大规模数据集上取得了优异效果,但由于使用多头注意力使得模型过于复杂,且在小规模数据集上效果不理想.对于多头注意力替换的研究在图像处理领域已取得一些成果,但在自然语言处理领域还少有研究.为此,首先提出一种去注意力的多层语义感知机(multi-layer semantics perceptron,MSP)方法,其核心创新是使用token序列转换函数替换编码器中的多头注意力,降低模型复杂度,获得更好的语义表达;然后,提出一种动态深度控制框架(dynamic depth control framework,DDCF),优化模型深度,降低模型复杂度;最后,在MSP方法和DDCF的基础上,提出动态多层语义感知机(dynamic multi-layer semantics perceptron,DMSP)模型,在多种文本数据集上的对比实验结果表明,DMSP既能提升模型分类精度,又能有效降低模型复杂度,与Transformer比较,在模型深度相同的情况下,DMSP模型分类精度大幅提升,同时模型的参数量大幅降低.

关键词：特征表示语义感知机动态深度控制 Transformer 文本分类

基于深度强化学习的多智能体编队避障控制研究

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于深度强化学习的多智能体编队避障控制研究

作者：虞逸凡大连海洋大学

学位级别：硕士

随着海洋探索技术的日益革新,无人船以及水下机器人等智能体凭借其安全和可靠性逐渐替代传统的人力作业方式。多智能体系统能够凭借其高度协同、自我组织以及智能决策的能力解决单智能体难以完成的广泛执行范围和高复杂度任务。编队避... 详细信息

随着海洋探索技术的日益革新,无人船以及水下机器人等智能体凭借其安全和可靠性逐渐替代传统的人力作业方式。多智能体系统能够凭借其高度协同、自我组织以及智能决策的能力解决单智能体难以完成的广泛执行范围和高复杂度任务。编队避障控制是多智能体系统完成任务的核心技术之一。传统编队避障控制方法严重依赖于智能体运动学/动力学模型,而精确信息在复杂环境下难以获取。深度强化学习能够使得智能体通过与环境交互自主学习,从而在不确定环境下实现有效的编队避障控制,但平衡避障和维持编队的要求、成功地到达既定目标以及大规模智能群体学习策略困难仍然是一个亟待解决的问题。因此,本文针对基于深度强化学习的多智能体编队避障控制问题展开研究。本文主要研究工作如下:(1)提出了一种基于MATD3算法的多智能体编队避障控制方法。针对传统控制方法对环境模型和运动学/动力学模型的严重依赖导致难以在复杂环境下解决编队避障问题,首先给出领航者和跟随者两类异构智能体的马尔科夫决策过程模型,使得智能体在信息受限的条件下实现决策优化。其次为减少对全局信息的依赖设计两类智能体各自的局部观测表示。然后设计了平衡编队、避障及导航的综合奖励函数以满足编队避障需求。最后使用MATD3算法训练智能群体,使其能够在不依赖模型的情况下自主学习到局部运动策略。实验结果表明,智能体群在保持编队的同时避开障碍物并最终到达目标点。所提方法能够使得智能体群在复杂环境下获得到有效的编队避障控制策略。(2)提出了一种基于SAAC算法的编队避障策略优化方法。针对训练智能群体存在难以充分探索多任务的复杂环境以及获取最优策略困难问题,首先加入最大熵优化的概念,促使智能体更好地探索环境。其次融入多头自注意力机制,更有效的获取与智能体相关的信息,优化输入并加速策略学习。最后使用SAAC算法训练智能群体。实验结果表明,智能群体具有更好的编队、避障和导航性能,并在增大智能体规模和不同障碍物环境时仍然有效。所提方法使得智能体能够更迅速、精确地学习到最优的运动策略。(3)提出了一种基于MFQ算法的大规模编队避障控制方法。针对现有方法由于智能体数量增加,维度激增,导致大规模智能群体难以获得稳定的编队避障策略问题,首先通过设计多通道×类图像的观测表示以及受鱼群行为启发的动作表示降低数据输入的维度。然后使用MFQ算法训练智能群体,将智能群体间的交互近似为中心智能体与虚拟平均智能体之间的交互,以简化学习过程和降低学习难度。实验结果表明,智能体在群体规模为10或15时能够在保持队形的同时有序避开障碍物并最终到达目标点。所提方法能够使得大规模智能群体获得稳定的编队避障控制策略。

关键词：多智能体系统深度强化学习编队避障控制大规模智能群体

基于混合域优化控制的智能网联车辆运动规划模型

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

中国公路学报 2022年第3期35卷 43-54页

作者：胡笳王浩然冯永威李欣同济大学道路与交通工程教育部重点实验室上海201804 大连海事大学交通运输工程学院辽宁大连116086

智能网联车辆具备提高交通安全与效率、降低能耗的巨大潜力。作为智能网联车辆决策控制的重要环节,运动规划对于智能网联车辆的循迹精度、控制效果具有显著影响。为了提高智能网联车辆控制精度,提出了一种智能网联车辆运动规划模型。该... 详细信息

智能网联车辆具备提高交通安全与效率、降低能耗的巨大潜力。作为智能网联车辆决策控制的重要环节,运动规划对于智能网联车辆的循迹精度、控制效果具有显著影响。为了提高智能网联车辆控制精度,提出了一种智能网联车辆运动规划模型。该模型以追踪参考路径为目标,基于时空混合域的优化控制方法,避免了轨迹追踪过程中横向控制掺杂纵向误差的影响,提高了模型控制精度。通过考虑车辆动力学、转向传动系统动态和底层控制时延,该模型可规划车辆纵向运动指令(加速度)、横向运动指令(方向盘转角),并确保运动规划指令能够被车辆底层控制准确执行。最后,所提出的运动规划模型基于动态规划原理求解,提高了求解效率。对所提出的运动规划模型通过PreScan和Carsim联合仿真进行测试,结果显示该运动规划模型在直线换道、曲线巡航、U-turn多种场景下,循迹误差均小于9 cm,速度误差均小于0.7 km·h^(-1)。此外,该运动规划模型在实车测试中也展现了极佳的控制效果。实车测试结果表明:该运动规划模型在60 km·h^(-1)以下的直行、交叉口转弯、曲线巡航、换道等多种场景中,车辆循迹误差均小于12.5 cm,巡航速度误差小于3.32 km·h^(-1),其中,期望速度20 km·h^(-1)的直行及半径小于15 m的转弯场景下的循迹误差为11 cm,相较当前最前沿的实车测试研究,循迹精度提高了27%。此外,该运动规划模型在实车测试中的平均计算速度为5.15 ms,这说明该模型已具备实际落地应用能力。

关键词：汽车工程运动规划优化控制智能网联车辆混合域自动驾驶

面向交通信号控制数据效率问题的迁移强化学习方法研究

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

面向交通信号控制数据效率问题的迁移强化学习方法研究

作者：刘欣大连海事大学

学位级别：硕士

随着深度强化学习的不断发展和优化,其在交通信号控制问题中的应用也日趋广泛。然而,深度强化学习需要通过反复试错来学习最优策略,这使得该方法存在着训练效率低、收敛速度慢等问题,限制了其在交通应用中的表现。因此,本课题提出了一... 详细信息

随着深度强化学习的不断发展和优化,其在交通信号控制问题中的应用也日趋广泛。然而,深度强化学习需要通过反复试错来学习最优策略,这使得该方法存在着训练效率低、收敛速度慢等问题,限制了其在交通应用中的表现。因此,本课题提出了一种基于模型的“预训练-调优”两段式跨任务迁移框架,从预训练模型初始化和迁移调优两个方面来解决数据效率问题。该框架分为预训练框架和迁移框架两个部分。一是用于为新任务训练提供先验知识的预训练框架,在该框架中本课题提出了基于模型图卷积强化学习算法。为学习到一个通用的策略表示,该算法引入了自编码器网络来预测下一时刻的观测,这种基于模型的建模方式为接下来的模型迁移提供了技术支持。同时,在多路口的交通信号控制问题中,为实现多智能体协作,本课题引入了注意力机制来加强路口之间的联系。二是用于迁移调优的迁移框架,在该框架中本课题提出了基于模型图卷积迁移强化学习算法。为了能准确选择最适合新任务的源策略,使用了欧氏距离来计算下一时刻源策略的预测状态观测和目标环境中的实际观测之间的距离,以此表示目标环境与源策略对应环境的相似程度,从而在不同源策略之间快速选择。该方法能够在短时间内找到最佳的源策略,从而将在预训练阶段学习到的知识和特征迁移到目标任务中,提高模型在目标任务上的性能和泛化能力。为检验算法的有效性,本课题从车流量和车流分布两个角度设计了五个不同的预训练交通场景,用来训练源策略。在此基础上设计了包括一个分布内迁移和两个分布外迁移的三种迁移场景。实验结果表明,本课题提出的迁移机制在训练效率方面相比从零开始训练有了很大提升,同时在最终性能方面也优于现有其它方法。综上,本课题提出的“预训练-调优”的两段式迁移框架可以有效改善以强化学习为驱动的决策智能方法在自适应交通信号控制问题中的训练效率和收敛速度,为人工智能在交通信号控制场景中落地应用提供理论和应用价值。

关键词：迁移强化学习图卷积强化学习注意力机制交通信号控制

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

仿生触须型摩擦电式触觉感知技术研究

仿生触须型摩擦电式触觉感知技术研究

作者：王新宇大连海事大学

学位级别：硕士

随着机器人技术的飞速发展,该领域目前已迈入“智能机器人”阶段,同时也面临若干新的挑战。“智能机器人”需以完备的感知技术为基础,实现多维度信息感知与反馈,具有推理、决策、规划等自主执行能力。然而,目前现有的感知设备还不能完... 详细信息

随着机器人技术的飞速发展,该领域目前已迈入“智能机器人”阶段,同时也面临若干新的挑战。“智能机器人”需以完备的感知技术为基础,实现多维度信息感知与反馈,具有推理、决策、规划等自主执行能力。然而,目前现有的感知设备还不能完全满足智能机器人的感知需求,导致其难以在黑暗、浑浊、狭窄区域以及集群条件下进行敏捷移动与作业。此外,感知需求的增长导致机器人功耗增加,而机器人可利用空间的局限性限制了自身储备能源的进一步提高。因此,亟需研究先进的新维度感知技术,实现对未知环境的高适应性、低功耗感知。新型仿生触觉感知装置作为机器人视觉、听觉感知的补足与延伸,通过与外界直接接触获取感知信息,可有效协助“智能机器人”增强感知能力、提升感知精度、扩充感知维度。仿生触觉感知装置参照生物组织、感觉器官等结构特点,可与多种传感机理相结合形成多类型传感器。其中,仿生摩擦电式触觉传感器基于摩擦起电与静电感应效应,具有结构简单、易于制造、自供能、灵敏度高等优点,可广泛应用于自驱动仿生触觉感知领域。因此,本文将仿生结构与摩擦纳米发电机(TENG)原理相结合,创新性地提出了一种仿鼠类触须毛囊结构的摩擦电式触觉传感器以应对机器人感知能力不足、感知功耗增加等方面的挑战。本文主要研究内容与结论如下:首先,耦合鼠类触须毛囊结构与独立层模式TENG工作原理,设计了一种仿鼠类触须毛囊结构的摩擦电式触觉传感器(Bionic Triboelectric Tactile Sensor,BTTS)。通过实验探究与对比分析,优化BTTS感知单元材料及尺寸构成,确定最佳构成方案并完成器件制作。并根据传感器结构与欧拉-伯努利(Euler-Bernoulli)无阻尼梁方程对BTTS受迫振动模型进行构建与模态分析,通过求解力学模型边界值得到BTTS前三阶固有频率,探究了传感器固有频率、触须横向位移响应、触须刚度、触须模态间的响应关系。同时,结合独立层式TENG理论,探究了BTTS机电转换特性,并通过静电学仿真研究得到进一步验证;随后,使用LinMot-E1100-RS线性电机、KEITHLEY 6514静电计、信号放大滤波装置、信号处理装置、NI采集卡及LABVIEW可视化程序搭建触觉感知测试平台,利用该测试平台对BTTS感知能力进行测试,测试过程采用控制变量法,系统性验证了BTTS在不同主动接触条件下对触觉信息的高效感知能力,探究了仿生触须偏转位移、偏转频率、偏转高度、偏转方向与传感器输出电信号之间的响应关系并通过归一化电压的变化趋势进一步证明了BTTS整体结构的可行性与稳定性;最后,构建了基于BTTS阵列与机器人JetBot的触觉感知系统,搭建障碍物实验场对该系统触觉感知能力进行测试,通过耦合航位推算、坐标系转化、拓展卡尔曼滤波算法、系统运动模型与观测模型等方法与模型,实现了基于BTTS触觉感知系统的反应式避障和局部地图构建,测试结果充分说明了该系统应用于机器人触觉感知的可行性与鲁棒性,展现出其进一步应用于未知环境探测、船体检测、人机交互中的价值与潜力。

关键词：摩擦纳米发电机自驱动感知鼠类触须毛囊结构仿生触觉传感器

基于深度强化学习的视觉水下航行器自主导航算法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度强化学习的视觉水下航行器自主导航算法研究

作者：姜涛大连海事大学

学位级别：硕士

随着人类愈发重视开发并利用海洋资源,视觉水下航行器作为一种配备自主控制器和视觉感知传感器的自供能、自推进智能装备,已广泛应用于海底资源勘探、搜救等领域。对于特定水下作业任务,视觉水下航行器需根据外界环境和自身状态进行自... 详细信息

随着人类愈发重视开发并利用海洋资源,视觉水下航行器作为一种配备自主控制器和视觉感知传感器的自供能、自推进智能装备,已广泛应用于海底资源勘探、搜救等领域。对于特定水下作业任务,视觉水下航行器需根据外界环境和自身状态进行自主导航。传统的导航方法从模型信息中搜索可用的路径并开发对应控制器进行导航,对未知作业环境的自适应能力较弱。本文以视觉水下航行器为研究对象,以视觉感知下的目标点导航和目标物导航为目标,利用深度学习提取环境特征,通过强化学习对环境特征与自身状态进行行为指令解码,使得水下航行器具备图像深度感知和动态决策的能力,进而满足无先验环境知识条件下的视觉水下航行器自主导航需求,主要研究工作如下:首先,针对目标点导航过程中视觉深度感知与动态行为决策的问题,分别设计了具备图像特征提取能力的感知融合网络和自主行为控制能力的动态决策网络,在深度强化学习框架下,通过引入深度网络实现图像特征的深度预测,改进不同约束条件的奖励函数实现了安全距离航行和经济速度优化,利用视觉图像和自身状态信息作为输入,并以连续的控制动作作为输出,解决了视觉水下航行器目标点导航的自主感知决策问题。其次,针对区域内目标物导航过程中目标物识别与随机探索的问题,设计了具有环境感知识别能力的感知识别网络与区域搜寻能力和随机探索网络,在深度确定性策略梯度的基础上,结合目标物显著性识别技术实现了目标物的准确识别,以视觉图像作为输入,并以连续的探索动作为输出,实时判断是否识别出目标物,直至发现目标物完成探索,解决了视觉水下航行器目标点导航的识别探索问题。最后,针对感知和决策网络的单独设计可能会引入不匹配信号的问题,采用端对端的训练方法,有效地抑制甚至消除了步骤/模块之间的不一致性和不匹配的问题。本文从自主导航过程中目标点导航与目标物导航两方面展开研究,将预训练好的网络在未知环境下进行目标点导航与目标物导航的分别测试和联合仿真测试,实验结果表明提出的感知决策控制网络能够实现视觉水下航行器的自主导航,在未知环境下同样具有的良好通用性和鲁棒性,为视觉水下航行器的自主导航提供了一种新思路。

关键词：水下航行器自主导航目标点导航目标物导航深度强化学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于激光雷达的无人船靠离泊信息感知研究

基于激光雷达的无人船靠离泊信息感知研究

作者：胡斌大连海事大学

学位级别：硕士

智能船舶是航运业未来的发展方向,目前船舶在靠泊过程中,船员需要实时、准确地掌握船舶的靠泊状态以避免发生碰撞,将来海上水面自主船舶(Maritime Autonomous Surface Ship,MASS)在自动靠泊过程中也需要实时、准确地感知靠泊距离、靠泊... 详细信息

智能船舶是航运业未来的发展方向,目前船舶在靠泊过程中,船员需要实时、准确地掌握船舶的靠泊状态以避免发生碰撞,将来海上水面自主船舶(Maritime Autonomous Surface Ship,MASS)在自动靠泊过程中也需要实时、准确地感知靠泊距离、靠泊速度、靠泊角和转艏角速度等参数,从而做出合理决策并控制船舶安全靠泊。3D激光雷达可以准确地测量物体的方位、距离和强度,并且距离的测量精度可以达到厘米级,但是其工作距离较短。基于上述靠泊感知问题,同时考虑激光雷达传感器自身的特点,本文提出了一种基于3D激光雷达的靠泊状态感知方法。论文将围绕以下两个部分展开。(1)基于点云匹配的船舶自身运动状态估计。首先对相邻两帧间的激光点云进行配准,从而获得当前帧点云与前一帧点云的位姿差;然后利用位姿差将激光雷达从前一帧的位姿变换到当前帧的位姿,从而实现激光雷达的定位;接着利用相邻两帧点云的时间间隔推算出激光雷达运动的速度和三轴角速度;最后使用基于机器人操作系统(Robot Operation System,ROS)的无人艇实验平台进行对比试验,与组合导航GNSS/IMU进行比较验证激光雷达所计算速度和角速度的准确性。多次试验结果表明激光雷达可以稳定、准确地估计船舶的前进速度、横移速度和三轴角速度。(2)基于ROS的船舶靠泊信息感知框架。首先获取港口所有轮廓点的GPS坐标并将其转换到当地水平坐标系;其次以船舶初始位置为坐标原点建立激光雷达构建地图坐标系;然后根据船舶的航向将当地水平坐标系旋转到激光雷达构建地图坐标系;接着根据激光雷达推算的船位计算靠泊距离、靠泊速度、靠泊角和转艏角速度;最后使用无人艇实验平台进行多次靠泊感知试验。试验结果表明靠泊感知框架的计算结果与实际测量值的平均相对误差为2.85%,且计算结果输出频率达到10Hz,满足船舶靠泊的精度和实时性要求。本文提出的靠泊感知框架不仅可以与组合导航形成冗余的感知系统,也能够为控制单元提供精确、实时的靠泊状态信息。此外该框架还具有移植性高,拓展性强的特点,即可以被移植到装有Ubuntu系统的计算机内,也可以通过扩展融合激光雷达、相机、IMU和GPS等传感器来提高靠泊信息感知框架的鲁棒性。

关键词： 3D激光雷达 MASS 靠泊状态靠泊信息感知 ROS

基于深度强化学习的多智能体协同围捕方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度强化学习的多智能体协同围捕方法研究

作者：柳春晖大连海事大学

学位级别：硕士

协同围捕是多智能体协同技术的热点问题之一,在海上军事对抗、海事边防、海洋防务等领域具有广泛的应用价值。在实际应用中,多智能体系统面临拓扑结构变换、高动态、不确定等复杂环境的影响,导致实现协同围捕求解难度提升。深度强化学... 详细信息

协同围捕是多智能体协同技术的热点问题之一,在海上军事对抗、海事边防、海洋防务等领域具有广泛的应用价值。在实际应用中,多智能体系统面临拓扑结构变换、高动态、不确定等复杂环境的影响,导致实现协同围捕求解难度提升。深度强化学习能够凭借奖励反馈机制学习到最优策略,具有较好的学习能力和适应能力,给多智能体协同围捕问题研究提供了新的解决方案。本文面向海上无人系统设计基于深度强化学习的协同围捕方法,并通过在无人系统实验平台上开展样机实验来验证协同围捕方法的可行性和有效性。论文内容如下:首先,阐述深度强化学习理论。介绍马尔科夫决策的基本原理,对现有的强化学习算法和深度强化学习算法进行归纳与总结。针对多智能体协作场景,扩展单智能体马尔科夫决策模型,针对智能体个数多、算法训练代价大等问题,采用多智能体深度确定性策略梯度算法,构成论文研究的理论基础。其次,研究基于深度强化学习的多智能体协同围捕策略。构建多智能体协同围捕场景,采用基于目标点的围捕方式,设置相应的围捕成功条件。定义针对协同围捕的深度强化学习状态空间与动作空间,设计各智能体的单独奖励函数及所有智能体的全局奖励函数,采用多智能体深度确定性策略梯度算法进行强化学习训练。构建多无人艇围捕动态目标的仿真场景来验证协同围捕方法的可行性和有效性,并通过虚拟现实视景仿真的方式对多智能体协同围捕过程进行可视化演示。再次,考虑海上实验成本高和时间长等因素以及欠驱动特性,搭建无人车室内实验平台。分析定位系统硬件框架,采取双边测距作为定位系统的测距方式,设计了基站与上位机串口通信的数据传输协议和二维系统定位算法,克服了传统测距中基站需要时钟同步的难题,为后续围捕实验提供位置信息参考。最后,基于所搭建的无人车实验平台进行基于深度强化学习的多智能体协同围捕样机实验验证。根据多智能体深度确定性策略梯度算法计算多无人车期望速度和期望航向角作为控制器输入,并通过底层控制器输出多无人车的轮速与舵角。采用卡尔曼滤波算法优化测距数据。实验结果表明,本文所建立的理论方法能够有效地执行多智能体协同围捕任务。

关键词：多智能体协同围捕深度强化学习无人平台室内定位系统