检索结果-南通市图书馆

两方零和马尔科夫博弈策略梯度算法及收敛性分析

在线全文

学校读者我要写书评

暂无评论

浙江大学学报（工学版） 2024年第3期58卷 480-491页

作者：王卓李永强冯宇冯远静浙江工业大学信息工程学院浙江杭州310000

为了解决基于策略的强化学习方法在两方零和马尔科夫博弈中学习效率低下的问题,提出同时更新双方玩家策略的近似纳什均衡策略优化算法.将两方零和马尔科夫博弈问题描述为最大最小优化问题,针对参数化策略,给出马尔科夫博弈的策略梯度定... 详细信息

为了解决基于策略的强化学习方法在两方零和马尔科夫博弈中学习效率低下的问题,提出同时更新双方玩家策略的近似纳什均衡策略优化算法.将两方零和马尔科夫博弈问题描述为最大最小优化问题,针对参数化策略,给出马尔科夫博弈的策略梯度定理,并通过近似随机策略梯度的推导,为算法实施提供可行性基础.通过比较分析不同的最大最小问题梯度更新方法,发现额外梯度相较于其他方法具有更好的收敛性能.基于这一发现,提出基于额外梯度的近似纳什均衡策略优化算法,并给出算法的收敛性证明.在Oshi-Zumo游戏上,使用表格式softmax参数化策略以及神经网络作为参数化策略,验证不同游戏规模场景下算法的有效性.通过对比实验,验证算法相对于其他方法的收敛性和优越性.

关键词：两方零和马尔科夫博弈强化学习策略优化额外梯度纳什均衡神经网络

结合优势结构和最小目标Q值的深度强化学习导航算法

在线全文

学校读者我要写书评

暂无评论

控制理论与应用 2024年第4期41卷 716-728页

作者：朱威洪力栋施海东何德峰浙江工业大学信息工程学院浙江杭州312000

针对现有基于策略梯度的深度强化学习方法应用于办公室、走廊等室内复杂场景下的机器人导航时,存在训练时间长、学习效率低的问题,本文提出了一种结合优势结构和最小化目标Q值的深度强化学习导航算法.该算法将优势结构引入到基于策略梯... 详细信息

针对现有基于策略梯度的深度强化学习方法应用于办公室、走廊等室内复杂场景下的机器人导航时,存在训练时间长、学习效率低的问题,本文提出了一种结合优势结构和最小化目标Q值的深度强化学习导航算法.该算法将优势结构引入到基于策略梯度的深度强化学习算法中,以区分同一状态价值下的动作差异,提升学习效率,并且在多目标导航场景中,对状态价值进行单独估计,利用地图信息提供更准确的价值判断.同时,针对离散控制中缓解目标Q值过估计方法在强化学习主流的Actor-Critic框架下难以奏效,设计了基于高斯平滑的最小目标Q值方法,以减小过估计对训练的影响.实验结果表明本文算法能够有效加快学习速率,在单目标、多目标连续导航训练过程中,收敛速度上都优于柔性演员评论家算法(SAC),双延迟深度策略性梯度算法(TD3),深度确定性策略梯度算法(DDPG),并使移动机器人有效远离障碍物,训练得到的导航模型具备较好的泛化能力.

关键词：强化学习移动机器人导航优势结构最小化目标Q值

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

融合知识图谱的时空多图卷积交通流量预测

浙江大学学报（工学版） 2024年第7期58卷 1366-1376页

作者：李劲业李永强浙江工业大学信息工程学院浙江杭州310023

现有的交通流量预测方法关注交通信息的时空相关性,未充分考虑外部因素对交通的影响,为此提出融合静态和动态知识图谱的时空多图卷积交通流量预测模型.基于道路交通信息和外部因素,构建城市交通知识图谱和4个不同语义的路网拓扑图,将城... 详细信息

现有的交通流量预测方法关注交通信息的时空相关性,未充分考虑外部因素对交通的影响,为此提出融合静态和动态知识图谱的时空多图卷积交通流量预测模型.基于道路交通信息和外部因素,构建城市交通知识图谱和4个不同语义的路网拓扑图,将城市交通知识图谱输入关系演化图卷积神经网络,实现知识嵌入;使用知识融合模块将车流量矩阵与知识嵌入融合;将4个路网拓扑图和融合知识的车流量矩阵输入时空多图卷积模块,提取时空特征,通过全连接层输出交通流量预测值.在杭州交通数据集上评估模型性能,与先进的基线模型对比,所提模型的性能提高了5.76%~10.71%.鲁棒性实验结果表明,所提模型具有较强的抗干扰能力.

关键词：智能交通交通流量预测城市交通知识图谱多图卷积神经网络知识融合模块路网拓扑图

基于距离信息的追逃策略:信念状态连续随机博弈

在线全文

学校读者我要写书评

暂无评论

自动化学报 2024年第4期50卷 828-840页

作者：陈灵敏冯宇李永强浙江工业大学信息工程学院杭州313000

追逃问题的研究在对抗、追踪以及搜查等领域极具现实意义.借助连续随机博弈与马尔科夫决策过程(Markov decision process, MDP),研究使用测量距离求解多对一追逃问题的最优策略.在此追逃问题中,追捕群体仅领导者可测量与逃逸者间的相对... 详细信息

追逃问题的研究在对抗、追踪以及搜查等领域极具现实意义.借助连续随机博弈与马尔科夫决策过程(Markov decision process, MDP),研究使用测量距离求解多对一追逃问题的最优策略.在此追逃问题中,追捕群体仅领导者可测量与逃逸者间的相对距离,而逃逸者具有全局视野.追逃策略求解被分为追博弈与马尔科夫决策两个过程.在求解追捕策略时,通过分割环境引入信念区域状态以估计逃逸者位置,同时使用测量距离对信念区域状态进行修正,构建起基于信念区域状态的连续随机追博弈,并借助不动点定理证明了博弈平稳纳什均衡策略的存在性.在求解逃逸策略时,逃逸者根据全局信息建立混合状态下的马尔科夫决策过程及相应的最优贝尔曼方程.同时给出了基于强化学习的平稳追逃策略求解算法,并通过案例验证了该算法的有效性.

关键词：追逃问题信念区域状态连续随机博弈马尔科夫决策过程强化学习

性能维持的增广可行域Tube鲁棒经济模型预测控制

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

控制与决策 2024年第2期39卷 536-544页

作者：何德峰李能卓黄原驰韩平浙江工业大学信息工程学院杭州310023

针对未知但有界扰动作用下的约束线性系统,提出一种性能维持的增广可行域Tube经济模型预测控制(tube economic model predictive control, TEMPC)策略.首先考虑经济性能优化目标和鲁棒稳定控制目标,构造TEMPC优化问题的隐式收缩约束,并... 详细信息

针对未知但有界扰动作用下的约束线性系统,提出一种性能维持的增广可行域Tube经济模型预测控制(tube economic model predictive control, TEMPC)策略.首先考虑经济性能优化目标和鲁棒稳定控制目标,构造TEMPC优化问题的隐式收缩约束,并对系统状态和控制约束进行紧缩Tube设计,给出增广可行域优化问题的数学描述;然后,引入线性分解增广名义终端状态和终端罚函数,扩大优化问题的初始可行域,在此基础上应用终端“三要素”和收缩原理,建立TEMPC策略的递推可行性和闭环系统关于最优经济平衡点有界稳定性的充分性条件,进而证明闭环性能在原初始可行域上的不变性;最后,通过对比仿真结果验证所提出策略的有效性和优越性.

关键词：模型预测控制不确定线性系统鲁棒稳定性经济优化可行域

在线全文

学校读者我要写书评

暂无评论

基于多维特征评价的风机齿轮箱早期故障诊断

控制与决策 2024年第5期39卷 1566-1576页

作者：郭方洪林凯窦云飞吴祥俞立浙江工业大学信息工程学院杭州310014

为了及时有效地诊断风机齿轮箱早期微弱故障,针对齿轮箱微弱故障信号非线性、非平稳、低幅值、低信噪比的特点,提出一种基于多维特征评价的风机齿轮箱早期故障诊断方法.首先,利用变分模态分解将原始振动信号分解为多个固有模态分量,并... 详细信息

为了及时有效地诊断风机齿轮箱早期微弱故障,针对齿轮箱微弱故障信号非线性、非平稳、低幅值、低信噪比的特点,提出一种基于多维特征评价的风机齿轮箱早期故障诊断方法.首先,利用变分模态分解将原始振动信号分解为多个固有模态分量,并构建“信息熵-峭度-包络谱峭度”多维特征评价模型,结合熵权法筛选关键特征分量以重构信号;其次,运用改进的小波阈值法降低噪声干扰对重构信号的影响,得到显著的故障冲击特征;再者使用宽度学习系统进行状态识别,并利用L_(21)正则化技术进一步提高其网络结构的稀疏性;最后,通过对风机齿轮箱实测数据进行特征分析并与传统方法进行对比实验,表明所提出方法的有效性和优越性.

关键词：风机齿轮箱故障诊断变分模态分解小波阈值降噪宽度学习 L_(21)范数

外部干扰和随机DoS攻击下的网联车安全H∞队列控制

在线全文

学校读者我要写书评

暂无评论

自动化学报 2024年第2期50卷 348-355页

作者：宋秀兰李洋阳何德峰浙江工业大学信息工程学院杭州310023

针对网联车队列系统易受到干扰和拒绝服务(Denial of service, DoS)攻击问题,提出一种外部干扰和随机DoS攻击作用下的网联车安全H∞队列控制方法.首先,采用马尔科夫随机过程,将网联车随机DoS攻击特性建模为一个随机通信拓扑切换模型,据... 详细信息

针对网联车队列系统易受到干扰和拒绝服务(Denial of service, DoS)攻击问题,提出一种外部干扰和随机DoS攻击作用下的网联车安全H∞队列控制方法.首先,采用马尔科夫随机过程,将网联车随机DoS攻击特性建模为一个随机通信拓扑切换模型,据此设计网联车安全队列控制协议.然后,采用线性矩阵不等式(Linear matrix inequality, LMI)技术计算安全队列控制器参数,并应用Lyapunov-Krasovskii稳定性理论,建立在外部扰动和随机DoS攻击下队列系统稳定性充分条件.在此基础上,分析得到该队列闭环系统的弦稳定性充分条件.最后,通过7辆车组成的队列系统对比仿真实验,验证该方法的优越性.

关键词：网联自主车辆队列控制安全控制随机DoS攻击稳定性

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

图像对抗样本检测综述

软件学报 2024年第1期35卷 185-219页

作者：周涛甘燃徐东伟王竟亦宣琦浙江工业大学网络空间安全研究院浙江杭州310023 浙江工业大学信息工程学院浙江杭州310023 浙江大学控制科学与工程学院浙江杭州310058

深度神经网络是人工智能领域的一项重要技术,它被广泛应用于各种图像分类任务.但是,现有的研究表明深度神经网络存在安全漏洞,容易受到对抗样本的攻击,而目前并没有研究针对图像对抗样本检测进行体系化分析.为了提高深度神经网络的安全... 详细信息

深度神经网络是人工智能领域的一项重要技术,它被广泛应用于各种图像分类任务.但是,现有的研究表明深度神经网络存在安全漏洞,容易受到对抗样本的攻击,而目前并没有研究针对图像对抗样本检测进行体系化分析.为了提高深度神经网络的安全性,针对现有的研究工作,全面地介绍图像分类领域的对抗样本检测方法.首先根据检测器的构建方式将检测方法分为有监督检测与无监督检测,然后根据其检测原理进行子类划分.最后总结对抗样本检测领域存在的问题,在泛化性和轻量化等方面提出建议与展望,旨在为人工智能安全研究提供帮助.

关键词：深度神经网络对抗样本检测人工智能安全图像分类

同方期刊数据库

基于模糊模式识别和敏感场优化的ECT图像重建

在线全文

学校读者我要写书评

暂无评论

光学学报 2024年第9期44卷 54-66页

作者：黄国兴李超吴振华王静文袁韬雅卢为党浙江工业大学信息工程学院浙江杭州310023 哈尔滨工业大学信息科学与工程学院山东威海264209

提出了一种基于模糊模式识别和敏感场优化的电容层析成像(ECT)图像重建方法,以提高重建的精度与质量。首先,提出了一种基于模糊模式的ECT流型识别方法,通过流型识别,选择与输入信号所属相对应的变化敏感场,完成敏感场的优化;然后,提出... 详细信息

提出了一种基于模糊模式识别和敏感场优化的电容层析成像(ECT)图像重建方法,以提高重建的精度与质量。首先,提出了一种基于模糊模式的ECT流型识别方法,通过流型识别,选择与输入信号所属相对应的变化敏感场,完成敏感场的优化;然后,提出了一种基于特征提取的敏感场扩充方法,从输入信号中提取特征信息进行数据融合,并通过零填充和随机重组将优化后的敏感场扩展为新的敏感场分布矩阵,进一步优化敏感场;最后,提出一种稀疏图像重建方法,通过构造综合观测方程,求解介电常数分布矢量,并进行图像重建。通过COMSOL软件对ECT系统进行三维仿真建模,仿真实验结果表明,本文方法在图像误差、相关系数等成像指标上优于现有方法,具有更好的成像效果。

关键词：成像系统电容层析成像模糊模式识别灵敏度场优化流型识别图像重建