检索结果-南通市图书馆

A Lyapunov characterization of robust policy optimization

Control Theory and Technology 2023年第3期21卷 374-389页

作者： Leilei Cui Zhong-Ping Jiang Department of Electrical and Computer Engineering New York UniversityBrooklynNY 11201USA

In this paper,we study the robustness property of policy optimization(particularly Gauss-Newton gradient descent algorithm which is equivalent to the policy iteration in reinforcement learning)subject to noise at each iteration.By invoking the concept of input-to-state stability and utilizing Lyapunov's direct method,it is shown that,if the noise is sufficiently small,the policy iteration algorithm converges to a small neighborhood of the optimal solution even in the presence of noise at each iteration.Explicit expressions of the upperbound on the noise and the size of the neighborhood to which the policies ultimately converge are provided.Based on Willems'fundamental lemma,a learning-based policy iteration algorithm is proposed.The persistent excitation condition can be readily guaranteed by checking the rank of the Hankel matrix related to an exploration signal.The robustness of the learning-based policy iteration to measurement noise and unknown system disturbances is theoretically demonstrated by the input-to-state stability of the policy iteration.Several numerical simulations are conducted to demonstrate the efficacy of the proposed method.

关键词： policy optimization policy iteration(PI)-Input-to-state stability(ISS) Lyapunov's direct method

来源：

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

A STOCHASTIC TRUST-REGION FRAMEWORK FOR policy optimization

引用

Journal of Computational Mathematics 2022年第6期40卷 1004-1030页

作者： Mingming Zhao Yongfeng Li Zaiwen Wen Beijing International Center for Mathematical Research Peking UniversityBeijing 100871China

In this paper,we study a few challenging theoretical and numerical issues on the well known trust region policy optimization for deep reinforcement learning.The goal is to find a policy that maximizes the total expected reward when the agent acts according to the policy.The trust region subproblem is constructed with a surrogate function coherent to the total expected reward and a general distance constraint around the latest policy.We solve the subproblem using a preconditioned stochastic gradient method with a line search scheme to ensure that each step promotes the model function and stays in the trust region.To overcome the bias caused by sampling to the function estimations under the random settings,we add the empirical standard deviation of the total expected reward to the predicted increase in a ratio in order to update the trust region radius and decide whether the trial point is accepted.Moreover,for a Gaussian policy which is commonly used for continuous action space,the maximization with respect to the mean and covariance is performed separately to control the entropy loss.Our theoretical analysis shows that the deterministic version of the proposed algorithm tends to generate a monotonic improvement of the total expected reward and the global convergence is guaranteed under moderate assumptions.Comparisons with the state-of-the–art methods demonstrate the effectiveness and robustness of our method over robotic controls and game playings from OpenAI Gym.

关键词： Deep reinforcement learning Stochastic trust region method policy optimization Global convergence Entropy control

来源：

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

STUDY ON THE optimization OF TRANSPORT CONTROL policy IN COMMUNICATION NETWORK

引用

Journal of Electronics(China) 2010年第2期27卷 261-266页

作者： Fan Shuyan Han Weizhan Lu Ran School of Telecommunication Engineering Xidian University Xi＇an 710071 China The 54th Research Institute of CETC Shijiazhuang 050081 China

In communication networks with policy-based Transport Control on-Demand (TCoD) function,the transport control policies play a great impact on the network effectiveness. To evaluate and optimize the transport policies in communication network,a policy-based TCoD network model is given and a comprehensive evaluation index system of the network effectiveness is put forward from both network application and handling mechanism perspectives. A TCoD network prototype system based on Asynchronous Transfer Mode/Multi-Protocol Label Switching (ATM/MPLS) is introduced and some experiments are performed on it. The prototype system is evaluated and analyzed with the comprehensive evaluation index system. The results show that the index system can be used to judge whether the communication network can meet the application requirements or not,and can provide references for the optimization of the transport policies so as to improve the communication network effectiveness.

关键词： Communication network Comprehensive evaluation index system Network Application Effectiveness (NAE) Transport Control on-Demand (TCoD) policy optimization

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

Measurement of Superposition of New Energy Vehicle Industry policy Based on Key Technology and policy optimization

Measurement of Superposition of New Energy Vehicle Industry ...

引用

2019年第四届经济与企业管理国际学术会议

作者： Wenqian Lu Benhai Guo Wenjian Li School of Management Jiangsu University School of Management China Metrology University

Measuring the superposition of industrial policies on the key technology chains of new energy vehicles,using multiple regression models to explore the impact of the superposition of various policy measures on overall coordination.The result shows the multiple superposition of existing industrial policies has a limited effect on effectively promoting the development of new energy vehicle industry technology,and the adjustment of future policy should be based on dynamic monitoring of key technology chains.

关键词： New energy vehicles key technology chain superposition effect policy optimization

来源： cnki会议评论

在线全文

cnki会议

学校读者我要写书评

暂无评论

中国长期护理保险筹资现状、局限与优化路径

引用

社会保障制度 2023年第8期

作者：陈奕男

筹资是长期护理保险(LTCI)制度建设中的首要环节与核心问题。基于政策文本，以筹资机制为核心构建由10个一级变量和31个二级变量组成的LTCI筹资政策的政策一致性(PMC)指数模型，对全国两批共27份试点城市筹资政策进行量化评价，结果显... 详细信息

筹资是长期护理保险(LTCI)制度建设中的首要环节与核心问题。基于政策文本，以筹资机制为核心构建由10个一级变量和31个二级变量组成的LTCI筹资政策的政策一致性(PMC)指数模型，对全国两批共27份试点城市筹资政策进行量化评价，结果显示，扩大试点阶段中的完美和优秀等级政策占比之和达77.78％，LTCI试点质量显著提升。分析PMC曲面发现，试点城市政策的性质明确、功能完备、透明度高，仍存在时效偏短、级别较低、筹资机制不完善、筹资保障规范性不足等问题，进而提出两种优化策略。建议政府应以疏解当期困境与促成稳定预期为目标设计LTCI筹资机制，兼顾公平性、平等性和适当性标准，重视部门协同，从资金投入、法律法规等方面来强化支持。

关键词：长期护理保险(LTCI) 筹资机制政策评价政策一致性(PMC)指数模型政策优化 long-term care insurance(LTCI) financing mechanism policy evaluation PMC index model policy optimization

来源：人大复印报刊资料评论

在线全文

人大复印报刊资料

学校读者我要写书评

暂无评论

中国冰雪产业高质量发展的政策工具特征解析与优化策略研究

引用

体育 2023年第5期

作者：张佃波朱焱袁诗怡尚婉婷

冰雪产业政策是适应我国经济高质量转型，促进冰雪产业提质增量，推动“寒冰经济”持续健康发展的重要导向。文章基于冰雪产业政策视角，从政策工具、产业结构和改革发展三个维度构建政策分析框架，以2016-2021年国家政府颁布的冰雪产... 详细信息

冰雪产业政策是适应我国经济高质量转型，促进冰雪产业提质增量，推动“寒冰经济”持续健康发展的重要导向。文章基于冰雪产业政策视角，从政策工具、产业结构和改革发展三个维度构建政策分析框架，以2016-2021年国家政府颁布的冰雪产业发展政策文本内容为实证依据结合专家访谈、内容分析、实地考察等研究方法，深入探寻我国冰雪产业发展的政策工具特征与冰雪产业高质量发展的优化策略。为完善新发展阶段我国冰雪产业政策体系，优化政策选择工具，促进我国冰雪产业高质量发展提供理论依据与现实参考。

关键词：新时期冰雪产业政策工具特征解析政策优化体育产业 new era ice and snow industry policy instruments feature analysis policy optimization sports industry

来源：人大复印报刊资料评论

在线全文

人大复印报刊资料

学校读者我要写书评

暂无评论

后扶贫时代教育扶贫政策优化的理论证成与路径选择

引用

教育学 2022年第3期

作者：戴妍

教育对相对贫困治理具有关键性作用，优化教育扶贫政策是为后扶贫时代教育扶贫行动探寻路径的最佳战略抉择。贫困的“多维性”“动态性”“相对性”与“持久性”构成了后扶贫时代教育扶贫政策优化的逻辑前提。在后扶贫时代，教育扶贫开... 详细信息

教育对相对贫困治理具有关键性作用，优化教育扶贫政策是为后扶贫时代教育扶贫行动探寻路径的最佳战略抉择。贫困的“多维性”“动态性”“相对性”与“持久性”构成了后扶贫时代教育扶贫政策优化的逻辑前提。在后扶贫时代，教育扶贫开发道路的理论优势构成了教育扶贫政策优化的逻辑起点，贫困与教育反贫困的理论关照揭示了其政策优化的理念探寻，教育扶贫与乡村振兴有效衔接的理论支点指明了其政策优化的价值理路，立体交融式战略格局的理论图景表达了其政策优化的发展走向。在后扶贫时代，教育扶贫政策要基于“共识”“共融”“共生”“共建”“共享”五个维度全面升级，趟出政策优化的创新路径。

关键词：后扶贫时代相对贫困教育扶贫乡村振兴政策优化 post-poverty alleviation era relative poverty poverty alleviation through education rural revitalization policy optimization

来源：人大复印报刊资料评论

在线全文

人大复印报刊资料

学校读者我要写书评

暂无评论

乡村教师生活补助政策评估与优化

中小学学校管理

引用

中小学学校管理 2020年第2期

作者：王爽刘善槐

基于“事实-价值”的政策评估理论框架，对东中西部8省8县乡村教师生活补助政策评估发现，政策在事实性层面上取得显著成效：生活补助标准逐年提升、政策覆盖范围持续扩大、逆差序化待遇格局初步形成。从价值层面来看，部分相关主体的... 详细信息

基于“事实-价值”的政策评估理论框架，对东中西部8省8县乡村教师生活补助政策评估发现，政策在事实性层面上取得显著成效：生活补助标准逐年提升、政策覆盖范围持续扩大、逆差序化待遇格局初步形成。从价值层面来看，部分相关主体的利益诉求难以得到充分满足，表现为政策目标群体尚未纳入全部边远艰苦地区乡村教师；省级财政统筹缺位致使部分地区补助标准仍然偏低；地方政府在政策执行中存在偏差，阻碍乡村教师的实际获得感提升。为了进一步优化乡村教师生活补助政策，应制定科学化生活补助实施方案，建立财政投入的激励约束机制，完善动态化生活补助监管机制。

关键词：乡村教师生活补助政策评估政策优化政策杠杆 rural teachers subsistence allowance policy evaluation policy optimization policy leverage

来源：人大复印报刊资料评论

在线全文

人大复印报刊资料

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：