检索结果-南通市图书馆

基于半马尔科夫决策过程的视频传输拥塞控制算法

在线全文

学校读者我要写书评

暂无评论

通信学报 2014年第8期35卷 154-161页

作者：田波杨宜民蔡述庭广东工业大学自动化学院广东广州510090

针对传输控制协议(TCP,transmission control protocol)的拥塞控制算法未能满足视频传输质量要求的问题,提出了一种基于半马尔科夫决策过程的视频传输拥塞控制算法。首先,为克服目前基于峰值信噪比的视频质量评估方法实时性低的缺点,设... 详细信息

针对传输控制协议(TCP,transmission control protocol)的拥塞控制算法未能满足视频传输质量要求的问题,提出了一种基于半马尔科夫决策过程的视频传输拥塞控制算法。首先,为克服目前基于峰值信噪比的视频质量评估方法实时性低的缺点,设计了一种可在线运行的无参考视频质量评估方法。其次,根据接收端视频质量的反馈,采用半马尔科夫决策过程对拥塞控制进行建模,并通过求解此模型得到拥塞控制参数的调整策略。仿真实验结果表明,与目前典型的拥塞控制算法相比,该算法不但具备更好的TCP友好性,而且有效地提高了解码后视频序列的主观和客观质量。

关键词：拥塞控制视频传输视频质量评估半马尔科夫决策过程

基于半马尔科夫决策过程的风力机状态维修优化

在线全文

学校读者我要写书评

暂无评论

机械工程学报 2012年第2期48卷 44-49页

作者：苏春周小荃东南大学机械工程学院南京211189

恶劣的工作环境、昂贵的维修成本和停机损失对风力机及其部件的维修提出挑战。以齿轮箱、叶片等风力机核心机械部件为对象,将部件退化过程离散成有限的退化状态;以长期折扣成本最低为目标,考虑风速、备件物流、停机损失等因素的影响,建... 详细信息

恶劣的工作环境、昂贵的维修成本和停机损失对风力机及其部件的维修提出挑战。以齿轮箱、叶片等风力机核心机械部件为对象,将部件退化过程离散成有限的退化状态;以长期折扣成本最低为目标,考虑风速、备件物流、停机损失等因素的影响,建立基于半马尔科夫决策过程的状态维修优化模型。分析各退化状态下的维修策略、检测间隔时间以及不同退化状态间的转移概率,并采用策略迭代算法求解模型。以某风力机齿轮箱为例,通过对等周期、非等周期检测条件下检测间隔时间和维修成本的分析,得到优化的维修决策。研究结果表明,该模型能有效描述风力机核心部件的退化过程,实现风力机维修优化。

关键词：风力机半马尔科夫决策过程状态维修策略迭代

基于半马尔科夫决策过程的变压器状态优化维修策略的研究

在线全文

学校读者我要写书评

暂无评论

基于半马尔科夫决策过程的变压器状态优化维修策略的研究

作者：董昊华北电力大学

学位级别：硕士

变压器属于大型电力设备,其稳定运行关系到电网的稳定,并且一旦故障停电,将会对电网的可靠安全运行将产生极大的影响。因此,必须实时关注其运行状况,一旦出现劣化要及时维修。随着状态检修在电力系统的不断发展和推广,工程人员越来越注... 详细信息

变压器属于大型电力设备,其稳定运行关系到电网的稳定,并且一旦故障停电,将会对电网的可靠安全运行将产生极大的影响。因此,必须实时关注其运行状况,一旦出现劣化要及时维修。随着状态检修在电力系统的不断发展和推广,工程人员越来越注意到变压器实际现场运行状态对于变压器检修的重要性。半马尔科夫决策过程是马尔科夫决策过程的一种提高和发展,能很好的描述变压器的劣化、检查以及维修过程,同时考虑了系统在某状态的逗留时间,具有更好的适用性。因此本文在考虑状态检查频率随状态劣化程度不断变化的基础上,建立了基于半马尔科夫决策过程的变压器状态优化维修策略。首先,对半马尔科夫决策过程的基础理论进行了分析和推导,主要包括对状态转移概率、状态转移概率密度、状态转移概率矩阵、状态转移概率密度矩阵、平稳状态持续时间的定义以及求法进行了分析。其次,对变压器的状态图检修模型进行了分析,在经典状态图模型的基础上,引入检测和维修状态,得到变压器的完整状态图模型,再次结合变压器的实际状态检修情况,对变压器的状态图模型进行了改进,并对改进的状态图模型进行了化简分析。最后,对基于半马尔科夫决策过程的变压器维修策略进行了分析,考虑到不同状态检查频率对变压器的可用度有不同的影响,提出了对检查频率进行优化的数学方法,提出了基于半马尔科夫决策过程的维修策略以及策略迭代算法,并通过仿真分析对策略的有效性进行了验证。

关键词：变压器半马尔科夫决策过程状态检修状态图模型维修策略

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

V2X异构车载网络下智能任务卸载策略研究

控制与决策 2022年第11期37卷 3003-3011页

作者：胡峰王文轩顾红南京信息职业技术学院网络与通信学院南京210023 南京理工大学电子工程与光电技术学院南京210094

随着自动驾驶技术的迅速发展,车辆日益增长的处理需求与资源受限的车载处理器之间的矛盾日渐突出.车载边缘计算的出现解决了车载资源的物理限制,增强了单个车辆的计算能力.然而,由于车载服务通常具有时延敏感性,如何选择合适的通信接入... 详细信息

随着自动驾驶技术的迅速发展,车辆日益增长的处理需求与资源受限的车载处理器之间的矛盾日渐突出.车载边缘计算的出现解决了车载资源的物理限制,增强了单个车辆的计算能力.然而,由于车载服务通常具有时延敏感性,如何选择合适的通信接入技术,更好地满足自动驾驶场景中时延要求便成为一个挑战性难题.鉴于此,综合考虑两种V2X通信接入技术,即短距通信(DSRC)和基于蜂窝网的车载通信(C-V2X),提出一种V2X异构车载网络任务卸载模型.首先分析车辆移动性特征,并对车载资源进行虚拟化处理;然后基于半马尔科夫决策过程原理对任务卸载问题进行建模,分别制定状态、动作、奖励和转移概率;最后基于强化学习智能算法获取最优任务卸载策略,并通过大量数值仿真实验验证其任务卸载性能优于贪婪算法.

关键词：车与万物互联车载边缘计算短距通信基于蜂窝网的车载通信任务卸载半马尔科夫决策过程强化学习

在线全文

学校读者我要写书评

暂无评论

打印参数可变模式下3D打印批调度问题研究

控制理论与应用 2021年第9期38卷 1351-1360页

作者：王彬唐昊戴飞谭琦合肥工业大学电气与自动化工程学院安徽合肥230009 工业自动化安徽省工程技术研究中心安徽合肥230009

研究打印参数可变模式下3D打印批调度问题,旨在对打印任务随机到达的3D打印服务系统进行优化建模.考虑到工作台尺寸的限制以及打印参数层高对打印质量的影响,论文以各个任务队列长度作为系统联合状态,以任务组合以及打印参数层高作为系... 详细信息

研究打印参数可变模式下3D打印批调度问题,旨在对打印任务随机到达的3D打印服务系统进行优化建模.考虑到工作台尺寸的限制以及打印参数层高对打印质量的影响,论文以各个任务队列长度作为系统联合状态,以任务组合以及打印参数层高作为系统的联合控制变量,以提高生产率、减少打印质量损失、节约电能为综合目标,将优化问题描述为半马尔科夫决策过程(SMDP),以便采用策略迭代算法、Q学习等算法求解系统最优调度策略.仿真结果表明,与层高参数固定模式以及先到先服务(FCFS)模式相比,本文求解的批调度策略能够有效提高生产性能.

关键词： 3D打印批调度半马尔科夫决策过程策略迭代

基于SMDP的异构无线网络联合接纳控制策略研究

在线全文

学校读者我要写书评

暂无评论

北京工业大学学报 2015年第9期41卷 1355-1364页

作者：张媛媛肖创柏王坚北京工业大学计算机学院北京100124 中央财经大学信息学院北京100081

为了异构无线网络中不同无线技术的融合协同工作可以为终端接人提供随时随地的高质量的网络服务,联合呼叫接纳控制机制是适用于异构无线网络的判决呼叫准入的机制.提出一种优化的联合呼叫接纳控制机制用于异构无线网络,将新的呼叫和切... 详细信息

为了异构无线网络中不同无线技术的融合协同工作可以为终端接人提供随时随地的高质量的网络服务,联合呼叫接纳控制机制是适用于异构无线网络的判决呼叫准入的机制.提出一种优化的联合呼叫接纳控制机制用于异构无线网络,将新的呼叫和切换呼叫作为触发接纳控制的事件,对影响服务质量的参数和接纳控制开销进行网络效用建模分析,使用改进的值迭代算法来降低计算复杂度,将阈值函数分成多个域,来获得最优决策策略.提出的联合接入控制策略可提供优化服务质量保证,节约整个网络的能耗成本,并且有效降低呼叫阻塞率和切换掉线率.实验结果表明:算法具有较高的求解有效性,而且求解速度快,具有较高的推广应用价值.

关键词：异构无线网络接纳控制半马尔科夫决策过程

在线全文

学校读者我要写书评

暂无评论

基于性能势的A*平均奖赏强化学习算法研究

计算机仿真 2014年第7期31卷 338-341页

作者：黄浩晖杨宛璐陈玮广东工业大学自动化学院广东广州510006

强化学习和性能势理论是当前人工智能领域的研究热点,RoboCup足球机器人仿真为人工智能和机器人学研究提供了一个良好的实验平台,针对强化学习和性能势理论在足球机器人仿真应用中求解过程不稳定和收敛速度过慢问题,提出了一个新的强化... 详细信息

强化学习和性能势理论是当前人工智能领域的研究热点,RoboCup足球机器人仿真为人工智能和机器人学研究提供了一个良好的实验平台,针对强化学习和性能势理论在足球机器人仿真应用中求解过程不稳定和收敛速度过慢问题,提出了一个新的强化学习算法——基于性能势的A*平均奖赏强化学习算法(GA*-learning)。GA*-learning在基于性能势的平均奖赏强化学习算法(G-learning)中加入启发式函数,根据启发式策略确定动作的选择,从而加快学习收敛速度。把GA*-learning运用到通过简化的机器人足球领域——keepaway,仿真结果验证了算法能有效提高系统的性能和收敛速度。

关键词：强化学习性能势启发式搜索半马尔科夫决策过程

基于SMDP的虚拟化无线传感网络资源分配策略

在线全文

学校读者我要写书评

暂无评论

太赫兹科学与电子信息学报 2020年第1期18卷 66-71页

作者：王汝言李宏娟李红霞重庆邮电大学通信与信息工程学院重庆400065 重庆高校市级光通信与网络重点实验室重庆400065 泛在感知与互联重庆市重点实验室重庆400065 中国联合网络通信有限公司重庆市分公司重庆401123

针对传统无线传感网络(WSN)中资源部署与特定任务的耦合关系密切从而造成较低的资源利用率问题,将虚拟化技术引入WSN,提出基于半马尔科夫决策过程(SMDP)的资源分配策略。定义虚拟化WSN的状态集、行为集、状态转移概率,考虑传感网能量受... 详细信息

针对传统无线传感网络(WSN)中资源部署与特定任务的耦合关系密切从而造成较低的资源利用率问题,将虚拟化技术引入WSN,提出基于半马尔科夫决策过程(SMDP)的资源分配策略。定义虚拟化WSN的状态集、行为集、状态转移概率,考虑传感网能量受限以及完成虚拟传感网络请求(VSNR)的时间,给出奖励的表达式,并使用值迭代的方法求解特定状态下的行为,在提高资源利用率的同时最大化网络资源提供者的长期收益。数值结果表明,所提的资源分配策略能有效提高资源提供者的收益。

关键词：无线传感网络虚拟化资源分配半马尔科夫决策过程

基于多目标分布式强化学习的大规模订单指派机制

在线全文

学校读者我要写书评

暂无评论

基于多目标分布式强化学习的大规模订单指派机制

作者：卢晨凡上海财经大学

学位级别：硕士

网约车市场的快速发展,对订单调度的效率提出了越来越高的要求。传统的策略,要么以最小化司机与乘客间的距离为目标,要么以最大化平台收入为目标,在一定程度上优化了订单匹配机制,但从时空的角度看,并不是最优的。本文旨在开发一个多目... 详细信息

网约车市场的快速发展,对订单调度的效率提出了越来越高的要求。传统的策略,要么以最小化司机与乘客间的距离为目标,要么以最大化平台收入为目标,在一定程度上优化了订单匹配机制,但从时空的角度看,并不是最优的。本文旨在开发一个多目标分布式强化学习(MODRL)框架,在匹配司机与订单时,既考虑未来累积收入,又考虑供需网络之间的平衡,以提升用户体验,促进平台发展。在基于强化学习的方法中,司机的服务轨迹,被建模成马尔科夫决策过程。状态是司机所处的地理位置、时间和环境特征,动作是接单或者空车游走,策略是司机在某个状态下执行某个动作的概率,奖励是订单的费用。本文对此进行拓展,创新性地提出了多目标半马尔科夫决策过程,允许司机的一个动作跨越多个时间片,设置订单终点的供需差作为第二个奖励。在更加贴合真实场景的同时,融入供需差因素,将多余的司机指派到供不应求处,以平衡供给与需求。收益与供需差在匹配过程中的作用是不一致的,为寻找两者之间的权重,本文采用了相对熵逆强化学习算法。它基于最大熵逆强化学习算法,在满足约束的情况下,使得专家轨迹分布的熵最大,再利用最大似然法求出权重向量的梯度。但是由于订单调度环境的复杂性,无法获取司机的状态转移概率。需要借助重要性抽样的方法,从策略已知的轨迹中抽取一部分,用来计算梯度。往梯度下降的方向更新权重向量,期间固定第一个分量w=1(对应订单费用),不断迭代直至分量w(对应订单终点供需差)收敛。平台在指派订单时,需要考虑到未来累积收益的大小,即状态价值。求状态价值的方法主要分为三种:动态规划、蒙特卡洛和时间差分。其中动态规划需要用到状态转移概率,不适合此处的场景;蒙特卡洛从已有轨迹中采样,效率太低。时间差分结合了蒙特卡洛的采样思想和动态规划的自举思想,既避免求复杂环境中的状态转移概率,又提升了学习效率。本文正是采用了这种方法,计算当前状态价值与后继状态价值之差,作为优化的目标。另外,考虑到状态价值是一个分布,仅考虑其期望是不够的,本文借助隐式分位数网络,通过学习各个分位点间接地获得整个分布。在最终的联合训练模型中,两个目标的分位数网络共享状态嵌入层,同时拥有各自的分位数水平嵌入层和全连接层,总损失函数是分位点损失与时间差分损失之和。从滴滴平台获取了三个城市的司机轨迹数据,经预处理后,求得两个目标间的相对权重。将司机轨迹转化成(状态,奖励,下一状态)的三元组,用于学习状态价值分布。经过测试,联合训练要优于两个模型分开训练,收敛速度更快,损失函数也更小。为了评估多目标分布式强化学习框架的有效性,在调度模拟器上进行试验,将司机与订单的匹配建模成二分图,调整供需因素的权重w,分别与距离最近策略、收入最大化策略、CVNET进行对比。结果表明,寻找到的最优策略无论是在平台收入上,还是在订单响应率和完成率上,都明显优于三个Baseline,在供需错配越严重的城市,提升效果更加明显。供需差因素在实际的匹配过程中往往被低估了,提高供需差因素的权重,模型能从更宏观的角度优化司机的空间分布,从而促进供需市场达到平衡,释放平台收入增长的潜力。固定最优策略对应的w,将边权计算公式中的期望替换成分位点,探究不同分位点之间、分位点与期望之间的组合对于调度效果的影响,结果显示,在部分城市分位点取得了比期望更加优异的表现。不同城市偏好不同风险的策略,充分利用状态价值分布分位点的信息,有助于进一步优化订单指派机制。本文提出的多目标分布式强化学习框架,在提升了平台收入的同时,又使得供需网络变得更加平衡,具有很广阔的应用前景。

关键词：订单指派半马尔科夫决策过程多目标强化学习