检索结果-南通市图书馆

一种基于可解释深度强化学习的动态频谱接入方法

在线全文

学校读者我要写书评

暂无评论

电讯技术 2024年

作者：耿凯张建照姚昌华国防科技大学第六十三研究所南京信息工程大学电子与信息工程学院

针对基于强化学习的动态频谱接入模型性能有限、可解释性差的问题，提出了一种基于权重分析的动态频谱接入方法。我们采用了储备池计算（Reservoir Computing， RC）网络来替代传统的深度Q学习网络 (Deep Q-Learning Network， DQN)，... 详细信息

针对基于强化学习的动态频谱接入模型性能有限、可解释性差的问题，提出了一种基于权重分析的动态频谱接入方法。我们采用了储备池计算（Reservoir Computing， RC）网络来替代传统的深度Q学习网络 (Deep Q-Learning Network， DQN)，以简化网络结构并提高计算效率。同时引入了权重分析的可解释方法，通过生成热力图来反映神经网络对不同信道的认知和偏好，从而提高了模型的可解释性。仿真结果表明，在多用户环境中，该算法在平均成功率、平均碰撞率和平均奖励等关键指标上显著优于Q-Learning等传统强化学习算法。相较于DQN+MLP算法，该算法不仅加快了收敛速度，而且在平均成功率达到0.8、平均碰撞率接近0以及平均奖励等关键指标上表现得与之相当。

关键词：动态频谱接入可解释人工智能储备池计算深度强化学习

无线通信中的频谱感知与动态频谱接入技术研究

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

中文科技期刊数据库（引文版）工程技术 2024年第9期 0109-0112页

作者：罗小彬巴林左旗市场监督管理局内蒙古赤峰025450

随着无线通信技术的迅速发展,频谱资源日益成为一种宝贵的资源。频谱感知与动态频谱接入技术作为解决频谱资源管理难题的重要手段备受关注。本文综述了频谱感知与动态频谱接入技术在无线通信领域的研究现状与应用前景,分析了其在提升频... 详细信息

随着无线通信技术的迅速发展,频谱资源日益成为一种宝贵的资源。频谱感知与动态频谱接入技术作为解决频谱资源管理难题的重要手段备受关注。本文综述了频谱感知与动态频谱接入技术在无线通信领域的研究现状与应用前景,分析了其在提升频谱利用效率、解决频谱拥塞和频谱管理等方面的重要作用。并结合实验分析,展示了这些技术的潜力和优势,为未来的频谱管理与通信技术发展提供了有益的参考。

关键词：频谱感知动态频谱接入无线通信认知无线电频谱管理

动态频谱接入中基于最小贝叶斯风险的稳健频谱预测

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

电子与信息学报 2018年第3期40卷 734-742页

作者：陈曦杨健南京理工大学机械工程学院南京210094 南京电讯技术研究所南京210007

针对频谱感知错误累积造成频谱预测性能恶化问题,该文提出一种基于最小贝叶斯风险的稳健频谱预测策略。分布拟合检验表明频谱预测输出服从正态分布,定义频谱预测输出的贝叶斯风险函数,证明使贝叶斯风险函数最小的频谱预测输出判决门限... 详细信息

针对频谱感知错误累积造成频谱预测性能恶化问题,该文提出一种基于最小贝叶斯风险的稳健频谱预测策略。分布拟合检验表明频谱预测输出服从正态分布,定义频谱预测输出的贝叶斯风险函数,证明使贝叶斯风险函数最小的频谱预测输出判决门限将使频谱预测的均方误差最小,求得了使贝叶斯风险最小的最优判决门限,构建稳健频谱预测策略。仿真结果表明,与固定判决门限的神经网络频谱预测相比,稳健频谱预测策略改进了频谱感知错误下的频谱预测性能,改善了非授权用户的动态频谱接入性能。

关键词：动态频谱接入稳健频谱预测神经网络贝叶斯风险预测准确率

在线全文

学校读者我要写书评

暂无评论

基于竞争双深度Q网络的动态频谱接入

电讯技术 2022年第12期62卷 1715-1721页

作者：梁燕惠莹重庆邮电大学通信与信息工程学院重庆400065 信号与信息处理重庆市重点实验室重庆400065

针对多信道动态频谱接入问题,建立了存在感知错误与接入碰撞的复杂信道场景,提出了一种结合双深度Q网络和竞争Q网络的竞争双深度Q网络学习框架。双深度Q网络将动作的选择和评估分别用不同值函数实现,解决了值函数的过估计问题,而竞争Q... 详细信息

针对多信道动态频谱接入问题,建立了存在感知错误与接入碰撞的复杂信道场景,提出了一种结合双深度Q网络和竞争Q网络的竞争双深度Q网络学习框架。双深度Q网络将动作的选择和评估分别用不同值函数实现,解决了值函数的过估计问题,而竞争Q网络解决了神经网络结构优化问题。该方案保证每个次要用户根据感知和回报结果做出频谱接入决策。仿真结果表明,在同时存在感知错误和次要用户冲突的多信道情况下,竞争双深度Q网络相比于同类方法具有较好的损失预测模型,其回报更稳定且提高了4%。

关键词：认知无线电频谱感知动态频谱接入深度强化学习竞争双深度Q网络

在线全文

学校读者我要写书评

暂无评论

动态频谱接入的Q学习优化算法

西安电子科技大学学报 2015年第6期42卷 179-183页

作者：黄影严定宇李男西安文理学院数学与计算机工程学院陕西西安710068 西安电子科技大学综合业务网理论及关键技术国家重点实验室陕西西安710071

在认知无线电网络的中心架构下针对网络整体性能和用户需求,提出一种基于Q学习的动态频谱接入优化算法.该算法通过认知用户根据Q学习算法提出信道申请和控制节点;根据网络整体性能处理申请两个主要步骤的实施,完成动态频谱的接入.仿真... 详细信息

在认知无线电网络的中心架构下针对网络整体性能和用户需求,提出一种基于Q学习的动态频谱接入优化算法.该算法通过认知用户根据Q学习算法提出信道申请和控制节点;根据网络整体性能处理申请两个主要步骤的实施,完成动态频谱的接入.仿真与分析表明,该优化算法在满足用户频谱需求的同时使得网络整体性能得到明显的改善.

关键词：认知无线电网络动态频谱接入 Q学习

基于深度强化学习的认知无线网络动态频谱接入策略研究

在线全文

学校读者我要写书评

暂无评论

基于深度强化学习的认知无线网络动态频谱接入策略研究

作者：张秋彤内蒙古大学

学位级别：硕士

随着第六代通信系统从构想中诞生,需要大量带宽的数据密集型应用遍布生产生活的方方面面,这对频谱的利用提出了巨大的挑战。然而,频谱资源作为通信发展的核心资源,面临着严重稀缺的局面。解决频谱稀缺的方法主要包括向更高频段扩展和提... 详细信息

随着第六代通信系统从构想中诞生,需要大量带宽的数据密集型应用遍布生产生活的方方面面,这对频谱的利用提出了巨大的挑战。然而,频谱资源作为通信发展的核心资源,面临着严重稀缺的局面。解决频谱稀缺的方法主要包括向更高频段扩展和提高频谱利用效率两种思路。虽然高频段频谱传输速度快,但是其波长短,所以在传输中能量损耗很大。因此如何在现有的频谱分配中提高频谱利用效率成为现代通信发展的关键问题。认知无线网络作为认知无线电和认知网络的结合产物,可以通过频谱分配有效提高频谱资源利用率。在认知无线网络中,用户根据信道占用状态分为主用户和次用户,而主用户在所分配频段上存在活跃和空闲两种状态。当主用户处于空闲状态,就会产生大量的频谱空洞,这会造成频谱资源的浪费。为合理利用频谱空洞,研究人员提出通过次用户对主用户频段上的频谱空洞进行感知和机会地接入,即动态频谱接入技术。然而,这种次用户在未经授权的频段上通信的行为对干扰管理和决策速度提出更高的要求。本文的研究目标是在频谱感知结果不完全正确的前提下,采用深度强化学习方法提出决策速度快且接入准确度高的动态频谱接入策略,提高频谱利用率。首先,本文建立了多用户多信道的认知无线网络的离散时间模型,为每个次用户开发一个分布式动态频谱接入策略,以在不影响主网络性能的情况下提高频谱利用率。同时,本文通过设计预警信号的方法保护主用户通信质量,即在主用户信道增益较低时将预警信息通过专用信道发送给主控系统,实现对主用户的干扰控制。其次,由于多用户多信道认知无线网络的节点数量庞大,节点间关系复杂程度高,传统算法在决策时需要大量的计算。本文充分利用了与认知无线网络一样具有认知能力且具有强大自适应性的深度强化学习技术,提出了基于改进的深度循环Q网络（Deep Recurrent Q Network,DRQN）的多用户多信道认知无线网络动态频谱接入方法。为了解决多用户多信道的复杂认知无线环境中大状态空间以及部分可观测性导致的高计算量问题,提出使用长短时记忆（LongShort Term Memory,LSTM）网络作为深度Q网络（Deep Q Network,DQN）中的Q网络充分利用历史信息减少计算量,并通过设置Dropout层防止过拟合的现象发生。同时为了解决DQN网络中存在的Q值过估计问题,采用双DQN（Double Deep Q Network,DDQN）网络将估计Q值和决策动作过程分别用两个网络训练,避免使用同一个Q值训练网络,提高了预测精度。试验结果表明,该方法可以得到较高的接入准确度和较低的干扰值。最后,本文提出了一种基于优先级经验回放机制的深度回声状态Q网络（Prioritized Experience Replay-Deep Echo State Q Network,PER-DESQN）多用户多信道认知无线网络动态频谱接入算法。由于在DRQN算法中,LSTM网络结构复杂导致收敛速度下降,因此本文采用回声状态网络（Echo State Network,ESN）利用底层时间相关性作为Q网络预测并估计Q值,与LSTM相比,ESN网络采用固定权重代替传统的梯度下降方法进行权重更新,大大降低了训练的计算量,缩短收敛时间;同时,为了解决在DDQN算法中以随机采样的方法在经验回放区内采样带来的Q值不稳定的问题,本算法提出利用基于Sum Tree的优先级经验回放（Prioritized Experience Replay,PER）机制,并结合重要性采样原则优化DDQN网络,对经验池中的样本按优先级采样,提升算法稳定性和接入准确度。仿真实验表明,基于PER-DESQN的多用户多信道认知无线网络动态频谱接入算法可以做出快速准确的动态频谱接入决策,并显著增加系统传输速率。

关键词：认知无线网络动态频谱接入深度强化学习优先级经验回放回声状态网络

基于强化学习的认知无线电动态频谱接入算法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于强化学习的认知无线电动态频谱接入算法研究

作者：孙灿大连理工大学

学位级别：硕士

随着无线通信技术的发展以及各种通信接入设备的增多,当前固定的频谱分配政策极大的限制了对有限频谱资源的利用。认知无线电技术允许认知用户机会式地利用环境中的空闲频谱资源,有利于提高频谱利用率,因而受到了广泛的关注与研究。同时... 详细信息

随着无线通信技术的发展以及各种通信接入设备的增多,当前固定的频谱分配政策极大的限制了对有限频谱资源的利用。认知无线电技术允许认知用户机会式地利用环境中的空闲频谱资源,有利于提高频谱利用率,因而受到了广泛的关注与研究。同时,以学习并获取最佳动作选择策略为目标的强化学习算法能够极大提高系统的智能性,在自动控制和资源优化等领域受到了广泛应用。本文研究了基于强化学习的认知无线电动态频谱接入算法,实现了对有限频谱资源的智能化利用,从而提升系统的通信性能。本文主要研究内容如下:首先,提出了基于强化学习的单信道频谱接入方案,优化频谱选择策略。使用Q学习算法,针对Overlay、Underlay以及协作频谱接入三种接入模式提出了智能分配频谱资源的方法。采用了先感知后传输的传输帧结构,避免认知用户盲目接入信道对授权用户产生干扰。定义了频谱访问模式的Q学习模型,包括频谱状态向量、认知用户的动作向量以及在不同频谱状态下的频谱访问奖励。仿真结果表明,与Overlay和Underlay两种接入方式相比,协作频谱接入具有高吞吐量、低干扰功率和低中断率等优点。其次,提出了基于强化学习的多信道频谱接入方案,利用多信道传输来减少认知用户的中断概率。结合Thompson采样算法,对信道空闲概率进行预测,按照预测值对信道进行降序排序,使得认知用户在频谱感知时更快的找到空闲信道。对信道剩余空闲时长进行了预测,减少认知用户在空闲时间内的感知次数和切换次数,并使认知用户及时退出信道避免对授权用户造成干扰。仿真结果表明,该方案在提高认知用户吞吐量、降低认知用户中断率、降低冲突概率和频谱切换频率等方面表现良好。最后,提出了基于强化学习的非正交多址频谱接入方案,从避免干扰和保证认知用户吞吐量出发,提高系统的传输性能。不同于正交多址接入中一份频谱资源只能被一个用户使用,非正交多址接入中一份频谱资源可以被多个用户同时使用,并在功率域上对各个用户的信号进行区分,这样可以同时提高频谱利用率以及认知用户的吞吐量。基于Q学习算法,认知用户学习去使用大于信道中授权用户的传输功率,在解调时利用串行干扰消除技术消除认知信号对授权用户信号的干扰,大大减少了对授权用户的干扰。仿真结果表明,对比基于Q学习的正交多址频谱接入方案,基于Q学习的非正交多址频谱接入方案在保证认知用户吞吐量、降低认知用户中断率和减少对授权用户干扰方面具有优势。

关键词：强化学习认知无线电动态频谱接入 Q学习非正交多址接入

基于混合频谱预测的分布式动态频谱接入算法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于混合频谱预测的分布式动态频谱接入算法研究

作者：夏婧哈尔滨工程大学

学位级别：硕士

随着第六代移动通信系统从构想逐渐走入现实,海量的数据密集型应用以及无线通信设备急需更多带宽资源,因此频谱使用的供需矛盾愈发尖锐。目前解决频谱资源短缺的思路有两种,一是向更高的空白频段拓展,二是提高现有的频段利用效率。然而... 详细信息

随着第六代移动通信系统从构想逐渐走入现实,海量的数据密集型应用以及无线通信设备急需更多带宽资源,因此频谱使用的供需矛盾愈发尖锐。目前解决频谱资源短缺的思路有两种,一是向更高的空白频段拓展,二是提高现有的频段利用效率。然而高频段具有波长短的特点,传输能量损耗大、对硬件设备的精密度要求更高,因此通过动态频谱接入技术最大化现有频段的利用效率仍是当前最受关注的问题之一。但目前的动态频谱接入技术还需认知用户频繁地进行频谱切换,导致其通信质量下降,而且对主用户存在一定的干扰。因此针对上述问题,本文首先研究了主用户的频谱占用规律,通过将频谱状态规律与信道可用时长预测相结合,提出了基于深度学习的混合频谱预测新算法,来实现提高预测准确率和减小与主用户冲突的目标。其次,研究了分布式非协作系统模型下的动态频谱接入过程,针对认知用户在接入过程需频繁切换信道、自身通信服务质量下降的问题,结合预测知识优化动态频谱接入算法,通过将预测知识作为决策网络的状态空间输入,同时考虑认知用户在非协作接入信道过程中的影响因素,在饱和业务下进行仿真实验,结果说明认知用户能够有效减小信道切换时延、降低通信中断概率,且优化后的算法对主用户的干扰更小。最后,本文针对考虑用户空间距离的动态频谱接入过程存在的感知不准确、对主用户造成通信干扰的问题进行了分析。本文通过引入回声状态网络结构来记忆频谱接入动作,对历史的频谱状态进行学习以避免感知失误造成的用户间碰撞,并且改进了决策算法的奖励函数,通过引入主用户空间保护距离来限制认知用户对主用户产生的通信干扰。实验表明,改进算法能够有效降低用户间的冲突,提高频谱接入成功效率。

关键词：动态频谱接入频谱预测深度强化学习分布式接入

基于多用户强化学习的多信道认知车联网动态频谱接入问题研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多用户强化学习的多信道认知车联网动态频谱接入问题研究

作者：赵全军吉林化工学院

学位级别：硕士

伴随着通信技术的高速发展以及物联网与智能汽车的普及,交通行业也逐渐走向了智能化。车联网技术(Vehicle to Everything,V2X)成为物联网与智能汽车两大领域的重要交集。然而,随着车联网通信业务的种类呈现多元化发展趋势以及车联网通... 详细信息

伴随着通信技术的高速发展以及物联网与智能汽车的普及,交通行业也逐渐走向了智能化。车联网技术(Vehicle to Everything,V2X)成为物联网与智能汽车两大领域的重要交集。然而,随着车联网通信业务的种类呈现多元化发展趋势以及车联网通信设备的不断增加导致通信需求爆发式增长,充分利用频谱资源成为车联网通信的一项重要挑战。为了提高频谱利用率,认知无线电能够通过对空闲频段的智能使用这种方式恰好可以满足车联网通信的需求。于是,认知车联网(Cognitive Vehicular Networks,CVNs)的概念从此被提出,即能够支持认知无线电技术(Cognitive Radio,CR)的车联网。在认知车联网中,车辆类型主要分为两种:授权车辆与认知车辆。授权车辆优先使用授权频段进行数据传输,认知车辆感知信道状态尝试使用未被授权车辆占有的频段,于是动态频谱接入是认知车联网中的有效提高频谱利用率的方法之一。本文根据现有的认知车联网动态频谱接入研究的局限性,提出了基于强化学习的动态频谱接入算法。论文的主要工作和贡献如下:1.先前的研究仅考虑了认知车辆网中单一通信链路,车辆与车辆之间的通信链路(Vehicle to Vehicle,V2V)或者车辆与路边设施之间的通信链路(Vehicle to Infrastructure,V2I),同时忽略了认知车辆的频谱感知错误带来的影响。因此本文建立了一个同时存在V2V链路与V2I链路且存在一定干扰与频谱感知错误的认知车联网通信模型。在所建立的认知车联网通信场景中,包含多个认知车辆与多个授权车辆,认知车辆机会式接入信道进行通信。2.针对认知车辆的不同接入情况,本文提出了一种基于多反馈强化学习的动态频谱接入方法。在现实的认知车联网通信环境中,降低认知车辆接入信道的成功率的通信碰撞情况主要分为以下两类:认知车辆与认知车辆之间的通信碰撞,认知车辆与授权车辆发生的通信碰撞。所提方法根据不同的碰撞情况下的信道容量重新设计不同的反馈系数,进而提高所提方法的性能与收敛性。在所提出方法中,认知车辆作为智能体在认知车联网环境中不断学习,寻找到最优策略进而提高认知车辆接入信道的成功率。在本文,我们探索了不同车流密度与不同频谱感知错误对所提出方法的影响。通过对比贪婪方法(Myopic Strategy),深度Q网络强化学习算法(Deep Q-Network,DQN)与基于竞争网络的深度Q网络学习算法(Dueling Deep Q-Network,DDQN)方法,仿真结果表明所提出的所提方法的性能与收敛性都明显优于其它对比方法,不仅提高了频谱利用率,同时提高了能量效率。3.在认知车联网的频谱接入问题中,车辆的速度对其通信质量具有一定的影响,然而车辆的通信范围一般情况下都是确定的,因此最根本原因是时间因素对频谱接入的影响。本文为认知车辆设计了一种新的时隙结构,结合所提出的时隙结构重新设计不同接入情况下的反馈函数。同时,由于所提的通信模型中包含两种不同的通信链路,为了能够平衡两种不同通信链路的各自累积反馈对总体反馈的影响,提出一种结合链路数目的累积反馈函数设计,最终仿真结果进一步说明所提方法对于不同通信环境具有较好的泛化能力。

关键词：认知车联网强化学习动态频谱接入时隙结构