基于深度强化学习的智能频谱分配策略研究

随着无线网络被广泛使用,频谱资源变得越来越稀缺,高效的频谱分配策略对无线通信至关重要。动态频谱接入是一个动态时变优化问题,基于固定编码的算法无法自适应复杂的网络环境。本文将深度强化学习算法引入到认知无线电系统中,使智能体在未知频谱环境下不断与环境进行交互,学习到最佳频谱选择策略,提高频谱资源利用效率。实验结果表明:该算法在复杂的网络环境下能有效学习到最佳策略,且当网络环境发生变化时,算法能自动调整,实现二次收敛。     

基于强化学习的合作频谱分配算法

为了解决认知无线电网络中的频谱分配问题,提出了一种基于用户体验质量的合作强化学习频谱分配算法,将认知网络中的次用户模拟为强化学习中的智能体,并在次用户间引入合作机制,新加入用户可以吸收借鉴其他用户的强化学习经验,能够以更快的速度获得最佳的频谱分配方案;并且在频谱分配过程中引入了主用户和次用户之间的价格博弈因素,允许主用...     

基于强化学习的动态频谱分配研究

首先介绍了认知无线电技术产生的背景,以及强化学习的发展和应用于认知领域的优势;接着对强化学习的基本原理及其2个常见的模型Q-Learning和POMDP作了介绍,并对其模型定义、思想、所要描述的问题和使用的场景都做了较详细的阐述;然后针对这个方向最近几年的顶级会议和期刊论文,分析了其主要内容;通过最近几年的学术、会议论文中所述的研究现状及成果,说明强化学习的主要特点是能够准确、快速学习到最优策略,能够模拟真实环境,自适应性强,提高频谱感知、分配效率,从而最大化系统吞吐量,这些优势充分证明了强化学习将是认知领域里一种很有前景的技术。     

基于深度强化学习的认知车联网频谱接入算法

先前的研究仅考虑仅仅存在认知车联网单一通信环境的问题,这样不能充分利用频谱资源。为了提高频谱利用率,提出一种适用于同时存在多个认知车辆的认知车联网环境的方法。同时为了提高认知车辆频谱接入的成功率,通过结合不同情况下的授权车辆和认知车辆的吞吐量设计了不同的反馈函数提出了一种改进的深度强化学习方法。所提出方法的性能明显优于传统的Q学习算法,能够更明显地提高频谱利用率,满足日益增长的车联网通信需求。     

基于Q学习自适应蚁群算法的认知无线电频谱分配

认知无线电能有效实现频谱资源的再利用,是当前通信研究领域的热点之一.如何进行频谱的合理分配是实现认知无线电网络有效运作的关键问题.在图论着色模型的基础上,提出了一种基于Q-学习的自适应蚁群算法.通过仿真实验表明,该算法性能明显优于颜色敏感图着色算法,能更好地实现网络效益最大化.同时,比传统的蚁群算法寻优能力更强,收敛速度更快.     

基于Q-学习自适应蚁群算法的CR电频谱分配

认知无线电能有效实现频谱资源的再利用,是当前通信研究领域的热点之一。如何进行频谱的合理分配是实现认知无线电网络有效运作的关键问题。在图论着色模型的基础上,提出了一种基于Q-学习的自适应蚁群算法。通过仿真实验表明,该算法性能明显优于颜色敏感图着色算法,能更好地实现网络效益最大化。同时,比传统的蚁群算法寻优能力更强,收敛速度更快。     

基于竞争双深度Q网络的动态频谱接入

针对多信道动态频谱接入问题,建立了存在感知错误与接入碰撞的复杂信道场景,提出了一种结合双深度Q网络和竞争Q网络的竞争双深度Q网络学习框架。双深度Q网络将动作的选择和评估分别用不同值函数实现,解决了值函数的过估计问题,而竞争Q网络解决了神经网络结构优化问题。该方案保证每个次要用户根据感知和回报结果做出频谱接入决策。仿真结果表明,在同时存在感知错误和次要用户冲突的多信道情况下,竞争双深度Q网络相比于同类方法具有较好的损失预测模型,其回报更稳定且提高了4%。     

认知无线电网络中一种基于深度强化学习的功率控制算法

在认知无线电网络中,对于Underlay接入方式的功率控制问题,现有基于强化学习的方法存在次用户接入信道的成功率和吞吐量较低。针对这一问题,提出了一种基于A3C的功率控制算法。仿真结果表明,所提基于A3C的功率控制算法比现有基于DQN的功率控制算法有效地提高了次用户接入信道的成功率和吞吐量。为了进一步优化次用户的吞吐量,将次用户功率选择空间连续化。仿真结果表明,在连续功率场景下,所提基于A3C的功率控制算法可以进一步提高次用户的吞吐量。     

基于深度强化学习的物联网传输数据实时调度方法

针对传统物联网传输数据实时调度方法的调度时间长,存在数据缺失的现象,提出了基于深度强化学习的物联网传输数据实时调度方法.采用深度强化学习采集物联网传输数据的特征序列样本,通过计算物联网传输数据的自适应转发特征量,建立了数据调度的频域均衡控制模型.根据模型判定物联网传输数据安全性,采用深度强化学习判别了物联网传输数据安全...     

基于注意力机制的深度学习频谱感知方法

深度学习具有出色的自动特征学习能力,比传统的机器学习方法具有更好的性能。注意力机制可以给予局部焦点更多的关注,而且还可以通过过滤掉无用的信息来降低计算复杂度。因此,具有注意力机制的深度学习可以有效实现自动特征学习,以及降低计算复杂度。本文针对认知无线电系统中主用户信号随机到达与离开时的频谱感知问题,提出了一种结合注意力机制的深度学习的感知方法。仿真结果表明,相比其它感知方法,所提出的频谱感知方法能够在主用户信号随机到达与离开的情况下有效工作及表现出优越的性能。     

基于深度强化学习的反向散射网络资源分配机制

为了提升反向散射网络中物联网设备的平均吞吐量,提出了一种资源分配机制,构建了用户配对和时隙分配联合优化资源分配模型。由于该模型直接利用深度强化学习(Deep Reinforcement Learning,DRL )算法求解导致动作空间维度较高且神经网络复杂,故将其分解为两层子问题以降低动作空间维度：首先,基于深度强化学习算法,利用历史信道信息推断当前的信道信息以进行最优的用户配对;然后,在用户固定配对的情况下,基于凸优化算法,以最大化物联网设备总吞吐量为目标进行最优的时隙分配。仿真结果表明,与其他资源分配方法相比,所提资源分配方法能有效提升系统吞吐量,且有较好的信道适应性和收敛性。     

Dynamic channel selection with reinforcement learning for cognitive WLAN over fiber

The Internet of Things (IoT) is the next big possibility and challenge for the future information networks. It makes the interaction between people and things more active and provides the connection among different existing networks. Ubiquitous short‐range wireless access and cognitive radio are key technologies for the IoT's realization. This paper deals with some problems in an integrated system of wireless local area network (WLAN) and cognitive radio — cognitive WLAN over fiber (CWLANoF). CWLANoF is a cost‐effective and efficient architecture that combines radio over fiber and cognitive radio technologies to provide centralized radio resource management and equal spectrum access in infrastructure‐based IEEE 802.11 WLANs. In this paper, a reinforcement learning approach is applied to implement dynamic channel selection in CWLANoF. The cognitive access points select the best channels among the industrial, scientific, and medical band for data packet transmission, given that the objective is to minimize external interference and acquire better network‐wide performance. The reinforcement learning method avoids solving complex optimization problems while being able to explore the states of a CWLANoF system during normal operations. Simulation results reveal that the proposed strategy is effective in avoiding aggregated interference, reducing outage probability, and improving network throughput. Copyright © 2012 John Wiley & Sons, Ltd.     

An online power allocation algorithm based on deep reinforcement learning in multibeam satellite systems

Dynamic power allocation (DPA) is the key technique to improve the system throughput by matching the offered capacity with that required among distributed beams in multibeam satellite systems. Existing power allocation studies tend to adopt the metaheuristic optimization algorithms such as the genetic algorithm. The achieved DPA cannot adapt to the dynamic environments due to the varying traffic demands and the channel conditions. To solve this problem, an online algorithm named deep reinforcement learning‐based dynamic power allocation (DRL‐DPA) algorithm is proposed in this paper. The key idea of the proposed DRL‐DPA lies in the online power allocation decision making other than the offline way of the traditional metaheuristic methods. Simulation results show that the proposed DRL‐DPA algorithm can improve the system performance in terms of system throughput and power consumption in multibeam satellite systems.     

深度强化学习在物联网边缘计算中的应用研究

针对传统的物联网边缘计算方法存在计算成本过高,计算时间过长等问题,文中引入了深度强化学习技术,对物联网边缘计算方法进行优化.通过物联网拓扑结构设定物联网边缘计算周期,获取数据上传速度.设计边缘计算执行过程,提升边缘计算资源分配效率.引入深度强化学习技术中的CNN模型实现卷积计算,完成物联网边缘计算的资源分配.至此,实现...     

Deep reinforcement learning based resource allocation algorithm in cellular networks

In order to solve multi-objective optimization problem,a resource allocation algorithm based on deep reinforcement learning in cellular networks was proposed.Firstly,deep neural network (DNN) was built to optimize the transmission rate of cellular system and to complete the forward transmission process of the algorithm.Then,the Q-learning mechanism was utilized to construct the error function,which used energy efficiency as the rewards.The gradient descent method was used to train the weights of DNN,and the reverse training process of the algorithm was completed.The simulation results show that the proposed algorithm can determine optimization extent of optimal resource allocation scheme with rapid convergence ability,it is obviously superior to the other algorithms in terms of transmission rate and system energy consumption optimization.     

基于干扰消减的认知无线电频谱分配算法

在认知无线电网络的频谱分配过程基础上,提出了一种基于干扰消减的频谱分配算法.该算法通过将可用频谱分配给能够同时无干扰地接入同一频谱的所有认知用户来提高授权频谱的使用率.同时,该算法参考各个认知用户在初始阶段的可用频谱数量来为未分配到频谱资源的认知用户进行频谱分配,对频谱分配过程的公平性进行了优化.仿真结果表明,该算法能够在认知用户数量较多、可用频谱紧张的情况下获得较高的吞吐量.     

认知无线电频谱分配新算法研究

构造了一个基于合作博奕的非对称纳什协商效能函数,并通过2个认知用户间协商子载波的使用,实现了基于感知贡献加权的比例公平性频谱分配的新算法。仿真结果表明提出的方案不仅实现了频谱资源的公平有效分配,而且有利于频谱感知的最大化。