基于深度强化学习的智能频谱分配策略研究

随着无线网络被广泛使用,频谱资源变得越来越稀缺,高效的频谱分配策略对无线通信至关重要。动态频谱接入是一个动态时变优化问题,基于固定编码的算法无法自适应复杂的网络环境。本文将深度强化学习算法引入到认知无线电系统中,使智能体在未知频谱环境下不断与环境进行交互,学习到最佳频谱选择策略,提高频谱资源利用效率。实验结果表明:该算法在复杂的网络环境下能有效学习到最佳策略,且当网络环境发生变化时,算法能自动调整,实现二次收敛。     

基于强化学习的动态频谱分配研究

首先介绍了认知无线电技术产生的背景,以及强化学习的发展和应用于认知领域的优势;接着对强化学习的基本原理及其2个常见的模型Q-Learning和POMDP作了介绍,并对其模型定义、思想、所要描述的问题和使用的场景都做了较详细的阐述;然后针对这个方向最近几年的顶级会议和期刊论文,分析了其主要内容;通过最近几年的学术、会议论文中所述的研究现状及成果,说明强化学习的主要特点是能够准确、快速学习到最优策略,能够模拟真实环境,自适应性强,提高频谱感知、分配效率,从而最大化系统吞吐量,这些优势充分证明了强化学习将是认知领域里一种很有前景的技术。     

基于深度强化学习的工业物联网多用户频谱分配

随着5G时代的来临,工业物联网将迎来蓬勃发展.然而,联网设备数量的不断增加,加剧了有限的频谱资源与大量的通信需求之间的矛盾.针对以上问题,提出了一种基于聚类分组和深度强化学习的合作式动态频谱分配算法,使用户可以获得较低的信息传输中断概率以及较少的多跳转发次数,快速找到信息传输的最优路径.在动态频谱分配中,该算法可以有效...     

基于Q学习自适应蚁群算法的认知无线电频谱分配

认知无线电能有效实现频谱资源的再利用,是当前通信研究领域的热点之一.如何进行频谱的合理分配是实现认知无线电网络有效运作的关键问题.在图论着色模型的基础上,提出了一种基于Q-学习的自适应蚁群算法.通过仿真实验表明,该算法性能明显优于颜色敏感图着色算法,能更好地实现网络效益最大化.同时,比传统的蚁群算法寻优能力更强,收敛速度更快.     

基于并行分配算法的认知无线电频谱分配算法

针对传统频谱分配方式不合理造成频谱匮乏以及CSGC算法在频谱分配上消耗时间过长影响实时通信的问题,文中提出了一种基于并行分配算法的认知无线电频谱分配算法,其通过同时给各顶点进行上色,从而节省了时间开销。实验证明,并行算法不仅具有与CSGC算法同样的高频谱利用率,且其频谱分配时间开销更低,是一种理想的认知无线电频谱分配算法。     

基于Q-学习自适应蚁群算法的CR电频谱分配

认知无线电能有效实现频谱资源的再利用,是当前通信研究领域的热点之一。如何进行频谱的合理分配是实现认知无线电网络有效运作的关键问题。在图论着色模型的基础上,提出了一种基于Q-学习的自适应蚁群算法。通过仿真实验表明,该算法性能明显优于颜色敏感图着色算法,能更好地实现网络效益最大化。同时,比传统的蚁群算法寻优能力更强,收敛速度更快。     

认知无线电中基于频谱聚合的频谱分配算法

为了使认知用户可成功接入分配的频谱,进一步提高频谱利用率,提出了一种基于频谱聚合的分布式频谱分配算法(SADSA),该算法以图论着色为模型,算法过程考虑了认知用户的带宽需求和认知设备的最大聚合范围,仿真结果表明了该算法在认知用户接入率方面的优越性.     

基于认知无线电的动态频谱分配算法研究

在认知无线电系统中,动态频谱分配技术是保证频谱高效利用的关键技术,基于图论的动态频谱分配模型是实现频谱动态分配的重要研究模型,而频谱动态分配算法是实现频谱动态分配的核心.本文主要通过介绍几种频谱动态分配算法来解决电磁频谱动态分配问题.     

基于潜在博弈的认知无线电频谱分配研究

为解决认知无线电网络中认知用户、授权用户共存情况下的频谱分配问题,提出了一种基于潜在博弈的认知无线电频谱分配模型,该模型以最小化系统总干扰水平为目标,认知用户采用避免机会浪费的改进型策略动态调整规则进行频谱选择,经过有限改进路径快速收敛到博弈的纳什均衡点。在30个认知用户和2个授权用户共存的场景下进行仿真实验,算法以较快的收敛速度实现了频谱分配的目标,证明了模型及算法的可行有效。     

基于图论模型的改进型频谱分配算法

认知无线电技术能够感知周围无线电环境并择机使用频谱空洞。文章通过对现有的频谱分配算法研究分析,提出了基于图论着色模型的改进型频谱分配算法。该算法建立在授权用户状态动态变化的基础上,利用频谱下一时刻空闲概率降低授权用户的活动性对频谱分配的影响。仿真结果表明该算法有效提高了频谱概率上的效益并且保证了系统公平性。     

认知无线电频谱分配新算法研究

构造了一个基于合作博奕的非对称纳什协商效能函数,并通过2个认知用户间协商子载波的使用,实现了基于感知贡献加权的比例公平性频谱分配的新算法。仿真结果表明提出的方案不仅实现了频谱资源的公平有效分配,而且有利于频谱感知的最大化。     

基于干扰消减的认知无线电频谱分配算法

在认知无线电网络的频谱分配过程基础上,提出了一种基于干扰消减的频谱分配算法.该算法通过将可用频谱分配给能够同时无干扰地接入同一频谱的所有认知用户来提高授权频谱的使用率.同时,该算法参考各个认知用户在初始阶段的可用频谱数量来为未分配到频谱资源的认知用户进行频谱分配,对频谱分配过程的公平性进行了优化.仿真结果表明,该算法能够在认知用户数量较多、可用频谱紧张的情况下获得较高的吞吐量.     

Deep reinforcement learning based resource allocation algorithm in cellular networks

In order to solve multi-objective optimization problem,a resource allocation algorithm based on deep reinforcement learning in cellular networks was proposed.Firstly,deep neural network (DNN) was built to optimize the transmission rate of cellular system and to complete the forward transmission process of the algorithm.Then,the Q-learning mechanism was utilized to construct the error function,which used energy efficiency as the rewards.The gradient descent method was used to train the weights of DNN,and the reverse training process of the algorithm was completed.The simulation results show that the proposed algorithm can determine optimization extent of optimal resource allocation scheme with rapid convergence ability,it is obviously superior to the other algorithms in terms of transmission rate and system energy consumption optimization.     

基于监督学习的自适应协作频谱感知算法

在认知光通信网络中,能量检测方法因不需要知晓 主用户的参数而被广泛研究,但该方法在噪声波动情形下的感知性能有待提高。该文提出认 知用户根据光通信环境变化自动调整检测阈值的方法来提升低信噪比下的感知性能。融合中 心应用坐标搜索算示为认知用户提供最优控制参数。认知用户以中心阈值为基础,依据最优 参数及自身收集的能量动态设定检测阈值,并通与融合中心的信息交换,学习特定环境下的 最佳阈值。此外,参考了各认知用户在协作感知中的贡献差异,并设计新的权值计算方法来 体现该差异。仿真实验结果表明该文中的频谱感知方法对噪声波动有卓越的鲁棒性,提高检 测概率的同时降低了错误概率,在信噪比为－20dB时的检测概率仍 高达96.9%,远高于传统方法。     

Game-theoretic spectrum sharing for cognitive radio based on the expectation of primary users

Cognitive radio is a new intelligent wireless communication technique for remedying the shortage of spectrum resource in recent years. Secondary users have to pay when they share available spectrum with primary users while price is an important factor in the spectrum allocation. Based on the game theory, an improved pricing function is proposed by considering the expectation of primary users. In this article, expectation represents the positivity of sharing spectrum with primary users. By introducing the positivity, price not only becomes different for different secondary users, but also can be adjusted according to the positivity. It is proved that the Nash Equilibrium of the new utility function exists. The simulation results show that spectrum sharing can not only be determined by the channel quality of secondary users, but also can be adapted according to the expectation of primary users. Besides, the proposed algorithm improves the fairness of sharing.     

基于深度强化学习的反向散射网络资源分配机制

为了提升反向散射网络中物联网设备的平均吞吐量,提出了一种资源分配机制,构建了用户配对和时隙分配联合优化资源分配模型。由于该模型直接利用深度强化学习(Deep Reinforcement Learning,DRL )算法求解导致动作空间维度较高且神经网络复杂,故将其分解为两层子问题以降低动作空间维度：首先,基于深度强化学习算法,利用历史信道信息推断当前的信道信息以进行最优的用户配对;然后,在用户固定配对的情况下,基于凸优化算法,以最大化物联网设备总吞吐量为目标进行最优的时隙分配。仿真结果表明,与其他资源分配方法相比,所提资源分配方法能有效提升系统吞吐量,且有较好的信道适应性和收敛性。     

基于改进遗传算法的认知无线传感网动态频谱分配方案

将认知无线电中的动态频谱分配技术应用在无线传感网中,针对工作在ISM(industrial,scientific and medical)频段的无线传感网面临的频谱资源紧缺问题,提出一种基于改进自适应遗传算法的动态频谱分配方案.该算法以图论着色模型为基础,以最大带宽收益和最小切换频率为目标函数,在交叉和变异过程中采用自适应交叉概率和变异概率代替固定的交叉概率和变异概率.仿真结果表明,与传统遗传算法和颜色敏感图论着色算法相比,该算法可以实现提高频谱利用率、降低能量消耗的预期目标.     

基于单频段多赢家拍卖的动态频谱分配

针对传统拍卖方法在认知无线网络动态频谱分配中的低效问题,提出了一种基于单频段多赢家拍卖的动态频谱分配算法。该算法在原始贪婪算法的基础上增加了多重贪婪策略,以较低的计算复杂度获得了较优的解;改进了VCG(vickery-clarke-groves)机制,在保留占优策略激励兼容特性的基础上,提高了卖家的收益,有效抑制共谋的发生。仿真结果表明,该算法的频谱分配效率接近最优分配效率,同时提高了拍卖的经济收益。