基于POMDP的跨层机会频谱接入优化设计

在功率受限的机会频谱接入(OSA)研究中,大多使用完全可观测马尔可夫决策过程(MDP)对环境建模,以提高物理层或介质访问控制(MAC)层指标,但由于感知设备的限制,无法保证用户对环境完全感知。为解决该问题,提出一种基于部分可观测马尔可夫决策过程(POMDP)与Sarsa(λ)的跨层OSA优化设计方案。结合MAC层和物理层,采用POMDP对功率受限且有感知误差的次用户频谱感知和接入过程进行建模,并将其转换为信念状态MDP(BMDP),使用Sarsa(λ)算法对其进行求解。仿真结果表明,在功率受限条件下,该Sarsa(λ)-BMDP方案的有效传输容量、吞吐量和频谱利用率分别比完全可观测Q-MDP方案低9%、7%和3%左右,其误比特率比基于点的值迭代PBVI-POMDP方案低20%左右,比Q-MDP方案高16%左右。     

机会式频谱接入问题基于事件的优化方法

研究机会式频谱接入技术中次用户对可利用频谱进行探测和接入策略的优化问题. 通过引入事件的概念, 将含有可数无限状态的原问题转化为包含有限个事件的决策问题. 从性能灵敏度的角度出发, 分析不同策略下平均传输率的差异, 给出了基于事件策略的性能差分公式. 以此为基础, 通过合理的近似, 设计了基于事件的策略迭代算法. 仿真示例验证了所提出算法的有效性和近似处理的合理性.

     

基于频谱聚合技术的多用户短波机会频谱接入

研究了分布式短波机会频谱接入系统中的信道探测问题。由于频谱资源的稀缺性,将认知无线电技术应用到短波通信得到了广泛关注。多个次级用户按序感知授权信道,根据感知结果决策出授权信道是否可用,利用频谱聚合技术实现数据传输。然而频谱聚合的能力受到无线通信设备的约束。本文提出一种在硬件受限条件下,考虑次级用户间相互影响的动态的停止方法。在该方法中,信道空闲概率能够随着信道探测过程而改变,并且次级用户能够定期地释放先前时隙感知的信道。仿真结果表明,所提的动态停止方法能够有效提高短波通信系统的网络性能。     

基于动态跳频的频谱接入*

在认知网络中,为了克服频谱接入方案中系统吞吐量普遍偏低的缺点,运用动态跳频技术,提出一种可以使次用户顺利切换到其他信道同时增加系统吞吐量的频谱接入新方案,并利用部分可观察马尔可夫决策过程描述这一问题;最后进行了数值验证。     

基于Q-learning的机会频谱接入信道选择算法

针对未知环境下机会频谱接入的信道选择问题进行研究。将智能控制中的Q-learning理论应用于信道选择问题, 建立次用户信道选择模型, 提出了一种基于Q-learning的信道选择算法。该算法通过不断与环境进行交互和学习, 引导次用户尽量选择累积回报最大的信道, 最大化次用户吞吐量。引入Boltzmann学习规则在信道探索与利用之间获得折中。仿真结果表明, 与随机选择算法相比, 该算法在不需要信道环境先验知识或预测模型下, 能够自适应地选择可用性较好的信道, 有效提高次用户吞吐量, 且收敛速度较快。     

连续时间Markov决策过程在呼叫接入控制中的应用

应用Markov决策过程与性能势相结合的方法,给出了呼叫接入控制的策略优化算法。所得到的最优策略是状态相关的策略,与基于节点已占用带宽决定行动的策略相比,状态相关策略具有更好的性能值,而且该算法具有很快的收敛速度。     

连续时间Markov决策过程在呼叫接入控制中的应用

应用Markov决策过程与性能势相结合的方法,给出了呼叫接入控制的策略优化算法.所得到的最优策略是状态相关的策略,与基于节点已占用带宽决定行动的策略相比,状态相关策略具有更好的性能值,而且该算法具有很快的收敛速度.     

基于MIMD的动态频谱接入方案

针对基于退让机制（BCM）的频谱接入方案存在的不足,提出一种基于干扰最小化、需求最大化（MIMD）的动态频谱接入方案,给出相应的MIMD动态频谱接入算法（MIMD-DSA）。使感知用户（Cu）通过学习以往频段的接入经验来选择候选频段,在主用户出现时通过MIMD-DSA算法切换到这些频段。仿真和分析结果表明,与BCM方案相比,该方案能进一步提高频谱利用率。     

基于模糊马尔可夫链预测的CR频谱接入算法

基于认知无线电（CR）的动态频谱接入技术,近年成为研究热点,但大部分算法都是根据当前授权用户的频谱活动情况来指导认知用户的频谱接入。本文研究了一种基于模糊马尔可夫链预测模型的动态频谱接入算法,该算法结合授权频段空闲时长的统计规律和模糊理论对信道状态进行预测,认知用户结合自身要求和信道状态的预测结果选择接入。仿真结果验证...     

基于近端策略优化算法的车载边缘计算网络频谱资源分配

【目的】在车载网络边缘计算中,合理地分配频谱资源对改善车辆通讯质量具有重要意义。频谱资源稀缺是影响车辆通讯质量的重要原因之一,车辆的高移动性以及在基站处准确收集信道状态信息的困难给频谱资源分配带来了挑战性。【方法】针对以上问题,优化目标设定为车对车(Vehicle-to-Vehicle,V2V)链路传输速率和车对基础设施(Vehicle-to-Infrastructure,V2I)容量大小,提出一种基于近端策略优化(Proximal Policy Optimization,PPO)强化学习算法的多智能体频谱资源动态分配方案。【结果】面对多个V2V链路共享V2I链路所占用的频谱资源从而缓解频谱稀缺问题。这一问题被进一步制定为马尔可夫决策过程(Markov Decision Process,MDP),并对状态、动作和奖励进行了设计,以优化频谱分配策略。【结论】仿真结果表明,在信道传输速率和车辆信息传递成功率方面,所提出的基于PPO算法的优化方案与基线算法相比具有更优的效果。     

Analysis of a contention-based opportunistic spectrum access under general channel activity model

We investigate a distributed contention-based spectrum access scheme in cognitive radio networks where ON/OFF periods of the channel by primary users follow discrete phase (PH) type distributions. The main motivation for ON/OFF having PH distributions is that the channel activity has a more general behavior depending on the primary users’ traffic. In the past most other researchers assumed that ON/OFF periods of a channel follow a geometric distribution for the purpose of mathematical tractability even though this assumption is restrictive.We propose a distributed medium access control (MAC) scheme for the secondary users (SUs) which is characterized by a constant contention window size and a method to decide whether for each SU to participate in competition or not depending on the queueing delay of a head-of-line (HoL) packet. In order to investigate the performance of our proposed MAC protocol, we construct a two-dimensional Markov chain which incorporates both the proposed MAC scheme and the general channel activity. The resulting one-step transition probability matrix of the Markov chain has a very special structure. With the help of the censored Markov chain method, we provide a computationally efficient method to obtain the stationary distribution of the Markov chain. We then obtain the system capacity, which is defined as the maximum number of SUs that can be accommodated with a quality of service (QoS) guarantee on the packet dropping probability and the packet delay. Numerical examples show that the system capacity considerably depends on the distributions of ON/OFF periods and our proposed MAC scheme achieves a higher capacity than the existing one.     

Effective capacity region of two-user opportunistic spectrum access

The effective capacity region of the two-user opportunistic spectrum access (OSA) system in Rayleigh fading environment is derived in this paper.Although OSA is a contemporary research topic,little attention has been given to the capacity analysis under quality-of-service (QoS) constraints.Hence,we use the effective capacity,which is a powerful tool to analyze the QoS requirements in wireless communication systems,to study the sustainable packet arrival rate of the secondary users while meeting statistical ...     

认知无线电网络的伺机频谱接入策略

提出了一种伺机频谱接入策略,用于由移动用户构成的认知无线电网络环境。提出的方案中,将每个可获得的信道划分成由N个时隙构成的TDMA帧,并且为每个激活的认知用户分配一个区别于其他激活用户的时隙。允许节点以一定的接入概率充分利用分配给其他激活用户的时隙进行通信。评估了提出的伺机频谱共享策略对系统吞吐量和能耗性能的影响。     

T-preemptive priority queue and its application to the analysis of an opportunistic spectrum access in cognitive radio networks

We propose a new priority discipline called the T-preemptive priority discipline. Under this discipline, during the service of a customer, at every T time units the server periodically reviews the queue states of each class with different queue-review processing times. If the server finds any customers with higher priorities than the customer being serviced during the queue-review process, then the service of the customer being serviced is preempted and the service for customers with higher priorities is started immediately. We derive the waiting-time distributions of each class in the M/G/1 priority queue with multiple classes of customers under the proposed T-preemptive priority discipline. We also present lower and upper bounds on the offered loads and the mean waiting time of each class, which hold regardless of the arrival processes and service-time distributions of lower-class customers. To demonstrate the utility of the T-preemptive priority queueing model, we take as an example an opportunistic spectrum access in cognitive radio networks, where one primary (licensed) user and multiple (unlicensed) users with distinct priorities can share a communication channel. We analyze the queueing delays of the primary and secondary users in the proposed opportunistic spectrum access model, and present numerical results of the queueing analysis.     

混合式动态频谱接入协议的研究

为了避免认知用户对主要用户的干扰,实现了频谱移动性的要求,提出了一种Ad Hoc认知无线电网络下的动态频谱接入协议.先使用分布式频谱侦测技术,建立基于AdHoc认知无线电的网络模型.认知用户利用马尔科夫模型预测可用频段,从而在每个时隙选择预测的可用频段进行侦测,降低设备技术要求,并节约能量.最后,给出了相应的认知无线电频谱接入方案和频谱分配算法,为每一条空闲频段选择合适的通信组,实现系统频谱利用的最大化.     

Markov 控制过程在紧致行动集上的迭代优化算法

研究一类连续时间Markov控制过程(CTMCP)在紧致行动集上关于平均代价性能准则的优化算法。根据CTMCP的性能势公式和平均代价最优性方程，导出了求解最优或次最优平稳控制策略的策略迭代算法和数值迭代算法，在无需假设迭代算子是sp—压缩的条件下，给出了这两种算法的收敛性证明。最后通过分析一个受控排队网络的例子说明了这种方法的优越性。     

基于排队论的车辆动态频谱接入系统研究

将动态频谱接入技术引入到车辆通信网络中,提出了一种使用空闲广播电视信道进行车辆动态频谱接入的模型。该模型将用户通信需求分为紧急和普通服务请求,构建马尔科夫链分析其服务过程,得到了能够满足不同需求的分析模型。仿真结果表明,该模型能准确分析车辆动态频谱接入的过程,当空闲信道数增加时平均等待时间减少,紧急服务请求的平均等待时间和平均队列长度都远小于普通服务请求。     

A time aggregation approach to Markov decision processes

We propose a time aggregation approach for the solution of infinite horizon average cost Markov decision processes via policy iteration. In this approach, policy update is only carried out when the process visits a subset of the state space. As in state aggregation, this approach leads to a reduced state space, which may lead to a substantial reduction in computational and storage requirements, especially for problems with certain structural properties. However, in contrast to state aggregation, which generally results in an approximate model due to the loss of Markov property, time aggregation suffers no loss of accuracy, because the Markov property is preserved. Single sample path-based estimation algorithms are developed that allow the time aggregation approach to be implemented on-line for practical systems. Some numerical and simulation examples are presented to illustrate the ideas and potential computational savings.     

认知用户基于频谱特征的动态频谱接入算法

认知无线电频谱接入技术的关键是指导认知用户如何选择合适的空闲信道以及如何在认知用户间实现频谱共享。在公共控制信道较难获得的情况下,基于部分可观测 Markov 决策过程（POMDP）的频谱预测算法,可以显著地提高系统的吞吐量。认知系统如果不加区分地使用授权频谱将可能导致所选择的频谱空洞不能满足认知用户需求。针对认知用户对不同信道容量的需求,引用适量选择原则,并运用融合接入策略,研究认知无线网络动态频谱接入过程。另外,通过大量仿真对认知用户的吞吐量和系统碰撞率进行分析,结果表明融合接入策略可以有效地提高系统的吞吐量及系统碰撞率。