基于案例推理和启发式Q学习的资源分配算法

针对集中式认知网络的信道和功率分配问题,提出了一种基于案例推理和启发式Q学习算法。为了提高Q学习算法的收敛速度,将当前分配问题与存储的历史案例进行相似度匹配,选取最相似案例的◢Q◣值,归一化处理后作为启发式Q学习算法的初值。为了提高启发式Q学习的算法性能,引入一个基于信息强度的指导函数,通过强调动作的重要性来改变动作策略;设计的奖赏函数反映了认知系统的能量效率。仿真结果表明,该算法可以明显提高认知网络信道和功率分配的认知系统能量效率和收敛速度。     

CNR中基于多用户Q学习的联合信道选择和功率控制

针对认知无线网络中多用户资源分配时需要大量信道和功率策略信息交互,并且占用和耗费了大规模系统资源的问题,通过非合作博弈模型对用户的策略进行了研究,提出一种基于多用户Q学习的联合信道选择和功率控制算法。用户在自学习过程中将采用统一的策略,仅通过观察自己的回报来进行Q学习,并逐渐收敛到最优信道和功率分配的最优集合。仿真结果表明,该算法可以高概率地收敛到纳什均衡,用户通过信道选择得到的整体回报非常接近最大整体回报值。     

认知Ad hoc网络的频谱接入跨层设计方案*

为提高分布式认知Ad hoc网络的频谱感知精准性和能量有效性,提出了一种基于能量效率的频谱接入跨层设计方案。首先通过基于感知因子的完全二分图分解法对网络进行分簇,进而在簇内联合优化次用户的发射功率和接入概率,最终得到最优信道接入和功率分配方案。仿真结果表明,与传统算法相比该方案可通过合理分簇提高分布式认知网络的感知精度,在保证感知性能的条件下使系统能量效率得到有效提升。     

多Agent系统的协作及强化学习算法研究

研究了多Agent环境下的协作与学习.对多Agent系统中的协作问题提出了协作模型MACM,该模型通过提供灵活协调机制支持多Agent之间的协作及协作过程中的学习.系统中的学习Agent采用分布式强化学习算法.该算法通过映射减少Q值表的存储空间,降低对系统资源的要求,同时能够保证收敛到最优解.     

应急通信系统中协作中继选择与功率分配优化

为提高应急通信系统的信道容量和能量效率,提出一种协作中继选择与功率分配的联合优化算法。在动态的通信环境中,通过最佳期望选取参与数据传输的协作中继集,提高通信系统的信道容量。为使每个用户及整个网络的能量消耗降到最低,采用凸优化方法,合理分配源节点和多个中继节点之间合理的发射功率。理论分析与仿真实验证明,该算法能以较低的复杂度明显提高系统的信道容量和能量 效率。     

基于分簇协作频谱感知的认知无线网能量效率研究

针对认知无线网能量消耗引起的能量效率较低问题,在研究认知无线网分簇协作频谱感知能量效率的基础上,提出了一种最优功率分配算法来最大化次用户系统的能量效率。通过建立基于次用户能量效率最大化传输优化模型,在考虑传输功率、感知时间以及干扰限制的情况下,利用拉格朗日函数及KKT条件,得到最优次用户发射功率分配算法,以达到系统能量效率最大化的目的,同时分析了不同参数对能量效率的影响。仿真结果表明,本文所提算法能有效提高次用户系统的能量效率、减少系统开销。     

基于多Agent的分布式通信对抗目标分配系统

针对通信对抗目标分配的特点,提出一种基于多Agent的分布式目标分配系统。给出问题描述和模型建立的方法,设计分布式协同拍卖机制和分布协同拍卖算法,其中,分布协同拍卖算法包括竞拍序列禁忌规则、目标威胁度更新规则等。仿真结果表明,与遗传算法相比,该算法收敛速度较快、实时性较强。     

认知无线电网络中感知时间与功率分配的优化

针对多协作用户多信道的情况,讨论了当信道增益固定时,各子信道之间检测时间、总检测时间与传输时间,以及各子信道之间功率分配的问题。区别于以往的单独优化算法,提出了各参数的联合优化算法。以信道容量为目标函数,给出了最优的时间和功率分配算法。实验结果表明,提出的算法能够实现频谱接入并且极大地提高了次用户系统的总信道容量。表明功率分配与信道上主用户占用的概率有关,而时间分配则与信道上主用户接收信噪比以及传输时自身的信噪比有关。在多认知用户网络中,参与合作的用户越多,接收与传输信噪比越高,次用户系统的总信道容量越大。对于认知无线电网络,还考虑了整体的实现。     

毫米波大规模MIMO-NOMA系统用户分簇和功率分配设计

针对多用户毫米波大规模多输入多输出-非正交多址接入（MIMO-NOMA）系统功率分配计算复杂的问题,提出新用户分簇和功率分配方案,提高系统的频谱效率。首先改进基于簇头选择的用户分簇方案,根据真实信道动态选择阈值并确定分簇数目,使分簇结果更适合实际情况,用户从波束中获得更大增益。然后以最大化系统频谱效率和能量效率的加权和为目标设计功率分配,使用改进的元启发算法求解。通过对粒子群（PSO）算法引入新的矢量成分和添加余弦扰动使算法更快收敛到全局最优值,并融合沙猫优化（SCSO）算法使算法结果更加精确。仿真结果表明,与现有算法相比,本文提出方案的频谱效率和能量效率优于传统方案,且更适合多用户情况。     

基于强化学习的异构超密度网络资源分配算法

为了保证下行链路用户服务质量(Quality of Service, QoS),提升异构超密度网络的频谱利用率(Spectrum Efficient, SE)和能源效率(Energy-Efficient, EE),提出了一种基于多智能体强化学习(Deep Reinforcement Learning, DRL)的频谱和功率联合分配算法。首先,以频谱利用率和能源效率为优化目标,用户服务质量为约束,得到资源分配优化函数。然后定义多智能体用户状态空间,奖励以及动作空间,通过较小的通信开销获得状态空间信息,得到一维状态空间数据,减少网络的输入数据量,用户利用自身的信道状态信息(Channel State Information, CSI)而不依赖全局信道状态信息,再根据状态空间信息得到频谱和功率分配策略。最后,通过训练深度神经网络找到最佳的资源分配策略。仿真结果表明,该算法可以实现较快的收敛速度,对比贪婪算法以及其他强化学习方法,能源效率均提升20%以上,频谱利用率分别提升27%和11%。