基于MADDPG的无人机辅助通信功率分配算法

针对多无人机(unmanned aerial vehicle, UAV)作为空中基站辅助通信的吞吐量和公平性问题,提出了一种基于多智能体深度确定性策略梯度算法(multi-agent deep deterministic policy gradient algorithms, MADDPG)的功率分配算法,该算法通过联合优化UAV基站的功率分配和用户接入以提高系统吞吐量和公平性。本文首先构建了UAV基站为地面建立通信服务的三维场景,然后通过联合功率、用户关联和UAV位置约束,构建了吞吐量和公平性最大化的问题模型。考虑到该问题的复杂性,本文将所构建的优化问题建模为马尔科夫决策过程(Markov decision process, MDP),通过引入深度确定性策略梯度算法(deep deterministic policy gradient algorithm, DDPG)解决该问题。仿真结果表明,本文提出的基于MADDPG的UAV基站功率分配算法与其他算法相比,可以有效地提升系统的吞吐量和用户的公平性,提高通信的服务质量。     

基于混合分簇的超密集网络资源分配算法

超密集网络(Ultra-dense network)通过密集部署微基站满足了爆炸式的流量需求,但是干扰严重,合理进行资源分配尤为重要.为减少干扰和进行资源分配,本文提出一种基于混合分簇的资源分配算法.首先,为解决传统K-means算法簇个数和簇中心点难以确定的问题,采用Canopy算法先进行预处理.同时,在用Canopy算法进行预处理时,没有直接设置距离阈值,引入加权平均值公式进行阈值选择,可以实现根据现实场景动态改变簇的大小和个数.然后,最大化吞吐量的同时考虑用户的服务质量,根据优化目标和约束条件,本文提出用拉格朗日对偶算法准确计算出微基站给用户分配的子信道,且采用次梯度更新算法不断更新拉格朗日乘子,得到子信道的最终分配结果.最后,为减少能耗,没有随机地给用户分户分配功率,采用注水算法给用户分配功率.仿真结果表明,所提分簇算法更加准确、均匀地将小基站分布在每个簇中,在完成分簇的前提下,所提资源分配算法不但保障了用户服务质量,而且显著提高了系统吞吐量.     

多无人机辅助移动用户通信的功率分配和航迹优化

针对多无人机辅助移动用户通信的下行无线传输系统,提出了一种用户吞吐量最大化的多无人机发送功率和飞行航迹分簇优化方法。考虑每架无人机服务的用户分簇、发送功率分配和飞行航迹规划,构建了一个多无人机辅助多用户通信的吞吐量最大化问题。通过引入辅助变量和分离耦合变量的方法,将非凸问题分解为两个近似凸优化问题;再基于贪婪算法的思想和连续凸逼近方法,对两个近似凸优化问题进行迭代交替优化,得到原非凸问题的一个近似次优解。仿真结果表明,所提优化方法能够有效提高用户数据吞吐量。     

宏微协同组网下基于小区分簇的联合传输与无线资源分配

针对宏微协同组网下小区间无线资源管理问题,文章提出一种大规模多入多出系统下基于微小区分簇的联合传输和动态频谱分配策略,该策略分两步执行以优化网络加权和速率.首先,所提算法根据各用户当前的信道状态执行微小区分簇,以尽可能地降低小区间干扰,提升系统容量.接着,宏基站和各微小区簇根据所服务用户当前的业务请求信息分别为其动态分配子载波,以最大化网络加权和速率,并提升资源利用率.仿真结果显示,该文提出的微小区分簇和动态频谱分配策略能在尽可能降低宏微协同组网中用户间干扰的同时,有效地提升系统吞吐量.     

基于用户分簇的认知超密集网络资源分配

针对5G时代小基站的密集部署带来的复杂干扰问题,对下行的认知无线电超密集网络下的资源分配进行了研究。为减小网络干扰,提高次用户吞吐量,提出了一种改进的基于用户分簇的资源分配算法。基于基站的覆盖范围,选出用户的强干扰基站,以用户-基站干扰关系建立用户-用户干扰图,按用户受到的平均弱干扰划分优先级对用户分簇,再为簇集群预分配频段,为每个簇分配对应频段中效用最大的信道。该资源分配算法能准确反映用户间的干扰关系,保障资源分配公平性。仿真结果表明,当用户密度与基站密度均较大时,与相同场景的已有算法相比,该改进算法有较好的抗干扰能力,能有效提高次用户的吞吐量。     

时分波分无源光网络与云无线接入网联合架构中负载平衡的用户关联与资源分配策略

在时分波分无源光网络(TWDM-PON)与云无线接入网(C-RAN)的联合架构中,由于无线域的负载不均衡问题,限制了网络整体的传输效率.为了充分利用TWDM-PON与C-RAN联合架构的网络资源,并保证用户的服务质量(QoS),该文提出一种负载平衡的用户关联与资源分配算法(LBUARA).首先根据不同用户的服务质量需求以及分布式无线射频头端(RRH)的负载对用户的影响,构建用户收益函数.进而,在保证用户服务质量的前提下,根据网络状态建立随机博弈模型,并基于多智能体Q学习提出负载均衡的用户关联和资源分配算法,从而获得最优的用户关联与资源分配方案.仿真结果表明,所提的用户关联和资源分配策略能够实现网络的负载均衡,保证用户的服务质量,并提高网络吞吐量.     

时分波分无源光网络与云无线接入网联合架构中负载平衡的用户关联与资源分配策略

在时分波分无源光网络(TWDM-PON)与云无线接入网(C-RAN)的联合架构中,由于无线域的负载不均衡问题,限制了网络整体的传输效率。为了充分利用TWDM-PON与C-RAN联合架构的网络资源,并保证用户的服务质量(QoS),该文提出一种负载平衡的用户关联与资源分配算法(LBUARA)。首先根据不同用户的服务质量需求以及分布式无线射频头端(RRH)的负载对用户的影响,构建用户收益函数。进而,在保证用户服务质量的前提下,根据网络状态建立随机博弈模型,并基于多智能体Q学习提出负载均衡的用户关联和资源分配算法,从而获得最优的用户关联与资源分配方案。仿真结果表明,所提的用户关联和资源分配策略能够实现网络的负载均衡,保证用户的服务质量,并提高网络吞吐量。     

利用A2C-ac的城轨车车通信资源分配算法

在城市轨道交通列车控制系统中,车车(T2T)通信作为新一代列车通信模式,利用列车间直接通信来降低通信时延,提高列车运行效率。在T2T通信与车地(T2G)通信并存场景下,针对复用T2G链路产生的干扰问题,在保证用户通信质量的前提下,该文提出一种基于多智能体深度强化学习(MADRL)的改进优势演员-评论家(A2C-ac)资源分配算法。首先以系统吞吐量为优化目标,以T2T通信发送端为智能体,策略网络采用分层输出结构指导智能体选择需复用的频谱资源和功率水平,然后智能体做出相应动作并与T2T通信环境交互,得到该时隙下T2G用户和T2T用户吞吐量,价值网络对两者分别评价,利用权重因子β为每个智能体定制化加权时序差分(TD)误差,以此来灵活优化神经网络参数。最后,智能体根据训练好的模型联合选出最佳的频谱资源和功率水平。仿真结果表明,该算法相较于A2C算法和深度Q网络(DQN)算法,在收敛速度、T2T成功接入率、吞吐量等方面均有明显提升。     

基于OFDMA系统联合资源分配方案

针对多用户OFDMA系统,提出一种改进的比例公平资源分配算法。该算法采用分步法联合资源分配方案,分为子载波分配和功率分配两步进行,改进算法基于Wong算法,引入比例限制因子,在子载波分配环节,对剩余子载波的分配采用比例公平和最大化系统容量的算法,在用户中的功率分配环节,采用线性等式,大大降低了算法复杂度。仿真分析表明,改进算法不仅提高了系统吞吐量,而且降低了算法复杂度。     

基于多智能体深度强化学习的D2D通信资源联合分配方法

设备对设备(D2D)通信作为一种短距离通信技术,能够极大地减轻蜂窝基站的负载压力和提高频谱利用率。然而将D2D直接部署在授权频段或者免授权频段必然导致与现有用户的严重干扰。当前联合部署在授权和免授权频段的D2D通信的资源分配通常被建模为混合整数非线性约束的组合优化问题,传统优化方法难以解决。针对这个挑战性问题,该文提出一种基于多智能体深度强化学习的D2D通信资源联合分配方法。在该算法中,将蜂窝网络中的每个D2D发射端作为智能体,智能体能够通过深度强化学习方法智能地选择接入免授权信道或者最优的授权信道并发射功率。通过选择使用免授权信道的D2D对(基于“先听后说”机制)向蜂窝基站的信息反馈,蜂窝基站能够在非协作的情况下获得WiFi网络吞吐量信息,使得算法能够在异构环境中执行并能够确保WiFi用户的QoS。与多智能体深度Q网络(MADQN)、多智能体Q学习(MAQL)和随机算法相比,所提算法在保证WiFi用户和蜂窝用户的QoS的情况下能够获得最大的吞吐量。     

多智能体强化学习驱动的无人机动态信道分配

针对无人机编队在进行远距离实时视频传输时频谱资源不足且利用效率低、吞吐量要求较高、传输任务难以完成等问题,提出了多智能体强化学习驱动的动态信道分配算法,使得无人机编队可以根据传输任务和信道环境动态地选择使用的信道,实现了频谱资源的高效利用。该算法使用了集中式训练分布式执行的架构,通过联合探索和联合学习的方式保证了无人机间的探索和合作能力,使得每架无人机均可以依据局部观测信息同时独立分配自身使用信道,提高了算法的灵活性和可行性,并减少了频谱分配用时。仿真结果表明,该算法训练过程性能更好,执行时相比于现有算法可以提高编队整体的平均任务传输成功率。     

基于深度强化学习的反向散射网络资源分配机制

为了提升反向散射网络中物联网设备的平均吞吐量,提出了一种资源分配机制,构建了用户配对和时隙分配联合优化资源分配模型。由于该模型直接利用深度强化学习(Deep Reinforcement Learning,DRL )算法求解导致动作空间维度较高且神经网络复杂,故将其分解为两层子问题以降低动作空间维度：首先,基于深度强化学习算法,利用历史信道信息推断当前的信道信息以进行最优的用户配对;然后,在用户固定配对的情况下,基于凸优化算法,以最大化物联网设备总吞吐量为目标进行最优的时隙分配。仿真结果表明,与其他资源分配方法相比,所提资源分配方法能有效提升系统吞吐量,且有较好的信道适应性和收敛性。     

D2D通信中联合链路共享与功率分配算法研究

针对D2D （Device-to-Device,D2D）通信过程中的资源分配问题,提出一种联合链路共享和功率分配算法.在保证系统内蜂窝用户服务质量（Quality of Service,QoS）需求的前提下,利用系统的信道状态信息,为D2D用户生成一个由蜂窝用户组成的通信链路的候选集合;在通信链路候选集合内使用凸优化方法得到D2D用户最优功率分配策略;最后利用（Kuhn-Munkres,KM）算法求解最大加权二部图匹配（Maximum Weight Bipartite Matching,MWBM）问题,为D2D用户选择最优的蜂窝用户进行资源共享.仿真结果表明该算法能有效的提升通信网络的吞吐量,可以为D2D用户选择最优的资源分配策略.     

基于应用时间窗多用户MIMO-OFDM系统中的比例公平算法

该文针对基于延时信道状态信息的多用户MIMO-OFDM系统,在用户比例速率要求和功率限制的情况下,以最大化时间窗内系统吞吐量为目标,提出了一种基于应用时间窗比例公平算法。该算法首先设计各子载波上满足用户误比特率要求的星座距离,然后把系统中每个用户按照其比例映射为相应数目的虚拟用户,最后根据影子价格把子载波最优地分配给虚拟用户。仿真结果表明,该算法在保证用户公平性的基础上,有效地提高了系统吞吐量。     

D2D网络中信道选择与功率控制策略研究

针对D2D通信的资源分配问题,该文研究了D2D信道选择与功率控制策略。在保证蜂窝用户服务质量(QoS)的前提下,提出一种基于启发式的D2D信道选择算法,为系统内的D2D用户找到合适的信道复用资源。同时,利用拉格朗日对偶方法求解得到D2D用户最优传输功率。仿真结果表明当蜂窝用户与多对D2D用户共享信道资源时能够大幅度提升系统平均吞吐量。在相同条件下,该算法的性能要明显优于现有算法。     

无蜂窝大规模MIMO中基于深度强化学习的无人机辅助通信与资源调度

无蜂窝大规模多入多出(MIMO)网络中分布式接入点(AP)同时服务多个用户,可以实现较大区域内虚拟MIMO的大容量传输;而无人机辅助通信能够为该目标区域热点或边缘用户提供覆盖增强.为了降低反馈链路负载,并有效提升无人机辅助通信的频谱利用率,该文研究了基于AP功率分配、无人机服务区选择和接入用户选择的联合调度;首先将AP...     

混合频谱共享方式下多用户动态频谱分配算法

为解决混合overlay/underlay频谱共享方式下多用户动态频谱分配问题,构建了混合频谱共享方式下动态频谱分配模型,提出了基于Q学习的多用户动态频谱分配算法. 该算法在不对主用户产生有害干扰的前提下,以最大化次用户总吞吐量为目标,构建了与次用户相对应的虚拟次用户作为智能体. 通过与环境交互学习,进行信道和共享方式初选;频谱分配系统根据冲突情况和各智能体的学习结果调整信道分配策略直至次用户间无冲突. 仿真结果表明,该算法在无信道检测和信道先验知识的条件下,能根据前一时隙信道状态和次用户传输速率需求,实现动态信道分配和频谱共享方式确定,避免次用户间冲突,减少主次用户间冲突,有效提升次用户总吞吐量.