基于强化学习的无人机基站多播通信系统的飞行路线在线优化

针对无人机(UAV)基站(BS)多播通信系统的通信时延最小化问题,该文提出飞行路线在线优化算法.在该系统中无人机基站向多个地面用户同时发送公共信息,其中每次通信任务中地面用户位置是随机的.为了保证地面用户能够接收完整的公共信息以及考虑到无人机的能量有限性,该文以最小化无人机基站完成通信任务的平均时间为目标.首先将问题转...     

基于MADDPG的无人机辅助通信功率分配算法

针对多无人机(unmanned aerial vehicle, UAV)作为空中基站辅助通信的吞吐量和公平性问题,提出了一种基于多智能体深度确定性策略梯度算法(multi-agent deep deterministic policy gradient algorithms, MADDPG)的功率分配算法,该算法通过联合优化UAV基站的功率分配和用户接入以提高系统吞吐量和公平性。本文首先构建了UAV基站为地面建立通信服务的三维场景,然后通过联合功率、用户关联和UAV位置约束,构建了吞吐量和公平性最大化的问题模型。考虑到该问题的复杂性,本文将所构建的优化问题建模为马尔科夫决策过程(Markov decision process, MDP),通过引入深度确定性策略梯度算法(deep deterministic policy gradient algorithm, DDPG)解决该问题。仿真结果表明,本文提出的基于MADDPG的UAV基站功率分配算法与其他算法相比,可以有效地提升系统的吞吐量和用户的公平性,提高通信的服务质量。     

无人机基站的飞行路线在线优化设计

针对离线的无人机(UAV)基站飞行路线设计无法满足随机的、动态的地面用户通信请求难题,该文研究了飞行路线在线优化设计算法。考虑单个无人机空中基站为两个地面用户提供无线通信服务,通过在线实时优化无人机的飞行路线实现最小化与地面用户的平均通信时延。首先,由于系统的无人机的状态和动作是连续的,将问题转化成一个马尔可夫决策过程(MDP);然后,把单次通信时延引入到动作价值函数中;最后分别采用强化学习中蒙特卡罗和Q-Learning算法来实现无人机的飞行路线在线优化。仿真结果表明,所提出的在线优化的平均时延性能优于“固定位置”和“贪婪算法”的时延计算结果。     

基于强化学习的智能超表面辅助无人机通信系统物理层安全算法

该文从物理层安全的角度出发研究了智能超表面(RIS)辅助的无人机(UAV) 3D轨迹优化。具体地说,当RIS辅助的UAV向地面用户进行无线传输时,通过联合优化RIS相移和UAV的3D轨迹来最大化物理层安全速率。然而,由于目标函数是非凸的,传统的优化技术很难直接求解。深度强化学习能够处理无线通信中动态复杂的优化问题,该文基于强化学习双深度Q网络(DDQN)设计一种联合优化RIS相移和无人机3D轨迹算法,最大化可实现的平均安全速率。仿真结果表明,所设计的RIS辅助UAV通信优化算法可以获得比固定飞行高度的连续凸逼近算法(SCA)、随机相移下的RIS算法和没有RIS的算法有更高的安全速率。     

主动干扰辅助下的无人机隐蔽通信功率与位置联合优化

利用友好干扰节点发送人工噪声是无线隐蔽通信中一种常见实现方法,可以增加监听者做出判断的不确定性,从而实现隐蔽传输。为此,考虑在无人机隐蔽通信网络中,部署一个空中的友好干扰节点,发射人工噪声干扰地面监听者的检测。对无人机与地面用户之间实现无线隐蔽传输进行了研究,分析了其有效隐蔽性能,联合优化了2架无人机的发送功率和位置部署以最大化隐蔽传输速率,使用粒子群优化算法与功率位置交替迭代算法2种优化方法得到最优的无人机部署位置及功率分配方案。仿真结果表明,联合优化方案相比于固定位置只优化功率的基准方案可以显著地提高系统隐蔽传输性能,且交替迭代算法所得结果要优于粒子群优化算法。     

基于智能反射面辅助的无人机中继系统安全通信方法

为了提高无人机中继系统的安全通信性能,解决无线信道受障碍物遮挡问题,该文提出一种基于智能反射面(IRS)辅助的无人机(UAV)中继系统安全通信方法。在所提方法中,通过联合优化UAV的位置、基站波束成形和IRS相移,最大化系统的最小保密速率。为了解决这个复杂的非凸优化问题,该文将原问题分解为UAV位置优化子问题、波束成形和IRS相移优化两个子问题。使用1阶泰勒展开处理优化问题中的非凸项,然后提出一种交替优化的算法进行求解。仿真结果表明该文提出的算法能提高系统的最小保密速率,并且具有良好的收敛性。     

智能反射面辅助的无人机无线携能通信网络吞吐量最大化算法研究

为了解决城市场景中无人机(UAV)与地面终端设备(GUs)间易受到障碍物阻挡的问题,该文提出一种基于智能反射面(IRS)辅助的UAV供能通信网络吞吐量最大化算法。首先,在满足能量因果、IRS相移、UAV移动性等约束条件下,建立了一个联合IRS相移设计、GU无线资源分配、UAV飞行轨迹设计的多变量耦合优化模型。其次,通过快坐标下降法(BCD)将原非凸问题转换为3个易于处理的子问题,并通过三角不等式、引入松弛变量、连续凸近似(SCA)等方法,对子问题进行转化求解。仿真结果表明,该文所提算法具有较好的收敛性,同时可有效提高系统总吞吐量。     

认知无人机网络中次级链路吞吐量优化研究

无人机(UAV)的便携性和高机动性使其与认知无线电(CR)结合的应用场景更加实用。在构建的无人机认知无线网络(CRN)模型中,该文提出UAV单弧度吞吐量优化方案,在确保检测概率的前提下优化感知弧度最大化UAV平均吞吐量。考虑在信道条件不理想情况下进一步改善感知性能,提出基于协作频谱感知(CSS)的多弧度吞吐量优化方案,利用交替迭代优化(AIO)算法对感知弧度和弧度数量进行联合优化以最大化吞吐量。仿真结果表明,该文提出的多弧度协作频谱感知方案在信道衰落严重时,对于主用户(PU)服务质量(QoS)和UAV吞吐量有明显提升。     

面向最大化服务用户数的无人机基站3D部署方法

面向无人机基站为地面用户提供通信覆盖的场景,综合考虑用户服务质量、无人机之间的连通和服务公平性,以最大化服务用户数为目标,对无人机的三维坐标和覆盖半径进行优化。由于该问题是非确定性多项式难题,设计了一种将遗传算法和粒子群算法相结合的启发式算法和高度微调法部署无人机。分别在用户随机分布和分簇分布模式下进行仿真,结果验证了所提算法的有效性。     

基于注意力机制ConvLSTM的UAV节能预部署策略

无人机(UAV)可以作为空中基站而凭借其移动性灵活地实现热点区域的覆盖.如何预测流量的分布而优化UAV部署是运营商面临的挑战.针对此问题,该文提出一种基于注意力机制卷积长短期记忆网络(A-ConvL-STM)的UAV节能预部署策略:提出一种融合注意力机制的卷积长短期记忆深度时空网络模型A-ConvLSTM,用于预测用户...     

无人机通信网络的容量与覆盖性能

无人机搭载通信设备升空作为空中基站,具有灵活机动、部署迅速等特点,合理地部署无人机基站可以有效提升网络的覆盖与容量。与传统的移动通信网络相比,无人机通信网络性能不仅受到无人机基站部署密度的影响,还与无人机的飞行高度有关。通过搭建无人机通信的系统级仿真平台研究了不同场景下无人机通信网络中各参数对网络容量与覆盖能力的影响。仿真结果表明,无人机密度增加,会提升网络容量及覆盖;相同无人机密度下,网络容量随着无人机飞行高度增加先增后减。     

基于多智能体深度强化学习的D2D通信资源联合分配方法

设备对设备(D2D)通信作为一种短距离通信技术,能够极大地减轻蜂窝基站的负载压力和提高频谱利用率。然而将D2D直接部署在授权频段或者免授权频段必然导致与现有用户的严重干扰。当前联合部署在授权和免授权频段的D2D通信的资源分配通常被建模为混合整数非线性约束的组合优化问题,传统优化方法难以解决。针对这个挑战性问题,该文提出一种基于多智能体深度强化学习的D2D通信资源联合分配方法。在该算法中,将蜂窝网络中的每个D2D发射端作为智能体,智能体能够通过深度强化学习方法智能地选择接入免授权信道或者最优的授权信道并发射功率。通过选择使用免授权信道的D2D对(基于“先听后说”机制)向蜂窝基站的信息反馈,蜂窝基站能够在非协作的情况下获得WiFi网络吞吐量信息,使得算法能够在异构环境中执行并能够确保WiFi用户的QoS。与多智能体深度Q网络(MADQN)、多智能体Q学习(MAQL)和随机算法相比,所提算法在保证WiFi用户和蜂窝用户的QoS的情况下能够获得最大的吞吐量。     

多小区毫米波系统中无人机基站飞行姿态优化及性能分析

为了提高多小区毫米波系统中无人机基站覆盖区域内用户的通信质量,本文提出了一种无人机基站的飞行姿态优化方案。该方案首先在无人机基站天线数量趋于无穷大的情况下对吞吐量进行优化,得到最大吞吐量的渐近表达式,然后将吞吐量优化问题进一步细化为天线倾斜角优化问题,最后通过穷举搜索算法来获得使吞吐量最大的天线阵列倾斜角,进一步通过调整天线倾斜角以优化无人机飞行姿态。数值仿真结果表明,所提出的优化方案能够有效提高系统性能,对于多小区无人机毫米波通信系统的性能优化具有理论指导意义。      

一种基于服务质量的多UAV容量优化方法

随着近些年来通信领域各种技术的高速发展,UAV因为其体积小、灵活性强、可快速部署等优点,越来越受到通信领域相关学者的青睐。同时,由于UAV在各个领域的应用逐渐增多,UAV网络的容量优化问题变得越来越重要。针对未来大规模用户的通信需求,提出了一种基于服务质量的多UAV容量优化方法。首先将服务质量设置为权重参数,联合用户调度、轨迹和功率分配,利用连续凸优化技术和块坐标下降算法,提出多UAV通信系统中的的容量优化算法。仿真结果证明该算法的收敛性,同时表明在相同条件下基于用户质量的多UAV容量算法能够使系统达到更高的平均传输速率。     

认知无人机辅助边缘通信的能效优化

针对无人机辅助边缘通信中的频谱资源紧缺与无人机能量受限问题,研究了最大化该场景下无人机认知通信的能量效率问题.首先,构建了无人机辅助边缘节点的认知通信网络模型;其次,提出了一种最大化无人机能效的算法,通过联合优化无人机的认知通信感知时间、飞行速度和通信距离阈值,显著提升了无人机认知通信过程中的能效;最后,通过仿真实验对...     

基于空间Poisson点过程的无人机异构网络中断性能评估

考虑无人机空间分布特性给城市热点区域网络部署与设计带来的挑战,基于随机几何理论构建了空间无人机异构网络框架.首先,通过三维部署空中小基站和二维部署地面宏基站的方式对网络进行混合干扰建模,借助最大偏置接收功率级联准则来实现各基站的负载均衡;此外,考虑无人机通信特性,将空对地信道假设为Nakagami-m衰落模型;最后通过...     

基于K-臂赌博机的多无人机空地网络动态资源分配方法

针对配置大规模MIMO的多无人机空地网络中的动态资源分配问题,从最大化系统吞吐量的角度出发,该文提出一种基于K-臂赌博机的强化学习算法联合优化多个无人机的用户选择与功率分配策略。首先根据地理位置对用户进行分簇,利用簇中心节点规划无人机飞行路径;其次在不考虑无人机之间端到端通信的情况下,将多无人机资源分配问题转化为相互独立的多个智能体强化学习问题;最后提出分幕式多智能体多状态K-臂赌博机算法来实现用户选择与功率分配的联合优化。通过将无人机每个时刻的位置索引定义为状态空间,从而使得无人机可动态适配自身位置及信道的动态变化。仿真结果表明,所提方案可根据环境状态变化自主智能调整资源分配策略,相比于已有方案能有效提升系统总吞吐量。