5G异构网络中基于优先级的深度强化学习联合资源分配

为了研究基于深度强化学习(Deep Reinforcement Learning, DRL)的5G异构网络模型的性能,同时在最小化系统能耗并满足不同类型终端用户的服务质量要求的基础上制定合理的资源分配方案,提出了一种基于DRL的近端策略优化算法,并结合一种基于优先级的分配策略,引入了海量机器类型通信、增强移动宽带和超可靠低延迟通信业务。所提算法相较于Greedy和DQN算法,网络延迟分别降低73.19%和47.05%,能耗分别降低9.55%和6.93%,而且可以保证能源消耗和用户延迟之间的良好权衡。     

基于多智能体深度强化学习的D2D通信资源联合分配方法

设备对设备(D2D)通信作为一种短距离通信技术,能够极大地减轻蜂窝基站的负载压力和提高频谱利用率。然而将D2D直接部署在授权频段或者免授权频段必然导致与现有用户的严重干扰。当前联合部署在授权和免授权频段的D2D通信的资源分配通常被建模为混合整数非线性约束的组合优化问题,传统优化方法难以解决。针对这个挑战性问题,该文提出一种基于多智能体深度强化学习的D2D通信资源联合分配方法。在该算法中,将蜂窝网络中的每个D2D发射端作为智能体,智能体能够通过深度强化学习方法智能地选择接入免授权信道或者最优的授权信道并发射功率。通过选择使用免授权信道的D2D对(基于“先听后说”机制)向蜂窝基站的信息反馈,蜂窝基站能够在非协作的情况下获得WiFi网络吞吐量信息,使得算法能够在异构环境中执行并能够确保WiFi用户的QoS。与多智能体深度Q网络(MADQN)、多智能体Q学习(MAQL)和随机算法相比,所提算法在保证WiFi用户和蜂窝用户的QoS的情况下能够获得最大的吞吐量。     

基于深度强化学习的干扰资源分配方法

针对干扰机群掩护目标突防组网雷达场景下的干扰资源分配的问题,提出了一种基于深度强化学习的干扰资源分配方法。该文将干扰资源分配模型描述为一个马尔可夫决策过程,并提出了一种基于动作密钥编码的双延迟深度确定性策略梯度(AKE-TD3)网络训练算法,将混合整数优化问题转化为连续变量优化问题,解决了算法难以收敛的问题。仿真结果表明,文中所设计的干扰资源分配方法对组网雷达有更好的干扰效果,且稳定性更高,有效地提升了干扰机群的作战性能。     

基于深度强化学习的毫米波通信资源分配方法

针对5G毫米波通信系统资源管理难度大的问题,提出一种基于深度强化学习的毫米波通信系统资源优化分配方法。建立了符合实际应用场景的5G毫米波通信系统模型,模型考虑了移动通信基站、蜂窝用户终端与设备-设备用户终端,同时包含网络服务质量的多个关键因素。以最大下行速率与误码率为约束条件,以最大化系统总吞吐量为目标,利用深度强化学习技术寻找系统的资源分配措施。仿真实验结果表明,该方法通过资源优化分配措施改善了毫米波通信系统的总吞吐量。     

一种融合噪声网络的深度强化学习通信干扰资源分配算法

针对传统干扰资源分配算法在处理非线性组合优化问题时需要较完备的先验信息,同时决策维度小,无法满足现代通信对抗要求的问题,该文提出一种融合噪声网络的深度强化学习通信干扰资源分配算法(FNNDRL)。借鉴噪声网络的思想,该算法设计了孪生噪声评估网络,在避免Q值高估的基础上,通过提升评估网络的随机性,保证了训练过程的探索性;基于概率熵的物理意义,设计了基于策略分布熵改进的策略网络损失函数,在最大化累计奖励的同时最大化策略分布熵,避免策略优化过程中收敛到局部最优。仿真结果表明,该算法在解决干扰资源分配问题时优于所对比的平均分配和强化学习方法,同时算法稳定性较高,对高维决策空间适应性强。     

基于深度强化学习的计算卸载与资源分配策略

为了扩大车载边缘网络的覆盖范围及其计算能力,提出了一种适用于空天地融合车载网的计算卸载架构。考虑计算任务的时延和能耗约束,以及空天地融合车载网的频谱、计算和存储约束,将计算卸载决策和资源分配的联合优化问题建模为一个混合整数非线性规划问题。基于强化学习方法,将原问题转换成一个马尔可夫过程,提出了一种深度强化学习算法以求解该问题,所提算法具有较好的收敛性。仿真结果表明,所提算法在任务时延和成功率方面优于其他算法。     

基于深度强化学习的多租户PON在线带宽资源分配算法

为了解决运营商共享网络资源带来的资源分配问题,提出了一种基于深度强化学习(DRL)的在线带宽资源分配算法.该算法将多租户无源光网络(PON)系统映射到DRL模型中,DRL代理通过与环境交互,为各个待处理的带宽请求和当前剩余带宽做决策,并不断更新策略参数直至模型收敛,从而完成算法优化.搭建了仿真系统,对该算法进行了可行性...     

一种采用联邦深度强化学习的车联网资源分配方法

在车联网中,为了充分利用可用资源,车到车(Vehicle to Vehicle,V2V)链路需要动态地复用固定分配给车到基础设施(Vehicle to Infrastructure,V2I)链路的信道。传统的集中式信道资源分配方法会产生较大的通信开销,也难以适应转瞬即逝的车辆环境。为此,提出了一种基于分布式联邦深度强化学习(Federated Deep Reinforcement Learning,FDRL)的信道资源分配方法。首先,所有V2V智能体基于局部观察的环境信息独立地训练自己的模型,但彼此间保持相同的奖励以激励它们相互协作进而达成全局最优方案;然后,这些V2V智能体通过基站的帮助聚合部分模型参数,以增加接入公平性并加快模型学习效率。通过上述两阶段的迭代训练,每个V2V智能体训练出独特的决斗深度神经网络信道接入决策模型。仿真结果表明,所提出的FDRL方法与现有的优化方法相比具有更高的V2I链路总容量和V2V链路传输成功率。     

D2D通信的联合资源分配和功率控制方法

设备到设备(D2D)通信对未来蜂窝网络是一种很有前途的技术,它可以有效地提高系统的吞吐量和延长用户设备的电池寿命。然而,在蜂窝网络中,D2D通信共享频谱会造成干扰。为消除干扰,充分利用D2D通信的优势,提出了一个联合的频谱资源分配和功率控制(RAPC)方法,该方法能够实现总吞吐量最大化,同时保证D2D用户和蜂窝用户所需的最小速率。提出的资源分配和功率控制的优化问题,通过量子粒子群(QPSO)得到近似优化方案的最优解,其中的量子粒子代表资源分配和功率控制的方法,同时制定惩罚函数删除不可行的方法。仿真结果表明,该方法具有更好的性能、系统吞吐量、功率效率和最小速率比其他方法令人满意。     

基于学习的能量采集认知M2M通信资源分配算法

本文针对能量采集认知机器到机器（Machine-to-Machine,M2M）通信的能量效率问题,在保证服务质量（Quality of Service,QoS）的条件下,提出了一种能效优化算法.以最大化网络中用户能效为目标,综合考虑传输功率控制、时隙分配、传输模式选择、中继选择以及每个设备的能量状态为约束,将优化问题建模为一个混合整数非线性规划问题.将该能效优化问题转化为离散时间有限状态马尔科夫决策过程（Discrete-time and Finite-state Markov Decision Process,DFMDP）进行求解.提出一种基于深度强化学习的算法寻找最优策略.仿真结果表明,所提算法在平均能效方面优于其他方案,且收敛速度在可接受范围内.     

Multi-Objective Deep Reinforcement Learning Based Time-Frequency Resource Allocation for Multi-Beam Satellite Communications

Resource allocation is an important problem influencing the service quality of multi-beam satellite communications.In multi-beam satellite communications, the available frequency bandwidth is limited, users requirements vary rapidly, high service quality and joint allocation of multi-dimensional resources such as time and frequency are required. It is a difficult problem needs to be researched urgently for multi-beam satellite communications, how to obtain a higher comprehensive utilization rate...     

考虑能耗中断的无人机通信中基于深度强化学习的资源管理

最新研究表明,高速传输导致的手机温度变化会影响相应的传输性能。针对高速传输下未考虑与手机温度有关的能耗中断而导致传输性能降低的问题,该文提出一种基于深度强化学习的资源管理方案去考虑无人机(UAV)通信场景下的能耗中断。首先,给出无人机通信的网络模型与智能手机热传递模型的分析;其次,将能耗中断的影响以约束条件的形式整合到无人机场景的优化问题中,并通过联合考虑带宽分配、功率分配和轨迹设计优化系统吞吐量;最后,采用马尔可夫决策过程描述相应的优化问题并通过名为归一化优势函数的深度强化学习算法求解。仿真表明,所提方案能有效提升系统吞吐量并得到合理的无人机飞行轨迹。     

Deep Reinforcement Learning Based Joint Partial Computation Offloading and Resource Allocation in Mobility-Aware MEC System

Mobile edge computing(MEC) emerges as a paradigm to free mobile devices(MDs) from increasingly dense computing workloads in 6G networks. The quality of computing experience can be greatly improved by offloading computing tasks from MDs to MEC servers. Renewable energy harvested by energy harvesting equipments(EHQs) is considered as a promising power supply for users to process and offload tasks. In this paper, we apply the uniform mobility model of MDs to derive a more realistic wireless channel...     

MEC系统中基于多智能体深度增强学习的协作式任务卸载和资源分配

移动边缘计算(MEC)通过将计算任务卸载到MEC服务器上,在缓解智能移动设备计算负载的同时,可以降低服务时延。然而目前在MEC系统中,关于任务卸载和资源分配仍然存在以下问题：1)边缘节点间缺乏协作;2)计算任务到达与实际环境中动态变化的特征不匹配;3)协作式任务卸载和资源分配动态联合优化问题。为解决上述问题,文章在协作式MEC架构的基础上,提出了一种基于多智能体的深度确定性策略梯度算法(MADDPG)的任务卸载和资源分配算法,最小化系统中所有用户的长期平均成本。仿真结果表明,该算法可以有效降低系统的时延及能耗。     

基于深度强化学习的协作通信中继选择

协作通信是无线传感器网络(Wireless Sensor Network,WSN)实现数据可靠传输的关键技术,而协作通信技术的关键在于中继方案的选择。为此,提出了一种基于深度强化学习的协作通信中继选择算法(Deep Q-Learning Based Relay Selection Scheme,DQ-RSS)。首先,将WSN中具有中继选择的协作通信过程建模为马尔科夫决策过程,并采用Q学习在未知网络模型的情况下获取最佳中继选择策略;其次,针对高维状态空间下Q学习收敛时间长的问题,采用DQN(Deep-Q-Net)算法来加速Q学习的收敛。对比仿真实验结果表明,DQ-RSS在中断概率、系统容量和能耗方面均优于现有的中继选择方案,且能够有效节省收敛时间。     

无蜂窝大规模MIMO中基于深度强化学习的无人机辅助通信与资源调度

无蜂窝大规模多入多出(MIMO)网络中分布式接入点(AP)同时服务多个用户,可以实现较大区域内虚拟MIMO的大容量传输;而无人机辅助通信能够为该目标区域热点或边缘用户提供覆盖增强。为了降低反馈链路负载,并有效提升无人机辅助通信的频谱利用率,该文研究了基于AP功率分配、无人机服务区选择和接入用户选择的联合调度;首先将AP功率分配和无人机服务区选择问题联合建模为双动作马尔可夫决策过程 (DAMDP),提出了基于Q-learning和卷积神经网络(CNN)的深度强化学习(DRL)算法;然后将用户调度构造为一个0-1优化问题,并分解成子问题来求解。仿真结果表明,该文提出的基于DRL的资源调度方案与现有方案相比,可以有效提升无蜂窝大规模MIMO网络中频谱利用率。