异构云无线接入网下基于功率域NOMA的能效优化算法

针对异构云无线接入网络的频谱效率和能效问题,该文提出一种基于功率域-非正交多址接入(PD-NOMA)的能效优化算法.首先,该算法以队列稳定和前传链路容量为约束,联合优化用户关联、功率分配和资源块分配,并建立网络能效和用户公平的联合优化模型;其次,由于系统的状态空间和动作空间都是高维且具有连续性,研究问题为连续域的NP-...     

异构云无线接入网下基于功率域NOMA的能效优化算法

针对异构云无线接入网络的频谱效率和能效问题,该文提出一种基于功率域-非正交多址接入(PD-NOMA)的能效优化算法.首先,该算法以队列稳定和前传链路容量为约束,联合优化用户关联、功率分配和资源块分配,并建立网络能效和用户公平的联合优化模型;其次,由于系统的状态空间和动作空间都是高维且具有连续性,研究问题为连续域的NP-hard问题,进而引入置信域策略优化(TRPO)算法,高效地解决连续域问题;最后,针对TRPO算法的标准解法产生的计算量较为庞大,采用近端策略优化(PPO)算法进行优化求解,PPO算法既保证了TRPO算法的可靠性,又有效地降低TRPO的计算复杂度.仿真结果表明,该文所提算法在保证用户公平性约束下,进一步提高了网络能效性能.     

基于深度强化学习的无人机小区间干扰抑制技术研究

无人机(UAV)辅助蜂窝网络的空中基站工作在频谱高度拥挤的场景中,会造成严重空中小区间干扰(Inter-Cell Interference, ICI)而大大降低网络性能。为解决该问题,研究了基于深度强化学习的无人机辅助蜂窝网络小区间干扰抑制技术。首先建立了无人机辅助蜂窝网络中基于联合波束成形与功率控制(Joint Beamforming and Power Control, JBPC)的抗干扰优化模型。然后提出了基于置信区间上界(Upper Confidence Bound, UCB) Dueling深度Q网络(Deep Q Network, DQN)的深度强化学习求解算法,并利用该算法设计了联合波束成形和功率控制的ICI抑制技术。仿真结果表明,基于UCB Dueling DQN学习的JBPC干扰抑制技术的收敛性优于DQN和Dueling DQN算法,且能达到穷举法的最优容量,有利于提高无人机辅助蜂窝网络性能。     

NOMA-VLC系统中最大化总和速率功率分配方法

非正交多址接入(Non-Orthogonal Multiple Access, NOMA)被认为是提高无线通信系统频谱效率的一种很有前途的技术。文中将NOMA技术应用于可见光通信(Visible Light Communication, VLC)中，提出了一种基于深度Q网络(Deep Q Network, DQN)强化学习算法的功率分配方案来解决可见光通信系统最大化总和速率优化问题，该方案充分考虑了用户的信道条件，能够提升系统总和速率，可为VLC系统的功率分配问题提供新的思路。仿真结果表明，所提算法比Q学习功率分配算法、增益比功率分配算法、随机功率分配算法拥有更高的总和速率，在用户数小于11的范围内，总和速率平均分别提升了6.28%、12.20%、51.36%。     

利用A2C-ac的城轨车车通信资源分配算法

在城市轨道交通列车控制系统中,车车(T2T)通信作为新一代列车通信模式,利用列车间直接通信来降低通信时延,提高列车运行效率。在T2T通信与车地(T2G)通信并存场景下,针对复用T2G链路产生的干扰问题,在保证用户通信质量的前提下,该文提出一种基于多智能体深度强化学习(MADRL)的改进优势演员-评论家(A2C-ac)资源分配算法。首先以系统吞吐量为优化目标,以T2T通信发送端为智能体,策略网络采用分层输出结构指导智能体选择需复用的频谱资源和功率水平,然后智能体做出相应动作并与T2T通信环境交互,得到该时隙下T2G用户和T2T用户吞吐量,价值网络对两者分别评价,利用权重因子β为每个智能体定制化加权时序差分(TD)误差,以此来灵活优化神经网络参数。最后,智能体根据训练好的模型联合选出最佳的频谱资源和功率水平。仿真结果表明,该算法相较于A2C算法和深度Q网络(DQN)算法,在收敛速度、T2T成功接入率、吞吐量等方面均有明显提升。     

基于多智能体强化学习的异构网络CRE偏置动态优化算法

为应对无线网络用户激增导致的高吞吐量需求,针对宏微异构网络干扰场景,提出一种基于多智能体强化学习的小区范围扩展（CRE）偏置动态优化算法。基于协作多智能体强化学习的值分解网络框架,通过合理利用并在微微基站间交互系统内用户分布及其所受干扰水平,实现所有微微基站的个性化CRE偏置值在线本地化决策。仿真结果表明,与CRE=5 dB、分布式Q-Learning算法相比,所提算法在提高系统吞吐量、均衡各基站吞吐量及改善边缘用户吞吐量方面具有明显优势。     

认知无线电网络中一种基于深度强化学习的功率控制算法

在认知无线电网络中,对于Underlay接入方式的功率控制问题,现有基于强化学习的方法存在次用户接入信道的成功率和吞吐量较低。针对这一问题,提出了一种基于A3C的功率控制算法。仿真结果表明,所提基于A3C的功率控制算法比现有基于DQN的功率控制算法有效地提高了次用户接入信道的成功率和吞吐量。为了进一步优化次用户的吞吐量,将次用户功率选择空间连续化。仿真结果表明,在连续功率场景下,所提基于A3C的功率控制算法可以进一步提高次用户的吞吐量。     

基于多智能体强化学习的空地网络抗干扰传输方法研究

提出了一种基于多智能体强化学习的抗干扰传输算法,旨在抵御空地一体化网络中的功率干扰,使所有用户的可达速率之和最大化。将优化问题转化为部分可观察马尔可夫决策过程问题,采用了集中式训练和分布式执行框架。在集中式训练过程中,每个智能体与环境交互获得的经验存储在经验回放池中,用于训练演员-评论员网络。在分布式执行过程中,每架无人机使用经过训练的演员网络根据观测结果输出动作,并调整其飞行位置和传输功率以提供联合服务。采用基于剪切和计数的改进近端策略优化算法来更新演员-评论员网络参数,使其在复杂的多智能体环境中更加有效。仿真结果表明,所提算法相较于对比算法具有更快的收敛速度,且在相同干扰条件下,所提算法比对比算法获取的用户可达和速率提升约68.9%。     

基于深度强化学习的异构云无线接入网自适应无线资源分配算法

为了满足无线数据流量大幅增长的需求,异构云无线接入网(H-CRAN)的资源优化仍然是亟待解决的重要问题。该文在H-CRAN下行链路场景下,提出一种基于深度强化学习(DRL)的无线资源分配算法。首先,该算法以队列稳定为约束,联合优化拥塞控制、用户关联、子载波分配和功率分配,并建立网络总吞吐量最大化的随机优化模型。其次,考虑到调度问题的复杂性,DRL算法利用神经网络作为非线性近似函数,高效地解决维度灾问题。最后,针对无线网络环境的复杂性和动态多变性,引入迁移学习(TL)算法,利用TL的小样本学习特性,使得DRL算法在少量样本的情况下也能获得最优的资源分配策略。此外,TL通过迁移DRL模型的权重参数,进一步地加快了DRL算法的收敛速度。仿真结果表明,该文所提算法可以有效地增加网络吞吐量,提高网络的稳定性。     

基于5G无人机通信的多智能体异构网络选择方法

摘 要：5G无人机通信网络和各种不同无线接入技术的结合使无线异构网络呈现多样化的发展趋势。然而，用户繁多且不同的业务请求对网络要求也不同，造成网络接入选择问题。提出了一种基于5G无人机通信的多智能体异构网络选择方法，将用户分为多个智能体，从用户端和网络端两个方面出发，将用户侧的时延和传输速率需求与网络侧的负载均衡需求综合考虑作为即时回报的相关参数，通过基于Nash Q-Learning的算法进行学习，得到异构网络环境下的网络选择决策模型。仿真结果表明，所提异构网络选择方法针对不同业务类型用户的需求均能选择合适的网络，同时均衡网络的负载，充分利用异构无线网络的资源。     

异构蜂窝网络中用户关联与基站功率的协同优化

为实现异构蜂窝网络中宏基站和小基站之间的负载均衡,提出了一种基于效用函数最大化模型的用户关联机制和基站功率控制的协同优化方案.通过迭代算法求解该协同优化问题,首先在基站功率固定的情况下求得最佳用户关联策略,然后在所得的用户关联策略基础上通过Zoutendijk可行方向法求得基站最佳功率.通过协同优化获得的用户关联策略和基站功率控制实现了基站之间的负载均衡,通过降低宏基站功率和关闭闲置小基站降低了基站的能耗.仿真实验表明,所提方案和不实施功率控制的用户关联策略相比,实现了宏基站与小基站之间的负载均衡,降低了宏基站对小基站用户的干扰,提升了小基站用户的信号干扰噪声比,用户速率中位值提高了20％.     

基于移动边缘计算的NOMA异构网络资源分配

以最大化缓存收益为目标,针对部署缓存的NOMA异构网络下的基站用户匹配及功率分配问题,结合消息传递及DC规划提出了NOMA联合优化算法。首先将约束条件合并到目标函数中,通过计算新的优化问题中函数节点与变量节点间消息传递的边缘得到用户协同结果;然后将原优化问题变形为2个凸函数差的形式,通过DC规划对功率资源进行分配;最后迭代计算得到最终的用户协同及功率分配结果。仿真结果证明所提算法有效地提升了网络性能。     

基于用户体验质量和系统能耗的异构网络联合接入选择和功率分配策略

为了解决无线网络能耗和用户体验质量的问题,提出了一种应用于异构无线网络环境的基于多目标优化的联合接入选择和功率分配策略。该策略以最小化系统整体能耗和最大化用户平均体验质量为目标,建立了多目标优化联合分配模型,通过差分进化算法得到联合分配模型的最优解集,并结合 TOPSIS 的方法从最优解集中得到折中的联合分配方案。仿真结果表明,本文所提的策略能够有效地降低系统能耗,并提升用户整体的服务体验。     

Load-balance cell association for improving network capacity in heterogeneous cellular networks

Heterogeneous cellular networks improve the spectrum efficiency and coverage of wireless communication networks by deploying low power base station （BS） overlapping the conventional macro cell. But due to the disparity between the transmit powers of the macro BS and the low power BS, cell association strategy developed for the conventional homogeneous networks may lead to a highly unbalanced traffic loading with most of the traffic concentrated on the macro BS. In this paper, we propose a load-balance cell association scheme for heterogeneous cellular network aiming to maximize the network capacity. By relaxing the association constraints, we can get the upper bound of optimal solution and convert the primal problem into a convex optimization problem. Furthermore we propose a Lagrange multipliers based distributed algorithm by using Lagrange dual theory to solve the convex optimization, which converges to an optimal solution with a theoretical performance guarantee. With the proposed algorithm, mobile terminals （MTs） need to jointly consider their traffic type, received signal-to-interference-noise-ratios （SINRs） from BSs, and the load of BSs when they choose server BS. Simulation results show that the load balance between macro and pico BS is achieved and network capacity is improved significantly by our proposed cell association algorithm.     

大规模MIMO OFDMA下行系统能效资源分配算法

针对大规模多输入多输出（MIMO）正交频分多址(OFDMA)下行移动通信系统,提出了一种基于能效最优的资源分配算法。所提算法在采用迫零(ZF)预编码的情况下,以最大化系统能效的下界为准则,同时考虑每个用户的最低速率要求,通过调整带宽分配、功率分配和基站天线数分配来优化能效函数。首先根据优化条件提出了一种迭代算法确定每个用户的带宽分配,然后利用分数规划的性质并采用凸优化方法,通过联合调整基站端的发射天线数和用户的发射功率来优化能效函数。仿真结果表明,所提算法在较少迭代次数的同时能够取得较好的系统能效性能和吞吐量性能。     

Precoding and channel state information sharing in cooperative macro base stations and femto sites

Femto cell technology is a promising solution for indoor coverage of cellular systems. The interference between macro and femto cells can be mitigated via cooperation between the macro base station (BS) and the inside femto sites (FSs). In this paper, the idea of multi‐cell multi‐input and multi‐output is introduced, whereby the macro BS shares the same frequency band with the inside FSs in support of the femto users. Both single‐user and multi‐user precoding at the macro BS are proposed to support the cooperative transmission between the macro BSs and FSs. In single‐user precoding and multi‐user precoding without power allocation, only the angle information of the FS‐user channels is required to be sent from the users to the macro BS. If the magnitude information is also sent by each user, multi‐user precoding with power allocation can be employed to support cooperation between macro BSs and FSs, which is an extension of the classical water‐filling optimization problem. Theoretical derivations and an iterative algorithm are both presented to solve this optimization problem. Analytical and simulation results with respect to the signal received with interferences validate the effectiveness of cooperation between the macros BSs and FSs.Copyright © 2012 John Wiley & Sons, Ltd.     

Adaptive Resource Allocation for MC‐CDMA and OFDMA in Reconfigurable Radio Systems

This paper studies the uplink resource allocation for multiple radio access (MRA) in reconfigurable radio systems, where multiple‐input and multiple‐output (MIMO) multicarrier‐code division multiple access (MC‐CDMA) and MIMO orthogonal frequency‐division multiple access (OFDMA) networks coexist. By assuming multi‐radio user equipment with network‐guided operation, the optimal resource allocation for MRA is analyzed as a cross‐layer optimization framework with and without fairness consideration to maximize the uplink sum‐rate capacity. Numerical results reveal that parallel MRA, which uses MC‐CDMA and OFDMA networks concurrently, outperforms the performance of each MC‐CDMA and OFDMA network by exploiting the multiuser selection diversity.     

Learning with handoff cost constraint for network selection in heterogeneous wireless networks

In heterogeneous wireless networks, network selection algorithms provide the user with the optimum network access choice. The optimal network is evaluated according to network parameters. Considering that the network parameters are dynamic and unavailable for the user in realistic heterogeneous wireless network environments, most existing network selection algorithms cannot work effectively. Learning‐based algorithms can address the problem of uncertain network parameters, while they commonly need considerable network handoff, resulting in unbearable handoff cost. In order to tackle the uncertainty of network parameters, we formulate the network selection problem as a multi‐armed bandit problem. Moreover, two online learning‐based network selection algorithms with a special consideration on reducing network handoff cost are proposed. By updating in a block manner, both algorithms achieve optimal logarithmic‐order regret and limited network handoff cost. The simulation indicates that the two algorithms can significantly reduce the network handoff cost and improve the transmission performance compared with existing algorithms, simultaneously. Copyright © 2014 John Wiley & Sons, Ltd.     

基于深度强化学习的反向散射网络资源分配机制

为了提升反向散射网络中物联网设备的平均吞吐量,提出了一种资源分配机制,构建了用户配对和时隙分配联合优化资源分配模型。由于该模型直接利用深度强化学习(Deep Reinforcement Learning,DRL )算法求解导致动作空间维度较高且神经网络复杂,故将其分解为两层子问题以降低动作空间维度：首先,基于深度强化学习算法,利用历史信道信息推断当前的信道信息以进行最优的用户配对;然后,在用户固定配对的情况下,基于凸优化算法,以最大化物联网设备总吞吐量为目标进行最优的时隙分配。仿真结果表明,与其他资源分配方法相比,所提资源分配方法能有效提升系统吞吐量,且有较好的信道适应性和收敛性。     

5G电力虚拟专网和数字孪生相结合的系统架构和构建

设计了一种5G电力虚拟专网和数字孪生相结合的系统架构，并考虑了终端数字孪生时同步的构建方法，提出了一种分层多智能强化学习算法。该算法决定分配给电力用户终端的资源和数字孪生体的放置，上层通过深度Q网络实现切片通信资源的分配，下层通过多智能体深度强化学习实现电力用户终端的数字孪生体放置。实验结果表明，所提出的分层多智能体算法在电力用户终端数字孪生体的同步强度上能获得较好的系统收益。