无人机辅助无蜂窝大规模MIMO中的空地协同调度

无蜂窝大规模多输入多输出(multiple-input multiple-output,MIMO)技术采用大量接入点(access point,AP)为地面用户提供高效的通信服务,但在有高速移动用户的场景中,会加剧对信道状态信息的依赖。为了减少导频资源的消耗,提出了一种综合无人机(unmanned aerial vehicle,UAV)辅助通信和无蜂窝大规模MIMO通信的双系统架构,该架构能够预测高速移动用户的轨迹,利用无人机为其提供可靠通信;进一步提出了基于深度强化学习(deep reinforcement learning,DRL)的无人机轨迹设计和地面用户调度方案,在满足各类约束的前提下实现系统总和速率最大化。仿真结果表明,与现有方案相比,所提方案能够有效提升系统容量。     

面向6G的无蜂窝大规模MIMO无线传输技术

无蜂窝是一种新型的组网方式,对6G超高峰值速率、超高频谱效率、海量连接以及超低时延和超高可靠传输均有重要的支撑作用.介绍了面向6G的无蜂窝大规模MIMO系统中的无线传输技术,包括高频段和低频段的无蜂窝大规模MIMO以及网络辅助全双工等关键技术,分析了无蜂窝系统面临的瓶颈问题,包括信道信息获取、分布式收发机设计、交叉链路...     

无蜂窝大规模MIMO系统接入点动态选择算法

在无蜂窝大规模多输入多输出(Multiple-Input Multiple-Output, MIMO)系统中,所有接入点(Access Point, AP)为用户提供服务的方式会造成较大的功率消耗和增加前传链路压力。以“用户为中心”的AP选择方案为每个用户选择最佳的AP集合,使系统频谱效率和能量效率得以提升。为了给每个用户选择最佳的AP集合,提出了一种基于反向传播(Back Propagation, BP)神经网络的接入点动态选择算法。将AP与用户之间的大尺度衰落向量作为输入,AP与用户之间的连接关系作为BP神经网络输出的预测向量,同时,针对BP神经网络初始化权值,提出了一种改进的自适应遗传算法以提高算法的收敛速度和收敛性能。仿真结果表明,改进后的BP神经网络预测结果更接近于实际值,并且比全连接和启发式的AP选择方案具有更高的系统和速率。     

基于CNN的毫米波无蜂窝大规模MIMO信道估计

针对小区间干扰导致蜂窝边缘无法满足不断增长的数据速率需求问题,毫米波无蜂窝大规模多输入多输出(Multiple-Input Multiple-Output, MIMO)系统被认为是一种很有前途的解决方案。然而,毫米波的高频率、大带宽以及接入点配置的大量天线给信道估计带来了较大挑战。将毫米波大规模MIMO信道矩阵视为二维图像,结合图像去噪方法提出一种基于改进去噪卷积神经网络(Improved-Denoising Convolutional Neural Network, I-DnCNN)的信道估计算法。通过具有注意力机制的压缩与激励(Squeeze-and-Excitation, SE)模块,自适应调整提取的全局特征以增强对信道噪声特征的学习,根据接收信号估计出噪声等级图且增添为输入,提升对噪声的鲁棒性。最后,采用残差学习的方式获得估计信道矩阵。利用理论信道模型和基于波束追踪的信道数据集进行的仿真实验结果表明,与去噪卷积神经网络(Denoising Convolutional Neural Network, DnCNN)算法相比,所提算法在两个数据集下的信道估计精度可分别平均提升2.27...     

RIS辅助的无蜂窝大规模MIMO关键技术研究

针对密集蜂窝组网干扰受限难题,无蜂窝大规模MIMO利用大规模宏分集,构建以用户为中心的新架构,大规模灵活协作显著提升每个用户性能。同时,无蜂窝辅以智能超表面技术,以低成本和低功耗极大提升网络容量。聚焦研究了RIS辅助的无蜂窝大规模MIMO天线校准和导频分配两个关键问题。针对大规模RAU校准难题,首先在最低校准信噪比和校准相干时间约束下,提出动态分簇的可自愈校准拓扑构建方法,然后为降低校准时域开销,设计了RAU簇内和簇间校准时序,研究了可扩展的天线校准算法,能实现任意多RAU联合相位校准。针对导频分配问题,首先提出基于空间高相关性的用户动态簇的构建新方法,然后提出用户簇内基于信道相关性最低和用户簇间最小复用概率的导频分配方法。仿真结果表明,提出的校准算法具有较小的校准误差和较好的扩展性。同时,提出的导频分配算法性能可逼近最大化容量导频分配算法,且复杂度大幅降低。     

卫星辅助的去蜂窝大规模MIMO通感一体化系统

为了应对未来通信系统中物联网业务和数据业务需求的激增,以及通信与雷达频谱重叠导致的资源紧缺问题,同时提高系统容量和降低感知网络部署成本,卫星技术被认为是通信与感知一体化系统的有效辅助手段。对卫星辅助的去蜂窝大规模MIMO通感一体化系统架构进行深入研究,通过阐述信号处理流程,重点分析其通信性能,并利用仿真实验比较不同密集化部署和网络负载条件下的用户下行平均速率,验证了该系统有着比单纯地面去蜂窝大规模MIMO系统更优越的性能,为后续的星地融合通感一体化系统设计提供了指导和参考。     

基于深度强化学习的蜂窝无人机网络中的轨迹设计

设计了一个蜂窝无人机网络,其中无人机采集到的感知数据可以通过直通通信的方式直接传输到移动设备端,或者通过传统的蜂窝方式传输到移动设备端。由于无人机的传输模式会影响到它们的轨迹,在考虑了传输模式的情况下,研究了无人机轨迹设计问题,以最大化系统的总效用。该问题是一个状态行动空间非常大的马尔科夫决策问题,基于此问题提出了一种基于深度强化学习的多无人机轨迹设计算法。仿真结果表明所提出的算法比单智能体算法性能更好。     

基于无线传播环境的无蜂窝大规模MIMO系统接入点部署优化

无蜂窝大规模多输入多输出（MIMO）系统通过在覆盖区域内部署大量的接入点（AP）,可以为用户提供均匀、可靠的服务。传统的无蜂窝大规模MIMO系统采用随机部署,未考虑AP周围的路径损耗、阴影衰落散射物以及环境遮挡对覆盖质量的影响。为了考虑实际环境下无蜂窝大规模MIMO能实现均匀、一致的覆盖,提出了基于无线传播环境的AP部署方案。首先,通过混合概率路径损耗模型对无线传播环境进行表征,其次构建了以最大化平均吞吐量为目标的AP部署优化问题,最后将问题转化为马尔可夫博弈过程,并且基于多智能体深度确定性策略梯度（MADDPG）算法得出最优的AP部署策略。仿真结果表明,相比于传统的随机部署和现有AP部署策略,所提方案可明显改善复杂环境下的非均匀覆盖问题,为用户提供良好一致的均匀覆盖。     

基于深度强化学习的无蜂窝系统无线接入点选择算法

面向以用户为中心的无蜂窝分布式多输入多输出（Multiple睮nput Multiple睴utput,MIMO）架构,研究利用不完备信道状态信息（Channel State Information,CSI）下实现无线接入点（Access Point,AP）与用户（User Equipment,UE）之间的选择,提出基于深度强化学习（Deep Reinforcement Learning,DRL）的高效分配算法,通过使用不完备CSI快速生成以用户为中心的AP集合,减少了对前馈链路容量的占用。仿真结果表明,与其他传统选择算法相比,所提出的DRL接入点选择算法可以获得至少22.48%的总遍历频谱效率增益;与深度Q网络 (Deep睶睳etwork,DQN)算法相比,可以获得约14.17%的总频谱效率增益。     

基于深度强化学习的无人机辅助移动边缘计算系统能耗优化

近年来,部署搭载有移动边缘计算(MEC)服务器的无人机(UAVs)为地面用户提供计算资源已成为一种新兴的技术。针对无人机辅助多用户移动边缘计算系统,该文构建了以最小化用户平均能耗为目标的模型,联合优化无人机的飞行轨迹和用户计算策略的调度。通过深度强化学习(DRL)求解能耗优化问题,提出基于柔性参与者-评论者(SAC)的优化算法。该算法应用最大熵的思想来探索最优策略并使用高效迭代更新获得最优策略,通过保留所有高回报值的策略,增强算法的探索能力,提高训练过程的收敛速度。仿真结果表明与已有算法相比,所提算法能有效降低用户的平均能耗,并具有很好的稳定性和收敛性。     

基于迁移深度强化学习的低轨卫星跳波束资源分配方案

针对低轨(LEO)卫星场景下,传统资源分配方案容易造成特定小区资源分配无法满足需求的问题,该文提出一种基于迁移深度强化学习(TDRL)的低轨卫星跳波束资源分配方案。首先,该方案联合星上缓冲信息、业务到达情况和信道状态,以最小化卫星上数据包平均时延为目标,建立支持跳波束技术的低轨卫星资源分配优化模型。其次,针对低轨卫星网络的动态多变性,该文考虑动态随机变化的通信资源和通信需求,采用深度Q网络(DQN)算法利用神经网络作为非线性近似函数。进一步,为实现并加速深度强化学习(DRL)算法在其他目标任务中的收敛过程,该文引入迁移学习(TL)概念,利用源卫星学习的调度任务快速寻找目标卫星的波束调度和功率分配策略。仿真结果表明,该文所提出的算法能够优化卫星服务过程中的时隙分配,减少数据包的平均传输时延,并有效提高系统的吞吐量和资源利用效率。     

考虑能耗中断的无人机通信中基于深度强化学习的资源管理

最新研究表明,高速传输导致的手机温度变化会影响相应的传输性能。针对高速传输下未考虑与手机温度有关的能耗中断而导致传输性能降低的问题,该文提出一种基于深度强化学习的资源管理方案去考虑无人机(UAV)通信场景下的能耗中断。首先,给出无人机通信的网络模型与智能手机热传递模型的分析;其次,将能耗中断的影响以约束条件的形式整合到无人机场景的优化问题中,并通过联合考虑带宽分配、功率分配和轨迹设计优化系统吞吐量;最后,采用马尔可夫决策过程描述相应的优化问题并通过名为归一化优势函数的深度强化学习算法求解。仿真表明,所提方案能有效提升系统吞吐量并得到合理的无人机飞行轨迹。     

一种融合噪声网络的深度强化学习通信干扰资源分配算法

针对传统干扰资源分配算法在处理非线性组合优化问题时需要较完备的先验信息,同时决策维度小,无法满足现代通信对抗要求的问题,该文提出一种融合噪声网络的深度强化学习通信干扰资源分配算法(FNNDRL)。借鉴噪声网络的思想,该算法设计了孪生噪声评估网络,在避免Q值高估的基础上,通过提升评估网络的随机性,保证了训练过程的探索性;基于概率熵的物理意义,设计了基于策略分布熵改进的策略网络损失函数,在最大化累计奖励的同时最大化策略分布熵,避免策略优化过程中收敛到局部最优。仿真结果表明,该算法在解决干扰资源分配问题时优于所对比的平均分配和强化学习方法,同时算法稳定性较高,对高维决策空间适应性强。     

基于深度强化学习的异构云无线接入网自适应无线资源分配算法

为了满足无线数据流量大幅增长的需求,异构云无线接入网(H-CRAN)的资源优化仍然是亟待解决的重要问题。该文在H-CRAN下行链路场景下,提出一种基于深度强化学习(DRL)的无线资源分配算法。首先,该算法以队列稳定为约束,联合优化拥塞控制、用户关联、子载波分配和功率分配,并建立网络总吞吐量最大化的随机优化模型。其次,考虑到调度问题的复杂性,DRL算法利用神经网络作为非线性近似函数,高效地解决维度灾问题。最后,针对无线网络环境的复杂性和动态多变性,引入迁移学习(TL)算法,利用TL的小样本学习特性,使得DRL算法在少量样本的情况下也能获得最优的资源分配策略。此外,TL通过迁移DRL模型的权重参数,进一步地加快了DRL算法的收敛速度。仿真结果表明,该文所提算法可以有效地增加网络吞吐量,提高网络的稳定性。

     

运营商网络中基于深度强化学习的服务功能链迁移机制

为改善运营商网络提供的移动服务体验,该文研究服务功能链(SFC)的在线迁移问题。首先基于马尔可夫决策过程(MDP)对服务功能链中的多个虚拟网络功能(VNF)在运营商网络中的驻留位置迁移进行模型化分析。通过将强化学习和深度神经网络相结合提出一种基于双深度Q网络(double DQN)的服务功能链迁移机制,该迁移方法能在连续时间下进行服务功能链的在线迁移决策并避免求解过程中的过度估计。实验结果表明,该文所提出的策略相比于固定部署算法和贪心算法在端到端时延和网络系统收益等方面优势明显,有助于运营商改善服务体验和资源的使用效率。     

基于多智能体深度强化学习的无人机动态预部署策略

针对传统优化算法在求解长时间尺度内通信无人机(UAV)动态部署时复杂度过高且难以与动态环境信息匹配等缺陷,该文提出一种基于多智能体深度强化学习(MADRL)的UAV动态预部署策略。首先利用一种深度时空网络模型预测用户的预期速率需求以捕捉动态环境信息,定义用户满意度的概念以刻画用户所获得UAV提供服务的公平性,并以最大化长期总体用户满意度和最小化UAV移动及发射能耗为目标建立优化模型。其次,将上述模型转化为部分可观测马尔科夫博弈过程(POMG),并提出一种基于MADRL的H-MADDPG算法求解该POMG中轨迹规划、用户关联和功率分配的最佳决策。该H-MADDPG算法使用混合网络结构以实现对多模态输入的特征提取,并采用集中式训练-分布式执行的机制以高效地训练和执行决策。最后仿真结果证明了所提算法的有效性。     

基于深度强化学习的有源中点钳位逆变器效率优化设计

传统电力电子变换器设计多采用顺序设计法,依赖人工经验。近年来,电力电子自动化设计可通过计算机快速优化设计电力电子系统而备受关注。该文以有源中点钳位(ANPC)逆变器的效率优化设计为例,提出一种基于深度强化学习(DRL)的电力电子自动化设计方法,可实现在变换器设计需求变化时,根据设计目标快速得到最优的设计参数。首先介绍了基于DRL的逆变器效率优化整体框架;然后建立了逆变器的效率模型;接着通过深度确定性策略梯度(DDPG)算法的自学习不断训练智能体,获得了最小化功率损耗的优化策略,该策略能够快速响应设计规格变化提供最大化效率的设计变量;最后,搭建了140 kW的实验样机,实验结果验证了所提方法的有效性,相比于遗传算法和强化学习(RL),实测效率分别提高了0.025 %和0.025 %。     

多用户大规模MIMO系统能效资源分配算法

该文针对多用户大规模多输入多输出(MIMO)移动通信上行系统,提出一种基于能效优化的资源分配算法。所提方法在采用最大比合并(MRC)接收情况下,满足用户数据速率和可容忍的干扰水平约束条件下,以最大化系统能效下界为准则建立优化模型。根据分数规划的性质,把原始的分数最优化问题转换成减式的形式,进而采用凸优化的方法,通过联合调整基站端的发射天线数和用户的发射功率来优化能效函数。仿真结果表明,所提算法与穷举算法在能效上的差距不足9%,并且有较好的系统频谱效率性能,同时算法复杂度得到了显著降低。