基于深度学习的毫米波系统波束成形

针对高移动用户在毫米波系统中用户与基站之间频繁切换增大延迟开销问题,提出了一种新颖的集成深度学习协调波束成形(Deep Learning Coordinated Beamforming,DLCBF)解决方案.该方案通过协调多个基站同时为一个移动用户服务,接收用户上行导频序列和预编码码本训练模型,进而预测最佳下行波束向量...     

一种采用联邦深度强化学习的车联网资源分配方法

在车联网中,为了充分利用可用资源,车到车(Vehicle to Vehicle,V2V)链路需要动态地复用固定分配给车到基础设施(Vehicle to Infrastructure,V2I)链路的信道。传统的集中式信道资源分配方法会产生较大的通信开销,也难以适应转瞬即逝的车辆环境。为此,提出了一种基于分布式联邦深度强化学习(Federated Deep Reinforcement Learning,FDRL)的信道资源分配方法。首先,所有V2V智能体基于局部观察的环境信息独立地训练自己的模型,但彼此间保持相同的奖励以激励它们相互协作进而达成全局最优方案;然后,这些V2V智能体通过基站的帮助聚合部分模型参数,以增加接入公平性并加快模型学习效率。通过上述两阶段的迭代训练,每个V2V智能体训练出独特的决斗深度神经网络信道接入决策模型。仿真结果表明,所提出的FDRL方法与现有的优化方法相比具有更高的V2I链路总容量和V2V链路传输成功率。     

SWIPT-D2D通信中基于深度强化学习的资源分配

针对信道状态信息未知SWIPT-D2D((Simultaneous Wireless Information and Power Transfer Device to Device)无线通信网络环境下设备间信号干扰以及设备能量损耗问题,提出通过使用近端策略优化(Proximal Policy Optimization, PPO)算法,在满足蜂窝用户通信质量要求的前提下同时对D2D用户的资源块、发射功率以及功率分割比三部分进行联合优化。仿真结果表明,所提算法相比于其他算法能够为D2D用户制定更好的资源分配方案,在保证蜂窝用户保持较高通信速率的同时使D2D用户获得更高的能效。同时,当环境中用户数量增加时,所提算法相比于Dueling Double DQN(Deep Q-Network)以及DQN算法,D2D能效分别平均提高了15.95%和23.59%,当通信网络规模变大时所提算法具有更强的鲁棒性。     

基于深度强化学习的干扰资源分配方法

针对干扰机群掩护目标突防组网雷达场景下的干扰资源分配的问题,提出了一种基于深度强化学习的干扰资源分配方法。该文将干扰资源分配模型描述为一个马尔可夫决策过程,并提出了一种基于动作密钥编码的双延迟深度确定性策略梯度(AKE-TD3)网络训练算法,将混合整数优化问题转化为连续变量优化问题,解决了算法难以收敛的问题。仿真结果表明,文中所设计的干扰资源分配方法对组网雷达有更好的干扰效果,且稳定性更高,有效地提升了干扰机群的作战性能。     

一种融合噪声网络的深度强化学习通信干扰资源分配算法

针对传统干扰资源分配算法在处理非线性组合优化问题时需要较完备的先验信息,同时决策维度小,无法满足现代通信对抗要求的问题,该文提出一种融合噪声网络的深度强化学习通信干扰资源分配算法(FNNDRL)。借鉴噪声网络的思想,该算法设计了孪生噪声评估网络,在避免Q值高估的基础上,通过提升评估网络的随机性,保证了训练过程的探索性;基于概率熵的物理意义,设计了基于策略分布熵改进的策略网络损失函数,在最大化累计奖励的同时最大化策略分布熵,避免策略优化过程中收敛到局部最优。仿真结果表明,该算法在解决干扰资源分配问题时优于所对比的平均分配和强化学习方法,同时算法稳定性较高,对高维决策空间适应性强。     

基于分布式联邦学习的毫米波通信系统波束配置方法

针对超密集组网中毫米波通信系统复杂的波束配置问题,该文提出一种基于分布式联邦学习(DFL)的波束配置算法(BMDFL),旨在利用有限的波束资源实现用户覆盖率最大化。考虑到传统集中式学习存在用户数据安全问题,基于分布式联邦学习框架构建系统模型,从而减少用户隐私信息的泄露。为了实现波束的智能化配置,引入双深度Q学习算法(DDQN)训练系统模型,并通过马尔可夫决策过程将长期的动态优化问题转化为相应的数学模型进行求解。仿真结果从系统的网络吞吐量和用户覆盖率方面验证了该方法的有效性和鲁棒性。     

5G异构网络中基于优先级的深度强化学习联合资源分配

为了研究基于深度强化学习(Deep Reinforcement Learning, DRL)的5G异构网络模型的性能,同时在最小化系统能耗并满足不同类型终端用户的服务质量要求的基础上制定合理的资源分配方案,提出了一种基于DRL的近端策略优化算法,并结合一种基于优先级的分配策略,引入了海量机器类型通信、增强移动宽带和超可靠低延迟通信业务。所提算法相较于Greedy和DQN算法,网络延迟分别降低73.19%和47.05%,能耗分别降低9.55%和6.93%,而且可以保证能源消耗和用户延迟之间的良好权衡。     

基于深度强化学习的反向散射网络资源分配机制

为了提升反向散射网络中物联网设备的平均吞吐量,提出了一种资源分配机制,构建了用户配对和时隙分配联合优化资源分配模型。由于该模型直接利用深度强化学习(Deep Reinforcement Learning,DRL )算法求解导致动作空间维度较高且神经网络复杂,故将其分解为两层子问题以降低动作空间维度：首先,基于深度强化学习算法,利用历史信道信息推断当前的信道信息以进行最优的用户配对;然后,在用户固定配对的情况下,基于凸优化算法,以最大化物联网设备总吞吐量为目标进行最优的时隙分配。仿真结果表明,与其他资源分配方法相比,所提资源分配方法能有效提升系统吞吐量,且有较好的信道适应性和收敛性。     

基于深度强化学习的蜂窝无人机网络中的轨迹设计

设计了一个蜂窝无人机网络,其中无人机采集到的感知数据可以通过直通通信的方式直接传输到移动设备端,或者通过传统的蜂窝方式传输到移动设备端。由于无人机的传输模式会影响到它们的轨迹,在考虑了传输模式的情况下,研究了无人机轨迹设计问题,以最大化系统的总效用。该问题是一个状态行动空间非常大的马尔科夫决策问题,基于此问题提出了一种基于深度强化学习的多无人机轨迹设计算法。仿真结果表明所提出的算法比单智能体算法性能更好。     

基于深度强化学习的移动通信网载波调整算法

为解决如何准确、及时地对移动通信网络扇区进行载波调整的问题,提出了一种基于深度强化学习的扇区扩（减）容算法。采用Model-based强化学习方法,建立了容量指标概率动态模型的多模型组合,利用真实环境的历史数据对模型进行训练,并在此基础上构建了虚拟环境。然后用神经网络构建智能体,并使之与虚拟环境互动,采用短展开技术,产生虚拟样本。最后利用虚拟样本,采用DQN算法对智能体进行策略优化,使其给出扇区扩（减）容操作的建议。实验结果表明,训练后的智能体给出的载波调整建议,达到了较高的正确率。     

基于深度强化学习的异构云无线接入网自适应无线资源分配算法

为了满足无线数据流量大幅增长的需求,异构云无线接入网(H-CRAN)的资源优化仍然是亟待解决的重要问题。该文在H-CRAN下行链路场景下,提出一种基于深度强化学习(DRL)的无线资源分配算法。首先,该算法以队列稳定为约束,联合优化拥塞控制、用户关联、子载波分配和功率分配,并建立网络总吞吐量最大化的随机优化模型。其次,考虑到调度问题的复杂性,DRL算法利用神经网络作为非线性近似函数,高效地解决维度灾问题。最后,针对无线网络环境的复杂性和动态多变性,引入迁移学习(TL)算法,利用TL的小样本学习特性,使得DRL算法在少量样本的情况下也能获得最优的资源分配策略。此外,TL通过迁移DRL模型的权重参数,进一步地加快了DRL算法的收敛速度。仿真结果表明,该文所提算法可以有效地增加网络吞吐量,提高网络的稳定性。

     

基于深度强化学习的认知车联网频谱接入算法

先前的研究仅考虑仅仅存在认知车联网单一通信环境的问题,这样不能充分利用频谱资源。为了提高频谱利用率,提出一种适用于同时存在多个认知车辆的认知车联网环境的方法。同时为了提高认知车辆频谱接入的成功率,通过结合不同情况下的授权车辆和认知车辆的吞吐量设计了不同的反馈函数提出了一种改进的深度强化学习方法。所提出方法的性能明显优于传统的Q学习算法,能够更明显地提高频谱利用率,满足日益增长的车联网通信需求。     

基于深度强化学习的计算卸载与资源分配策略

为了扩大车载边缘网络的覆盖范围及其计算能力,提出了一种适用于空天地融合车载网的计算卸载架构。考虑计算任务的时延和能耗约束,以及空天地融合车载网的频谱、计算和存储约束,将计算卸载决策和资源分配的联合优化问题建模为一个混合整数非线性规划问题。基于强化学习方法,将原问题转换成一个马尔可夫过程,提出了一种深度强化学习算法以求解该问题,所提算法具有较好的收敛性。仿真结果表明,所提算法在任务时延和成功率方面优于其他算法。     

基于强化学习的通信网络入侵自适应检测方法

通信网络入侵检测是网络信息安全领域研究的重点。传统的通信网络入侵检测方法属于固定式检测,不能根据通信业务变化而自主升级,容易发生误判、漏判等问题。为此,提出了基于Q强化学习算法的通信网络入侵自适应监测方法。利用强化学习智能体与环境交互,不断更新智能体的特点,设计了自适应监测的方法。以该方法为核心,介绍了入侵检测系统设计,实际应用情况表明该方法较传统固定式检测方法具有更高的检测稳定性,对通信网络传输业务变化的适应性更强。     

融合深度学习和强化学习的5G无线资源管理

针对超密集组网用户体验需求和无线资源利用率低的问题,在满足用户需求基础上,结合深度学习强大的感知能力提取时变的信道特征,利用强化学习优化信道接入策略,减少海量设备在无线连接过程中遇到的接入碰撞,在用户QoS的约束下实现系统平均吞吐量最大化的目标,提高资源利用率.实验表明,该方法能够保证用户最低QoS要求下提高系统平均吞...     

一种基于深度学习的室内波束选择方法

针对以往利用搜索匹配进行波束对准的方法不适用于具有随机方向的室内手持用户终端这一问题,引入一种基于深度神经网络的室内波束选择方法。设定该室内场景中发射机位置和方向固定,接收机的位置和方向任意以模拟手持用户终端。该方法首先通过测量每个波束对的传输效率以及信噪比等特征,获得在设定场景中的波束对匹配列表数据库;而后将接收机的位置和方向作为输入,每个波束对的最佳概率作为输出,采用机器学习的分类方法对测试的室内场景进行训练,获得学习模型;最后,结合已训练好的学习模型,根据实际接收机状态信息匹配最佳波束对。仿真结果表明,与广义逆指纹算法相比,该方法具有更高的波束匹配概率和搜索效率。     

基于深度学习网络的群体通信行为识别方法

现有群体通信行为识别方法识别率低、易受到干扰源影响,为此,引进深度学习网络,设计一种针对群体通信行为的全新识别方法。设定群体在网络中通信时任意一个通信节点随着时间变化而发生变化的序列,基于时间序列匹配通信背景,对群体通信行为发生背景进行提取与剥离;设定深度学习样本数据集合,结合粒子群的聚类方向,确定分类模型,实现对群体通信行为的标准化分类;引进共识函数,对群体通信行为进行识别,并通过设计识别算法的方式,对输出的识别结果进行多次迭代,实现识别结果的高精度。通过对比实验证明,在相同条件下,设计的识别方法识别率更高,且不会受到数据源中干扰数据的影响,可为后续群体通信安全策略的提出提供更有利的依据。     

基于深度强化学习的无人机小区间干扰抑制技术研究

无人机(UAV)辅助蜂窝网络的空中基站工作在频谱高度拥挤的场景中,会造成严重空中小区间干扰(Inter-Cell Interference, ICI)而大大降低网络性能。为解决该问题,研究了基于深度强化学习的无人机辅助蜂窝网络小区间干扰抑制技术。首先建立了无人机辅助蜂窝网络中基于联合波束成形与功率控制(Joint Beamforming and Power Control, JBPC)的抗干扰优化模型。然后提出了基于置信区间上界(Upper Confidence Bound, UCB) Dueling深度Q网络(Deep Q Network, DQN)的深度强化学习求解算法,并利用该算法设计了联合波束成形和功率控制的ICI抑制技术。仿真结果表明,基于UCB Dueling DQN学习的JBPC干扰抑制技术的收敛性优于DQN和Dueling DQN算法,且能达到穷举法的最优容量,有利于提高无人机辅助蜂窝网络性能。     

基于深度强化学习的多租户PON在线带宽资源分配算法

为了解决运营商共享网络资源带来的资源分配问题,提出了一种基于深度强化学习(DRL)的在线带宽资源分配算法.该算法将多租户无源光网络(PON)系统映射到DRL模型中,DRL代理通过与环境交互,为各个待处理的带宽请求和当前剩余带宽做决策,并不断更新策略参数直至模型收敛,从而完成算法优化.搭建了仿真系统,对该算法进行了可行性...