基于深度强化学习的异构云无线接入网自适应无线资源分配算法

为了满足无线数据流量大幅增长的需求,异构云无线接入网(H-CRAN)的资源优化仍然是亟待解决的重要问题。该文在H-CRAN下行链路场景下,提出一种基于深度强化学习(DRL)的无线资源分配算法。首先,该算法以队列稳定为约束,联合优化拥塞控制、用户关联、子载波分配和功率分配,并建立网络总吞吐量最大化的随机优化模型。其次,考虑到调度问题的复杂性,DRL算法利用神经网络作为非线性近似函数,高效地解决维度灾问题。最后,针对无线网络环境的复杂性和动态多变性,引入迁移学习(TL)算法,利用TL的小样本学习特性,使得DRL算法在少量样本的情况下也能获得最优的资源分配策略。此外,TL通过迁移DRL模型的权重参数,进一步地加快了DRL算法的收敛速度。仿真结果表明,该文所提算法可以有效地增加网络吞吐量,提高网络的稳定性。

     

5G异构网络中基于优先级的深度强化学习联合资源分配

为了研究基于深度强化学习(Deep Reinforcement Learning, DRL)的5G异构网络模型的性能,同时在最小化系统能耗并满足不同类型终端用户的服务质量要求的基础上制定合理的资源分配方案,提出了一种基于DRL的近端策略优化算法,并结合一种基于优先级的分配策略,引入了海量机器类型通信、增强移动宽带和超可靠低延迟通信业务。所提算法相较于Greedy和DQN算法,网络延迟分别降低73.19%和47.05%,能耗分别降低9.55%和6.93%,而且可以保证能源消耗和用户延迟之间的良好权衡。     

异构云无线接入网下基于功率域NOMA的能效优化算法

针对异构云无线接入网络的频谱效率和能效问题,该文提出一种基于功率域-非正交多址接入(PD-NOMA)的能效优化算法。首先,该算法以队列稳定和前传链路容量为约束,联合优化用户关联、功率分配和资源块分配,并建立网络能效和用户公平的联合优化模型;其次,由于系统的状态空间和动作空间都是高维且具有连续性,研究问题为连续域的NP-hard问题,进而引入置信域策略优化(TRPO)算法,高效地解决连续域问题;最后,针对TRPO算法的标准解法产生的计算量较为庞大,采用近端策略优化(PPO)算法进行优化求解,PPO算法既保证了TRPO算法的可靠性,又有效地降低TRPO的计算复杂度。仿真结果表明,该文所提算法在保证用户公平性约束下,进一步提高了网络能效性能。     

异构云无线接入网下基于功率域NOMA的能效优化算法

针对异构云无线接入网络的频谱效率和能效问题,该文提出一种基于功率域-非正交多址接入(PD-NOMA)的能效优化算法.首先,该算法以队列稳定和前传链路容量为约束,联合优化用户关联、功率分配和资源块分配,并建立网络能效和用户公平的联合优化模型;其次,由于系统的状态空间和动作空间都是高维且具有连续性,研究问题为连续域的NP-hard问题,进而引入置信域策略优化(TRPO)算法,高效地解决连续域问题;最后,针对TRPO算法的标准解法产生的计算量较为庞大,采用近端策略优化(PPO)算法进行优化求解,PPO算法既保证了TRPO算法的可靠性,又有效地降低TRPO的计算复杂度.仿真结果表明,该文所提算法在保证用户公平性约束下,进一步提高了网络能效性能.     

基于深度强化学习的协作通信中继选择

协作通信是无线传感器网络(Wireless Sensor Network,WSN)实现数据可靠传输的关键技术,而协作通信技术的关键在于中继方案的选择。为此,提出了一种基于深度强化学习的协作通信中继选择算法(Deep Q-Learning Based Relay Selection Scheme,DQ-RSS)。首先,将WSN中具有中继选择的协作通信过程建模为马尔科夫决策过程,并采用Q学习在未知网络模型的情况下获取最佳中继选择策略;其次,针对高维状态空间下Q学习收敛时间长的问题,采用DQN(Deep-Q-Net)算法来加速Q学习的收敛。对比仿真实验结果表明,DQ-RSS在中断概率、系统容量和能耗方面均优于现有的中继选择方案,且能够有效节省收敛时间。     

无线中继网络中的物理层网络编码

针对无线中继网络中物理层网络编码技术的应用,分析验证了其所带来可观的吞吐量性能提升。总结了当前物理层网络编码技术的相关研究方向,归纳了通信理论研究、信息理论研究和网络理论研究三个方面。介绍了物理层网络编码的关键技术,对物理层网络编码技术在实际信道条件下的性能分析及改进、采用高阶调制时的检测模糊及改进、基于嵌套格码的计算-转发策略和结合缓冲中继协议设计进行了深入探讨。以期放宽物理层网络编码对信道模型的限制,拓展其适用条件,同时在保障通信过程可靠性的前提下充分发挥该技术对通信有效性的提升,从而推进物理层网络编码技术在实际无线中继通信系统中的应用。     

具有能量收集功能的无线中继网络资源分配

针对具有能量收集功能的无线中继网络,通过分析有限能量存储约束和能量消耗的因果约束对资源分配的影响,提出了基于马尔科夫决策的功率分配算法以最大化中继网络的吞吐量。所提算法根据无线信道状态信息和电池容量信息对功率分配进行动态调整,合理利用收集到的绿色能源,实现网络吞吐量的极大提升。对具有不同能量收集效率的场景进行了仿真,验证了所提算法的优越性。     

一种车载服务的快速深度Q学习网络边云迁移策略

智能网联交通系统中车载用户的高速移动,不可避免地造成了数据在边缘服务器之间频繁迁移,产生了额外的通信回传时延,对边缘服务器的实时计算服务带来了巨大的挑战。为此,该文提出一种基于车辆运动轨迹的快速深度Q学习网络(DQN-TP)边云迁移策略,实现数据迁移的离线评估和在线决策。车载决策神经网络实时获取接入的边缘服务器网络状态和通信回传时延,根据车辆的运动轨迹进行虚拟机或任务迁移的决策,同时将实时的决策信息和获取的边缘服务器网络状态信息发送到云端的经验回放池中;评估神经网络在云端读取经验回放池中的相关信息进行网络参数的优化训练,定时更新车载决策神经网络的权值,实现在线决策的优化。最后仿真验证了所提算法与虚拟机迁移算法和任务迁移算法相比能有效地降低时延。     

基于改进深度Q学习的网络选择算法

在引入休眠机制的超密集异构无线网络中,针对网络动态性增强,导致切换性能下降的问题,该文提出一种基于改进深度Q学习的网络选择算法。首先,根据网络的动态性分析,构建深度Q学习选网模型;其次,将深度Q学习选网模型中线下训练模块的训练样本与权值,通过迁移学习,将其迁移到线上决策模块中;最后,利用迁移的训练样本及权值加速训练神经网络,得到最佳选网策略。实验结果表明,该文算法显著改善了因休眠机制导致的高动态性网络切换性能下降问题,同时降低了传统深度Q学习算法在线上选网过程中的时间复杂度。     

无线异构网络发展综述

各种无线异构网络给人们带来了丰富多彩的通信体验,同时,网络类型的繁多与彼此不兼容也给用户和运营商带来了很多问题和挑战。无线异构网络融合是未来通信网络的发展趋势,如3G网络和WLAN的融合、TD—SCDMA和WiMAX的融合。环境感知网络概念的出现,为未来畀构网络的融合带来了新的启发。     

异构认知网络环境下的动态分级资源管理方法

针对异构认知网络中的资源管理问题,提出了基于认知的动态分级资源管理方法(DHRM)。根据不同时间尺度,引入小波神经网络、基于维纳过程的预测方法和增强学习算法获得业务分布变化、切换呼叫资源需求量以及用户喜好等信息,从而动态调配异构多网络各级可用资源。在资源合理分配基础上,根据各网络实时状态以及用户喜好,通过多属性决策算法动态地将业务流分配到最佳接入网络中。仿真结果表明,DHRM相对于网间静态资源管理方法系统容量提高了约20%。     

异构网络中用户关联和功率控制的协同优化

针对正交频分多址(Orthogonal Frequency Division Multiplexing Access,OFDMA)异构网络中用户关联和功率控制协同优化不佳的问题,提出了一种多智能体深度Q学习网络(Deep Q-learning Network,DQN)方法.首先,基于用户关联和功率控制最优化问题,构建了正交频分多址的双层异构网络系统模型,以实现智能决策;其次,根据应用场景和多智能体DQN框架的动作空间,对状态空间和奖励函数进行重构;最后,通过选取具有宏基站(Base Station,BS)和小型BS的两层异构网络,对多智能体DQN算法的性能进行仿真实验.仿真结果表明,相较于传统学习算法,多智能体DQN算法具有更好的收敛性,且能够有效提升用户设备(User Equipment,UE)的服务质量与能效,并可获得最大的长期总体网络实用性.     

面向智能配电的异构融合网络无线资源管理

通信系统是体现智能配电网使用性能的重要因素.基于异构融合网络的通信系统能够更好地满足实际的通信需求.本文从智能配电网通信系统的特点入手,对面向智能配电的异构融合网络无线资源管理进行分析.     

基于深度强化学习的智能网络安全防护策略研究

深度强化学习作为统计学习常见算法,将其应用于智能网络安全防护设计环节将取得显著效果,以此规避智能网络安全风险。文章简要分析智能网络安全常见问题,根据对问题的分析研究,总结智能网络安全防护优化设计具体目标,经由设计网络状态集合、细化网络动作集合、规范设计回报函数、强化数据分析功能等设计步骤的落实,智能网络将充分发挥安全服务作用,由此维护网络安全。本文提出了可行性措施,期待提升网络安全防护的有效性。     

分层异构网络无线资源管理技术探讨

随着通信技术的不断发展,用户随时随地获得高质量无线业务体验的需求造成网络的分层异构覆盖特征越来越明显.对分层异构网络中的无线资源管理关键技术进行了探讨,利用无线资源管理技术可以极大地提高分层异构无线网络环境下的传输速率并节约能量.     

基于深度强化学习的智能决策方法

针对传统深度强化学习算法难以快速解决长时序复杂任务的问题,提出了一种引入历史信息和人类知识的深度强化学习方法,对经典近端策略优化(Proximal Policy Optimization, PPO)强化学习算法进行改进,在状态空间引入历史状态以反映环境的时序变化特征,在策略模型中基于人类认知增加无效动作掩膜,禁止智能体进行无效探索,提高探索效率,从而提升模型的训练性能。仿真结果表明,所提方法能够有效解决长时序复杂任务的智能决策问题,相比传统的深度强化学习算法可显著提高模型收敛效果。     

无线中继技术在TD-LTE网络中的应用分析

无线中继(relay)能够解决由于传输无法铺设、宏基站站址物业难以协调、高楼遮挡等导致的覆盖存在盲区的问题.应用实际外场测试与网络仿真两种手段,综合评估室外覆盖、室内盲区场景下中继的覆盖性能.通过分析中继与楼宇之间的距离、中继部署位置高度与室内深度覆盖效果之间的关系,给出中继用于解决深度覆盖盲区时的部署建议.     

融合深度学习和强化学习的5G无线资源管理

针对超密集组网用户体验需求和无线资源利用率低的问题,在满足用户需求基础上,结合深度学习强大的感知能力提取时变的信道特征,利用强化学习优化信道接入策略,减少海量设备在无线连接过程中遇到的接入碰撞,在用户QoS的约束下实现系统平均吞吐量最大化的目标,提高资源利用率.实验表明,该方法能够保证用户最低QoS要求下提高系统平均吞...     

基于深度强化学习的智能干扰方法研究

随着人工智能技术的发展,智能终端已经可以通过频谱感知、通信效果检测分析等方式智能地改变通信手段,进而实现高效率抗干扰,这给传统干扰带来了巨大挑战。而深度强化学习在复杂场景中的探索效率高,面对高难度任务的能力强大,在军事干扰领域应用前景广阔。基于此,介绍深度强化学习、智能干扰方法这两个基本问题的研究现状和存在的难点问题,总结并提出未来基于深度强化学习的智能干扰方法的研究前景和技术展望。     

异构无线融合网络中无线资源管理关键技术探讨

异构无线融合网络并不是多种无线接入技术的叠加,各个网络之间资源形式和管理机制各不相同,如何有效的管理无线资源,提升异构无线融合网络中无线资源的利用效率至关重要。基于以上,本文从异构无线融合网络概述入手,探讨了其无线资源管理的关键技术。