基于深度强化学习的干扰资源分配方法

针对干扰机群掩护目标突防组网雷达场景下的干扰资源分配的问题,提出了一种基于深度强化学习的干扰资源分配方法。该文将干扰资源分配模型描述为一个马尔可夫决策过程,并提出了一种基于动作密钥编码的双延迟深度确定性策略梯度(AKE-TD3)网络训练算法,将混合整数优化问题转化为连续变量优化问题,解决了算法难以收敛的问题。仿真结果表明,文中所设计的干扰资源分配方法对组网雷达有更好的干扰效果,且稳定性更高,有效地提升了干扰机群的作战性能。     

5G移动网络下通信资源分配算法

传统的通信资源分配方法具有局限性,在当前5G移动网络条件下,通信过程中的信息传输速率不能满足通信频谱的资源利用率要求,为此,文章提出5G移动网络下通信资源分配算法。在研究边缘网络的基础上,建立5G移动网络的边缘计算模型,将数据传输端进行分层处理,包括计算云层、边缘层以及终端层三个层级,拉近云计算服务器与用户个体之间的数据传输距离。根据模型建立边缘计算的资源分配框架,计算无线链路的数据传输速率,避免陷入局部最优解。同时,将终端层用户进行分簇处理,避免数据传输过程中的同频干扰,提升资源分配效率。在此基础上,基于A3A算法构建簇间的通信资源分配模型,并使用最优化理论对所建立的资源分配算法模型进行优化,实现5G移动网络下通信资源分配算法设计。最后,通过实验对比传统D2D算法与设计的分配算法,结果表明,该算法能够适应5G移动网络环境,保证通信服务过程中信息传输速率的稳定,能够实现通信资源的高效分配。     

一种通信对抗干扰资源分配智能决策算法

针对战场通信对抗智能决策问题,该文基于整体对抗思想提出一种基于自举专家轨迹分层强化学习的干扰资源分配决策算法(BHJM),算法针对跳频干扰决策难题,按照频点分布划分干扰频段,再基于分层强化学习模型分级决策干扰频段和干扰带宽,最后利用基于自举专家轨迹的经验回放机制采样并训练优化算法,使算法能够在现有干扰资源特别是干扰资源不足的条件下,优先干扰最具威胁目标,获得最优干扰效果同时减少总的干扰带宽.仿真结果表明,算法较现有资源分配决策算法节约25％干扰站资源,减少15％干扰带宽,具有较大实用价值.     

一种通信对抗干扰资源分配智能决策算法

针对战场通信对抗智能决策问题,该文基于整体对抗思想提出一种基于自举专家轨迹分层强化学习的干扰资源分配决策算法(BHJM),算法针对跳频干扰决策难题,按照频点分布划分干扰频段,再基于分层强化学习模型分级决策干扰频段和干扰带宽,最后利用基于自举专家轨迹的经验回放机制采样并训练优化算法,使算法能够在现有干扰资源特别是干扰资源不足的条件下,优先干扰最具威胁目标,获得最优干扰效果同时减少总的干扰带宽。仿真结果表明,算法较现有资源分配决策算法节约25%干扰站资源,减少15%干扰带宽,具有较大实用价值。     

5G网络中吞吐量最优的D2D通信模式选择

针对在5G通信网络中,联合资源分配方式下的D2D(Device-to-Device)通信模式选择问题,提出了利用启发式算法代替匈牙利算法对D2D的模式选择进行优化的通信模型;本算法在保证了D2D通信对尽可能多接入的同时,最大化系统总吞吐量。分析结果说明,此算法能显著优化系统总吞吐量,减少用户之间的通信干扰,证明了该通信模型的合理性和高效性。     

云雾混合网络下基于多智能体架构的资源分配及卸载决策研究

针对D2D辅助的云雾混合架构下资源分配及任务卸载决策优化问题,该文提出一种基于多智能体架构深度强化学习的资源分配及卸载决策算法.首先,该算法考虑激励约束、能量约束以及网络资源约束,联合优化无线资源分配、计算资源分配以及卸载决策,建立了最大化系统总用户体验质量(QoE)的随机优化模型,并进一步将其转化为MDP问题.其次,该算法将原MDP问题进行因式分解,并建立马尔可夫博弈模型.然后,基于行动者-评判家(AC)算法提出一种集中式训练、分布式执行机制.在集中式训练过程中,多智能体通过协作获取全局信息,实现资源分配及任务卸载决策策略优化,在训练过程结束后,各智能体独立地根据当前系统状态及策略进行资源分配及任务卸载.最后,仿真结果表明,该算法可以有效提升用户QoE,并降低了时延及能耗.     

小蜂窝网络中不活跃用户的最优能量效率资源分配方案

针对5G网络中因小区重叠覆盖区域的干扰问题,为缓解密集小蜂窝网络中移动用户的业务连续性,提高频谱资源利用率,进而最大化整个网络平均能量效率问题。该文提出一种基于不活跃用户的最优能量效率资源分配方案(EEI)。首先,该方案依据不活跃用户通知区域,建立以用户为中心的虚拟小区,小区内小蜂窝基站可协作为用户提供通信服务,提高用户通信质量,缓解小蜂窝同层干扰,减少切换信令开销。其次,基于Lyapunov优化理论,该方案将整体网络平均能量效率优化问题,转换为用户最优传输资源分配和最优功率分配两个子问题,在最大化系统平均能量效率同时保证系统队列稳定性。由于该文将原优化问题进行了松弛,所得结果是局部最优解,而不是全局最优解。仿真结果表明,该文提出的基于不活跃用户的最优能量效率资源分配算法,其系统能量效率优于对比算法而计算复杂度较高。     

基于改进深度强化学习的虚拟网络功能部署优化算法

针对网络功能虚拟化/软件定义网络 (NFV/SDN)架构下,网络服务请求动态到达引起的服务功能链(SFC)部署优化问题,该文提出一种基于改进深度强化学习的虚拟网络功能(VNF)部署优化算法。首先,建立了马尔科夫决策过程 (MDP)的随机优化模型,完成SFC的在线部署以及资源的动态分配,该模型联合优化SFC部署成本和时延成本,同时受限于SFC的时延以及物理资源约束。其次,在VNF部署和资源分配的过程中,存在状态和动作空间过大,以及状态转移概率未知等问题,该文提出了一种基于深度强化学习的VNF智能部署算法,从而得到近似最优的VNF部署策略和资源分配策略。最后,针对深度强化学习代理通过ε贪婪策略进行动作探索和利用,造成算法收敛速度慢等问题,提出了一种基于值函数差异的动作探索和利用方法,并进一步采用双重经验回放池,解决经验样本利用率低的问题。仿真结果表示,该算法能够加快神经网络收敛速度,并且可以同时优化SFC部署成本和SFC端到端时延。     

云雾混合网络下基于多智能体架构的资源分配及卸载决策研究

针对D2D辅助的云雾混合架构下资源分配及任务卸载决策优化问题,该文提出一种基于多智能体架构深度强化学习的资源分配及卸载决策算法。首先,该算法考虑激励约束、能量约束以及网络资源约束,联合优化无线资源分配、计算资源分配以及卸载决策,建立了最大化系统总用户体验质量(QoE)的随机优化模型,并进一步将其转化为MDP问题。其次,该算法将原MDP问题进行因式分解,并建立马尔可夫博弈模型。然后,基于行动者-评判家(AC)算法提出一种集中式训练、分布式执行机制。在集中式训练过程中,多智能体通过协作获取全局信息,实现资源分配及任务卸载决策策略优化,在训练过程结束后,各智能体独立地根据当前系统状态及策略进行资源分配及任务卸载。最后,仿真结果表明,该算法可以有效提升用户QoE,并降低了时延及能耗。     

基于改进深度强化学习的虚拟网络功能部署优化算法

针对网络功能虚拟化/软件定义网络(NFV/SDN)架构下,网络服务请求动态到达引起的服务功能链(SFC)部署优化问题,该文提出一种基于改进深度强化学习的虚拟网络功能(VNF)部署优化算法.首先,建立了马尔科夫决策过程(MDP)的随机优化模型,完成SFC的在线部署以及资源的动态分配,该模型联合优化SFC部署成本和时延成本,同时受限于SFC的时延以及物理资源约束.其次,在VNF部署和资源分配的过程中,存在状态和动作空间过大,以及状态转移概率未知等问题,该文提出了一种基于深度强化学习的VNF智能部署算法,从而得到近似最优的VNF部署策略和资源分配策略.最后,针对深度强化学习代理通过ε贪婪策略进行动作探索和利用,造成算法收敛速度慢等问题,提出了一种基于值函数差异的动作探索和利用方法,并进一步采用双重经验回放池,解决经验样本利用率低的问题.仿真结果表示,该算法能够加快神经网络收敛速度,并且可以同时优化SFC部署成本和SFC端到端时延.     

突防任务中组网雷达干扰资源分配研究

基于突防飞机的位置构建了干扰效果评估指标,综合考虑突防飞机在整个突防过程中的位置变化时的干扰效益,利用概率加权法确定最终的目标函数,采用蚁群算法求解出干扰分配决策。仿真结果表明,该文提出的干扰效果评估指标可以很好地解决干扰资源分配问题,对实际作战指挥有一定的指导意义。     

采用BP神经网络的智能抗干扰决策引擎研究

在认知抗干扰通信系统中,智能决策是其核心,根据干扰环境,对系统的干扰抑制方式、频谱资源分配、调制编码方式和功率调整信息进行最优决策。现有的抗干扰通信系统的智能决策多采用遗传算法、人工蜂群算法等,面对日益复杂的电磁环境,通常这些算法不具有对新干扰的泛化能力。BP神经网络算法简单、具有一定的容错能力和泛化能力,本文设计并分析了一种基于BP神经网络的抗干扰实时决策引擎模型,根据系统性能设计了输入输出数据的预处理方式和判别标准,阐述了决策实现步骤,分析了算法参数;通过系统性能仿真,验证了文中提出的实时决策引擎的强抗干扰性能。与采用遗传算法和人工蜂群算法的决策引擎相比,本文提出的决策引擎决策速度更快且具有泛化能力和容错能力。      

基于能效的NOMA蜂窝车联网动态资源分配算法

在支持车与车直接通信(V2V)的非正交多址接入(NOMA)蜂窝网络场景下,针对V2V用户与蜂窝用户的干扰以及NOMA准则下的功率分配问题,该文提出一种基于能效的动态资源分配算法。该算法首先为了保证V2V用户的时延及可靠性同时满足蜂窝用户的速率需求,联合考虑子信道调度、功率分配和拥塞控制,建立了最大化系统能效的随机优化模型。其次,利用李雅普诺夫随机优化方法,通过控制可接入数据量保证队列稳定性以避免网络拥塞,并根据实时网络负载状态动态地进行资源调度,设计一种次优化子信道匹配算法获得用户调度方案,进一步,利用凸优化理论和拉格朗日对偶分解方法得到功率分配策略。最后,仿真结果表明,该文算法可以满足不同用户的服务质量(QoS)需求,并在保证网络稳定性前提下提高系统能效。     

雷达干扰资源优化分配博弈模型和算法

从时间、空间、频率、能量四个方面对干扰效果进行定量描述,构建干扰效益矩阵,建立目标函数,并利用博弈论分析研究雷达有源干扰资源分配问题,证明了纳什均衡的可行性和存在性。基于最佳动态反应设计了集中式迭代干扰策略选择算法,基于学习自动机原理提出了分布式有限反馈干扰资源分配算法。仿真结果表明:文中提出的两种分配算法可以以很低的复杂度来获取一个很好的干扰性能,很好地解决干扰资源分配问题,对实际的指挥有一定的指导意义。     

基于无线感知辅助的车联网下行无线资源分配方法

在车联网（vehicle-to-everything，V2X）中，感知与安全类数据的高速下发与共享对道路交通安全至关重要。然而，车辆高速移动所引起的通信链路不稳定，会导致现有的基于车辆位置信息上报的通信资源分配方法不再高效。为此，提出了一种基于通信节点无线感知辅助的车联网下行无线资源分配方法。首先，构建了通信与感知资源正交下的通信模式选择与无线资源分配联合优化问题；之后，为解决这一问题提出了基于Delaunay三角划分的分簇通信模式选择与基于改进图着色的资源分配策略，以实现下行吞吐量的提升；最后，仿真分析了无线感知估计误差、车辆数量对算法性能的影响。仿真结果表明，与传统方法相比，所提算法在相同感知带宽资源占比下可获得更好的下行通信性能增益，并能够承受更大的感知误差对性能的影响，同时，所提算法的计算复杂度较低，可节省网络算力资源。     

基于非正交多址接入的网络切片联合用户关联和功率分配算法

为了满足网络切片多样化需求,实现无线虚拟资源的动态分配,该文提出在C-RAN架构中基于非正交多址接入的联合用户关联和功率资源分配算法。首先,该算法考虑在不完美信道条件下,以切片和用户最小速率需求及时延QoS要求、系统中断概率、前传容量为约束,建立在C-RAN场景中最大化长时平均网络切片总吞吐量的联合用户关联和功率分配模型。其次,将概率混合优化问题转换为非概率优化问题,并利用Lyapunov优化理论设计一种基于当前时隙的联合用户调度和功率分配的算法。最后采用贪婪算法求得用户关联问题次优解;基于用户关联的策略,将功率分配的问题利用连续凸逼近方法将其转换为凸优化问题并采用拉格朗日对偶分解方法获得功率分配策略。仿真结果表明,该算法能满足各网络切片和用户需求的同时有效提升系统时间平均切片总吞吐量。     

改进布谷鸟算法在协同干扰资源分配中的应用

针对敌方雷达网的多干扰机协同干扰资源分配问题,提出了一种基于二维整数编码的改进布谷鸟(ICS)算法。首先,根据不同干扰样式在不同恒虚警检测器中的干扰效果差异,从压制概率公式出发,构建目标函数;然后,根据分配原则建立干扰资源分配模型;最后,利用ICS算法对模型寻优求解,并给出具体求解步骤。仿真结果表明:ICS算法收敛速度快,全局寻优能力强,能很好地解决雷达干扰资源协同优化分配问题。     

基于异步优势演员-评论家学习的服务功能链资源分配算法

考虑网络全局信息难以获悉的实际情况,针对接入网切片场景下用户终端(UE)的移动性和数据包到达的动态性导致的资源分配优化问题,该文提出了一种基于异步优势演员-评论家(A3C)学习的服务功能链(SFC)资源分配算法。首先,该算法建立基于区块链的资源管理机制,通过区块链技术实现可信地共享并更新网络全局信息,监督并记录SFC资源分配过程。然后,建立UE移动和数据包到达时变情况下的无线资源、计算资源和带宽资源联合分配的时延最小化模型,并进一步将其转化为马尔科夫决策过程(MDP)。最后,在所建立的MDP中采用A3C学习方法,实现资源分配策略的求解。仿真结果表明,该算法能够更加合理高效地利用资源,优化系统时延并保证UE需求。