非正交多址接入系统中基于受限马尔科夫决策过程的网络切片虚拟资源分配算法

针对无线接入网络切片虚拟资源分配优化问题,该文提出基于受限马尔可夫决策过程(CMDP)的网络切片自适应虚拟资源分配算法。首先,该算法在非正交多址接入(NOMA)系统中以用户中断概率和切片队列积压为约束,切片的总速率作为回报,运用受限马尔可夫决策过程理论构建资源自适应问题的动态优化模型;其次定义后决策状态,规避最优值函数中的期望运算;进一步地,针对马尔科夫决策过程(MDP)的“维度灾难”问题,基于近似动态规划理论,定义关于分配行为的基函数,替代决策后状态空间,减少计算维度;最后设计了一种自适应虚拟资源分配算法,通过与外部环境的不断交互学习,动态调整资源分配策略,优化切片性能。仿真结果表明,该算法可以较好地提高系统的性能,满足切片的服务需求。     

接入与回传一体化小基站的接入控制与资源分配联合优化算法

针对全双工无线接入与回传一体化小基站场景下长期的频谱效率和能效同时最大化问题,该文提出一种基于近似动态规划理论的接入与回传一体化小基站接入控制与资源分配联合优化算法。该算法首先联合考虑当前基站的资源使用和功率配置情况,在任一用户需求动态到达以及平均时延、小基站回传速率和传输功率约束下,使用受限马尔科夫决策过程(CMDP)建立频谱效率最大化和功率消耗最小化的多目标优化模型,其次运用切比雪夫理论将多目标优化问题转化为单目标问题,并使用拉格朗日对偶分解法进一步转化为非受限的马尔科夫决策过程(MDP)问题。最后,为了解决其求解时存在的“维度灾”爆炸问题,该文提出基于近似动态规划的无线接入与回传一体化小基站资源动态分配算法进行求解,得到此时的接入与资源分配策略。仿真结果表明,所提算法能在保证平均时延约束、小基站回传速率约束和传输功率约束的同时最大化长期平均频谱效率和能效。     

虚拟化云无线接入网络下基于在线学习的网络切片虚拟资源分配算法

针对现有研究中缺乏云无线接入网络(C-RAN)场景下对网络切片高效的动态资源分配方案的问题,该文提出一种虚拟化C-RAN网络下的网络切片虚拟资源分配算法。首先基于受限马尔可夫决策过程(CMDP)理论建立了一个虚拟化C-RAN场景下的随机优化模型,该模型以最大化平均切片和速率为目标,同时受限于各切片平均时延约束以及网络平均回传链路带宽消耗约束。其次,为了克服CMDP优化问题中难以准确掌握系统状态转移概率的问题,引入决策后状态(PDS)的概念,将其作为一种“中间状态”描述系统在已知动态发生后,但在未知动态发生前所处的状态,其包含了所有与系统状态转移有关的已知信息。最后,提出一种基于在线学习的网络切片虚拟资源分配算法,其在每个离散的资源调度时隙内会根据当前系统状态为每个网络切片分配合适的资源块数量以及缓存资源。仿真结果表明,该算法能有效地满足各切片的服务质量(QoS)需求,降低网络回传链路带宽消耗的压力并同时提升系统吞吐量。     

基于异步优势演员-评论家学习的服务功能链资源分配算法

考虑网络全局信息难以获悉的实际情况,针对接入网切片场景下用户终端(UE)的移动性和数据包到达的动态性导致的资源分配优化问题,该文提出了一种基于异步优势演员-评论家(A3C)学习的服务功能链(SFC)资源分配算法。首先,该算法建立基于区块链的资源管理机制,通过区块链技术实现可信地共享并更新网络全局信息,监督并记录SFC资源分配过程。然后,建立UE移动和数据包到达时变情况下的无线资源、计算资源和带宽资源联合分配的时延最小化模型,并进一步将其转化为马尔科夫决策过程(MDP)。最后,在所建立的MDP中采用A3C学习方法,实现资源分配策略的求解。仿真结果表明,该算法能够更加合理高效地利用资源,优化系统时延并保证UE需求。     

基于异步优势演员-评论家学习的服务功能链资源分配算法

考虑网络全局信息难以获悉的实际情况,针对接入网切片场景下用户终端(UE)的移动性和数据包到达的动态性导致的资源分配优化问题,该文提出了一种基于异步优势演员-评论家(A3C)学习的服务功能链(SFC)资源分配算法.首先,该算法建立基于区块链的资源管理机制,通过区块链技术实现可信地共享并更新网络全局信息,监督并记录SFC资源分配过程.然后,建立UE移动和数据包到达时变情况下的无线资源、计算资源和带宽资源联合分配的时延最小化模型,并进一步将其转化为马尔科夫决策过程(MDP).最后,在所建立的MDP中采用A3C学习方法,实现资源分配策略的求解.仿真结果表明,该算法能够更加合理高效地利用资源,优化系统时延并保证UE需求.     

基于改进深度强化学习的虚拟网络功能部署优化算法

针对网络功能虚拟化/软件定义网络(NFV/SDN)架构下,网络服务请求动态到达引起的服务功能链(SFC)部署优化问题,该文提出一种基于改进深度强化学习的虚拟网络功能(VNF)部署优化算法.首先,建立了马尔科夫决策过程(MDP)的随机优化模型,完成SFC的在线部署以及资源的动态分配,该模型联合优化SFC部署成本和时延成本,同时受限于SFC的时延以及物理资源约束.其次,在VNF部署和资源分配的过程中,存在状态和动作空间过大,以及状态转移概率未知等问题,该文提出了一种基于深度强化学习的VNF智能部署算法,从而得到近似最优的VNF部署策略和资源分配策略.最后,针对深度强化学习代理通过ε贪婪策略进行动作探索和利用,造成算法收敛速度慢等问题,提出了一种基于值函数差异的动作探索和利用方法,并进一步采用双重经验回放池,解决经验样本利用率低的问题.仿真结果表示,该算法能够加快神经网络收敛速度,并且可以同时优化SFC部署成本和SFC端到端时延.     

基于改进深度强化学习的虚拟网络功能部署优化算法

针对网络功能虚拟化/软件定义网络 (NFV/SDN)架构下,网络服务请求动态到达引起的服务功能链(SFC)部署优化问题,该文提出一种基于改进深度强化学习的虚拟网络功能(VNF)部署优化算法。首先,建立了马尔科夫决策过程 (MDP)的随机优化模型,完成SFC的在线部署以及资源的动态分配,该模型联合优化SFC部署成本和时延成本,同时受限于SFC的时延以及物理资源约束。其次,在VNF部署和资源分配的过程中,存在状态和动作空间过大,以及状态转移概率未知等问题,该文提出了一种基于深度强化学习的VNF智能部署算法,从而得到近似最优的VNF部署策略和资源分配策略。最后,针对深度强化学习代理通过ε贪婪策略进行动作探索和利用,造成算法收敛速度慢等问题,提出了一种基于值函数差异的动作探索和利用方法,并进一步采用双重经验回放池,解决经验样本利用率低的问题。仿真结果表示,该算法能够加快神经网络收敛速度,并且可以同时优化SFC部署成本和SFC端到端时延。     

基于鲁棒优化的卫星虚拟网络准入控制与资源分配研究

网络虚拟化是一项未来网络发展的重要技术。针对卫星虚拟网络(SVN)中用户服务质量(QoS)可能受到严重影响的问题，该文提出一种用于SVN准入控制的方法，通过限制嵌入卫星物理网络中SVN的数量可以有效保证用户的QoS。具体而言，首先，该文提出一种两阶段SVN嵌入机制，该机制将短期资源分配与长期准入控制和资源租赁解耦。其次，该文同时考虑用户到达率时变导致流量需求不确定和卫星网络拓扑高动态性导致系统容量不确定的情况，将第1阶段的准入控制和资源租赁问题描述为鲁棒优化问题，再利用伯恩施坦近似将其转化为凸问题进行求解。最后，该文将第2阶段的资源分配问题转化为最大化公平带宽分配的凸问题进行求解。仿真结果表明了该文所提方法的有效性。     

云雾混合网络下基于多智能体架构的资源分配及卸载决策研究

针对D2D辅助的云雾混合架构下资源分配及任务卸载决策优化问题,该文提出一种基于多智能体架构深度强化学习的资源分配及卸载决策算法。首先,该算法考虑激励约束、能量约束以及网络资源约束,联合优化无线资源分配、计算资源分配以及卸载决策,建立了最大化系统总用户体验质量(QoE)的随机优化模型,并进一步将其转化为MDP问题。其次,该算法将原MDP问题进行因式分解,并建立马尔可夫博弈模型。然后,基于行动者-评判家(AC)算法提出一种集中式训练、分布式执行机制。在集中式训练过程中,多智能体通过协作获取全局信息,实现资源分配及任务卸载决策策略优化,在训练过程结束后,各智能体独立地根据当前系统状态及策略进行资源分配及任务卸载。最后,仿真结果表明,该算法可以有效提升用户QoE,并降低了时延及能耗。     

云雾混合网络下基于多智能体架构的资源分配及卸载决策研究

针对D2D辅助的云雾混合架构下资源分配及任务卸载决策优化问题,该文提出一种基于多智能体架构深度强化学习的资源分配及卸载决策算法.首先,该算法考虑激励约束、能量约束以及网络资源约束,联合优化无线资源分配、计算资源分配以及卸载决策,建立了最大化系统总用户体验质量(QoE)的随机优化模型,并进一步将其转化为MDP问题.其次,该算法将原MDP问题进行因式分解,并建立马尔可夫博弈模型.然后,基于行动者-评判家(AC)算法提出一种集中式训练、分布式执行机制.在集中式训练过程中,多智能体通过协作获取全局信息,实现资源分配及任务卸载决策策略优化,在训练过程结束后,各智能体独立地根据当前系统状态及策略进行资源分配及任务卸载.最后,仿真结果表明,该算法可以有效提升用户QoE,并降低了时延及能耗.     

基于强化学习的5G网络切片虚拟网络功能迁移算法

针对5G网络切片架构下业务请求动态性引起的虚拟网络功能(VNF)迁移优化问题,该文首先建立基于受限马尔可夫决策过程(CMDP)的随机优化模型以实现多类型服务功能链(SFC)的动态部署,该模型以最小化通用服务器平均运行能耗为目标,同时受限于各切片平均时延约束以及平均缓存、带宽资源消耗约束。其次,为了克服优化模型中难以准确掌握系统状态转移概率及状态空间过大的问题,该文提出了一种基于强化学习框架的VNF智能迁移学习算法,该算法通过卷积神经网络(CNN)来近似行为值函数,从而在每个离散的时隙内根据当前系统状态为每个网络切片制定合适的VNF迁移策略及CPU资源分配方案。仿真结果表明,所提算法在有效地满足各切片QoS需求的同时,降低了基础设施的平均能耗。     

基于深度确定性策略梯度的虚拟网络功能迁移优化算法

针对NFV/SDN架构下,服务功能链(SFC)的资源需求动态变化引起的虚拟网络功能(VNF)迁移优化问题,该文提出一种基于深度强化学习的VNF迁移优化算法.首先,在底层CPU、带宽资源和SFC端到端时延约束下,建立基于马尔可夫决策过程(MDP)的随机优化模型,该模型通过迁移VNF来联合优化网络能耗和SFC端到端时延.其...     

基于迁移演员-评论家学习的服务功能链部署算法

针对5G网络切片环境下由于业务请求的随机性和未知性导致的资源分配不合理从而引起的系统高时延问题,该文提出了一种基于迁移演员-评论家(A-C)学习的服务功能链(SFC)部署算法(TACA)。首先,该算法建立基于虚拟网络功能放置、计算资源、链路带宽资源和前传网络资源联合分配的端到端时延最小化模型,并将其转化为离散时间马尔可夫决策过程(MDP)。而后,在该MDP中采用A-C学习算法与环境进行不断交互动态调整SFC部署策略,优化端到端时延。进一步,为了实现并加速该A-C算法在其他相似目标任务中(如业务请求到达率普遍更高)的收敛过程,采用迁移A-C学习算法实现利用源任务学习的SFC部署知识快速寻找目标任务中的部署策略。仿真结果表明,该文所提算法能够减小且稳定SFC业务数据包的队列积压,优化系统端到端时延,并提高资源利用率。     

运营商网络中基于深度强化学习的服务功能链迁移机制

为改善运营商网络提供的移动服务体验,该文研究服务功能链(SFC)的在线迁移问题。首先基于马尔可夫决策过程(MDP)对服务功能链中的多个虚拟网络功能(VNF)在运营商网络中的驻留位置迁移进行模型化分析。通过将强化学习和深度神经网络相结合提出一种基于双深度Q网络(double DQN)的服务功能链迁移机制,该迁移方法能在连续时间下进行服务功能链的在线迁移决策并避免求解过程中的过度估计。实验结果表明,该文所提出的策略相比于固定部署算法和贪心算法在端到端时延和网络系统收益等方面优势明显,有助于运营商改善服务体验和资源的使用效率。