基于强化学习的5G网络切片虚拟网络功能迁移算法

针对5G网络切片架构下业务请求动态性引起的虚拟网络功能(VNF)迁移优化问题,该文首先建立基于受限马尔可夫决策过程(CMDP)的随机优化模型以实现多类型服务功能链(SFC)的动态部署,该模型以最小化通用服务器平均运行能耗为目标,同时受限于各切片平均时延约束以及平均缓存、带宽资源消耗约束。其次,为了克服优化模型中难以准确掌握系统状态转移概率及状态空间过大的问题,该文提出了一种基于强化学习框架的VNF智能迁移学习算法,该算法通过卷积神经网络(CNN)来近似行为值函数,从而在每个离散的时隙内根据当前系统状态为每个网络切片制定合适的VNF迁移策略及CPU资源分配方案。仿真结果表明,所提算法在有效地满足各切片QoS需求的同时,降低了基础设施的平均能耗。     

基于深度确定性策略梯度的虚拟网络功能迁移优化算法

针对NFV/SDN架构下,服务功能链(SFC)的资源需求动态变化引起的虚拟网络功能(VNF)迁移优化问题,该文提出一种基于深度强化学习的VNF迁移优化算法。首先,在底层CPU、带宽资源和SFC端到端时延约束下,建立基于马尔可夫决策过程(MDP)的随机优化模型,该模型通过迁移VNF来联合优化网络能耗和SFC端到端时延。其次,由于状态空间和动作空间是连续值集合,提出一种基于深度确定性策略梯度(DDPG)的VNF智能迁移算法,从而得到近似最优的VNF迁移策略。仿真结果表明,该算法可以实现网络能耗和SFC端到端时延的折中,并提高物理网络的资源利用率。     

基于深度确定性策略梯度的虚拟网络功能迁移优化算法

针对NFV/SDN架构下,服务功能链(SFC)的资源需求动态变化引起的虚拟网络功能(VNF)迁移优化问题,该文提出一种基于深度强化学习的VNF迁移优化算法.首先,在底层CPU、带宽资源和SFC端到端时延约束下,建立基于马尔可夫决策过程(MDP)的随机优化模型,该模型通过迁移VNF来联合优化网络能耗和SFC端到端时延.其次,由于状态空间和动作空间是连续值集合,提出一种基于深度确定性策略梯度(DDPG)的VNF智能迁移算法,从而得到近似最优的VNF迁移策略.仿真结果表明,该算法可以实现网络能耗和SFC端到端时延的折中,并提高物理网络的资源利用率.     

一种基于联邦学习资源需求预测的虚拟网络功能迁移算法

针对网络切片场景下时变网络流量引起的虚拟网络功能(VNF)迁移问题,该文提出一种基于联邦学习的双向门控循环单元(FedBi-GRU)资源需求预测的VNF迁移算法。该算法首先建立系统能耗和负载均衡的VNF迁移模型,然后提出一种基于分布式联邦学习框架协作训练预测模型,并在此框架的基础上设计基于在线训练的双向门控循环单元(Bi-GRU)算法预测VNF的资源需求。基于资源预测结果,联合系统能耗优化和负载均衡,提出一种分布式近端策略优化(DPPO)的迁移算法提前制定VNF迁移策略。仿真结果表明,两种算法的结合有效地降低了网络系统能耗并保证负载均衡。     

面向可靠性的5G网络切片重构及映射算法

针对传统网络切片映射方法资源利用率低且可靠性差的问题,该文提出了可靠性感知的网络切片(NS)重构及映射策略(RNSRE)。首先,建立了面向可靠性和资源的网络切片可靠映射效用函数。其次,综合考虑虚拟网络功能(VNF)的资源需求和位置约束,提出了一种VNF可靠性需求的度量方法。在此基础上,以最大化VNF可靠部署收益的同时最小化链路带宽资源开销为目标,建立了切片可靠映射整数线性规划模型。最后,针对不同的网络切片类型,提出了基于邻域搜索的网络切片映射算法和关键VNF备份的网络切片重构映射算法。仿真结果表明,所提算法在满足VNF可靠性需求的同时,提高了资源利用率,降低了映射的开销。     

基于改进深度强化学习的虚拟网络功能部署优化算法

针对网络功能虚拟化/软件定义网络(NFV/SDN)架构下,网络服务请求动态到达引起的服务功能链(SFC)部署优化问题,该文提出一种基于改进深度强化学习的虚拟网络功能(VNF)部署优化算法.首先,建立了马尔科夫决策过程(MDP)的随机优化模型,完成SFC的在线部署以及资源的动态分配,该模型联合优化SFC部署成本和时延成本,同时受限于SFC的时延以及物理资源约束.其次,在VNF部署和资源分配的过程中,存在状态和动作空间过大,以及状态转移概率未知等问题,该文提出了一种基于深度强化学习的VNF智能部署算法,从而得到近似最优的VNF部署策略和资源分配策略.最后,针对深度强化学习代理通过ε贪婪策略进行动作探索和利用,造成算法收敛速度慢等问题,提出了一种基于值函数差异的动作探索和利用方法,并进一步采用双重经验回放池,解决经验样本利用率低的问题.仿真结果表示,该算法能够加快神经网络收敛速度,并且可以同时优化SFC部署成本和SFC端到端时延.     

基于改进深度强化学习的虚拟网络功能部署优化算法

针对网络功能虚拟化/软件定义网络 (NFV/SDN)架构下,网络服务请求动态到达引起的服务功能链(SFC)部署优化问题,该文提出一种基于改进深度强化学习的虚拟网络功能(VNF)部署优化算法。首先,建立了马尔科夫决策过程 (MDP)的随机优化模型,完成SFC的在线部署以及资源的动态分配,该模型联合优化SFC部署成本和时延成本,同时受限于SFC的时延以及物理资源约束。其次,在VNF部署和资源分配的过程中,存在状态和动作空间过大,以及状态转移概率未知等问题,该文提出了一种基于深度强化学习的VNF智能部署算法,从而得到近似最优的VNF部署策略和资源分配策略。最后,针对深度强化学习代理通过ε贪婪策略进行动作探索和利用,造成算法收敛速度慢等问题,提出了一种基于值函数差异的动作探索和利用方法,并进一步采用双重经验回放池,解决经验样本利用率低的问题。仿真结果表示,该算法能够加快神经网络收敛速度,并且可以同时优化SFC部署成本和SFC端到端时延。     

一种支持硬件加速的虚拟网络功能部署模型

为解决以软件实现的虚拟网络功能(VNF)性能受限问题,软件定义网络和网络功能虚拟化(SDN/NFV)等新型网络架构引入了硬件加速资源。硬件加速资源的部署,使得VNF能够为日益增长的数据流量提供服务保障。该文针对已有研究未考虑具有高性能数据处理需求的服务链VNF部署问题,提出一种支持硬件加速的VNF部署模型。该模型基于硬件加速资源的承载特性,在保证未加速VNF到商用服务器的优化部署下,优先实现交换机中加速资源的复用,并根据网络业务的性能需求,灵活调整加速资源与VNF的映射约束。仿真实验表明,与其他典型部署方法相比,在引入相同硬件加速资源的情况下,该模型可以承载更多的业务流量,满足服务链高性能数据处理需求,有效提高了部署在网络中加速硬件的资源利用率。     

基于深度信念网络资源需求预测的虚拟网络功能动态迁移算法

针对5G网络场景下缺乏对资源需求的有效预测而导致的虚拟网络功能(VNF)实时性迁移问题,该文提出一种基于深度信念网络资源需求预测的VNF动态迁移算法。该算法首先建立综合带宽开销和迁移代价的系统总开销模型,然后设计基于在线学习的深度信念网络预测算法预测未来时刻的资源需求情况,在此基础上采用自适应学习率并引入多任务学习模式优化预测模型,最后根据预测结果以及对网络拓扑和资源的感知,以尽可能地减少系统开销为目标,通过基于择优选择的贪婪算法将VNF迁移到满足资源阈值约束的底层节点上,并提出基于禁忌搜索的迁移机制进一步优化迁移策略。仿真表明,该预测模型能够获得很好的预测效果,自适应学习率加快了训练网络的收敛速度,与迁移算法结合在一起的方式有效地降低了迁移过程中的系统开销和服务级别协议(SLA)违例次数,提高了网络服务的性能。     

无线虚拟网络中基于自回归滑动平均预测的在线自适应虚拟资源分配算法

该文针对无线虚拟化网络中业务的不确定和信息反馈的时延而引起虚拟资源分配不合理,提出一种基于自回归滑动平均(ARMA)预测的在线自适应虚拟资源分配算法。首先,该算法以保障虚拟网络队列上溢概率为目标对时频资源和缓存资源进行联合分配,并建立虚拟网络总成本最小化的理论分析模型。其次,考虑到虚拟网络对不同资源差异化的应用需求,设计了一种多时间尺度的资源动态调度机制,在长周期上基于ARMA模型的预测信息实现缓存资源的预留策略,在短周期上基于利用大偏差原理推导的队列上溢概率对虚拟网络优先级排序,并根据确定的优先级动态调度时频资源,从而满足各虚拟网络的业务需求。仿真结果表明,该算法可有效降低比特丢失率,同时提升物理资源的利用率。     

基于集成深度神经网络流量预测的动态网络切片迁移算法

针对5G网络切片(NS)场景下由于缺乏提前对物理网络资源进行感知而导致切片迁移滞后的问题,该文提出一种基于集成深度神经网络流量预测的动态切片调整和迁移算法(DSAM)。首先建立了基于计算、内存、带宽资源配置的网络总惩罚模型;其次,提出基于集成深度神经网络的流量预测算法预测未来网络流量情况,并根据流量类型的不同将其转换成对未来时刻物理网络的资源占用及切片的资源需求感知;最后,根据感知结果,以尽可能大地降低运营商惩罚为目标,通过动态切片调整和迁移策略将虚拟网络功能(VNF)和虚拟链路迁移到满足资源限制的物理节点和链路上。仿真结果表明,所提算法有效提高了切片迁移的效率和网络资源利用率。     

基于云接入网络的多目标资源分配算法设计

由于可以有效地提高频谱效率,能量效率与前程效率,云接入网络（C-RAN）被认为是未来第五代无线网络中的重要组成部分。不同于传统蜂窝网络,在云接入网络中,基带处理单元（BBU）被从基站分离,并聚合成一个中央计算云。无论如何,这些优化目标（频谱效率,能量效率,前程效率）在大多数情况下相互冲突,并且单个目标性能提升通常会导致其他目标性能的下降。据作者所知,在云接入网络中的多目标优化(MOO)问题,仍未被考虑过。在本文中,我们针对基于正交频分多址(OFDMA)的云接入网络,设计对应的联合优化算法以解决多目标优化问题。仿真结果显示,比起仅考虑单目标优化,本文提出的算法可以有效的解决不同优化目标之间的权衡,并且为云接入网络的资源分配提供一个新的方向。      

基于云雾混合计算的车联网联合资源分配算法

针对车联网业务的低时延、低功耗需求及海量设备计算卸载引起的网络拥塞问题,该文提出一种在云雾混合网络架构下的联合计算卸载、计算资源和无线资源分配算法(JODRAA)。首先,该算法考虑将云计算与雾计算结合,以最大时延作为约束,建立最小化系统能耗和资源成本的资源优化模型。其次,将原问题转化为标准二次约束二次规划(QCQP)问题,并设计一种低复杂度的联合卸载决策和计算资源分配算法。进一步,针对海量设备计算卸载引起的网络拥塞问题,建立卸载用户接入请求队列的上溢概率估计模型,提出一种基于在线测量的雾节点时频资源配置算法。最后,借助分式规划理论和拉格朗日对偶分解方法得到迭代的带宽和功率分配策略。仿真结果表明,该文算法可以在满足时延需求的前提下,最小化系统能耗和资源成本。     

能耗和时延感知的虚拟化云无线接入网络资源分配机制

针对现有虚拟化云无线接入网络(C-RAN)资源利用率低、能耗高、用户服务质量无法得到保证等问题,该文提出一种能耗和时延感知的虚拟化资源分配机制。根据虚拟化C-RAN的网络特点及业务流量特征,考虑资源约束和比例公平,建立能耗和时延优化模型。进而,利用启发式算法为不同类型虚拟C-RAN和用户虚拟基站分配资源,完成资源的全局优化配置。仿真结果表明,所提资源分配机制在提高网络资源利用率的同时,不但使能耗节省了62.99%,还使时延降低了32.32%。