基于改进深度强化学习的虚拟网络功能部署优化算法

针对网络功能虚拟化/软件定义网络 (NFV/SDN)架构下,网络服务请求动态到达引起的服务功能链(SFC)部署优化问题,该文提出一种基于改进深度强化学习的虚拟网络功能(VNF)部署优化算法。首先,建立了马尔科夫决策过程 (MDP)的随机优化模型,完成SFC的在线部署以及资源的动态分配,该模型联合优化SFC部署成本和时延成本,同时受限于SFC的时延以及物理资源约束。其次,在VNF部署和资源分配的过程中,存在状态和动作空间过大,以及状态转移概率未知等问题,该文提出了一种基于深度强化学习的VNF智能部署算法,从而得到近似最优的VNF部署策略和资源分配策略。最后,针对深度强化学习代理通过ε贪婪策略进行动作探索和利用,造成算法收敛速度慢等问题,提出了一种基于值函数差异的动作探索和利用方法,并进一步采用双重经验回放池,解决经验样本利用率低的问题。仿真结果表示,该算法能够加快神经网络收敛速度,并且可以同时优化SFC部署成本和SFC端到端时延。     

基于改进深度强化学习的虚拟网络功能部署优化算法

针对网络功能虚拟化/软件定义网络(NFV/SDN)架构下,网络服务请求动态到达引起的服务功能链(SFC)部署优化问题,该文提出一种基于改进深度强化学习的虚拟网络功能(VNF)部署优化算法.首先,建立了马尔科夫决策过程(MDP)的随机优化模型,完成SFC的在线部署以及资源的动态分配,该模型联合优化SFC部署成本和时延成本,同时受限于SFC的时延以及物理资源约束.其次,在VNF部署和资源分配的过程中,存在状态和动作空间过大,以及状态转移概率未知等问题,该文提出了一种基于深度强化学习的VNF智能部署算法,从而得到近似最优的VNF部署策略和资源分配策略.最后,针对深度强化学习代理通过ε贪婪策略进行动作探索和利用,造成算法收敛速度慢等问题,提出了一种基于值函数差异的动作探索和利用方法,并进一步采用双重经验回放池,解决经验样本利用率低的问题.仿真结果表示,该算法能够加快神经网络收敛速度,并且可以同时优化SFC部署成本和SFC端到端时延.     

基于深度确定性策略梯度的虚拟网络功能迁移优化算法

针对NFV/SDN架构下,服务功能链(SFC)的资源需求动态变化引起的虚拟网络功能(VNF)迁移优化问题,该文提出一种基于深度强化学习的VNF迁移优化算法.首先,在底层CPU、带宽资源和SFC端到端时延约束下,建立基于马尔可夫决策过程(MDP)的随机优化模型,该模型通过迁移VNF来联合优化网络能耗和SFC端到端时延.其次,由于状态空间和动作空间是连续值集合,提出一种基于深度确定性策略梯度(DDPG)的VNF智能迁移算法,从而得到近似最优的VNF迁移策略.仿真结果表明,该算法可以实现网络能耗和SFC端到端时延的折中,并提高物理网络的资源利用率.     

运营商网络中基于深度强化学习的服务功能链迁移机制

为改善运营商网络提供的移动服务体验,该文研究服务功能链(SFC)的在线迁移问题。首先基于马尔可夫决策过程(MDP)对服务功能链中的多个虚拟网络功能(VNF)在运营商网络中的驻留位置迁移进行模型化分析。通过将强化学习和深度神经网络相结合提出一种基于双深度Q网络(double DQN)的服务功能链迁移机制,该迁移方法能在连续时间下进行服务功能链的在线迁移决策并避免求解过程中的过度估计。实验结果表明,该文所提出的策略相比于固定部署算法和贪心算法在端到端时延和网络系统收益等方面优势明显,有助于运营商改善服务体验和资源的使用效率。     

基于深度确定性策略梯度的虚拟网络功能迁移优化算法

针对NFV/SDN架构下,服务功能链(SFC)的资源需求动态变化引起的虚拟网络功能(VNF)迁移优化问题,该文提出一种基于深度强化学习的VNF迁移优化算法.首先,在底层CPU、带宽资源和SFC端到端时延约束下,建立基于马尔可夫决策过程(MDP)的随机优化模型,该模型通过迁移VNF来联合优化网络能耗和SFC端到端时延.其...     

基于迁移深度强化学习的低轨卫星跳波束资源分配方案

针对低轨(LEO)卫星场景下,传统资源分配方案容易造成特定小区资源分配无法满足需求的问题,该文提出一种基于迁移深度强化学习(TDRL)的低轨卫星跳波束资源分配方案。首先,该方案联合星上缓冲信息、业务到达情况和信道状态,以最小化卫星上数据包平均时延为目标,建立支持跳波束技术的低轨卫星资源分配优化模型。其次,针对低轨卫星网络的动态多变性,该文考虑动态随机变化的通信资源和通信需求,采用深度Q网络(DQN)算法利用神经网络作为非线性近似函数。进一步,为实现并加速深度强化学习(DRL)算法在其他目标任务中的收敛过程,该文引入迁移学习(TL)概念,利用源卫星学习的调度任务快速寻找目标卫星的波束调度和功率分配策略。仿真结果表明,该文所提出的算法能够优化卫星服务过程中的时隙分配,减少数据包的平均传输时延,并有效提高系统的吞吐量和资源利用效率。     

移动边缘网络中基于用户移动的服务功能链迁移策略

移动边缘计算(Mobile Edge Computing,MEC)通过在网络边缘部署服务器,提供计算和存储资源,可为用户提供超低时延和高带宽业务。网络功能虚拟化(Network Function Virtualization,NFV)与MEC技术相结合,可在MEC服务器上提供服务功能链(Service Function Chain,SFC),提升用户的业务体验。为了保证移动用户的服务质量,需要在用户跨基站移动时将SFC迁移到合适的边缘服务器上。主要以最小化用户服务的端到端时延和运行成本为目标,提出了MEC网络中具有资源容量约束的SFC迁移策略,以实现移动用户业务的无缝迁移。仿真结果表明,与现有方案相比,该策略具有更好的有效性和高效性。     

基于迁移演员-评论家学习的服务功能链部署算法

针对5G网络切片环境下由于业务请求的随机性和未知性导致的资源分配不合理从而引起的系统高时延问题,该文提出了一种基于迁移演员-评论家(A-C)学习的服务功能链(SFC)部署算法(TACA)。首先,该算法建立基于虚拟网络功能放置、计算资源、链路带宽资源和前传网络资源联合分配的端到端时延最小化模型,并将其转化为离散时间马尔可夫决策过程(MDP)。而后,在该MDP中采用A-C学习算法与环境进行不断交互动态调整SFC部署策略,优化端到端时延。进一步,为了实现并加速该A-C算法在其他相似目标任务中(如业务请求到达率普遍更高)的收敛过程,采用迁移A-C学习算法实现利用源任务学习的SFC部署知识快速寻找目标任务中的部署策略。仿真结果表明,该文所提算法能够减小且稳定SFC业务数据包的队列积压,优化系统端到端时延,并提高资源利用率。     

面向时延与可靠性优化的服务功能链部署方法

针对5G网络高可靠性、低时延的服务需求,该文提出一种面向时延与可靠性优化的服务功能链(SFC)部署(DROSD)方法。在不预留冗余资源的情况下,首先通过功能互斥约束来确定SFC中相邻虚拟网络功能(VNF)是否可聚合;其次通过功能性约束、资源约束选择可聚合物理节点集合,实现负载均衡,提高SFC可靠性;然后通过跳数约束进行优化,进一步筛选可聚合物理节点集合以降低SFC的端到端时延;最后通过节点可用资源、节点度以及与原节点跳数指标进行降序排列,取最大值物理节点部署VNF。SFC的路由选择,采用K-最短路径算法。仿真实验表明,该文所提算法提高了请求接受率、长期平均收益开销比,增强了SFC可靠性,降低了端到端时延,减小了平均带宽开销。     

基于强化学习的多层卫星网络边缘安全决策方法

多层卫星网络凭借其全球覆盖、高机动性、强抗毁性等优势,成为学术界和产业界的关注热点。然而,多层异构卫星网络如何依靠卫星节点的自主判决能力,发挥网络边缘场景中针对感知数据包含加解密和压缩在内的处理以及回传方面的任务协作相关问题亟待解决。鉴于此,确立了包含低轨卫星的多层卫星网络边缘模型,并提出了一种基于深度强化学习的数据压缩与加密回传决策方法,旨在以确保数据安全为前提,以低传输时延为目标,实现任务卫星在多层卫星网络架构中的边缘决策。仿真和分析表明,所提方法具备合理性和可行性,能够快速地实现收敛,且相比于多个启发式方法具备更优异的性能。     

抗侧信道攻击的服务功能链部署方法

侧信道攻击是当前云计算环境下多租户间信息泄露的主要途径,针对现有服务功能链(SFC)部署方法未充分考虑多租户环境下虚拟网络功能(VNF)面临的侧信道攻击问题,该文提出一种抗侧信道攻击的服务功能链部署方法。引入基于时间均值的租户分类策略以及结合历史信息的部署策略,在满足服务功能链资源约束条件下,以最小化租户所能覆盖的服务器数量为目标建立相应的优化模型,并设计了基于贪婪选择的部署算法。实验结果表明,与其他部署方法相比,该方法显著提高了恶意租户实现共存的难度与代价,降低了租户面临的侧信道攻击风险。     

高低轨频率共存卫星通信系统鲁棒波束成形算法研究

针对静止轨道(Geostationary Earth Orbit,GEO)卫星系统和低轨道(Low Earth Orbit,LEO)卫星系统频率共享时存在的干扰问题,本文基于低轨分布式卫星编队提出了一种鲁棒自适应波束成形算法,从空间域功率隔离角度解决了高低轨卫星通信系统上行链路共用频谱时GEO用户对于LEO卫星共线干扰...     

移动边缘计算中服务功能链的自适应优化部署策略

为解决移动边缘计算中面向用户的服务功能链（Service Function Chain,SFC）部署成本开销过大、时延过长问题,提出了针对SFC的支出成本与时延联合自适应优化的部署策略。首先,在虚拟网络功能（Virtualized Network Function,VNF）节点选取阶段,考虑路径损耗这一无线信道衰落问题,根据有线用户与无线用户的位置情况,选择当前最佳节点以降低SFC的响应时延。其次,在服务节点配置阶段,根据用户请求处理的数据内容的新鲜度记录,自适应动态增加和删减相应的缓存,利用资源感知算法在保证数据传递可靠性的同时,减少服务节点的配置个数,降低配置开销。最后,在SFC部署阶段,利用基于KSP（K-shortest Paths）的功耗感知算法确定最佳节点映射排序与通信链路,在减少通信链路重映射的同时还能保证部署的SFC的低成本与低时延。实验仿真结果表明,相比于已有方案,该方法能够有效降低部署成本与时延,并能对不同用户的SFC部署做到自适应优化,提高了SFC的部署成功率。     

基于深度强化学习的服务功能链可靠部署算法

针对当前关于服务功能链(SFC)的部署问题都未考虑到虚拟网络功能(VNF)的失效重要度,该文提出了基于深度强化学习的SFC可靠部署算法。首先建立VNF和虚拟链路可靠映射模型,为重要的VNF设置高可靠性需求,并通过链路部署长度限制尽可能保证虚拟链路可靠性需求。其次,以负载均衡为资源协调原则,与VNF可靠性联合优化,最终使用深度强化学习得到服务功能链部署策略。另外,提出了基于重要度的节点备份和链路备份策略,用于应对部署过程中VNF/链路可靠性难以满足的情况。仿真结果表明,该文的可靠部署算法在保证可靠性需求的基础上能够有效减少SFC失效损失,同时使虚拟网络更加稳定可靠。     

运营商网络中面向时延优化的服务功能链迁移重配置策略

在引入网络功能虚拟化（NFV）后,运营商能基于通用的计算和网络平台提供更具弹性的服务.本文研究基于NFV的运营商网络中的服务功能链（SFC）的迁移重配置问题.首先分析了业务流的动态性导致的运营商网络中资源利用率下降和负载不均的问题,然后在将计算资源、网络资源和业务流端到端限制等条件纳入考虑的基础上,建立了面向业务流服务时延优化的数学模型,并证明了SFC迁移重配置问题的NP性.进一步基于遗传算法提出了一种易于部署的启发式SFC迁移重配置策略.通过详细的对比实验表明算法在端到端时延、链路带宽资源占用率和通用服务器资源占用率等关键指标上优于其它方案12.3%、10.9%和15.8%以上.这进一步说明所提出方案通过对运营商网络资源的合理调配,在保证业务流服务质量的同时有效改善了资源利用效率.     

基于强化学习的5G网络切片虚拟网络功能迁移算法

针对5G网络切片架构下业务请求动态性引起的虚拟网络功能(VNF)迁移优化问题,该文首先建立基于受限马尔可夫决策过程(CMDP)的随机优化模型以实现多类型服务功能链(SFC)的动态部署,该模型以最小化通用服务器平均运行能耗为目标,同时受限于各切片平均时延约束以及平均缓存、带宽资源消耗约束。其次,为了克服优化模型中难以准确掌握系统状态转移概率及状态空间过大的问题,该文提出了一种基于强化学习框架的VNF智能迁移学习算法,该算法通过卷积神经网络(CNN)来近似行为值函数,从而在每个离散的时隙内根据当前系统状态为每个网络切片制定合适的VNF迁移策略及CPU资源分配方案。仿真结果表明,所提算法在有效地满足各切片QoS需求的同时,降低了基础设施的平均能耗。