基于深度Q网络的在线服务功能链部署方法

针对5G网络资源状态动态变化和网络模型高维度下服务功能链部署的复杂性问题,该文提出一种基于深度Q网络的在线服务功能链部署方法(DeePSCD)。首先,为描述网络资源动态变化的特征,将服务功能链部署建模成马尔可夫决策过程,然后,针对系统资源模型的高维度问题采用深度Q网络的方法进行在线服务功能链部署策略求解。该方法可以有效描述网络资源状态的动态变化,特别是深度Q网络能有效克服求解复杂度,优化服务功能链的部署开销。仿真结果表明,所提方法在满足服务时延约束条件下降低了服务功能链的部署开销,提高了运营商网络的服务请求接受率。     

基于深度强化学习的服务功能链可靠部署算法

针对当前关于服务功能链(SFC)的部署问题都未考虑到虚拟网络功能(VNF)的失效重要度,该文提出了基于深度强化学习的SFC可靠部署算法。首先建立VNF和虚拟链路可靠映射模型,为重要的VNF设置高可靠性需求,并通过链路部署长度限制尽可能保证虚拟链路可靠性需求。其次,以负载均衡为资源协调原则,与VNF可靠性联合优化,最终使用深度强化学习得到服务功能链部署策略。另外,提出了基于重要度的节点备份和链路备份策略,用于应对部署过程中VNF/链路可靠性难以满足的情况。仿真结果表明,该文的可靠部署算法在保证可靠性需求的基础上能够有效减少SFC失效损失,同时使虚拟网络更加稳定可靠。

     

基于知识图谱的服务功能链在线部署算法

沉浸式云XR、全息通信等新型网络业务的出现对网络服务质量提出了更高的要求。为保证网络服务的可获得性,在实施虚拟网络功能部署时,必须根据网络功能的属性以及之间的依赖关系,将网络服务的时延、可靠性等控制在一定的服务质量等级内。然而邻接矩阵、边表等传统的网络表征形式无法涵盖这些关键网络信息,造成算法在输入阶段的信息缺失,进而导致计算结果的偏差。因此,为了准确提取用户需求,反映网络资源的动态变化,采用知识图谱对网络及其业务进行表征,提出了一种基于知识图谱的服务功能链在线部署算法。所提算法对网络业务请求与底层网络分别进行知识提取,构建或更新相应的知识图谱,分解出它们的关系集合,并基于此设计了一种基于编辑距离的关系对齐方法,指导复杂依赖关系下的服务功能链在线部署。实验表明,所提算法使复杂网络环境下的服务功能链部署请求接收率提高了10%～15%,网络平均能耗降低了约13%,且复杂度低,时效性较强。     

面向软件定义网络的服务功能链优化部署算法研究

针对网络功能虚拟化(NFV)环境下,现有服务功能链部署方法无法在优化映射代价的同时保证服务路径时延的问题,该文提出一种基于IQGA-Viterbi学习算法的服务功能链优化部署方法。在隐马尔可夫模型参数训练过程中,针对传统Baum-Welch算法训练网络参数容易陷入局部最优的缺陷,改进量子遗传算法对模型参数进行训练优化,在每一迭代周期内通过等比例复制适应度最佳种群的方式,保持可行解多样性和扩大空间搜索范围,进一步提高模型参数的精确度。在隐马尔科夫链求解过程中,针对隐含序列无法直接观测这一难点,利用Viterbi算法能精确求解隐含序列的优势,解决有向图网络中服务路径的优化选择问题。仿真实验结果表明,与其它部署算法相比,所提IQGA-Viterbi学习算法能有效降低网络时延和映射代价的同时,提高了网络服务的请求接受率。

     

基于深度动态贝叶斯网络的服务功能链故障诊断算法

针对5G端到端网络切片场景下底层物理节点出现故障会导致运行在其上的多条服务功能链出现性能异常的问题,该文提出一种基于深度动态贝叶斯网络(DDBN)的服务功能链故障诊断算法。首先根据网络虚拟化环境下故障的多层传播关系,构建故障与症状的依赖图模型,并采用在物理节点监测其上多个虚拟网络功能相关性能数据的方式收集症状。其次,考虑到基于软件定义网络(SDN)和网络功能虚拟化(NFV)的架构下网络症状观测数据的多样性以及物理节点和虚拟网络功能的空间相关性,引入深度信念网络对观测数据特征进行提取,使用加入动量项的自适应学习率算法对模型进行微调以加快收敛速度。最后,利用故障传播的时间相关性,引入动态贝叶斯网络对故障根源进行实时诊断。仿真结果表明,该算法能够有效地诊断故障根源且具有良好的诊断准确度。     

基于迁移演员-评论家学习的服务功能链部署算法

针对5G网络切片环境下由于业务请求的随机性和未知性导致的资源分配不合理从而引起的系统高时延问题,该文提出了一种基于迁移演员-评论家(A-C)学习的服务功能链(SFC)部署算法(TACA)。首先,该算法建立基于虚拟网络功能放置、计算资源、链路带宽资源和前传网络资源联合分配的端到端时延最小化模型,并将其转化为离散时间马尔可夫决策过程(MDP)。而后,在该MDP中采用A-C学习算法与环境进行不断交互动态调整SFC部署策略,优化端到端时延。进一步,为了实现并加速该A-C算法在其他相似目标任务中(如业务请求到达率普遍更高)的收敛过程,采用迁移A-C学习算法实现利用源任务学习的SFC部署知识快速寻找目标任务中的部署策略。仿真结果表明,该文所提算法能够减小且稳定SFC业务数据包的队列积压,优化系统端到端时延,并提高资源利用率。     

面向时延与可靠性优化的服务功能链部署方法

针对5G网络高可靠性、低时延的服务需求,该文提出一种面向时延与可靠性优化的服务功能链(SFC)部署(DROSD)方法。在不预留冗余资源的情况下,首先通过功能互斥约束来确定SFC中相邻虚拟网络功能(VNF)是否可聚合;其次通过功能性约束、资源约束选择可聚合物理节点集合,实现负载均衡,提高SFC可靠性;然后通过跳数约束进行优化,进一步筛选可聚合物理节点集合以降低SFC的端到端时延;最后通过节点可用资源、节点度以及与原节点跳数指标进行降序排列,取最大值物理节点部署VNF。SFC的路由选择,采用K-最短路径算法。仿真实验表明,该文所提算法提高了请求接受率、长期平均收益开销比,增强了SFC可靠性,降低了端到端时延,减小了平均带宽开销。     

运营商网络中基于深度强化学习的服务功能链迁移机制

为改善运营商网络提供的移动服务体验,该文研究服务功能链(SFC)的在线迁移问题。首先基于马尔可夫决策过程(MDP)对服务功能链中的多个虚拟网络功能(VNF)在运营商网络中的驻留位置迁移进行模型化分析。通过将强化学习和深度神经网络相结合提出一种基于双深度Q网络(double DQN)的服务功能链迁移机制,该迁移方法能在连续时间下进行服务功能链的在线迁移决策并避免求解过程中的过度估计。实验结果表明,该文所提出的策略相比于固定部署算法和贪心算法在端到端时延和网络系统收益等方面优势明显,有助于运营商改善服务体验和资源的使用效率。     

支持多模态网络的可扩展异构服务功能链并行编排部署系统

针对如何在万台服务器规模的多模态数据中心网络内,实现秒级的服务功能链扩容编排部署问题,提出一种可扩展的异构服务功能链并行编排部署（SHOD）系统。SHOD系统对数据中心进行分区,并采用资源使用量最小化的并行编排器设计,从而将服务功能链扩容编排时间降低至秒级。SHOD系统采用满足单一权职原则的中介者设计模式,实现了对异构设备的可扩展的编排部署和服务功能链建链。实验结果表明,SHOD系统的扩容编排时间下降至Daisy的1/12,同时仅引入1.5倍的CPU占用率开销。     

基于改进深度强化学习的虚拟网络功能部署优化算法

针对网络功能虚拟化/软件定义网络(NFV/SDN)架构下,网络服务请求动态到达引起的服务功能链(SFC)部署优化问题,该文提出一种基于改进深度强化学习的虚拟网络功能(VNF)部署优化算法.首先,建立了马尔科夫决策过程(MDP)的随机优化模型,完成SFC的在线部署以及资源的动态分配,该模型联合优化SFC部署成本和时延成本,同时受限于SFC的时延以及物理资源约束.其次,在VNF部署和资源分配的过程中,存在状态和动作空间过大,以及状态转移概率未知等问题,该文提出了一种基于深度强化学习的VNF智能部署算法,从而得到近似最优的VNF部署策略和资源分配策略.最后,针对深度强化学习代理通过ε贪婪策略进行动作探索和利用,造成算法收敛速度慢等问题,提出了一种基于值函数差异的动作探索和利用方法,并进一步采用双重经验回放池,解决经验样本利用率低的问题.仿真结果表示,该算法能够加快神经网络收敛速度,并且可以同时优化SFC部署成本和SFC端到端时延.     

基于自然梯度Actor-Critic强化学习的卫星边缘网络服务功能链部署方法

鉴于低轨卫星网络的高动态性和空间环境的复杂性,如何提供在线的快速服务功能链(SFC)部署方法,成为低轨卫星边缘网络中亟待解决的问题。综合考虑节点和链路容量等约束以及服务迁移等切换代价,针对部署多接入边缘计算(MEC)服务器的低轨卫星网络,该文提出一种基于自然梯度参与者-评价者(Actor-Critic)强化学习架构的SFC在线部署方法。首先,针对低轨卫星网络的环境高动态性, 对实时容量约束和迁移代价进行建模;其次,引入马尔可夫决策过程(MDP),综合考虑服务迁移和卫星坐标等因素,描述低轨卫星网络的状态转移过程;最后,提出一种基于自然梯度的在线SFC部署强化学习方法,不同于标准梯度,自然梯度法进行模型层面的更新,以避免神经网络的训练陷入局部最优解。仿真结果表明,该文方法可逼近全局最优解,并在端到端时延性能上优于基于标准梯度的强化学习部署方法。     

基于联合备份的服务功能链可靠性保障的部署方法

在网络功能虚拟化(NFV)环境中,针对服务功能链(SFC)部署时的可靠性问题,该文提出对备份虚拟网络功能选择、备份实例放置和服务功能链部署的联合优化方法。首先,定义一个单位开销可靠性提高值的虚拟网络功能衡量标准,改进备份虚拟网络功能选择方法;其次,采用联合备份的方式调整相邻备份实例之间的放置策略,以降低带宽资源开销;最后,将整个服务功能链可靠性保障的部署问题构建成整数线性规划模型,并提出一种基于最短路径的启发式算法,克服整数线性规划求解的复杂性。仿真结果表明,该方法在优先满足网络服务可靠性需求的同时,优化资源配置,提高了请求接受率。     

基于随机学习的接入网服务功能链部署算法

针对5G云化接入网场景下物理网络拓扑变化引起的高时延问题,读文提出一种基于部分观察马尔可夫决策过程(POMDP)部分感知拓扑的接入网服务功能链(SFC)部署方案。该方案考虑在5G接入网C-RAN架构下,通过心跳包观测机制感知底层物理网络拓扑变化,由于存在观测误差无法获得全部真实的拓扑情况,因此采用基于POMDP的部分感知和随机学习而自适应动态调整接入网切片的SFC的部署,优化SFC在接入网侧的时延。为了解决维度灾问题,采用基于点的混合启发式值迭代算法求解。仿真结果表明,该模型可以优化部署接入网侧的SFC,并提高接入网吞吐量和资源利用率。

     

基于最长有效功能序列的服务功能链部署算法

服务功能链的服务性能取决于功能的部署位置和数据传输路径的选择。针对资源有限的网络中的服务功能链部署问题,该文设计了一种基于最长有效功能序列(LEFS)的服务功能链部署算法,以功能复用和带宽需求联合优化为目标,在控制路径长度的同时根据LEFS逐步搜索中继节点,直至满足服务请求。仿真结果表明,该算法能够均衡网络资源,同时优化网络的功能部署率和带宽利用率,与其他算法相比,网络资源利用率降低了10%,可以支持更多的服务请求,且算法计算复杂度低,可以实现对服务请求的快速响应。

     

抗侧信道攻击的服务功能链部署方法

侧信道攻击是当前云计算环境下多租户间信息泄露的主要途径,针对现有服务功能链(SFC)部署方法未充分考虑多租户环境下虚拟网络功能(VNF)面临的侧信道攻击问题,该文提出一种抗侧信道攻击的服务功能链部署方法。引入基于时间均值的租户分类策略以及结合历史信息的部署策略,在满足服务功能链资源约束条件下,以最小化租户所能覆盖的服务器数量为目标建立相应的优化模型,并设计了基于贪婪选择的部署算法。实验结果表明,与其他部署方法相比,该方法显著提高了恶意租户实现共存的难度与代价,降低了租户面临的侧信道攻击风险。