基于深度强化学习的服务功能链跨域映射算法

在域内部分信息隔离场景下,针对SFC映射对传输时延和资源开销的影响,提出一种基于深度强化学习的服务功能链跨域映射算法.首先提出一个集中式编排架构,在此架构下上层控制器利用全网格聚合技术来构建抽象拓扑,降低域间映射复杂度;其次将SFC请求分割问题建模为马尔可夫决策过程,使得虚拟网络功能均衡地分配到各个域中;最后以域间传输时延以及映射资源开销为奖励函数构建深度强化学习网络,通过训练完成域间映射,如果域内映射失败则采用反馈机制提高SFC请求接受率.仿真结果表明,该算法有效地减小了传输时延和资源开销,同时提高了请求接受率.     

移动边缘计算网络下的服务功能链部署优化设计

为解决移动边缘计算网络中面向用户的服务功能链部署算法系统成本支出过大、响应时间长的难题,提出了针对服务功能链成本与时延联合优化设计的方法。首先,在服务功能链构建阶段,根据节点位置和资源状况,选择当前最佳节点减少虚拟网络功能(virtualized network function, VNF)间的时延以提高服务功能链的响应时间。其次,在服务功能链部署阶段,由于映射资源有限,在服务映射节点时应用节点选取算法确定最佳节点映射排列顺序,并从中选取最短加权路径作为各VNF间的通信链路。实验仿真结果表明,相比于已有方案,该方法能有效降低时延和部署成本,并能显著提高服务功能链部署的成功率。     

多域SFC部署中基于强化学习的多目标优化方法

随着网络虚拟化技术的发展,多域网络中的服务功能链部署为服务功能链优化部署问题带来了新的挑战.传统的部署方法通常对单一目标进行优化,不适用于多目标优化问题,且无法对优化目标间权重进行衡量及平衡.因此,为了对大规模服务功能链部署请求下的时延、网络负载均衡性及接受率进行同步优化,提出了一种数据归一化处理方案,并设计了基于强化学习的两步SFC部署算法.该算法以传输时延与负载均衡性为反馈参数,平衡了两者的权重关系,并对其进行了同步优化,同时利用强化学习框架优化了SFC接受率.实验结果表明,所提算法在大规模请求数下,相比时延感知方法时延降低了71.8％,相比多域部署方法接受率提高了4.6％,相比贪心算法平均负载均衡性提高了39.1％,保证了多目标优化效果.     

基于改进麻雀搜索算法的服务功能链优化映射算法

为了实现5G网络场景下服务功能链的低成本高效率部署,提出了一种基于改进麻雀搜索算法的服务功能链优化映射算法。在服务功能链映射过程中,采用双层编码方式,将服务请求的组链方案和映射方案进行混合编码,然后使用改进离散麻雀搜索算法进行求解,得到该请求的服务功能链部署方案,并计算其映射权重。当同一时间片内存在多个请求类型时,按照映射权重对所有服务功能链进行排序,优先映射权重高的请求,以此减少延迟开销,提高节点计算资源利用率和链路资源利用率。仿真结果表明,该算法可以有效减少部署开销,提高资源利用率。     

面向并发业务的卫星网络服务功能链优化算法

在空间信息网络中,卫星硬件在线升级难度大且并发业务数量多,导致现有服务功能链（SFC）映射算法的服务请求接收率降低且资源开销过大。利用流量缩放因子与虚拟网络功能间的依附关系构建SFC,以最小化处理请求时延与总资源消耗为目标,提出一种空间信息网络SFC映射算法。通过调整预测函数的权值来控制搜索范围,从而获得全局最优的快速映射方案,有效解决节点随机失效问题。仿真结果表明,与OMD算法相比,该算法在较高的并发服务请求下可使处理请求时延和总资源消耗平均降低19%和6%。     

一种基于动态规划的vEPC服务功能链部署方法

5G移动通信网虚拟化场景下,如何高效部署核心网服务功能链是实现虚拟化演进分组核心网业务高效部署的关键问题。针对现有部署方法难以满足移动通信低时延业务需求的问题,本文提出了一种基于动态规划的服务功能链部署方法。该方法通过解决相互依赖的每个虚拟网络功能部署这一子问题,然后递归的解决整个服务功能链的部署问题,找到网络服务时延开销最小的部署方案。仿真实验表明,该方法在网络服务的处理时间、请求接受率、收益和算法执行时间等方面具有良好的性能。     

面向NUMA架构的虚拟网络功能部署技术研究

针对非一致内存访问架构的集群系统,探讨了虚拟网络功能链的时延问题,以及重用已部署的虚拟网络功能提升资源利用率机制。形式化定义了面向最小化时延的虚拟网络功能部署问题,证明其为NP难问题,提出了基于马尔可夫链概率迭代的部署算法MarVNFP。实验证明,与典型的虚拟网络功能部署算法MRP相比,MarVNFP算法能减少虚拟网络功能链近40%的跨域数据传输,有效降低了时延。     

一种时延约束下可靠性保证的服务功能链部署方法

针对网络功能虚拟化环境中底层网络物理节点随机失效导致网络服务中断问题,提出了一种兼顾网络服务可靠性和时延约束的服务功能链部署方法以保证网络服务的可靠性。首先提出一种相邻虚拟网络功能备份实例资源共享的备份机制和单路径与多路径混合的路由策略,然后对时延约束下服务功能链可靠性部署问题建立混合整数线性规划模型,并设计了基于K最短路径扩展的服务功能链部署算法。仿真结果表明,与现有方法相比,该方法降低了节点和带宽资源开销,并提高了网络服务请求接受率。     

服务功能链中基于机器学习的QoE评估与预测

在软件定义网络与网络功能虚拟化协同的网络架构下,只考虑单个服务质量（QoS）指标的服务功能链部署无法满足用户的多业务体验需求。提出一种基于机器学习的服务功能链部署模型。基于层次分析法构造MPNQ2算法以建立QoS与体验质量（QoE）的映射关系,得出影响QoE的网络参数并评估其影响权重。在此基础上,利用具备较强综合学习和泛化能力的随机森林模型对服务功能链的QoE进行预测。实验结果表明,与梯度提升决策树、线性判别分析等机器学习模型相比,随机森林模型为预测QoE的最佳模型,同时在影响QoE的网络参数中,丢包率对服务功能链的部署影响最大。     

基于VNF实例共享的服务功能链部署算法

针对服务功能链(SFC)部署过程中存在虚拟网络功能(VNF)实例部署成本和转发路径成本难以权衡的问题,提出了基于VNF实例共享的SFC部署算法。首先针对多链SFC建立VNF和虚拟链路映射模型,并预估路径部署长度上限,保证SFC时延需求;其次,在路径部署长度限制范围内,尽可能使VNF实例共享最大化,以平衡链路转发成本和VNF部署成本,最终得到SFC部署策略。与已有的SPH(shortest path heuristic)和GUS(greedy on used server)部署算法相比,所提算法所得的总运营成本分别降低6.6%和12.15%,且当SFC数量增多时,该算法的服务接受率可达89.33%。仿真实验结果表明,提出算法可以在保证用户服务质量的同时有效降低SFC部署成本。     

基于深度强化学习的服务功能链多维资源优化

在网络功能虚拟化(Network Function Virtualization,NFV)环境下,保证用户服务功能链(Service Function Chain,SFC)服务质量的同时节约资源消耗,降低运营成本,对运营商来说至关重要.联合考虑SFC部署和无线接入网资源分配,提出一种基于深度强化学习的SFC多维资源联合...     

基于深度强化学习的交通信号控制方法

交通信号的智能控制是智能交通研究中的热点问题。为更加及时有效地自适应协调交通,文中提出了一种基于分布式深度强化学习的交通信号控制模型,采用深度神经网络框架,利用目标网络、双Q网络、价值分布提升模型表现。将交叉路口的高维实时交通信息离散化建模并与相应车道上的等待时间、队列长度、延迟时间、相位信息等整合作为状态输入,在对相位序列及动作、奖励做出恰当定义的基础上,在线学习交通信号的控制策略,实现交通信号Agent的自适应控制。为验证所提算法,在SUMO(Simulation of Urban Mobility)中相同设置下,将其与3种典型的深度强化学习算法进行对比。实验结果表明,基于分布式的深度强化学习算法在交通信号Agent的控制中具有更好的效率和鲁棒性,且在交叉路口车辆的平均延迟、行驶时间、队列长度、等待时间等方面具有更好的性能表现。     

基于深度强化学习的室内视觉局部路径规划

传统的机器人局部路径规划方法多为已有先验地图的情况设计,导致其在与视觉(simultaneous localization and mapping, SLAM)结合的导航中效果不佳。为此传统的机器人局部路径规划方法多为已有先验地图的情况设计,导致其在与视觉SLAM结合的导航中效果不佳。为此,本文提出一种基于深度强化学习的视觉局部路径规划策略。首先,基于视觉同时定位与建图(SLAM)技术建立周围环境的栅格地图,并使用A*算法规划全局路径;其次,综合考虑避障、机器人行走效率、位姿跟踪等问题,构建基于深度强化学习的局部路径规划策略,设计以前进、左转、右转为基本元素的离散动作空间,以及基于彩色图、深度图、特征点图等视觉观测的状态空间,利用近端策略优化(proximal policy optimization, PPO)算法学习和探索最佳状态动作映射网络。Habitat仿真平台运行结果表明,所提出的局部路径规划策略能够在实时创建的地图上规划出一条最优或次优路径。相比于传统的局部路径规划算法,平均成功率提高了53.9%,位姿跟踪丢失率减小了66.5%,碰撞率减小了30.1%。     

基于强化学习的网络时延自动化控制数学建模研究

传统的网络时延控制模型在分析时延原因时,仅从宏观角度分析,缺少建立网络模型的过程,导致时延控制能力差、数据传输时间长、丢包率大的问题。为解决此问题,设计一种基于强化学习的网络时延自动化控制模型。该模型的构建主要分为两部分,先是确定网络模型,具体分析网络时延出现的原因,在此基础上,利用强化学习中的Q学习算法构建自动化控制模型,以解决网络时延问题。实验结果表明:与传统的基于均衡调度的网络时延控制模型相比,该模型对网络时延的控制性能更好,且数据包传输时间缩短3.7 s,数据包丢包率降低5%,应用优势明显。     

基于李雅普诺夫优化和深度强化学习的多任务端边迁移

针对多终端、多边缘服务器场景下异构工业任务的端边协同处理问题,提出一种基于李雅普诺夫优化和深度强化学习的多任务端边迁移算法.首先,以联合优化任务迁移决策、迁移比例和传输功率为目标,充分考虑计算频率、传输功率、长期能耗和任务截止期等约束,构建系统长期平均开销最小化问题;由于问题中长期目标及约束中变量在不同时隙相互耦合,难以求解,基于李雅普诺夫优化理论,将长期平均开销最小化问题解耦为独立时隙的策略优化问题;通过马尔可夫决策过程建模,并采用双层竞争深度神经网络架构,提出基于深度强化学习的多任务迁移算法.实验结果表明,所提算法能够稳定收敛,并在长期能耗约束和任务截止期要求下有效降低系统长期平均开销.     

5G-C-RAN中最大化效用服务功能链部署算法

为解决5G无线虚拟化网络中的服务功能链的部署问题,保障多样化业务带来的网络差异化性能需求,并提高基础设施运营商和无线虚拟运营商的联合收益,提出一种基于最大化效用的服务功能链部署策略。该策略在考虑5G-C-RAN的架构特性下,联合考虑虚拟运营商的最大容忍端到端时延、最小服务速率需求和基础设施运营商的计算资源及链路资源限制,同时考虑不同服务功能链部署方案对网络性能的影响,采用商业化模型,以最大化基础设施运营商及虚拟运营商联合收益建立效用模型。最后,通过遗传算法和Matlab函数Linprog进行迭代求解。仿真结果表明,该方案可保证虚拟运营商的网络性能的同时提高基础设施运营商和虚拟运营商的联合总收益。     

基于一维卷积循环神经网络的深度强化学习算法

针对现有深度强化学习算法在状态空间维度大的环境中难以收敛的问题,提出了在时间维度上提取特征的基于一维卷积循环网络的强化学习算法;首先在深度Q网络(DQN,deep Q network)的基础上构建一个深度强化学习系统;然后在深度循环Q网络(DRQN,deep recurrent Q network)的神经网络结构基础上加入了一层一维卷积层,用于在长短时记忆(LSTM,long short-term memory)层之前提取时间维度上的特征;最后在与时序相关的环境下对该新型强化学习算法进行训练和测试;实验结果表明这一改动可以提高智能体的决策水平,并使得深度强化学习算法在非图像输入的时序相关环境中有更好的表现。