基于段路由的IPv6网络优化算法

随着互联网的发展,需要对IPv6网络进行性能提升,软件定义网络可以通过其特有的段路由架构对IPv6进行改进.将现有的IPv6网络直接升级为完整的SRv6网络是非常困难的.因此,提出一种基于部分部署的SRv6的网络优化算法.通过对分散的SRv6节点中的TE算法进行权重调整,将TE问题转化为深度强化学习问题,优化OSPF权...     

基于深度学习的SDN虚拟蜜网路由优化

针对传统蜜网所致的成本昂贵、流量控制不便及动态调整困难等问题,提出使用SDN、ODL与Mininet技术部署轻量级虚拟蜜罐,组建虚拟蜜网拓扑,使用深度学习技术DDPG优化路由选择路径.通过实验表明,优化后的路由选择机制具备动态调整网络结构,有较好的收敛性和选择性.使得网络在遭受攻击时,能将攻击转向蜜网,从而减少攻击造成的危害,增强网络主动防御能力.     

机器学习在SDN路由优化中的应用研究综述

随着网络技术的迅速发展和新型应用的不断出现,网络数据的急剧增加导致网络管理变得极其复杂.传统网络中的设备多种多样,配置复杂,难于管理,而软件定义网络(software defined networking, SDN)这种新型网络架构的出现给网络管理带来了曙光,该架构摆脱了硬件设备对网络的限制,使网络具有灵活、可编程性等优点.一个好的路由机制影响着整个网络的性能,软件定义网络的集中控制特性给机器学习在路由机制方面的应用带来了新的研究方向.首先论述了SDN路由优化的现状,然后从监督学习和强化学习2个方面概述了近年来机器学习在SDN路由方面的研究,最后为了满足不同应用的服务质量(quality of service, QoS)以及不同用户的体验质量(quality of experience, QoE),提出了数据驱动认知路由的发展趋势.通过赋予网络节点感知、记忆、查找、决策、推理、解释等认知行为,加快寻路过程,优化路由选择,完善网络管理.     

基于遗传算法的QoS路由优化算法

研究了带宽、时延等QoS路由问题,提出了一种基于遗传算法的QoS路由选择优化算法。算法采用网络资源消耗和负载分布为目标函数,目的是在消耗网络资源最小的基础上,使负载均衡分布,合理利用网络资源,降低网络拥塞。仿真结果表明,该算法是有效的、稳定的。     

软件定义网络（SDN）架构下的网络管理与优化研究

主要研究软件定义网络（SDN）架构下的网络管理与优化技术。首先,介绍SDN网络的基本原理和架构组成部分,以及网络管理和控制过程。然后,详细阐述SDN网络的监控、配置、故障处理、安全技术,以及性能优化、负载均衡、服务质量保证、能源管理等优化技术。接着,探讨SDN网络管理与优化在数据中心、车联网、5G和物联网等领域的应用,并介绍实验与验证的环境和方法,使用SDN仿真软件Mininet构建SDN网络拓扑,模拟网络流量、网络攻击和网络负载等场景,评估SDN网络并分析实验结果。最后,总结SDN网络管理与优化的研究成果和不足,并展望未来发展趋势。     

数据中心网络中一种半集中式SDN路由策略

在SDN体系架构中把网络控制功能从网络设备（交换机/路由器）里分离出来,集中到中心节点控制器上,交换机只负责数据平面的功能（通过流表进行数据转发）。在大规模的数据中心网络中,路由/流表的计算和分发完全由中心控制器完成,控制器成为网络的性能瓶颈和脆弱点。为了解决上述问题,本文提出半集中式SDN路由技术,其主要思想是每个交换机节点不需要控制器的参与,可以自主构建一个基础流表,基于基础流表,交换机可以完成基本的数据转发工作。而控制器负责更高级的路由选路（故障处理）工作,从而大大减轻控制器的负担。针对控制器的高级路由选路工作,本文通过对现有SDN网络中的故障恢复机制的特性以及限制的分析,在基础流表的基础上设计一套局部迂回故障检测恢复机制。基于该机制,控制器能够及时检测到网络故障,并在极短的时间内进行故障恢复,实现控制器的高级路由选路工作。     

基于秩的Q-路由选择算法

如何在动态变化的复杂网络中实现高效的路由选择是当前的研究热点之一。Q-学习是一种常用的强化学习算法,通过与环境的不断交互来解决未知环境中最优控制问题,能有效地完成在线式学习任务。本文提出一种基于秩的Q-路由选择(Rank-based Q-routing, RQ routing)算法。RQ routing算法在Q-学习的框架下,保留了Q-路由选择(Q-routing)算法的高效性,引入能动态计算的秩函数,用于表示当前状态在场景中的优先级,用以求解路由选择的最优解,避免等待队列过长,减少网络拥堵,提高传输速度。RQ routing算法中的秩函数具有灵活性,使用不同的秩函数即可满足各种场景的需求,保证了算法具有更好的泛化能力,克服了传统Q-routing应用场景单一的不足。实验验证了本文算法的有效性。     

基于预训练深度强化学习的星地网络SDN部署策略

万物互联和天地一体化网络的趋势下,全球覆盖的卫星接入地面骨干网络将成为未来的热点。传统的由先验知识去部署SDN节点的方法已不再适用高速变动的星地网络。经过研究,给出一种基于预训练的深度确定性策略梯度（P-DDPG）的SDN节点部署方法,把高速变化的拓扑结构分成相对静止的拓扑结构。在传统深度强化学习的基础上,通过迁移预训练中的权重及经验缓冲池来提高Actor-Critic网络的学习效率,得出SDN节点部署策略。实验结果表明,P-DDPG算法可以有效地在星地网络拓扑变化之后给出SDN节点部署策略,提高网络整体的负载均衡水平。     

基于Floodlight的SDN控制器研究

目前正在使用的网络架构已有30年的历史。在此架构下,交换机/路由器需要在超过6 000个分布式协议中使整个网络正常运行。这意味着只要有一个网元增加一种新的协议,其他网元都必须在结构上做出变更。SDN（Software Defined Network,软件定义网络）则打破了这种桎梏,它使得网络可编程,从而让网络在满足用户需求方面更具灵活性。SDN架构将控制和转发解耦,将控制功能集中到逻辑独立的控制环境之中,同时为应用层提供底层网络的抽象视图。结果就是SDN可以为用户提供可编程性极强的网络、网络自动化管理以及网络控制等功能,从而满足日益变化与丰富的网络需求。SDN控制器在SDN架构中的作用至关重要,它既要与基础设施层交互也需要与应用层经由API交互。首先分析了SDN架构的产生背景、原理和其发展现状;随后研究并分析了一个SDN控制器的开源项目Floodlight;最后通过对当前7种控制器的实验以及SDN相关原理对SDN控制器的特性进行了总结与分析。     

SDN动态停滞超时时间优化算法

针对当软件定义网络(SDN)数据量高峰时,SDN交换机有限的流表项资源会对网络性能有很大限制这一问题,提出了一种动态停滞超时时间优化(DTO)算法。先用动态指数平滑(DES)算法估计出下一时间周期内网络中的新增流表项数量,而后依据SDN中的实际负载状况,采用动态参数对流表项的停滞超时时间进行动态优化调整。经Mininet仿真证明:优化算法能有效提高流表匹配率、流表资源利用率以及网络平均吞吐量,提升整体网络性能。     

一种应用强化学习的自适应无线传感器网络路由算法

数据收集是无线传感器网络的重要应用之一,其主要的工作过程可以概括为传感器节点将感知的信息通过一定的路径传送到无线网关节点进行进一步分析处理的过程.在数据收集时,由于人们无法预知事件触发的地点,常常将传感器均匀布置在监测的场所中,但是信息收集的地点往往是不均匀分布的,这就导致了一部分节点会因处在事件频发地段而持续的工作,而另一些节点却始终不会工作.为了解决这个问题,提出一个应用加强学习算法的自适应无线路由策略.在该路由策略中,路由的过程被当作分布式智能节点加强学习的过程.每一个传感器节点都是一个独立的智能节点,可以通过参数化的选择概率和回报来决定自己的下一跳地址.该策略的目的是使长时间不工作的节点代替长时间工作的节点传输数据,以达到平均节点能耗,延长整体网络寿命的效果.最后的仿真结果说明我们的路由策略可以有效的分散数据传输,延长网络寿命.     

基于牵引控制的深度强化学习路由策略生成

当前网络规模的高速增长带来网络流量复杂度的日益提高,增加了对流量特征精确建模的难度.近年来业界提出使用深度强化学习技术实现网络路由的智能化生成,一定程度上克服了人工进行流量分析和建模的缺点.然而,目前提出的解决方案普遍存在可扩展性差等问题.对此,提出了一种基于牵引控制理论的深度强化学习路由策略生成技术Hierar-DRL,通过引入牵引控制理论并结合深度强化学习的自动策略搜索能力,提高了智能路由算法可扩展性.仿真实验结果表明：所提方案相比当前最优方案的端到端时延最多降低了28.5%,证明了所提智能路由方案的有效性.     

一个基于增强学习算法的路由模型

由于Internet的不断发展，现有的路由算法为适应不同的网络要求，从一开始的RIP、OSPF、BGP等几种，衍生出很多新的适用于特殊网络的路由协议。本文提出一种基于增强学习算法的路由模型。将每个路由节点看作一个Agent，利用增强学习算法的思想使得每个节点在不了解网络拓扑结构的情况下从向邻居转发的概率获得网络的信息，这样路由节点可以选择一个较优的转发方向。同时，节点能对网络的拥塞等情况作出调整。该模型为一些具体网络的路由协议，特别是QoS类路由算法提出了一个新的路由思想。     

强化学习在车辆路径问题中的研究综述

车辆路径问题是物流运输优化中的核心问题,目的是在满足顾客需求下得到一条最低成本的车辆路径规划。但随着物流运输规模的不断增大,车辆路径问题求解难度增加,并且对实时性要求也不断提高,已有的常规算法不再适应实际要求。近年来,基于强化学习算法开始成为求解车辆路径问题的重要方法,在简要回顾常规方法求解车辆路径问题的基础上,重点总结基于强化学习求解车辆路径问题的算法,并将算法按照基于动态规划、基于价值、基于策略的方式进行了分类;最后对该问题未来的研究进行了展望。     

基于分层和强化学习的改进路径搜索算法

复杂网络下的路径搜索问题是网络寻优中的一个难点。现有算法主要存在以下问题：一是往往只能侧重于求解效率和求解精度中的一点;二是对动态变化的复杂网络适应性不强,求解效果不佳。因此,本文提出一种基于双分层和优化Q-Learning的改进路径搜索算法。对于求解时间随规模增加而急剧增长的问题,提出k-core和模块度结合的双分层划分网络的策略,以合理有效地减小网络规模。在子网络求解中,引入强化学习机制对网络进行动态感知,针对算法收敛较慢问题,加入自适应学习因子和记忆因子,优化更新公式,提高收敛速度。最后,在不同幂律指数（2~3）和不同规模的复杂网络下,将所提算法与Dijkstra算法、A*算法和Qrouting算法进行实验对比,结果表明该算法在保证较好求解精度的情况下,能有效地改善求解效率。     

可编程数据平面下基于DDPG的路由优化方法

针对于数据中心网络不均衡的流量分布,和在使用固定功能交换机的软件定义网络中部署强化学习模型时,不能精确感知网络状态导致的路由决策偏差问题,设计了一种在具有可编程数据平面的软件定义网络中,基于深度确定性策略梯度(DDPG)强化学习模型的路由优化方法.通过在可编程数据平面自定义数据包处理逻辑,获取细粒度、高精度的网络状态参...     

基于SDN网络环境感知的智能路由算法

随着网络中海量设备的接入,网络中的环境也日益复杂和多样化,传统的软件定义网络(SDN)路由算法在寻路时没有考虑到网络中的环境因素,如果不考虑这些因素就无法更好地实现对网络节点的实时状态感知,那么也就不能让用户拥有更好的网络体验.针对该问题,结合网络环境信息,提出一种基于SDN网络环境感知的智能路由算法.该算法在时间上进...     

基于博弈策略强化学习的函数优化算法

该文提出了一种基于博弈论的函数优化算法。算法将优化问题的搜索空间映射为博弈的策略组合空间,优化目标函数映射为博弈的效用函数,通过博弈策略的强化学习过程智能地求解函数优化问题。文章给出了算法的形式定义及描述,然后在一组标准的函数优化测试集上进行了仿真运算,验证了算法的有效性。