软件定义物联网中基于深度强化学习的路由优化算法

随着物联网的飞速发展,高速、海量的数据通信向服务质量保障机制提出了挑战。为了很好地满足用户对高效、低延迟路由的需求,文章结合软件定义网络（SDN）技术,提出一种软件定义物联网中基于深度强化学习的路由优化算法（RDIS）。RDIS利用控制器收集网络信息,基于改进的深度确定性策略梯度算法,在经验回放池中根据重要性对样本采样,最终获得一条性能近乎最优的路径。仿真实验表明,相较于传统的路由算法,RDIS在吞吐量和延迟方面具有更好的网络性能。     

基于自注意力深度强化学习的特定流路由选择算法

为了有效降低传统流量工程机制中重路由对网络带来的负面影响,基于软件定义网络的全局网络视角和管理能力,提出一种基于自注意力深度强化学习的特定流路由选择算法,以重新路由少量流量达到接近最优的性能。通过多尺度融合注意力机制的神经网络模型来提取流量的特征,并采用集中式训练-分布式执行架构,根据观测网络状态做出实时决策。理论研究和实验结果表明,与传统深度强化学习算法与启发式算法相比,所提算法在平均负载和端到端延迟性能方面均有显著改进。     

一个基于多策略的IP-DiffServ业务量工程实现机制研究

提出了一个IP-DiffServ网络业务量工程实现机制,它通过资源分析算法为一个PHB路由定义一条优化路由,通过QoS分析算法为用户业务定义一个优化的PHB,通过在两个算法中应用性能策略、价格策略和负载均衡策略,不但可以提高IP网络提供业务的性能价格比,同时使网络负载和网络资源达到三维均衡分布.实验结果很好地证明机制的优点.     

一种基于深度增强学习的智能路由技术

随着网络规模的不断增大以及网络复杂度的不断提高,传统路由算法面对网络流量在时空分布上的剧烈波动难以兼顾计算复杂度和算法效率.近年来,随着软件定义网络和人工智能技术的兴起,基于机器学习的自动路由策略生成逐渐受到关注.本文提出一种基于深度增强学习的智能路由技术SmartPath,通过动态收集网络状态,使用深度增强学习自动生成路由策略,从而保证路由策略能够动态适应网络流量变化.实验结果表明,本文所提出的方案能够不依赖人工流量建模动态更新网络路由,在测试环境下比当前最优方案减少至少10%的平均端到端传输时延.     

Ad Hoc网络负载均衡路由协议研究

网络负载是影响Ad Hoc网络性能的重要因素,网络负荷比较重时,局部的拥塞将导致网络性能的下降,分析研究现有负载均衡路由协议,并利用链路层信息,结合原Ad Hoc路由协议AODV提出了一种跨层负载均衡的路由协议方案,在选路过程中引入负载均衡机制,均衡网络流量,以提高网络时延、分组到达率等性能.最后用NS2软件仿真证明了改进路由算法的优越性.     

QL-STCT：一种SDN链路故障智能路由收敛方法

针对软件定义网络（SDN）链路故障发生时的路由收敛问题,提出了Q-Learning子拓扑收敛技术（QL-STCT）实现软件定义网络链路故障时的路由智能收敛。首先,选取网络中的部分节点作为枢纽节点,依据枢纽节点进行枢纽域的划分。然后,以枢纽域为单位构建区域特征,利用特征提出强化学习智能体探索策略来加快强化学习收敛。最后,通过强化学习构建子拓扑网络用于规划备用路径,并保证在周期窗口内备用路径的性能。实验仿真结果表明,所提方法能够有效提高链路故障网络的收敛速度与性能。     

基于改进深度Q学习的网络选择算法

在引入休眠机制的超密集异构无线网络中,针对网络动态性增强,导致切换性能下降的问题,该文提出一种基于改进深度Q学习的网络选择算法.首先,根据网络的动态性分析,构建深度Q学习选网模型;其次,将深度Q学习选网模型中线下训练模块的训练样本与权值,通过迁移学习,将其迁移到线上决策模块中;最后,利用迁移的训练样本及权值加速训练神经...     

基于闲时逆寻和路由学习机制的优化AODV路由协议

对AODV协议在不同MANET网络环境中的性能缺陷进行了研究,提出了节点闲时反向路由搜索机制和邻居节点路由监听学习机制,并进一步提出了优化的AODV路由协议O-AODV。利用O-AODV协议在MANET网络中产生多个局部路由,从而增加网络中的路由冗余度,提高路由发现的效率,加快故障路由的本地修复。仿真实验结果表明,O-AODV协议提高了分组投递率,降低了端到端延时,有效地减少了网络中的重路由开销,在大规模和拓扑变化快的网络环境中优于AODV协议。     

一种基于信任模型的安全度量及安全路由算法设计

针对网络路由的攻击普遍且后果严重。目前的研究大多是采用数字签名,消息验证和入侵检测等机制来提高路由控制信息的安全,基本没有考虑机密应用数据的路由安全问题。该文通过分析通信实体的安全机制和安全威胁来测量链路和节点的信任度,建立节点间的信任关系,并基于该信任模型定义和量化一种新的安全度量SM(Security Metric),提出以SM为选路标准的安全路由算法SMRA(Security Metric based Routing Algorithm)。仿真表明,网络存在攻击时,SMRA算法比OSPF算法有更好的包传输率和路由安全性能。     

多模态网络中时间敏感网络模态的智能调度机制

针对多模态网络中时间敏感网络模态转发调度不确定、求解时间长等问题,提出了一种基于CSQF的时间敏感网络模态的联合路由与调度机制。综合考虑有界时延需求、网络状态和不同的路由机制,建立联合缓存队列和路由的混合资源调度模型,旨在优化整个网络的资源使用。基于深度强化学习方法,利用流量特征与缓存队列利用率来预测下一循环的缓存利用率。此外,基于多队列CSQF转发调度机制和基于缓存利用率的显式路由算法,提出了一种迭代调度算法,实现了确定性转发和资源分配。仿真结果表明,所提机制可以根据网络的资源使用情况有效地调整确定性应用的传输调度,与其他离线调度机制相比,具有更好的调度性能。     

EARS: Intelligence-Driven Experiential Network Architecture for Automatic Routing in Software-Defined Networking

Software-Defined Networking(SDN)adapts logically-centralized control by decoupling control plane from data plane and provides the efficient use of network resources.However,due to the limitation of traditional routing strategies relying on manual configuration,SDN may suffer from link congestion and inefficient bandwidth allocation among flows,which could degrade network performance significantly.In this paper,we propose EARS,an intelligence-driven experiential network architecture for automatic routing.EARS adapts deep reinforcement learning(DRL)to simulate the human methods of learning experiential knowledge,employs the closed-loop network control mechanism incorporating with network monitoring technologies to realize the interaction with network environment.The proposed EARS can learn to make better control decision from its own experience by interacting with network environment and optimize the network intelligently by adjusting services and resources offered based on network requirements and environmental conditions.Under the network architecture,we design the network utility function with throughput and delay awareness,differentiate flows based on their size characteristics,and design a DDPGbased automatic routing algorithm as DRL decision brain to find the near-optimal paths for mice and elephant flows.To validate the network architecture,we implement it on a real network environment.Extensive simulation results show that EARS significantly improve the network throughput and reduces the average packet delay in comparison with baseline schemes(e.g.OSPF,ECMP).     

面向动态拓扑网络的深度强化学习路由技术

针对现有智能路由技术无法适用于动态拓扑的不足,提出了一种面向动态拓扑的深度强化学习智能路由技术,通过使用图神经网络近似PPO(Proximal Policy Optimization)强化学习算法中的策略函数与值函数、策略函数输出所有链路的权值、基于链路权值计算最小成本路径的方法,实现了路由智能体对不同网络拓扑的泛化....     

基于OpenFlow的软件定义网络路由技术研究

文中主要探索了基于OpenFlow的软件定义网络（SDN）路由技术,旨在优化和提高网络管理效率。通过深入解读SDN的核心构架、OpenFlow协议的关键组成,并将其与传统路由进行对比,发现SDN提供了一个更加灵活和集中的网络管理机制。在路由决策、性能优化和故障恢复上,基于OpenFlow的SDN明显优于传统方法。由此可见,基于OpenFlow的软件定义网络路由技术不仅可以大大提高网络的运行效率,还能简化网络管理流程,为未来的网络技术发展指明方向。     

基于改进深度强化学习的虚拟网络功能部署优化算法

针对网络功能虚拟化/软件定义网络(NFV/SDN)架构下,网络服务请求动态到达引起的服务功能链(SFC)部署优化问题,该文提出一种基于改进深度强化学习的虚拟网络功能(VNF)部署优化算法.首先,建立了马尔科夫决策过程(MDP)的随机优化模型,完成SFC的在线部署以及资源的动态分配,该模型联合优化SFC部署成本和时延成本...     

基于深度确定性策略梯度的虚拟网络功能迁移优化算法

针对NFV/SDN架构下,服务功能链(SFC)的资源需求动态变化引起的虚拟网络功能(VNF)迁移优化问题,该文提出一种基于深度强化学习的VNF迁移优化算法.首先,在底层CPU、带宽资源和SFC端到端时延约束下,建立基于马尔可夫决策过程(MDP)的随机优化模型,该模型通过迁移VNF来联合优化网络能耗和SFC端到端时延.其...     

A novel energy‐aware routing mechanism for SDN‐enabled WSAN

Energy consumption is one of the most important design constraints when building a wireless sensor and actuator network since each device in the network has a limited battery capacity, and prolonging the lifetime of the network depends on saving energy. Overcoming this challenge requires a smart and reconfigurable network energy management strategy. The Software‐Defined Networking (SDN) paradigm aims at building a flexible and dynamic network structure, especially in wireless sensor networks. In this study, we propose an SDN‐enabled wireless sensor and actuator network architecture that has a new routing discovery mechanism. To build a flexible and energy‐efficient network structure, a new routing decision approach that uses a fuzzy‐based Dijkstra's algorithm is developed in the study. The proposed architecture can change the existing path during data transmission, which is the key property of our model and is achieved through the adoption of the SDN approach. All the components and algorithms of the proposed system are modeled and simulated using the Riverbed Modeler software for more realistic performance evaluation. The results indicate that the proposed SDN‐enabled structure with fuzzy‐based Dijkstra's algorithm outperforms the one using the regular Dijkstra's and the ZigBee‐based counterpart, in terms of the energy consumption ratio, and the proposed architecture can provide an effective cluster routing while prolonging the network lifetime.     

基于强化学习的光传送网路由波长优化

针对光传送网中动态业务的路由和波长问题,提出一种基于强化学习的深度路由波长分配算法DeepRWA。算法基于软件定义网络架构,通过强化学习灵活地调整控制光传送网,实现光网络路由波长分配策略优化。针对路由选择问题,结合链路上的波长使用情况,使用A3C算法选择合适的路由,使得阻塞率最小;针对波长分配问题,使用首次命中算法选择波长。考虑阻塞率、资源利用率、策略熵、价值损失、运行时间及收敛速度等多个指标,利用14节点NSFNET网络拓扑仿真实验。结果表明:当信道中包含18个波长时,与传统KSP-FF算法相比,所提出的路由波长分配算法的阻塞率降低了0.06,资源利用率提高了0.02,但运行时间有增加;在波长数超过45以后,与传统KSP-FF算法相比,所提算法保持阻塞率和资源利用率的同时,运行时间开始降低;当信道中包含波长数为58时,与传统KSP-FF算法相比,所提算法运行时间减少了0.07 ms。由此可见,提出的算法使路由选择和波长分配得到了优化。     

SR架构下的软件定义信息中心网络概率路由策略

传统的TCP/IP路由以IP地址为中心,信息传输效率低下,难以满足网络用户需求.信息中心网络(Information-Centric Network,ICN)开始成为研究热点,ICN以内容为中心,可以高效传输信息.为了利用软件定义网络(Software Defined Network,SDN)和分段路由技术的优势,提高...     

DDoS attack detection and defense based on hybrid deep learning model in SDN

Software defined network (SDN) is a new kind of network technology,and the security problems are the hot topics in SDN field,such as SDN control channel security,forged service deployment and external distributed denial of service (DDoS) attacks.Aiming at DDoS attack problem of security in SDN,a DDoS attack detection method called DCNN-DSAE based on deep learning hybrid model in SDN was proposed.In this method,when a deep learning model was constructed,the input feature included 21 different types of fields extracted from the data plane and 5 extra self-designed features of distinguishing flow types.The experimental results show that the method has high accuracy,it’s better than the traditional support vector machine (SVM) and deep neural network (DNN) and other machine learning methods.At the same time,the proposed method can also shorten the processing time of classification detection.The detection model is deployed in SDN controller,and the new security policy is sent to the OpenFlow switch to achieve the defense against specific DDoS attack.