一种基于神经元强化学习的网络拥塞控制方法

提出了一种基于神经元强化学习(Neuron-based Reinforcement Learning,NRL)的自适应AQM算法,采用链路速率和队列长度作为拥塞指示,可根据网络环境的变化在线自动调整神经元参数,从而保持良好的队列长度稳定性和对网络负载波动的鲁棒性.该算法结构简单、易于实现,且不依赖对象的模型.仿真结果表明,该算法尤其适合于解决复杂不确定性网络的拥塞控制问题,并具有更好的队列稳定性和鲁棒性.     

基于深度强化学习的无线自组网拥塞控制性能提升方法

针对现有传统拥塞控制算法难以适应高度动态变化的无线自组网链路环境的问题,提出了一种基于深度强化学习的拥塞控制性能提升方法Enhanced-CC（Enhanced Congestion Control）。通过利用传统拥塞控制算法对拥塞窗口进行初步探测,在此基础上,利用深度强化技术学习链路实时最佳拥塞窗口区间,在传统拥塞控制算法计算的拥塞窗口过大或过小时,对拥塞窗口进行调整,从而使发送速率能够与高度动态变化的链路带宽相匹配,提升传统拥塞控制算法的传输性能。实验结果表明Enhanced-CC能够大幅度提升BBR、CUBIC、Westwood、Reno等传统拥塞控制算法的性能,同时也优于PCC、PCC Vivace等完全基于学习的拥塞控制算法以及Orca、DeepCC等结合深度强化学习与传统拥塞控制算法方案的性能。     

显式控制协议在Ad Hoc网络中的应用

Ad hoc网络是一种无基础设施、无中心控制的分布式自组织对等式网络,在紧急情况下能够简单迅速搭建。而传统的TCP拥塞控制协议在Ad Hoc网络中表现出不稳定性,不公平性,带宽利用率不高以及随着跳数增加吞吐量减少等问题。eXplicit Control Protocol(XCP),即显式控制协议,是一个基于反馈的拥塞控制协议,其通过对注入网络的数据流设置标记并由网络向发送端发送准确定量的反馈信息来实现拥塞控制。本文简单阐述了TCP拥塞控制协议及其一些改进方案在Ad Hoc网络中的缺陷,并主要针对XCP在Ad Hoc网络中的运用WXCP进行了详细的分析和讨论。     

基于改进BBR的数据报拥塞控制协议

数据报拥塞控制协议(Datagram Congestion Control Protocol,DCCP)是提供拥塞控制和不可靠传输特点的实时多媒体基础协议,DCCP中的CCID2算法仍然采用AIMD的控制机制,这种传统的Loss-Base拥塞控制模型已经不适用于目前高BDP的网络环境,容易引起缓冲区膨胀现象,导致网络延迟增加和抖动等问题.与Loss-Base的算法相比,BBR算法可以有效地控制网络延时,最大限度避免网络排队的情况,在丢包率较高的情况下仍可以保持一定的带宽利用率和较低的链路延时,因此适合于DCCP实时流媒体的应用的协议.本文在DCCP中引入了BBR算法并做相应的改进,增加了丢包率检测模型,使用延时与带宽积模型的拥塞控制算法对上述问题进行改进.通过模拟实验证明,本方法在高负载情况下连接的平均延迟相比CCID2降低了20%,在丢包率较高的环境下也能保持良好的吞吐量.     

高带宽延时网络下拥塞控制协议比较与分析

随着网络技术的飞速发展和接入性能的不断提高,如今全世界的互联主干网络呈现出一种高带宽高延时(High Bandwidth-Delay Product Networks)的网络特性.在这种网络特性下,传统网络中的TCP拥塞控制协议已经开始显现出不适应性,如带宽利用率低下、流量抖动频繁等问题.近些年来,各国学者均提出一些适应这种网络环境变化的拥塞控制协议,基于这些协议中窗口调节机制所采用的反馈信息,本文将其划分为三类:基于丢包反馈的协议、基于路径延时反馈的协议和基于显式反馈的协议,并分析了这些协议的优缺点.在总结了高带宽延时网络下拥塞控制协议研究成果的基础上,进一步分析了网络中的传输延时RTT、瓶颈路由器缓存和路由器队列管理算法对现有拥塞控制协议的影响,并通过NS2对各协议在高带宽延时网络下的性能进行了一次全面的比较和评价.最后文章在总结前人工作的基础上,指出了高带宽延时网络下拥塞控制协议性能优化的研究方向.     

基于NetFPGA的VCP网络的设计与实现

可变结构拥塞控制协议(VCP)是一种可适应于高带宽时延乘积网络的显式拥塞控制协议,它仅用两个ECN比特位标记网络拥塞的反馈信息,达到较高的带宽利用率和公平性。但目前针对VCP协议的研究大部分都是基于离散事件仿真验证,本文设计并搭建一种VCP真实网络验证环境。基于Linux协议栈设计VCP网络端系统,基于NetFPGA平台设计VCP网络中间节点,形成完整的VCP网络架构。构建典型的VCP网络实验拓扑,与TCP/DT相比,VCP在实际网络中可达到较好的性能。     

基于NetFPGA的VCP网络的设计与实现

可变结构拥塞控制协议（VCP）是一种可适应于高带宽时延乘积网络的显式拥塞控制协议,它仅用两个ECN比特位标记网络拥塞的反馈信息,达到较高的带宽利用率和公平性。但目前针对VCP的研究大部分都是基于离散事件仿真验证,文中设计并搭建一种VCP真实网络验证环境。基于Linux协议栈设计VCP网络端系统,基于NetFPGA平台设计VCP网络中间节点,形成完整的VCP网络架构。构建典型的VCP网络实验拓扑,与TCWDT相比,VCP在实际网络中可达到较好的性能。     

基于ibdump的InfiniBand网络拥塞控制观测方法研究

在InfiniBand(IB)体系网络中,拥塞控制(Congestion Control,CC)能够确保高性能和资源利用率,避免拥塞传播对于无辜流的性能损害。首先分析IB网络采用的ECN(Explicit Congestion Notification)拥塞控制机制,然后提出一种集中控制的多点流量发生器CTBG(Central Traffic Behavior Generator),它提供了对流量的统计能力。为了进一步剖析IB网络拥塞控制的细粒度行为,提出了基于ibdump和wireshark的观测方法。实验表明,提出的测量机制能够细粒度、低开销地观测IB网络的拥塞控制行为,其对拥塞控制机制的研究具有重要的指导意义。     

变结构拥塞控制协议VCP研究

当网络的带宽或者时延增大时,TCP协议的性能严重下降,最显著的就是网络瓶颈处带宽利用率很低。Xia提出的变结构拥塞控制协议（VCP）可有效地解决上述问题。在VCP协议中,每个路由器每隔200毫秒的计算一个“负载因子”以反映网络的拥塞程度,并将其编码放入每个经过数据包的两位ECN位中。源主机根据数据包中的负载因子,执行不同的拥塞控制算法,分别提高带宽利用率和公平性。与其他的显式拥塞控制协议相比,VCP仅使用了很少的（两位）比特数,但是仍获得了较好的性能。     

显式拥塞控制研究

随着互联网络技术的发展,高带宽延迟积的高速网络成为主流网络,TCP拥塞控制算法因为协议固有的设计缺陷,无法理想地处理高速网络中的拥塞问题,显式拥塞控制协议有效地克服TCP的设计缺陷,较为理想地解决这些问题。论述显式拥塞控制的工作流程以及三种显式拥塞控制协议XCP、EMKC和JetMax。     

基于监督学习和深度强化学习的学前教育聊天机器人对话模型构建研究

聊天机器人的应用有助于满足儿童的好奇心与知识学习的欲望，利于学前教育质量的提升。在本次研究中为了提高聊天机器人在学前教育中的应用价值，通过深度强化学习(Deep Reinforcement Learning, DRL)与监督学习(Supervised Learning, SL)进行了聊天机器人对话模型的建立。基于SL的对话模型在训练集和验证集中的成功率均为100%,其损失函数值分别为0.018和0.024。随着训练次数的增加，基于DRL的对话模型的成功率增加至97.2%,平均对话轮数降低为7轮。结果表明，基于监督学习和深度强化学习建立的机器人对话模型具有较好的性能，能够人性化地完成聊天互动。     

命名数据网络中基于自适应转发的拥塞控制机制

为了提高命名数据网络NDN(Named Data Networking)中视频数据的可靠传输,站在客户端的角度,提出一种基于自适应转发的拥塞控制机制AFCCP(Adaptive Forward Congestion Control Policy)。AFCCF以网络丢包最小化为目标,为接口的选择建立马尔科夫模型,通过前一时间间隔链路的状态,自适应地选择最佳的转发接口,减少兴趣包向拥塞链路的转发,降低网内的丢包数目,实现网络拥塞控制。在此基础上,AFCCF针对视频数据内部属性,考虑解码端特点,在网络发生丢包时,选择性地对数据包丢弃,实现视频内部重要数据的可靠传输。仿真结果表明,AFCCP在较低时延的条件下,实现网络较小的丢包率,增加用户接收数据包的数量,从而改善用户获取数据体验。     

DTN中基于消息质量度和节点可信度的拥塞控制

DTN(Delay Tolerant Network)具有间歇性连接、资源有限以及拓扑结构随机动态变化等特点,因此会受到网络资源有限和网络拓扑不确定性的限制,极易产生网络拥塞。针对这一问题,提出了一种基于消息质量度和节点可信度的拥塞控制策略CCMQ(Congestion Control Based on Message Quality and Node Reliability in DTN)。该策略主要根据消息的质量度划分消息的优先级,在转发消息时,将优先级高的消息优先转发;在选择下一跳节点时,选择节点可信度高的节点进行消息的转发,并充分考虑中继节点自身的属性;在发生拥塞时,消息质量度小的消息被率先丢弃,同时增加了S-ACK消息确认删除机制,以释放节点的缓存空间,从而有效缓解节点拥塞。仿真结果表明,相比传统的拥塞控制算法,CCMQ在消息递交率、网络负载率和平均时延性能方面都有较大的提升。     

基于Ad Hoc网络的TCP增强算法研究

在自适应无线Ad Hoc网络中,现有TCP拥塞控制协议-AIMD在拥塞控制因子-cwnd(Congestion Window)变化上的单一性,易使网络整体性能急剧下降,例如:资源利用率降低、数据流不友好等。针对以上问题,在TCP-Newreno协议上提出了一种cwnd自适应动态变化算法RFTCP,并结合网络吞吐量跨层调整竞争窗口(CW)因子,以解决现有协议在动态Ad Hoc网络中出现的吞吐量小、传播延迟大、资源分配不公等问题。RFTCP算法在NS2的仿真结果中,与TCP-Newreno相比较,明显提升了无线Ad Hoc网络的通信质量。     

无模型强化学习研究综述

强化学习(Reinforcement Learning,RL)作为机器学习领域中与监督学习、无监督学习并列的第三种学习范式,通过与环境进行交互来学习,最终将累积收益最大化.常用的强化学习算法分为模型化强化学习(Model-based Reinforcement Lear-ning)和无模型强化学习(Model-free...     

高速网络拥塞控制协议VCP的研究

互联网正在逐步进入一种高带宽延时积的高速网络时代.当网络的带宽或者时延增大时,TCP协议的性能严重下降,最显著的就是网络瓶颈处带宽利用率很低.在高速拥塞控制方面比较理想的XCP协议却存在部署方面的问题.变结构拥塞控制协议(VCP)可有效地解决上述问题.VCP协议联合使用ECN机制的两个二进制来编码拥塞信息.根据来自接收端的拥塞信息,VCP协议的发送端选择控制算法来响应拥塞信号.仿真实验表明VCP协议与TCP协议、XCP协议相比不仅具有较高的链路利用率,并且对现有的协议改动非常小,有利于逐步地实施.     

新一代的拥塞控制机制-XCP的研究

算法和分析表明,随着带宽延迟的增加,不管采用何种队列调度策略,TCP都变得不稳定和难于收敛.提出了一种新的拥塞控制机制-XCP(eXplicit Control Protocol),一个比TCP更加有效和公平的拥塞控制协议,并在模拟的环境中对XCP和TCP协议的性能进行了分析和比较.     

VCP拥塞控制协议加权公平性研究

随着卫星网、千兆以太网、光纤网等高带宽时延乘积（Bandwidth-Delay Product,BDP）网络大量接入Internet,传统的、适用于低速网络的TCP拥塞控制协议的各种版本均存在着明显的缺陷。VCP协议是一种易于实现的、适用于高BDP网络的拥塞控制协议。给出了VCP协议对具有不同权限的用户实现加权公平性的一种方法,包括数学模型的建立、加权公平性的参数选择以及仿真实验等问题。     

TCP/AWM网络系统的事件触发预设性能拥塞控制EI北大核心CSCD

研究了具有非响应用户数据报协议流干扰的TCP/AWM网络系统的跟踪控制问题.针对网络拥塞控制系统,给出了一种改进的网络模型.将预设性能控制和事件触发机制相结合,提出了一种新的AWM拥塞控制算法.利用改进的边界性能函数限制TCP/AWM网络系统的队列跟踪误差,提高了闭环系统的暂态和稳态性能,保证了所有闭环信号都是有界的.此外,采用基于一位信号传输的事件触发控制协议,当控制信号更新时,仅通过一个二进制信号(0或1)传输信息.与传统的事件触发控制协议相比,不仅考虑了有限的带宽,而且考虑了网络传输的成本以及安全性问题.最后,通过仿真验证和分析,证明了所提方法的可行性和优越性.     

EHSTCP:改进的高速TCP算法

TCP在高带宽时延积网络中不能获得良好的性能,主要表现为低的吞吐量和大的窗口震荡.HSTCP算法解决了传统TCP算法在高带宽时延积网络下的性能瓶颈,但HSTCP在拥塞点时会产生大量的数据包丢失,同时当队列管理为去尾算法时,存在着严重的RTT不公平性问题.针对HSTCP算法的性能缺陷,该文提出一种在拥塞避免阶段进行拥塞避免模式切换的改进算法,称为EHSTCP.基于拥塞窗口历史值的端到端可用带宽预测方法,利用拥塞窗口历史信息来判断拥塞避免切换点.同时引入RTT公平因子,消除了HSTCP的RTT不公平性问题.NS2仿真实验验证了算法的有效性.