Nimble:一种适用于OpenFlow网络的快速流调度策略

突发流量是导致网络拥塞和丢包的重要原因之一.减少网络拥塞的一种方法是在多条可达路径间均衡网络流量,如等价多路径(Equal-Cost Multi-Path,ECMP)路由.然而,大多数等价多路径路由或者静态地将不同的流/数据包哈希到不同的路径,或者依赖于局部的/过时的路径状态信息.OpenFlow技术利用集中式控制器控制网络行为,为控制器根据全局网络状态信息进行动态的数据流优化提供了可能.然而,采用基于轮询的网络状态探测机制在处理突发流量问题上面临诸多困难.文中提出一种用于OpenFlow网络的快速流调度策略,称为Nimble.Nimble架构扩展了OpenFlow协议的packet-in消息,由网络设备自主监测设备状态,并在网络出现拥塞时通过扩展的packet-in消息主动向控制器通告拥塞信息.模拟结果显示Nimble策略能够以近于零的时延检测网络链路拥塞,从而有效提高网络性能.     

数据中心网络流量调度的研究进展与趋势

近年来,流量调度已经发展成为网络领域的热点研究问题.该问题主要决定何时以及以多大速率传输网络中的每条数据流,其对网络性能和应用性能都具有十分重要的影响.然而,在托管着许多大规模互联网应用的数据中心中,流量调度问题正面临着流量矩阵多变、流量种类混杂、以及流量突发等与流量模型相关的挑战.此外,随着数据中心规模的不断壮大,流量调度问题还面临着网络带宽动态化、网络拥塞随机化、以及网络目标多样化等与网络模型相关的挑战.为了进一步提升对数据中心流量调度的关注和理解,推动流调度技术在实际应用中的不断发展,本文分别从调度目标、调度方式和调度对象这三个维度对数据中心网络流调度的相关研究工作进行了分析和对比,并概括出如下结论:现有研究主要以分布式、集中式或混合式的调度方式对数据中心内、数据中心间或数据中心与用户间的流进行高效地调度,从而达到带宽保障、时限保障、最小化流完成时间、最小化Coflow完成时间、公平性保证、最小化流传输成本等目标.本文最后还指出了四个数据中心流调度的未来发展方向,并相应提出尚未解决的研究问题.     

数据中心网络流调度技术前沿进展

数据中心网络流调度技术对数据中心网络的性能具有重要影响.它是指对数据中心应用产生的网络数据流,通过控制和调度这些网络流在数据中心网络中的传输链路、传输优先级、传输速率等,以优化网络流量的传输(包括减少数据流平均完成时间、降低加权的平均完成时间、降低数据流尾部完成时间、最大化满足有传输时限的数据流、提高网络资源利用率等),最终实现优化用户体验的目的.首先,对数据中心网络流调度问题及其面临的挑战进行简单介绍.流调度的关键挑战在于设计低开销、高效率的调度算法,以及在终端电脑或者网络交换机上实现调度算法.然后,从独立数据流调度方法和网络流组的调度方法进行综述.这2类流调度技术的区别在于应用的环境(如Web搜索和大数据分析)不同.最后,对未来流调度技术的发展方向进行展望,并且提出多个尚未解决、但仍值得研究的问题.     

基于瓶颈感知的多级反馈队列Coflow调度机制

Coflow作为并行计算框架的典型流量模型,降低Coflow的完成时间（CCT）成为云计算领域的研究热点。现有Coflow调度机制未考虑云数据中心内网络瓶颈问题,容易造成网络拥塞,导致CCT增加。针对该问题,构建基于瓶颈感知的Coflow调度机制Bamq。利用Lagrange对偶优化Coflow调度模型,以加快Coflow流速并增大吞吐量,从而降低CCT。通过设计多级反馈队列机制,降低吞吐量对网络拥塞产生的影响,根据已发流的大小、宽度和流速信息,构建瓶颈因子以动态调整多级队列的优先级,实现拥塞感知,提高Coflow调度性能。在Facebook真实数据集上进行实验,结果表明,相比Baraat、Varys、Aalo机制,该机制的CCT平均缩短21.3%,吞吐量平均提高17.9%,能够有效提高链路的利用率。     

基于大流调度的软件定义数据中心网络负载均衡算法

传统负载均衡算法对数据中心网络中的大流进行调度时,会造成部分链路负载过重、网络整体负载不均衡等问题。将负载均衡问题转化为多商品流问题进行求解,结合软件定义网络集中控制的思想和数据中心网络的流量特征,提出一种基于大流调度的软件定义数据中心网络负载均衡算法。根据阈值将数据流划分为大流和小流,结合路径上大流分布度和可用负载度对大流进行重路由,以减小大流对网络负载均衡的影响。仿真实验表明,在流量大小分布不均衡的数据中心网络中,该算法与传统的等价多路径算法和基于全局最先匹配的动态流量调度算法相比,在平均对分带宽上获得了更大的提升,能够更好地实现数据中心网络的负载均衡。     

软件定义网络架构下基于流调度代价的数据中心网络拥塞控制路由算法

针对传统数据中心网络极易发生拥塞的问题,提出了在软件定义网络（SDN）的架构下设计基于流调度代价的拥塞控制路由算法加以解决。首先,进行拥塞链路上的大小流区分,并对所有大流的各条等价路径进行路径开销权重的计算,选择权重最小的路径作为可用调度路径;然后,使用调度后路径开销变化量和流占用带宽比例来共同定义流调度代价;最终选择调度代价最小的流进行调度。仿真结果表明,所提算法能在网络发生拥塞时降低了拥塞链路上的负荷,并且与仅进行流路径选择的拥塞控制算法相比,提高了链路利用率,减少了流传输时间,使得网络链路资源得到更好的利用。     

光电混合数据中心网络负载均衡流量调度机制

光电混合数据中心网络采用传统的RED(Random Early Detection)流量调度机制容易造成数据流丢失,同时在等价转发路径的选择上存在随机性。提出一种基于流量预测矩阵的负载均衡流量调度机制。该机制利用软件定义网络,具有全局视角的优点,周期性统计网络流量,建立流量预测矩阵。通过流量预测矩阵动态计算数据流在多条等价链路上的转发概率,并按此概率完成下一个周期的转发。同时,利用电交换链路单独处理突发流量,提高网络吞吐量,实现网络负载均衡。在光电混合数据中心网络拓扑结构上建立合成流量模型进行仿真实验和性能分析。结果表明,与传统的RED流量调度机制相比,该机制能够提高网络吞吐量、降低数据流丢弃率。     

基于流量特征的流调度策略研究综述

软件定义网络将网络的数据层和控制层相分离,具有可编程性强和全局网络视图的优点,这一优点被越来越多的应用于数据中心网络流调度中。然而,数据中心网络中大象流和老鼠流共存的流量特征是流调度技术的一大挑战。对基于流量特征的流调度策略进行了综述,首先梳理了基于软件定义网络的数据中心网络的理论基础,然后对大象流、老鼠流、大象流与老鼠流三个方面的流调度策略进行了分析和总结,并探讨了相比于传统的流调度技术,在软件定义网络架构下基于流量特征的流调度策略的优势。最后针对目前基于流量特征的流调度技术面临的若干主要问题进行了讨论,指出了下一步的研究方向。     

E-Aalo:面向无先验知识Coflow的高效多级队列调度

过高的Coflow调度时间将会导致数据中心性能下降,如何减小数据中心中语义相关流(Coflow)的平均完成时间是目前数据中心网络流量调度需要解决的重点问题。为了降低先验未知情况下的Coflow调度的时间,提出一种面向无先验知识Coflow的高效多级队列调度E-Aalo(Enhanced-Aalo)。采用Coflow流量放置策略选择合适的节点减少Coflow中需传输的数据量,降低Coflow调度的平均完成时间。通过提前调度多级队列中低优先级队列流量进一步优化Coflow调度的平均完成时间。实验结果表明,与已有的Aalo方法相比,Coflow调度平均完成时间降低了12.28%,更接近先验已知情况下的最优调度。     

一种新的基于流合并的调度策略

分析了Patching调度策略的特点,指出Patching流满足了70％左右的用户请求而只消耗8％左右的系统资源。以此为依据,提出了PatchingFirst连续媒体播放调度策略,并基于该策略设计了MPQL和MFPQ通道分配算法。试验结果表明,与MQL算法比较,这两种算法可以明显地缩短用户等待时间、减少用户请求撤消率、降低调度的不公平性。通过试验结果分析,证明了Patching First策略增强了Patching流合并调度算法的优势,是一种非常有效的连续媒体播放通道调度策略。     

面向SDN数据中心网络最大概率路径流量调度算法

随着数据中心网络规模的迅速增长,网络带宽利用率低下导致的网络拥塞问题日益突出,通过负载均衡提高数据中心网络链路带宽利用率和吞吐量成为了研究热点.如何结合流量特征、链路状态和应用需求进行流量的合理调度,是实现网络链路负载均衡的关键.针对数据中心突发性强、带宽占用率高的大象流调度问题,提出一种面向SDN数据中心网络最大概率路径流量调度算法,算法首先计算出满足待调度流带宽需求所有路径,然后计算流带宽与路径最小链路带宽之间的带宽比,结合所有路径的带宽比为每一条路径计算路径概率,最后利用概率机制选择路径.算法不仅考虑了流带宽需求和链路带宽使用情况,而且全局地考虑了流调度和链路带宽碎片问题.实验结果表明,最大概率路径调度算法能够有效地缓解网络拥塞,提高带宽利用率和吞吐量,减少网络延迟,从而提高数据中心的整体网络性能和服务质量.     

基于动态优先级的数据中心网络时限感知TCP协议

针对当前数据中心网络传输机制缺乏对Online Data-Intensive (OLDI) 应用软实时性和高吞吐量的综合性能保障的问题,本文提出了一种基于动态优先级的数据中心网络时限感知协议LSTCP。该协议采用最小空闲时间优先(Least Slack First,LSF)调度策略对流进行优先级划分,利用ECN机制的反馈,根据流的缓急程度和网络拥塞程度实现拥塞窗口的动态调整,实现对紧急流而非截止期越早的流优先调度。与传统截止时间感知协议相比,减少了短流的平均流完成时间,保证了长流的吞吐量特性。实验结果表明,与L2DCT算法相比,LSTCP降低了17%的流错过时限的比例,流完成时间的99th分位数减少了20%。     

数据中心网络中的流量均衡

现代数据中心网络在任意两个主机之间都存在很多可选路径.如何在多个可选路径之间实现流量均衡,是数据中心网络中的重要研究课题.针对这一问题,已有研究者提出了很多解决方案.对多级Clos架构下的数据中心网络中的流量均衡问题做了深入的分析与总结.首先分析了数据中心网络的特点,然后定义流量均衡问题为最小化等价链路的最大潜在丢包率.之后总结了各种丢包产生的原因,并讨论了影响流量均衡设计方案的两个主要挑战：分组乱序与突发拥塞.在此基础上,把现有解决方案分为主动调度、切片散射、探测与调整及其他这4个大类,并对各解决方案逐一进行介绍,说明各自的优缺点.最后还对不同方案作了对比,指出了未来可能的研究方向.     

数据中心网络负载均衡问题研究

数据中心网络是现代网络和云计算的重要基础设施,实现数据中心网络负载均衡是保证网络吞吐并提高服务体验的关键环节.首先分析了数据中心网络与传统互联网之间的区别,总结其特点及特殊性在负载均衡方案设计方面的优势.然后从数据中心的复杂性和多样性角度分析其负载均衡方案设计所面临的挑战.将现有数据中心网络负载均衡方案根据不同的实现层次从网络层、传输层、应用层和综合方案4个角度进行分析,对比各个方案的优缺点,并从控制结构、负载均衡粒度、拥塞感知机制、负载均衡策略、可扩展性和部署难度几个方面进行综合评价.最后对现有数据中心网络负载均衡方案进行总结,并指出未来可能的研究方向.     

数据中心网络中相关感知流量整合算法

随着大数据、云计算不断融入人们的日常生活,作为支撑其发展的基础设施--数据中心网络的能耗也在急剧增长。为了解决这个问题,学术界提出了能量感知路由（Energy-Aware Routing,EAR）。EAR的主要思想是通过将流量需求聚集在网络链路的子集,并睡眠未使用的网络设备以节省能量。但是在流量低谷时期频繁地切换网络设备模式可能会导致网络振荡甚至网络性能下降。因此提出了一种相关感知流量整合（Correlation-Aware Traffic Consolidation,CATC）算法。提出了基于软件定义网络（Software Defined Network,SDN）的CATC模型,即在流量整合时考虑了流之间的相关性,并结合链路速率来实现更高的节能。在流量约束和链路容量约束下将CATC模型转换为一个最优流量分配问题,并提出CATC算法来求解。仿真结果显示,与现有的节能算法相比,CATC算法在仅仅增加极少网络延迟的同时可以为数据中心网络节省大约45%的能量。     

基于ST-DCGAN的时序交通流量数据补全

时序交通流量数据作为一种新型城市数据,对智能交通和智慧城市的发展有着重要的意义,但是由于各种原因使得收集的交通数据存在大量的缺失,因此如何有效地补充缺失流量数据成为目前急需解决的问题。提出的ST-DCGAN模型利用了基于DCGAN网络的思想,引入补全损失函数和判别损失函数作为模型新的目标函数,通过生成器和鉴别器相互博弈的原理学习区域流量数据之间的时空特征性,在常规的缺失数据补全的基础上利用数据生成思想进行了区域时序交通流量数据的补全,从而为交通流量缺失值提出一种新的补全方法。实验以北京TaxiBJ GPS开源数据集为基础,并用RMSE评估函数分析上述算法对缺失交通流量补全的效果,实验结果表明提出的方法与所比较补全方法相比,效果更好。     

基于SDN的数据中心动态优先级多路径调度算法

随着云计算技术和分布式业务的发展,数据中心内部“东西向”大象流量激增,这部分大象流在调度不当的情况下容易发生碰撞,造成链路拥塞。本文提出一种基于软件定义网络（SDN）的动态优先级多路径调度算法（DPMS）。该算法根据数据中心流量的特点制定大象流和老鼠流调度模型,充分利用各网络节点间的冗余链路,提高资源利用率;并结合组表优化SDN架构中控制器和交换机的通信模式,降低了数据包处理时延。实验结果表明,相比ECMP和Hedera这2种调度策略,DPMS提高了网络吞吐量和链路利用率,减少了平均流完成时间,网络的整体性能有所提高。