基于数据中心流量特征的端到端流量估计算法

数据中心是云计算等大型分布式计算服务的基础,有效地设计与管理数据中心需要遵循数据中心网络的端到端流量特征。然而直接地测量网络的端到端流量需要耗费巨大的软件成本和硬件成本,并且由于数据中心网络结构的特殊性,传统的计算机网络采用的流量估计方法也无法适用于现有的数据中心网络。为解决以上问题,首先依据数据中心的资源分配和链路利用率情况提取出网络的粗粒度流量特征,在此基础上提出一种基于重力模型和网络层析技术的数据中心端到端流量估计算法。与现有的流量推理算法Tomogravity和ELIA在NS3搭建的不同规模的数据中心网络中进行性能对比,实验结果表明,所提算法能有效地利用提取出的粗粒度流量特征,在保证计算效率的前提下将计算准确度大幅提升,可满足当前数据中心网络实时获取端到端流量数据的需求。     

无线数据中心网络：进展、挑战和展望

随着动态数据流量的迅速增长,庞杂的有线数据中心网络架构给网络扩张、能耗管理和运营维护等方面均带来了巨大的挑战。高速无线技术具有高带宽、动态连接且灵活可控的特征优势,成为一种潜在的数据中心组网解决方案,可以缓解数据中心长期存在的流量拥塞热点问题,减少部署和维护光缆所花费的时间、精力和成本。首先介绍了当前数据中心网络架构的发展趋势,分析比较了毫米波、太赫兹和自由空间光作为无线数据中心网络候选高速无线技术的优缺点。然后深入讨论了当前典型的无线数据中心网络架构,阐述了无线数据中心网络设计和部署面临的挑战,并对其未来发展方向进行了展望。     

可重构数据中心网络研究综述

超大规模数据中心成为数字社会的关键基础设施.用户端应用的激增使得数据中心网络(Data Center Networks,DCNs)的东西向流量呈指数级增长,同时端应用的多样化也导致了严重的流量倾斜问题.此外,后摩尔时代的到来和Dennard缩放的失效使得数据中心网络设备容量的增速趋缓.数据中心网络面临用户激增、流量倾斜...     

中桥看中国市场软件定义网络趋势

随着移动互联的飞速发展,个人终端移动设备数量的增加是一日千里,各种社交网络是遍地开花,各种新应用是层出不穷,再加上云计算和大数据时代的演进,IT服务的交付和消费方式在不断改变。而云计算数据中心的规模急剧增长,,刺激着中国用户网络数据流量的快速上升。中桥曾经于2014年6月对319家企业进行了调研,结果显示,受访的最终用户中,28.5%表示在未来三年网络数据流量预计增长达30%-50%,27.3%表示预计将增长10%-30%。     

Overlay网络下的超算中心间广域网流量调度研究

广域网上数据中心间的流量互通受复杂互联网环境的影响,跨运营商ISP之间的流量调度对网络传输速率和网络传输延迟影响很大,简单网络架构下的传统流量调度方案已经不能满足迅速增长的网络流量,严重影响了传输服务的质量.本文以国家高性能计算环境为研究背景,提出一个新的互联网环境多超算数据中心流量调度模型,利用Overlay网络构建一个流量调度完全可控的虚拟网络,通过改进底层网络协议和路由更新算法,在端到端节点间使用转发节点进行流量调度.本文通过实际超算环境进行实验,结果表明在跨运营商网络环境下使用基于Overlay网络的流量调度,可以明显降低网络传输延迟,提高传输带宽.     

中桥看中国市场软件定义网络趋势

随着移动互联的飞速发展,个人终端移动设备数量的增加是一日千里,各种社交网络是遍地开花,各种新应用是层出不穷,再加上云计算和大数据时代的演进,IT服务的交付和消费方式在不断改变。而云计算数据中心的规模急剧增长,刺激着中国用户网络数据流量的快速上升。中桥曾经于2014年6月对319家企业进行了调研,结果显示,受访的最终用户中,28.5%表示在未来三年网络数据流量预计增长达30%-50%,27.3%表示预计将增长10%-30%。     

基于流量特征的流调度策略研究综述

软件定义网络将网络的数据层和控制层相分离,具有可编程性强和全局网络视图的优点,这一优点被越来越多的应用于数据中心网络流调度中。然而,数据中心网络中大象流和老鼠流共存的流量特征是流调度技术的一大挑战。对基于流量特征的流调度策略进行了综述,首先梳理了基于软件定义网络的数据中心网络的理论基础,然后对大象流、老鼠流、大象流与老鼠流三个方面的流调度策略进行了分析和总结,并探讨了相比于传统的流调度技术,在软件定义网络架构下基于流量特征的流调度策略的优势。最后针对目前基于流量特征的流调度技术面临的若干主要问题进行了讨论,指出了下一步的研究方向。     

云计算数据中心网络的端到端流量计算

云计算数据中心网络的流量特征是研究和设计云计算网络的基础,现有的流量测量研究方法通常要求交换机支持额外功能模块或具备可编程能力,而目前大多数云计算数据中心网络的交换机并不满足此要求。提出一种基于网络层析技术的端到端流量推理算法,仅使用交换机普遍支持的SNMP(简单的网络管理协议)数据,就能快速准确地计算出端到端的流量信息。并通过仿真实验与已有的网络层析算法进行比较,结果表明新算法更适用于大规模的云计算数据中心网络,可以在较短的时间内得到更准确的计算结果,从而为云计算网络的设计和研究提供了重要的参考依据。     

数据中心网络流量调度的研究进展与趋势

近年来,流量调度已经发展成为网络领域的热点研究问题.该问题主要决定何时以及以多大速率传输网络中的每条数据流,其对网络性能和应用性能都具有十分重要的影响.然而,在托管着许多大规模互联网应用的数据中心中,流量调度问题正面临着流量矩阵多变、流量种类混杂、以及流量突发等与流量模型相关的挑战.此外,随着数据中心规模的不断壮大,流量调度问题还面临着网络带宽动态化、网络拥塞随机化、以及网络目标多样化等与网络模型相关的挑战.为了进一步提升对数据中心流量调度的关注和理解,推动流调度技术在实际应用中的不断发展,本文分别从调度目标、调度方式和调度对象这三个维度对数据中心网络流调度的相关研究工作进行了分析和对比,并概括出如下结论:现有研究主要以分布式、集中式或混合式的调度方式对数据中心内、数据中心间或数据中心与用户间的流进行高效地调度,从而达到带宽保障、时限保障、最小化流完成时间、最小化Coflow完成时间、公平性保证、最小化流传输成本等目标.本文最后还指出了四个数据中心流调度的未来发展方向,并相应提出尚未解决的研究问题.     

基于大流调度的软件定义数据中心网络负载均衡算法

传统负载均衡算法对数据中心网络中的大流进行调度时,会造成部分链路负载过重、网络整体负载不均衡等问题。将负载均衡问题转化为多商品流问题进行求解,结合软件定义网络集中控制的思想和数据中心网络的流量特征,提出一种基于大流调度的软件定义数据中心网络负载均衡算法。根据阈值将数据流划分为大流和小流,结合路径上大流分布度和可用负载度对大流进行重路由,以减小大流对网络负载均衡的影响。仿真实验表明,在流量大小分布不均衡的数据中心网络中,该算法与传统的等价多路径算法和基于全局最先匹配的动态流量调度算法相比,在平均对分带宽上获得了更大的提升,能够更好地实现数据中心网络的负载均衡。     

数据中心网络路由研究进展

随着云计算的迅速发展,运营商对数据中心的需求与日俱增.作为数据中心网络的关键技术,路由负责在数据中心内部以及数据中心之间为流量选路,为不同服务质量要求的流量提供差异化的路由转发服务.当数据中心规模比较大时,由于应用不可预估的通信流量以及数据中心网络的拓扑特点,传统因特网路由方法不能提供令人满意的高吞吐率和资源利用率,网...     

智能网卡研究新进展

随着后摩尔时代的到来和Dennard缩放规律的终结,CPU处理能力增速趋缓.超大规模数据中心网络中的流量却呈现持续的指数增长态势.数据中心网络堆栈功能开始向硬件转移,旨在节省CPU时钟周期的新型智能网卡(SmartNICs)应运而生.系统结构和网络领域顶会两年来发表多篇相关研究成果.本文首先介绍了智能网卡研究背景,并归...     

基于软件定义网络的数据中心网络拓扑优化研究

近年来,随着互联网的快速发展和数据中心的兴起,网络流量的快速增长已经成为了当前网络中的一个重要问题。传统的网络架构已经无法满足这一快速增长的需求,需要寻找新的网络架构来优化数据中心网络的拓扑结构和流量控制,以提高网络整体服务质量。基于软件定义网络的数据中心网络拓扑优化可以极大地提高网络利用率和性能。本文针对现有数据中心网络拓扑结构的不足,提出软件定义网络的数据中心网络拓扑优化策略,旨在提高数据中心网络性能和可管理性,以满足未来数据中心网络应用场景的需求。     

缓解数据中心的“能源饥渴”——整合世界级高性能存储,实现巨大的能源节约

随着网络应用、电子商务以及企业数据库的增长,数据中心对计算和存储能力的需求也在不断增加,相应地,也驱使了能源使用的增长,数据中心的能源成本在未来5年将会呈现3到5倍的增加,电力和能源正成为影响IT成本的一大因素。     

面向SDN数据中心网络最大概率路径流量调度算法

随着数据中心网络规模的迅速增长,网络带宽利用率低下导致的网络拥塞问题日益突出,通过负载均衡提高数据中心网络链路带宽利用率和吞吐量成为了研究热点.如何结合流量特征、链路状态和应用需求进行流量的合理调度,是实现网络链路负载均衡的关键.针对数据中心突发性强、带宽占用率高的大象流调度问题,提出一种面向SDN数据中心网络最大概率路径流量调度算法,算法首先计算出满足待调度流带宽需求所有路径,然后计算流带宽与路径最小链路带宽之间的带宽比,结合所有路径的带宽比为每一条路径计算路径概率,最后利用概率机制选择路径.算法不仅考虑了流带宽需求和链路带宽使用情况,而且全局地考虑了流调度和链路带宽碎片问题.实验结果表明,最大概率路径调度算法能够有效地缓解网络拥塞,提高带宽利用率和吞吐量,减少网络延迟,从而提高数据中心的整体网络性能和服务质量.     

基于自适应阈值的大象流检测方法

针对数据中心网络异常流量检测难的问题,提出一种自适应阈值的大象流检测系统.系统结合数据中心网络高度灵活性和全局可见性的特点,采用基于高斯分布的加权优化动态流量学习方法实时预测大象流检测阈值,降低检测错误率,通过基于差分估计的平滑机制,降低检测阈值配置更新频率.仿真实验结果表明,该系统可以有效识别数据中心网络中的大小流,...     

现代数据中心网络特征研究

近年来,随着虚拟化技术的广泛运用和云计算等新兴应用模式的发展,数据中心网络在组成、结构、功能、规模及应用模式等方面正发生着深刻的变革.深入研究分析现代数据中心网络的特征,对于揭示数据中心网络的工作原理、提高数据中心网络的性能、设计合理的资源管理方案和系统,具有重要的意义.然而,当前针对数据中心网络特征的综合分析研究尚比较缺乏.从数据中心网络结构特征、应用特征、流量特征及虚拟化特征等几个方面,对数据中心网络的基本特征进行了分析研究,并就这些特征对网络资源管理的影响及下一步的研究方向进行了分析,得出了一些初步的结论,以期能为数据中心网络的理论研究和系统设计实践提供基本的借鉴和支撑.     

数据中心网络的流量控制:研究现状与趋势

作为海量数据快速存储和高效处理强有力的后盾,数据中心成为近年来学术界和工业界关注的热点.传统TCP难以在高吞吐、低时延、无损等方面同时满足当前数据中心传输需求,新的传输技术研究迫在眉睫.本文在对比传统TCP设计目标和数据中心网络中传输目标的基础上,对数据中心流量控制的研究现状展开综述.流量控制是指控制流量的发送速度以及...     

数据中心网络中的流量均衡

现代数据中心网络在任意两个主机之间都存在很多可选路径.如何在多个可选路径之间实现流量均衡,是数据中心网络中的重要研究课题.针对这一问题,已有研究者提出了很多解决方案.对多级Clos架构下的数据中心网络中的流量均衡问题做了深入的分析与总结.首先分析了数据中心网络的特点,然后定义流量均衡问题为最小化等价链路的最大潜在丢包率.之后总结了各种丢包产生的原因,并讨论了影响流量均衡设计方案的两个主要挑战：分组乱序与突发拥塞.在此基础上,把现有解决方案分为主动调度、切片散射、探测与调整及其他这4个大类,并对各解决方案逐一进行介绍,说明各自的优缺点.最后还对不同方案作了对比,指出了未来可能的研究方向.     

基于FCoE协议的NPV交换机流量转发

以太网光纤通道FCoE(Fiber Channel Over Ethernet)实现了数据中心前端计算网络与后端存储网络的无缝融合,降低了数据中心基础设施的单位建设成本、维护成本,支持数据中心异构网络环境与不同的接口类型。存储区域网络SAN(Storage Area Network)中交换机数量受到8比特域ID唯一的限制最多可以有239台。N端口虚拟化技术NPV(N Port Virtualization)极大地克服了SAN网络在规模上受限的问题,能够让更多的服务器或存储设备接入到网络中,扩大网络容量。NPV交换机与传统FCF(Fabric Channel Forward)交换机最大的差别是上下行流量转发机制不同,它采用上行流量从映射端口转发,下行流量查表转发。NPV交换机驱动层路由模块的设计与实现采用敏捷开发模式进行,主要包括端口设置、下发NPV Mapping表项、路由表项、Fips规则下发。实验测试证明该设计实现了NPV交换机对FCoE流量的正常转发,确保了可行性。