OnceDeep数据交换服务器集群系统的设计与实现

数据交换中一般存在数据中心。中心处理的并发任务量高,对服务器性能和可靠性要求高,往往会成为数据交换的瓶颈。为了提高数据交换平台的数据中心的性能、可靠性,并降低管理成本,设计和实现了Once Deep数据交换服务器集群系统。基于现有的数据交换平台Once Deep,使用Shoal集群框架实现对Once Deep服务器集群的管理。讨论集群环境下数据交换流程的设计。针对数据交换任务的特点设计基于预测的动态负载均衡算法,制定任务失效的恢复策略。测试表明,集群系统较现有数据交换服务器在性能上有很大提高,并具有较好的扩展能力。     

混部数据中心负载特征及其任务调度优化分析

随着现代互联网数据中心的规模越来越大,数据中心面临着能耗、可靠性、可管理性与可扩展性等方面的挑战。同时,数据中心承载的服务多样,既有在线Web服务,也有离线批处理任务。在线任务要求较低的延迟,而离线任务要求较高的吞吐量。为了提高服务器利用率,降低数据中心能耗,当前数据中心往往将在线任务和离线任务混合部署到同一个计算集群中。在混部场景下,如何同时满足在线和离线任务的不同要求,是目前面临的关键挑战。分析了阿里巴巴于2018年发布的含有4034台服务器的混部计算集群在8天内的日志数据(cluster-trace-v2018),从静态配置信息、动态混部运行状态、离线批处理作业DAG依赖结构等出发,揭示其负载特征,包括任务倾斜与容器部署的相关关系等,根据任务依赖关系与关键路径,提出了相应的任务调度优化策略。     

混部数据中心在线离线服务特征分析

为了在降低成本和减少能耗的同时提高云数据中心的资源利用率,目前许多云数据中心都采用了在线服务和离线任务混合部署的方式.虽然混合部署的方式能为数据中心带来许多益处,但它增加了任务调度的复杂性,同时对保障服务的高可靠、低延迟带来了一系列的挑战.深入分析了阿里巴巴数据中心中某一个含有4034台服务器的集群在8天时间内所有在线...     

基于集群的代谢网络计算平台研究

在生物代谢网络研究中,为提供面向多用户的高性能计算服务,开发了基于Linux计算机集群的代谢网络模拟Web计算平台.该平台以集群为密集计算后台,以重建心肌细胞能量代谢网络为算例,采用集中式任务调度模型、加权结合轮询法的负载平衡技术以及消息传递接口并行编程模型,实现了对多用户并发任务的处理.通过实例应用和调度监控,验证了该平台在代谢网络模拟中的可用性,以及集群服务器并行处理多任务的有效性.     

基于演化博弈的弹性调控平台任务调度研究

针对电网生产控制云PaaS类弹性调控平台上任务调度性能波动大的问题,构建包含节点感知器、资源状态服务器和任务调度器等核心构件的任务调度框架。在模型选择阶段,采用混合博弈法,根据任务对不同资源的偏好编排执行节点,完成节点负载预估计算。在模型突变阶段,分析任务执行效果调整其资源分配,获得具有较高节点评分的任务调度策略,指导后续任务的博弈节点选择。在分布式监视控制与数据采集系统上进行任务调度框架的测试验证,实现了7个～25个分片、500万量测点级的任务负载均衡和容灾处理,结果表明基于演化博弈的任务调度策略相比开源任务调度工具性能更加稳定。     

云计算环境下的节能任务调度策略的随机Petri网分析

针对当前云计算异构服务器集群环境下的高能耗问题,提出一种最小能耗优先的任务调度策略(first sche-duling with minimum energy)。该策略在调度任务时优先考虑处于运行状态的服务器,并以任务响应时间为约束,按照最小能耗原则将任务分配到相应的服务器上执行。当处于运行状态的服务器都不能满足任务对响应时间的要求时,则考虑处于休眠状态的服务器;同时,也基于最小能耗原则进行调度。采用随机Petri网工具对节能任务调度策略进行分析建模,考虑其能耗和相关性能指标。实验结果表明,该方法不仅能满足任务的QoS性能要求,而且具有较好的节能效果。     

Linux HA在电厂水务系统上的设计实现

高可用（HA）集群方案的开源性和配置的灵活性符合当前一些大型企业和公司的发展需求,它能够解决需要数据中心服务器不间断提供服务的问题。针对传统数据中心服务器集群建设中存在的不足,设计了基于Linux HA系统的负载均衡集群方案并将其应用到电厂水务系统的数据中心建设中。该集群方案能够保持整个电厂水务系统的水量水质数据的连续性,提高了在故障和高并发情况下系统所能提供服务的质量。     

分布式训练异构任务调度算法研究

分布式机器学习中的工作结点在训练过程中经常需要处理异构任务,但任务发布者可能无法根据有效的先验知识确定边缘服务器集群中哪些是处于训练状态的工作结点。针对边缘服务器集群无法同时满足训练性能与服务质量最大化的问题,对异构任务调度算法进行了研究。首先在集群资源约束下分析了分布式训练收敛性能的影响因素;其次建立了最大化训练性能的优化目标;最后转化为多维多选择背包问题进行求解。仿真结果表明,所提异构任务调度算法能够在保证服务质量的同时,最大化分布式训练性能。     

基于DCMI的轻量级数据中心服务器管理

DCMI(Data Center Manageability Interface),即数据中心管理接口,是一套专门针对IPDC(Internet Portal Data Centers互联网门户数据中心)和其他高密度数据中心部署的服务器平台管理接口。这一接口标准的制定,对未来数据中心管理成本的降低,运营效率的提高都有着重要的作用。在云计算时代即将到来,对高密度服务器集群需求量增加的今天,这一标准将会得到长足的发展和充分的应用。     

带层次网络结构的业务系统层次组织结构发现

业务系统架构图是运维人员维护数据中心的重要工具之一，自动化架构梳理能显著提高运维效率。业务系统架构图是一种具有层次网络的结构，因此对于这种层次组织结构发现问题，不仅需要发现集群分组还需要定位集群在系统架构图中的层次位置，因为集群分组发现的质量直接影响到集群层次定位，因此精准的集群分组发现至关重要。社区发现有助于揭示复杂网络结构中个体相互之间的关系，但业务系统中的服务器集群不符合传统社区基于密度的社区定义，因此本文提出一种根据服务器的功能进行集群发现并定位集群层级的功能集群定位方法（Functional Cluster Positioning, FCP），根据服务器连接、属性相似性，构建服务器相似度网络，该网络体现出的集群特性符合传统社区的定义，因此可以借助传统社区的方法进行集群分组发现，然后基于业务流势确定服务器集群在业务系统中的功能层次，从而实现业务系统层次组织结构发现。在真实数据集上的实验结果表明，本文提出的FCP方法在数据中心的业务系统中可以自动、准确发现系统的层次组织结构。     

面向大规模云资源调度的可扩展分布式调度方法

云数据中心异构物理服务器的能耗优化资源分配问题是NP难的组合优化问题,当资源分配问题规模较大时,求解的空间比较大,很难在合理时间内求得最优解。基于分而治之的思想,从调度模式方面提出可扩展分布式调度方法,即当云数据中心待调度的物理服务器的数量比较大时,将待调度的服务器划分为若干个服务器集群,然后在每个服务器集群建立能耗优化的资源分配模型,并利用约束编程框架Choco求解模型,获得能耗最优的资源分配方式。将提出的基于可扩展分布式调度方法的能耗优化云资源调度算法与非扩展调度算法进行实验比较,实验结果表明,提出的基于可扩展分布式调度方法的能耗优化云资源调度算法在大规模云资源分配上有明显的性能优势。     

Optimal Load Distribution for Multiple Heterogeneous Blade Servers in a Cloud Computing Environment

Given a group of heterogeneous blade servers in a cloud computing environment or a data center of a cloud computing provider, each having its own size and speed and its own amount of preloaded special tasks, we are facing the problem of optimal distribution of generic tasks over these blade servers, such that the average response time of generic tasks is minimized. Such performance optimization is important for a cloud computing provider to efficiently utilize all the available resources and to deliver the highest quality of service. We develop a queueing model for a group of heterogeneous blade servers, and formulate and solve the optimal load distribution problem of generic tasks for multiple heterogeneous blade servers in a cloud computing environment in two different situations, namely, special tasks with and without higher priority. Extensive numerical examples and data are demonstrated and some important observations are made. It is found that server sizes, server speeds, task execution requirement, and the arrival rates of special tasks all have significant impact on the average response time of generic tasks, especially when the total arrival rate of generic tasks is large. It is also found that the server size heterogeneity and the server speed heterogeneity do not have much impact on the average response time of generic tasks. Furthermore, larger (smaller, respectively) heterogeneity results in shorter (longer, respectively) average response time of generic tasks.     

云计算集群服务器系统监控方法的研究

随着云计算技术越来越多地应用到信息产业的各个领域,云计算环境下集群服务器系统的监控与管理的需求越来越大。云计算下的集群服务器系统主要是通过一系列基于分布式架构的服务器集群组成,其下的服务器数量可能多达上万台。要管理好数量如此大的云计算集群服务器系统,保证其高性能运行,必然需要一套有效的云计算集群监控系统对其进行监测与调控。但是,传统的集群监测系统存在一些不足与弊端。本文对于云计算集群系统的高性能监测调度方案进行了研究,从云监控系统的架构、数据采集、负载均衡调度方面进行了探讨,构建了一个保证云计算集群系统高性能运营的云系统方案。     

智能电网系统中费控服务的优化调度研究

智能电网系统中,费控指令通过应用服务器集群被下发到前置服务器集群,再通过前置服务器集群被下发到终端,终端接收到指令后将指令下发到特定的智能电表.在这个过程中,应用服务器集群和前置服务器集群的可用资源不对等,导致负载不均衡,影响费控服务执行的效率和成功率;前置服务器集群中前置机与终端的固定匹配方式,容易导致前置服务器集群负载不均衡,延长了费控指令完成时间,降低了费控服务的执行效率.为此深入研究费控指令的下发过程,分析存在的问题和瓶颈,提出了一种基于负载预测和负载均衡的费控服务优化调度模型.该模型首先提出一种基于时间序列的负载预测方法,实现服务器负载的预测;基于预测负载,提出一种费控指令的均衡下发算法,为不同负载的服务器下发合适规模的费控指令,以提高指令下发的效率和成功率;针对前置服务器集群可能出现的负载不均衡,提出一种基于图聚类的终端均衡布局算法.实验结果表明,本文提出的费控服务优化调度模型,均衡了两个集群和终端之间的负载,有效提高了费控指令下发的效率和成功率.     

基于动态能量感知的云计算任务调度模型

针对传统云计算任务调度模型出现的计算量大、能耗高、效率低、调配精度差等问题,基于动态能量感知设计了一种新的云计算任务调度模型;以动态能量感知为基础,选取资源分配服务器的中央处理器的使用率、存储器的占用率、控制器的负载率等3个参数,构建三维云计算任务节点投影空间,将上述参数向量投影到空间中;引入动态能量感知建立云计算任务调度模型,采用虚拟技术将多个服务器合并成一台服务器,对调度任务进行需求分析和分类,采用能量感知算法将待调度任务分配给满足调度需求的虚拟资源,将任务调度到服务器资源上,实现任务调度;实验结果表明,基于动态能量感知的云计算任务调度模型在从小任务集和大任务集两个角度都能给有效缩短调度时间,降低调度能耗。     

Formally modeling and analyzing cost‐aware job scheduling for cloud data center

With the rapid development of cloud computing, many distributed data centers have been deployed. This means larger energy consumption requirements from the data center. How to reduce the cost of data center has received significant attention recently. Although there are several efforts in studying energy consumption of the data center, very few have considered modeling and analyzing cost‐aware job scheduling for the cloud data center. To address this emerging problem, we propose a systematic approach that considers both basic elements and their relationships in cloud data center. First, we present a formal language to describe the cloud data center, and a job scheduling net is proposed to formally model the basic elements such as user request, Web portal, data center, and server. Second, we minimize the total cost of the cloud data center by considering the multidimensional resource and local electricity price on the basis of the state space of constructed model. The dynamic job scheduling algorithm and its specific execution steps are proposed based on the alternating direction method of multipliers algorithm. Third, the operational semantics and related theories of Petri nets for establishing the correctness of our proposed method are presented. Finally, a series of simulations are performed to illustrate that the proposed method can guarantee the correct behavior of job scheduling in the cloud data center while meeting the required cost.     

融合架构云服务器体系结构和关键技术

针对云计算、大数据等应用对异构资源管理和聚合的需求,提出了一种融合架构云服务器体系结构及其关键支撑技术。融合架构云服务器利用硬件资源池化技术,实现计算、存储、网络、供电、制冷和管理模块的解耦与融合重构,具有高密度、低功耗、易扩展、易管理,易维护特点,兼具横向扩展和纵向扩展优势,可优化系统部署、运维和能耗成本,显著降低总体拥有成本（TCO）。在金融、电信和互联网行业的实际应用案例表明,融合架构云服务器功耗降低超过15%,总体拥有成本降低近15%,为云计算、大数据等应用提供了更具性能功耗比优势的IT基础设施设计方案。     

改进K-means聚类的云任务调度算法

针对云任务调度中存在的效率低、费用高等问题,提出一种基于改进K-means聚类算法的云任务调度算法。依据虚拟资源的硬件属性,使用改进聚类算法对虚拟资源进行聚类划分;计算任务偏好,使不同偏好的任务在不同的聚类中选择资源;考虑到调度费用问题,对每个聚类使用改进后的Min-min算法进行任务调度。针对K-means聚类算法初始聚类中心随机选取,易陷入局部最优解的问题,对聚类算法进行改进。最后,利用云仿真平台CloudSim进行实验,结果表明,与无聚类的调度算法相比,本文提出的算法在执行效率方面有所提高。     

具有两类请求的云计算中心服务器数量的优化

为提高云计算中心的服务质量,节约系统成本,针对具有两类用户请求的云计算中心,提出云计算中心的服务器数量的优化方案。首先,建立了具有两类用户请求的排队模型,分析系统的稳态概率分布、平均队长等性能指标;然后,建立了云计算中心的能耗模型;最后,联合系统的等待成本和能耗成本,构建系统的成本函数,对系统的服务器数量进行优化,从而使系统的成本最小。数值分析结果表明最优服务器数量是用户请求到达率的非减函数,为了使系统成本最小,云计算中心需要动态调整服务器的数量。     

基于云计算的航空飞行试验数据中心任务调度优化架构设计

为解决航空飞行试验数据中心任务调度行为明显滞后的问题,实现对航空飞行试验数据的实时调度,设计基于云计算的航空飞行试验数据中心任务调度优化架构。设置WiRo中心网络,联合试验数据预测器与飞行任务分配器,完善中心任务调度优化架构体系的基础应用结构设计。根据PSO优化度量值的取值范围,求解惯性权重指标与粒子编码条件,并按照云计算法则,推导函数表达式条件,实现基于云计算的航空飞行试验数据调度模型的构建。在动态数据权限的约束下,计算中心调度任务的资源占用率与长尾延迟参数,实现对任务调度架构的优化配置,联合WiRo中心网络及EMU调度结构,完成基于云计算的航空飞行试验数据中心任务调度优化架构的设计。实验结果表明,云计算技术作用下,单位时间内的数据吞吐量达到了9.85B/s,由数据吞吐量有限造成的中心任务调度行为滞后的问题得到较好解决,符合实时调度航空飞行试验数据的实际应用需求。