一种面向虚拟化云计算平台的内存优化技术

虚拟化技术和云计算平台的结合带来了全新的资源整合和使用模式,基于虚拟化技术的资源按需分配与调度可以提高云平台资源的利用率,提升云服务的服务质量,并降低云用户的总体拥有成本.但是,物理服务器的资源边界限制了资源的全局优化能力.文中引入了一种面向虚拟化云平台的全局内存优化框架-通过引入由逻辑地址空间和全局扩展地址空间构成的...     

服务器无感知计算场景下基于时空特征的函数调度

服务器无感知计算是一种新兴的以函数为中心的云计算范式.服务器无感知计算向用户提供高层次的函数抽象在云计算平台开发和部署应用.服务器无感知计算以函数为粒度分配资源.函数调度对函数性能有重要影响,面临问题规模大和动态性强2个难点.现有服务器无感知计算调度器使用先来先服务(FCFS)算法,容易受队头阻塞影响,导致函数完成时间较长.为了高效利用系统资源和降低函数完成时间,亟需对服务器无感知计算场景下的函数调度问题进行研究.首先,分析了服务器无感知计算场景下的函数调度问题,并定位了3个影响函数完成时间的因数,分别是排队时间、启动时间和执行时间.基于该分析,提出了数学模型对服务器无感知计算场景下函数调度问题进行形式化建模.其次,提出了基于函数时空特征的服务器无感知计算调度算法FuncSched.该算法在时间维度上考虑函数执行时间和函数启动时间,在空间维度上考虑函数资源占用量.最后,实现了原型系统,并使用了真实世界服务器无感知计算负载数据集进行实验.实验结果表明所提算法可以有效降低平均函数完成时间,从而有效提高了服务器无感知计算环境中函数的执行效率.     

面向多核集群的数据流程序层次流水线并行优化方法

数据流编程语言是一种面向领域的编程语言,它能够将计算与通信分离,暴露应用程序的并行性.多核集群中计算、存储和通信等底层资源的复杂性对数据流程序的性能提出了新的挑战.针对数据流程序在多核集群上执行存在资源利用低和扩展性差等问题,利用同步数据流图作为中间表示,文中提出并实现了面向多核集群的层次性流水线并行优化方法.方法包含任务划分与调度、层次流水线调度和数据局部性优化,经过编译优化后生成基于MPI的可并行执行的目标代码.其中任务划分与调度是利用程序中数据和任务并行性将任务映射到计算核上,实现负载均衡和低通信同步开销;层次性流水线调度是利用程序中的并行性构造低延迟流水线调度;数据局部性优化是针对数据访问存在的Cache伪共享做面向存储的优化.实验以X86架构多核处理器组成的集群为平台,选取媒体处理领域的典型应用算法作为测试程序,对层次流水线优化进行实验分析.实验结果表明了优化方法的有效性.     

基于SaaS的弹性云平台优化调度策略设计

云计算平台利用虚拟化技术使软件应用变得更有效率的同时, 也给资源管理和服务调度带来了挑战。在研究了软件服务（SaaS）与基础设施服务（IaaS）调度的区别基础上, 重点考虑SaaS层的资源调度, 提出基于随机理论的调度模型, 把该层调度描述成一种多目标的优化问题。除了服务质量的要求, 还考虑了弹性这一云服务的重要特性, 并提供了任务调度与弹性服务副本的匹配策略。实验表明本调度机制的设计优化了云平台的整体性能, 达到了较好的负载均衡与资源利用率。     

云计算资源调度研究综述

资源调度是云计算的一个主要研究方向.首先对云计算资源调度的相关研究现状进行深入调查和分析;然后重点讨论以降低云计算数据中心能耗为目标的资源调度方法、以提高系统资源利用率为目标的资源管理方法、基于经济学的云资源管理模型,给出最小能耗的云计算资源调度模型和最小服务器数量的云计算资源调度模型,并深入分析和比较现有的云资源调度方法;最后指出云计算资源管理的未来重要研究方向:基于预测的资源调度、能耗与性能折衷的调度、面向不同应用负载的资源管理策略与机制、面向计算能力(CPU、内存)和网络带宽的综合资源分配、多目标优化的资源调度,以便为云计算研究提供有益的参考.     

基于无服务器边缘计算下的服务负载调度算法

随着边缘计算的不断发展,其在资源管理配置方面逐渐出现相关问题,无服务器计算作为一种新的方式可以有效解决边缘计算的相关问题。然而,无服务器计算不具备在分布式边缘场景中高效处理请求所需服务负载调度的能力,针对这一问题,提出了一种基于无服务器边缘计算的服务负载调度算法(service load scheduling algorithm, SLSA)。SLSA的核心是通过隐式建模充分考虑了动态变化的节点状态、负载调度器放置等影响因素来优化整体时延,然后通过改进的平滑加权轮询调度(smooth weighted round robin, SWRR)算法进行服务调度。经仿真实验分析,SLSA在资源消耗上有着明显下降,同时在单城市场景与多城市场景下均有良好的性能表现,其中在单城市场景中相对于集中式轮询调度(round robin centralized, RRC)算法提升了43.01%,在多城市场景中提升了53.81%。实验结果表明,SLSA可以有效降低资源消耗率并提升性能。     

基于OpenStack的清华云平台构建与调度方案设计

从一般云计算的体系结构与清华大学的实际需求出发,利用先进的OpenStack平台,采用分层设计的方法设计实现一个可对云资源进行综合管理的清华云平台。分析了该系统的优势和应具备的主要模块功能,重点研究系统中的资源调度关键技术,提出了一种基于任务调度和负载均衡的策略,并通过对调度方案的实验与分析,验证了该调度策略在保证服务性能和执行效率的基础上能够均衡服务器的资源负载,使云平台处于相对稳定的状态。     

云计算在智能电网调度中的应用

为解决传统电力系统中集中式计算平台海量数据流的存储和分析功能不足的问题,针对云计算在智能电网调度技术中的应用进行了研究。首先,对云计算技术在IT行业的发展进行阐述,对云计算的关键技术从虚拟化与快速部署技术、大规模分布式存储技术、资源调度技术、大规模多租户技术、海量数据处理技术以及大规模信息通信技术等方面出发进行介绍。其次,借鉴IT行业云计算技术,设计了基于云计算的智能电网计算平台以及基于云计算的智能电网互动式节能优化调度架构,以期推动云计算在电力系统中的发展,解决智能电网互动式节能优化调度算法方面的问题。     

动态面向服务的黑盒子优化计算平台设计与实现

针对工程优化算法中黑盒子的高计算代价问题,提出一个基于River技术的动态面向服务优化计算平台（R-DSOCP）用于分布式并行计算黑盒子。首先分析优化算法中黑盒子的执行模式,遵循动态面向服务架构并围绕着River的服务发布和查找功能设计所需的核心服务并利用它们组建R-DSOCP;然后设计了一个基于蚁群优化的黑盒子调度问题（BSP）算法,调度服务利用该算法不仅能够快速为黑盒子选取最佳计算服务而且能够均衡平台负载;最后,实验结果表明在分离优化算法执行和黑盒子计算后,黑盒子在平台中得到了有效的并行计算,平均计算效率相比单计算节点提高近n倍,其中n为并行因子。因此借助高性能计算（HPC）技术,R-DSOCP在工程优化领域能够为提高优化算法速度并降低计算成本提供一个可行方案。     

无服务器计算

无服务器计算,它确实将开发人员和IT工程师从管理服务器硬件中解放出来,并允许应用程序按需运行,使其成为某些用例的理想方法。无服务器计算是一种应用程序部署范例,允许应用程序按需运行,仅消耗执行它们所需的资源。相比之下,在传统计算模型中,应用程序不断运行(并消耗资源),即使它们不处理用户请求也是如此。     

一种云环境中的动态细粒度资源调度方法

云计算平台中普遍采用固定资源量的粗粒度资源分配方式,由此会引起资源碎片、过度分配、低集群资源利用率等问题.针对此问题,提出一种细粒度资源调度方法,该方法根据相似任务运行时信息推测任务资源需求;将任务划分为若干执行阶段,分阶段匹配资源,从分配时间和分配资源量两方面细化资源分配粒度;资源匹配过程中,基于资源可压缩特性进一步提高资源利用率和性能;采用资源监控、策略调整、约束检查等机制保证资源使用效率和负载性能.在开源云资源管理平台中,基于细粒度资源调度方法实现了调度器.实验结果表明：细粒度资源调度方法可以在不丧失公平性且调度响应时间可接受的前提下,细化资源匹配的粒度,有效提高云计算平台资源利用率和性能.     

An improved approach for load balancing among heterogeneous resources in computational grids

In recent days, due to the rapid technological advancements, the grid computing has become an important area of research in distributed systems. The load balancing is a very important and complex problem in grid computing. In this paper, we propose a dynamic-distributed load-balancing technique called the improved load balancing on enhanced GridSim with deadline control (IEGDC) for computational grids. Here, we provide a new mechanism of scheduling to enhance the utilization of the resources and to prevent the resource overloading. A selection method for scheduling by considering the state of resource bandwidth and capacity of various resources is presented. We simulate the proposed load-balancing strategy on the GridSim platform. The proposed mechanism on comparison is found to outperform the existing schemes in terms of response time, resubmitted time, finished and unfinished Gridlets. The simulation results are presented.     

基于Kubernetes的AI调度引擎平台

文中介绍了基于Kubernetes的AI调度引擎平台的设计与实现, 针对当前人工智能调度系统中存在的服务配置复杂, 集群中各节点计算资源利用率不均衡以及系统运维成本高等问题, 本文提出了基于Kubernetes实现容器调度和服务管理的解决方案. 结合AI调度引擎平台的需求, 从功能实现和平台架构等方面设计该平台的各个模块. 同时, 针对Kubernetes无法感知GPU资源的问题, 引入device plugin收集集群中每个节点上的GPU信息并上报给调度器. 此外, 针对Kubernetes调度策略中优选算法只考虑节点本身的资源使用率和均衡度, 未考虑不同类型的应用对节点资源的需求差异, 提出了基于皮尔逊相关系数 (Pearson correlation coefficient, PCC)的优选算法, 通过计算容器资源需求量与节点资源使用率的互补度来决定Pod的调度, 从而保证调度完成后各节点的资源均衡性.     

基于动态预测和任务流整形的网格调度算法

针对网格环境下计算节点的自治性、异构性、分布性等特征,提出一种基于任务响应时间的动态修正预测和任务流整形的网格调度算法,该调度方法依据历史数据和最近访问过计算节点的任务请求提交时间、任务完成时间、网络通信延迟等信息,预测计算节点的将来任务响应时间,将任务提交给预测的轻负载或性能较优的计算节点完成。通过使用动态修正算法和任务流整形算法降低预测误差,提高资源利用率。实验结果表明,该方法在任务响应时间、任务的吞吐率等方面优于随机调度等传统算法,具有较好的综合性能。     

一种基于综合匹配度的边缘计算系统任务调度方法

边缘计算模式满足数据的实时和低功耗处理需求,是缓解当前网络数据洪流实时处理问题的有效方法之一.但边缘设备资源的异构与多样性给任务的调度与迁移带来极大的困难与挑战.目前,边缘计算任务调度研究主要集中在调度算法的设计与仿真,这些算法和模型通常忽略了边缘设备的异构性和边缘任务的多样性,不能使多样化的边缘任务与异构的资源能力深...     

面向HPC的函数计算冷启动优化

High performance computing problems usually have the characteristics of parallelization of subtasks, and a lot of computing resources are consumed in the process of execution. It has been proved that traditional cloud computing based on virtual machine can deal with such problems, but the management of distributed environment and the distributed design of solutions make the processing more complex. Function computing is a new type of serverless cloud computing paradigm, its automatic expansion and considerable computing resources can be well combined with HPC problems. However, the cold start delay is an unavoidable problem on the public cloud function computing platform, especially in the task of HPC problems having high concurrent jobs of which delay will be further magnified. In this paper, we first analyze the completion time of a simple HPC task under cold start and hot start conditions, and analyze the causes of additional delay. According to these analyses, we combine the time series ana lysis tools and the platform's automatic expansion mechanism to propose an effective preheating method, which can effectively reduce the cold start delay of HPC tasks on the function computing platform.     

同构Hadoop集群环境下改进的延迟调度算法

在Hadoop框架下计算资源和数据资源可以在不同物理位置的特点产生本地化问题。延迟调度算法的产生旨在解决本地化问题, 此算法根据任务待处理数据的物理位置作为作业的计算节点, 调度任务至目标节点。但是可能出现同一作业中若干任务集中运行在某一计算节点, 导致作业达不到理想的并行效果。针对原有的延迟调度算法, 提出延迟一容量调度算法, 允许部分任务选择非本地化节点作为原延迟调度算法中任务的目标计算节点, 以提高作业的响应时间与增加作业的并行程度。最后通过实验对比分析, 改进后的算法在执行效率和并行效果明显优于原延迟调度算法。     

基于动态系数的三次指数平滑算法负载预测

数据中心是企业信息化的重要组成部分,云计算的核心思想就是把数据中心整成一个资源池,对资源池进行统一的调度与管理。随着虚拟化技术的发展,目前对数据中心的资源利用率越来越高,但是还是存在大量资源浪费的情况,其原因在于当前对数据中心未来负载预测的算法还存在一定的局限性,如果对未来负载预测值远远大于实际负载情况,则导致大量的虚拟机资源利用率不高,反之则会导致虚拟机的资源使用率消耗增大,云平台中不同物理服务器之间的负载情况不平衡,一部分物理服务器负载过大,导致云计算平台响应时间过长。因此云计算平台选取一个合适的负载预测算法显得越发重要,如何权衡以上问题,是云计算里面的一个重点研究方向。负载预测选取时间序列预测算法中的三次指数平滑法,在该算法原有的静态系数基础之上,设计了一种动态系数提取方法。通过等距法把静态系数分成若干份进行训练,然后在预测过程中提取该时段误差最小值所对应的系数。在预测结束后,重新计算其误差,并通过均值法覆盖旧误差。实验结果表明,基于自适应三次指数平滑算法其预测误差明显小于静态系数所预测的误差,计算复杂度低,具有一定的应用价值。     

基于延迟敏感应用的边云协同方案

智能设备存在着存储能力以及计算能力不足的问题,导致无法满足计算密集型和延迟敏感型应用的服务质量要求。边缘计算和云计算被认为是解决智能设备局限性的有效方法。为了有效利用边云资源,并在延迟和服务失败概率方面提供良好的服务质量,首先提出了一种三层计算系统框架,然后考虑到边缘服务器的异构性和任务的延迟敏感性,在边缘层提出了一种高效的资源调度策略。三层计算系统框架可以根据应用程序的延迟敏感性提供计算资源和传输时延,保证了边缘资源的有效利用以及任务的实时性。仿真结果验证了所提资源调度策略的有效性,并表明该调度算法优于现有传统方法。