混部数据中心负载特征及其任务调度优化分析

随着现代互联网数据中心的规模越来越大,数据中心面临着能耗、可靠性、可管理性与可扩展性等方面的挑战。同时,数据中心承载的服务多样,既有在线Web服务,也有离线批处理任务。在线任务要求较低的延迟,而离线任务要求较高的吞吐量。为了提高服务器利用率,降低数据中心能耗,当前数据中心往往将在线任务和离线任务混合部署到同一个计算集群中。在混部场景下,如何同时满足在线和离线任务的不同要求,是目前面临的关键挑战。分析了阿里巴巴于2018年发布的含有4034台服务器的混部计算集群在8天内的日志数据(cluster-trace-v2018),从静态配置信息、动态混部运行状态、离线批处理作业DAG依赖结构等出发,揭示其负载特征,包括任务倾斜与容器部署的相关关系等,根据任务依赖关系与关键路径,提出了相应的任务调度优化策略。     

短信息在线/离线加密方案

在线/离线加密方案旨在提高在线加密速度.本文研究并设计了一种基于一次函数的在线/离线短信息加密方案,它在现阶段只需要做一次函数计算,并将该方案应用在手机短信息上.     

一种基于周期性特征的数据中心在线负载资源预测方法

以Web服务、流式计算为代表的在线负载是数据中心的主要负载之一。在线负载请求到达的波动性驱动其资源需求的动态变化。因此,快速、准确的在线负载资源预测是数据中心合理分配资源、保障负载执行效率的关键。然而,既有在线负载资源预测方法或无法进行长期准确的预测,或依赖于海量样本数据并具有较大的时间开销。为此,提出了一种基于请求周期性特征的在线负载资源预测方法PRP。PRP面向在线负载请求的周期性特征,采用自相关函数识别负载资源使用的变化周期;基于变化周期进行资源使用样本序列分割及资源使用子序列分类;最终基于分类子序列采用线性加权方法预测在线负载的资源需求。实验结果表明,PRP在预测准确度和时间开销方面有较大的提升。     

可恢复消息的在线/离线签名

在线/离线签名是利用预处理技巧提高在线签名速度的签名形式。构造了一种可以恢复消息的在线/离线签名方案。因为不需要发送消息,该方案可以大大节约传输带宽。在随机预言模型下,新方案被证明是安全的。     

在离线混部作业调度与资源管理技术研究综述

数据中心是重要的信息基础设施,也是企业互联网应用的关键支撑.然而,目前数据中心的服务器资源利用率较低(仅为10%～20%),导致大量的资源浪费,带来了极大的额外运维成本,成为制约各大企业提升计算效能的关键问题.混部(colocation),即将在线作业与离线作业混合部署,以空闲的在线集群资源满足离线作业的计算需求,作为一种重要的技术手段,混部能够有效提升数据中心资源利用率,成为当今学术界和产业界的研究热点.分析了在线作业与离线作业的特征,探讨了在离线作业间性能干扰等混部所面临的技术挑战,从性能干扰模型、作业调度、资源隔离与资源动态分配等方面就在离线混部技术进行了综述,并以业界典型混部管理系统为例探讨了在离线混部关键技术在产业界的应用及其效果,最后对未来的研究方向进行了展望.     

跨越在线计费和离线计费平台的交叉业务实现方案研究

对上海电信的跨越在线计费和离线计费平台的交叉业务现状进行了分析,对3种可行的解决方案进行了对比分析,在此基础上重点阐述了支持在线和离线分别计费但批价依据、计费累积量、余额集中共享的计费系统的设计方案。     

数据中心电费最小化的负载调度策略

为了降低电费成本,一些数据中心使用绿色能源供电。然而,负载的波动性和电价的时间差异性给数据中心电费成本带来了挑战。针对上述问题,提出一种低成本的负载调度算法,使得数据中心电费最小化。首先,建立电力耗费模型;然后,将电费最小化问题形式化为一个多目标约束的优化问题;最后,求解该优化问题得到相应的负载调度策略。实验结果表明:该算法可以在保证负载性能的前提下,有效降低数据中心的电费成本。     

集群环境中微服务容器资源特征分析及优化

在集群环境中部署微服务已经成为微服务部署的重要方式.由于不同种类服务对于CPU、内存、磁盘等资源的需求不同,导致集群中的节点产生资源碎片、出现资源消耗倾斜.如何提高集群资源利用率、降低集群能耗,成为继保障服务级别协议(service level agreement, SLA)之后的重大挑战.本文以阿里巴巴集团2021年发布的近两万个微服务的详细跟踪为数据样本,从容器资源使用情况、节点部署特征和资源消耗偏好等多个维度出发,分析其集群资源消耗特征,发现集群中出现了资源消耗倾斜的情况.通过进一步分析节点中容器部署情况发现容器资源分配不合理加剧了这一现象.基于此我们提出了一种使用深度双Q网络的模型,依据上游服务资源需求的实时变化,对容器资源分配进行优化.对比实验结果表明该方法可以在保证服务SLA的情况下有效提高容器资源利用率,改善节点资源消耗倾斜的情况.     

混合部署数据中心失效负载分析

数据中心工作负载混合部署在显著提升云数据中心的资源利用率的同时,也增加了调度的复杂性和作业的失效率.以阿里云发布的数据中心日志数据集cluster-trace-v2018为例,从离线批处理工作负载角度出发,详细地分析了不同类型工作负载在成功率和资源利用上的特征.主要发现如下:1)少量类型作业的失效会影响集群整体作业成功率并造成集群资源的浪费;2)伏羲分布式调度系统在任务故障切换执行时间上满足高斯分布,在任务调度延迟方面满足齐夫分布;3)通过分析失败实例在集群节点上的分布,发现集群作业发生失败在空间上具有随机性,且失败的实例很容易再次发生失败,而在时间上集群整体失败率则存在不平衡性;4)以任务实例的失效为基准,计算了集群节点的平均无故障时间,大部分节点的平均无故障时间在1000 s左右,小部分节点的任务实例失效率低,其平均无故障时间可达10000 s以上.     

Flow-Aware Workload Migration in Data Centers

In data centers, subject to workloads with heterogeneous (and sometimes short) lifetimes, workload migration is a way of attaining a more efficient utilization of the underlying physical machines. To not introduce performance degradation, such workload migration must take into account not only machine resources, and per-task resource requirements, but also application dependencies in terms of network communication. This paper presents a workload migration model capturing all of these constraints. A linear programming framework is developed allowing accurate representation of per-task resources requirements and inter-task network demands. Using this, a multi-objective problem is formulated to compute a re-allocation of tasks that (1) maximizes the total inter-task throughput, while (2) minimizing the cost incurred by migration and (3) allocating the maximum number of new tasks. A baseline algorithm, solving this multi-objective problem using the \(\varepsilon\)-constraint method is proposed, in order to generate the set of Pareto-optimal solutions. As this algorithm is compute-intensive for large topologies, a heuristic, which computes an approximation of the Pareto front, is then developed, and evaluated on different topologies and with different machine load factors. These evaluations show that the heuristic can provide close-to-optimal solutions, while reducing the solving time by one to two order of magnitudes.     

智能超市中在线与离线RFID数据仓库技术研究

本文通过分析超市环境RFID数据管理的特点,提出了在线数据处理与离线数据存储相结合的数据仓库模型,实现智能超市中的RFID数据管理。使用内存数据库管理物品的最新信息,使频繁的状态更新在内存中完成,提高了实时查询的速度。利用磁盘数据库的大容量存储历史数据,支持对离线数据的查询。     

一种最小化绿色数据中心电费的负载调度算法

为了减少电费和碳排放,数据中心运营商开始建立就地绿色能源发电厂以进行供电.然而,负载的波动性、电价的时间差异性以及绿色能源的间歇性,给节约数据中心电费带来了挑战.针对以上问题,提出一种在线式负载调度算法,可以在不使用未来的负载、电价和绿色能源可用性信息的前提下,最小化数据中心的电费.首先,建立拥有就地绿色能源发电厂的数据中心的电费模型;然后,将数据中心电费最小化问题形式化为一个随机优化问题;最后,求解该优化问题得到相应的负载调度策略.基于真实数据的实验结果表明：该算法可以在保证负载性能的前提下,有效降低数据中心的电力成本.     

考务工作量快速统计中的Excel数据应用

考务工作量的统计是整个监考工作的一个重要环节,笔者通过具体的考试安排案例,阐释剖析一下如何利用Excel排序、透视、分列、润色等数据功能,更经济地统计出监考工作量。     

Adoption of e-Government Services in Pakistan: A Comparative Study Between Online and Offline Users

An empirical study was conducted to investigate the critical factors influencing the citizens’ intention to adopt e-government services at different levels of service maturity, i.e., information and transaction levels. An integrated conceptual model is proposed and validated. Data were collected using the quota sampling method from two user groups, i.e., online and offline. The empirical evidence, discussion, and recommendations provide guidelines to the Pakistani government to follow in order to increase citizens’ potential to utilize e-government services.     

负载聚合对数据中心温度及功耗的影响研究

如今日益增长的数据中心功耗特别是冷却系统功耗已经被日益重视,降低系统功耗能够减少数据中心碳排放。传统负载聚合方法在降低计算功耗的同时,尽量保留数据中心的计算能力,却往往忽略了对冷却功耗的关注。不恰当的负载聚合会带来数据中心峰值温度的升高和冷却功耗的增加。文中首先根据数据中心温度功耗模型探讨了负载聚合的必要条件,接着提出了离线的遗传算法。最后文中以实际在线书店的访问数据进行因特网数据中心仿真,定量分析了基于遗传算法的负载聚合方法对系统温度、性能和功耗的影响。     

线上线下混合教学模式研究

传统的教学模式随着信息化技术的发展受到了以多媒体技术为基础的线下教学模式的挑战。随着5G网络通信技术与大数据技术的发展,线上教学模式功能逐步完善,线下教学自由存在逐步线上化的趋势。本文针对传统教学模式、线下教学模式、线上教学模式各自的优缺点,进行了线上线下混合教学模式的研究。     

Python语言课程的线上线下混合式教学

为了解决在有限的教学资源条件下,满足不同专业学生的学习需求问题,本文论述了Python语言课程的线上线下混合教学方法.线上教学是采用案例引导的方式展开,在线上教学内容的基础上,结合学生的专业进行线下案例式教学.教学实践表明,该教学方法可以激发学生的学习兴趣,提高了学生应用计算机解决实际问题的能力.     

Data and Workload Distribution in a Multithreaded Architecture

Matching data distribution to workload distribution is important in improving the performance of distributed-memory multiprocessors. While data and workload distribution can be tailored to fit a particular problem to a particular distributed-memory architecture, it is often difficult to do so for various reasons including complexity of address computation, runtime data movement, and irregular resource usage. This report presents our study on multithreading for distributed-memory multiprocessors. Specifically, we investigate the effects of multithreading ondatadistribution andworkloaddistribution withvariable, thread granularity. Various types of workload distribution strategies are defined along with thread granularity. Several types of data distribution strategies are investigated. These include row-wise cyclic,k-way partial-row cyclic, and blocked distribution. To investigate the performance of multithreading, two problems are selected: highly sequential Gaussian elimination with partial pivoting and highly parallel matrix multiplication. Execution results on the 80-processor EM-4 distributed-memory multiprocessor indicate that multithreading can off set the loss due to the mismatch between data distribution and workload distribution even for sequential and irregular problems while giving high absolute performance.