面向云计算数据中心的能耗建模方法

云计算对计算能力的需求,促进了大规模数据中心的飞速发展.与此同时,云计算数据中心产生了巨大的能耗.由于云计算的弹性服务和可扩展性等特性,云计算数据中心的硬件规模近年来极度膨胀,这使得过去分散的能耗问题变成了集中的能耗问题.因此,深入研究云计算数据中心的节能问题具有重要意义.为此,针对云计算数据中心的能耗问题,提出了一种精确度高的能耗模型来预测云计算数据中心单台服务器的能耗状况.精确的能量模型是很多能耗感知资源调度方法的研究基础,在大多数现有的云计算能耗研究中,多采用线性模型来描述能耗和资源利用率之间的关系.然而随着云计算数据中心服务器体系结构的变化,能耗和资源使用率的关系已经难以用简单的线性函数来描述.因此,从处理器性能计数器和系统使用情况入手,结合多元线性回归和非线性回归的数学方法,分析总结了不同参数和方法对服务器能耗建模的影响,提出了适合云计算数据中心基础架构的服务器能耗模型.实验结果表明,该能耗模型在只监控系统使用率的情况下,在系统稳定后,能耗预测精度可达到95%以上.     

云计算环境下负载—功耗特征测试与分析

为了实现云计算数据中心的高效节能的工作负载调度,必须首先研究虚拟机层面不同的工作负载和功率消耗之间的关系.在现有研究的基础上,通过对服务器虚拟机层面的功耗度量与分析,研究多种硬件、软件、负载条件下,虚拟机中不同类型的工作负载对功耗的影响特性,这对于能耗的度量、建模、管理、优化等都具有重要的意义.     

能效查询处理与优化可行性初探

随着数据管理需求的不断增长,降低与控制数据中心的能耗成为一个挑战性问题. DBMS 是数据中心核心软件,能效查询处理与优化是其中一个重要议题. 本文提出了新型的能耗代价评估模型,通过评估查询计划的时间和能耗代价,考察了不同优化目标在不同硬件条件下对查询处理的影响. 实验表明,传统硬件下面向性能的优化与面向能耗的优化结果是一致的;在新硬件条件下,两者结果则不同,可以改进数据库系统能效.     

基于状态管理的服务器节能策略研究

随着云计算的蓬勃发展,计算机行业的能耗问题日益突出。状态管理一直是优化能耗的有效方法之一。对数据中心的服务器进行合理的状态管理能带来可观的节能收益。针对数据中心等机群环境下服务器的状态能耗进行研究,提出基于状态管理的服务器能耗优化方法,以在保证性能的同时,降低了能耗。首先分析状态管理对服务器能耗带来的影响,根据分析提出服务器的状态优化策略,然后利用Petri网及其状态分析技术对该策略的状态能耗模型和性能模型进行分析。实例分析和模拟实验验证了该方法的有效性和优越性。     

面向云数据中心的人工智能模型自动优化框架设计

人工智能模型的自动调优技术能够以较低资源成本提供云数据中心的高性能智能服务。然而,人工智能模型和硬件设备具有异构性,云数据中心执行自动调优操作会产生大量计算时间,占用算力资源,产生能耗成本。针对此问题,本文设计面向云计算数据中心的人工智能模型自动优化框架。提出人工智能模型候选配置项过滤方法,利用模型构建、特征提取、候选项探索、配置查询等技术对候选项搜索空间重新采样,将高效候选项替换低效候选项。在算子优化层面,框架分批并行执行计算组件实现的硬件测量,避免连续探测搜索空间。在模型优化层面,根据多人工智能模型的相对性能加速优先跨集群的计算组件优化。该框架旨在面向不同人工智能模型,降低人工智能模型推理延迟,减少云计算数据中心能耗,从而提升人工智能模型自动调优的成本效益。     

数据中心能耗模型及能效算法综述

近年来,云计算技术发展迅猛.作为云计算的物理平台和重要基础设施,数据中心的数量和规模都得到了前所未有的发展.与此同时,数据中心极低的资源利用率和巨大的能耗问题日益突出,数据中心能效的研究已经成为了近年来学术界与工业界关注的热点.针对数据中心能效的基本问题,研究了基于资源和任务调度的数据中心节能关键技术,从能效模型与能效算法的角度总结了数据中心服务器系统与网络系统的节能研究进展和最新成果,涵盖能效分析、能耗模型、分类标准和策略算法4个方面,并且展望了数据中心能效优化研究的发展趋势.     

监督与半监督学习下的数据流集成分类综述

在监督或半监督学习的条件下对数据流集成分类进行研究是一个很有意义的方向.从基分类器、关键技术、集成策略等三个方面进行介绍,其中,基分类器主要介绍了决策树、神经网络、支持向量机等;关键技术从增量、在线等方面介绍;集成策略主要介绍了boosting、stacking等.对不同集成方法的优缺点、对比算法和实验数据集进行了总结与分析.最后给出了进一步研究方向,包括监督和半监督学习下对于概念漂移的处理、对于同质集成和异质集成的研究,无监督学习下的数据流集成分类等.     

基于遗传算法的数据中心能效仿真

随着数据中心数量和规模的不断扩大,能耗已经成为制约数据中心成本和可靠性的关键问题.而且,随着数据中心投入运营后的硬件迭代更新,数据中心服务器的异构性进一步加大,其能效也同设计建设之初相比有较大的变化.因此,根据数据中心服务器的构成和硬件配置,对整个数据中心进行动态能效仿真与分析,有助于实时掌握数据中心的能效现状,进行能...     

基于深度学习的事件抽取研究综述

事件抽取是从非结构化的自然语言文本中自动抽取用户感兴趣的事件信息, 并以结构化的形式表示出来. 事件抽取是自然语言处理与理解中的重要方向, 在政府公共事务管理、金融业务、生物医学等不同领域有着很高的应用价值. 根据对人工标注数据的依赖程度, 目前基于深度学习的事件抽取方法主要分为两类: 有监督和远程监督学习方法. 对当前深度学习中事件抽取技术进行了全面的综述. 围绕有监督中CNN、RNN、GAN、GCN与远程监督等方法, 系统地总结了近几年的研究情况, 并对不同的深度学习模型的性能进行了详细对比与分析. 最后, 对事件抽取面临的挑战进行了分析, 针对研究趋势进行了展望.     

基于深度学习的行人重识别研究综述

随着深度学习的发展,研究人员开始探索将深度学习应用于行人重识别任务并提出了大量方法,随之也迎来了新的挑战。为系统地了解这一领域的研究现状和发展趋势,首先对行人重识别任务以及存在的问题进行简单介绍;其次,根据训练方式的不同,分别探讨监督学习、半监督学习/弱监督学习以及无监督学习上行人重识别任务的研究进展,并根据现有研究热度介绍生成对抗网络和注意力机制在行人重识别上的应用;之后,列举了该领域中常用的经典数据集,并对比了深度模型在这些经典数据集（Market-1501、CUHK03等）上的表现;最后,对行人重识别领域的未来方向进行了展望。     

融合架构云服务器体系结构和关键技术

针对云计算、大数据等应用对异构资源管理和聚合的需求,提出了一种融合架构云服务器体系结构及其关键支撑技术。融合架构云服务器利用硬件资源池化技术,实现计算、存储、网络、供电、制冷和管理模块的解耦与融合重构,具有高密度、低功耗、易扩展、易管理,易维护特点,兼具横向扩展和纵向扩展优势,可优化系统部署、运维和能耗成本,显著降低总体拥有成本（TCO）。在金融、电信和互联网行业的实际应用案例表明,融合架构云服务器功耗降低超过15%,总体拥有成本降低近15%,为云计算、大数据等应用提供了更具性能功耗比优势的IT基础设施设计方案。     

虚拟化云计算平台的能耗管理

数据中心的高能耗是一个亟待解决的问题.近年来,虚拟化技术和云计算模式快速发展起来,因其具有资源利用率高、管理灵活、可扩展性好等优点,未来的数据中心将广泛采用虚拟化技术和云计算技术.将传统的能耗管理技术与虚拟化技术相结合,为云计算数据中心的能耗管理问题提供了新的解决思路,是一个重要的研究方向.文中从能耗测量、能耗建模、能耗管理实现机制、能耗管理优化算法4个方面对虚拟化云计算平台能耗管理的最新研究成果进行了介绍.论文分析了虚拟化云计算平台面临的操作管理和能耗管理两方面的问题,指出了虚拟化云计算平台能耗监控与测量的难点;介绍了能耗监测步骤及能耗轮廓分析方法;提出了虚拟机系统的整体能耗模型及服务器整合和在线迁移两种关键技术本身的能耗模型;从虚拟化层和云平台层两个层次总结了目前能耗管理机制方面取得的进展;并对能耗管理算法进行分类、比较.最后对全文进行总结,提出了未来十个值得进一步研究的方向.     

云计算数据中心可扩展服务器节能优化研究

摘要：云计算数据中心越来越庞大,硬件规模也日益增大,而且还会有大量的计算资源、存储资源会出现在云端,促使出现了一大批十万级、百万级、乃至千万级服务器的数据中心,且服务器还可以增量扩展与增量部署,高能耗问题已经日益凸显,严重制约到云计算数据中心的可持续性发展。本文提出了一种新型的云计算数据中心可扩展服务器节能优化策略——效能优化策略,能够基于全局角度来降低能源消耗,优化服务器选择过程,并且还可促使不同服务器之间实现负载均衡。仿真实验结果表明：基于能耗大小来看,本文提出的效能优化策略要比DVFS策略、无迁移策略所对应的能耗分别节约15.23%、24.33%;基于迁移数来看,本文提出的效能优化策略要比DVFS策略所对应的迁移次数减少2425次,总之,本文提出的效能优化策略总体而言要明显比DVFS策略、无迁移策略更优越。     

基于Kalman滤波的云数据中心能耗和性能优化

云数据中心虚拟机的动态整合需要跟踪服务器的运行状态,而服务器的运行状态会受到数据中心负载变化的影响,现有的CPU使用率预测方法大都只关注当前服务器的CPU利用率变化。提出了一个基于Kalman滤波的CPU使用率预测模型,建立了基于所有服务器CPU使用率变化系数的数据中心负载变化模型,详细描述了基于Kalman滤波的CPU使用率预测方法,讨论了云数据中心的能耗和性能评价指标。最后,为了验证基于Kalman滤波的CPU使用率预测算法的有效性,在CloudSim仿真系统和PlanetLab的五个数据集上进行了实验。实验结果表明,Kalman滤波能够较好地反映服务器CPU使用率的变化趋势,有效地降低数据中心的能耗,并保持较好的计算性能。     

云数据中心能效可靠的虚拟机部署

优化虚拟机部署是降低云数据中心能耗的有效方法,但是,过度对虚拟机部署进行合并可能导致主机机架出现热点,影响数据中心提供服务的可靠性。提出一种基于能效和可靠性的虚拟机部署算法。综合考虑主机利用率、主机温度、主机功耗、冷却系统功耗和主机可靠性间的相互关系,建立确保主机可靠性的冗余模型。在主动避免机架热点情况下,实现动态的虚拟机部署决策,在降低数据中心总体能耗前提下,确保主机服务可靠性。仿真结果表明,该算法不仅可以节省更多能耗,避免热点主机,而且性能保障上也更好。     

面向云计算环境的能耗测量和管理方法

云计算引领了计算机科学的一场重大变革,但与此同时,也不可避免地带来了日益凸显的能源消耗问题,因此,云计算能耗管理成为近几年的研究热点.云计算系统的能耗测量和管理直接关系到云计算的可持续发展,能耗数据不仅关系到能耗模型的建立,而且也是检验云计算资源调度算法的基础.为此,在广泛研究现有能耗测量方法的基础上,归纳总结了当前云计算环境的4种能耗测量方法:基于软件或硬件的直接测量方法、基于能耗模型的估算方法、基于虚拟化技术的能耗测量方法、基于仿真的能耗评估方法,并分析和比较了它们的优势、缺陷和适用环境.在此基础上,指出了云计算能耗管理的未来重要研究趋势:智能主机电源模块、面向不同类型应用的能耗模型、混合任务负载的能耗模型、可动态管理的高效云仿真工具、动态异构分布式集群的能耗管理、面向大数据分析处理和任务调度的节能方法以及新能源供电环境下的节能规划,为云计算节能领域的研究指明了方向.     

基于软件定义数据中心网络的节能路由算法

由于数据中心网络是云计算和下一代网络技术的平台和基础设施,日益增长的网络数据在满足用户需求的同时,也大幅增加了数据中心的能耗.许多针对数据中心网络的节能策略被提出,多数采用硬件与软件相结合的策略来完成节能模型的设计.为了进一步降低能耗,从网络负载均衡和节能路由设计的角度提出了一种新的节能路由算法,其基本思想是首先对负载均衡进行量化分析,然后提出带宽限定的负载均衡与节能相结合的节能路由算法,充分考虑到网络整体的可达性和可靠性.该算法为数据中心节能提供了一种新的视角.通过与传统的节能路由作比较,验证了该算法能够在保证较高网络可靠性的同时能耗较低.通过对实验数据的分析和解释得到了若干有益的结论,为进一步的研究工作奠定了基础.     

融合XGBoost和Multi-GRU的数据中心服务器能耗优化算法

随着云计算技术的快速发展,数据中心的数量大幅增加,随之而来的能源消耗问题逐渐成为一个研究热点.针对服务器能耗优化问题,提出了一种融合极限梯度提升(XGBoost)和多个门控循环单元(Multi-GRU)的数据中心服务器能耗优化(ECOXG)算法.首先利用Linux终端监控命令和功耗仪收集服务器各部件的资源占用信息和能耗...     

Service level agreement based energy-efficient resource management in cloud data centers

As cloud computing has become a popular computing paradigm, many companies have begun to build increasing numbers of energy hungry data centers for hosting cloud computing applications. Thus, energy consumption is increasingly becoming a critical issue in cloud data centers. In this paper, we propose a dynamic resource management scheme which takes advantage of both dynamic voltage/frequency scaling and server consolidation to achieve energy efficiency and desired service level agreements in cloud data centers. The novelty of the proposed scheme is to integrate timing analysis, queuing theory, integer programming, and control theory techniques. Our experimental results indicate that, compared to a statically provisioned data center that runs at the maximum processor speed without utilizing the sleep state, the proposed resource management scheme can achieve up to 50.3% energy savings while satisfying response-time-based service level agreements with rapidly changing dynamic workloads.     

DRPS: efficient disk-resident parameter servers for distributed machine learning

Parameter server (PS) as the state-of-the-art distributed framework for large-scale iterative machine learning tasks has been extensively studied. However, existing PS-based systems often depend on memory implementations. With memory constraints, machine learning (ML) developers cannot train large-scale ML models in their rather small local clusters. Moreover, renting large-scale cloud servers is always economically infeasible for research teams and small companies. In this paper, we propose a disk-resident parameter server system named DRPS, which reduces the hardware requirement of large-scale machine learning tasks by storing high dimensional models on disk. To further improve the performance of DRPS, we build an efficient index structure for parameters to reduce the disk I/O cost. Based on this index structure, we propose a novel multi-objective partitioning algorithm for the parameters. Finally, a flexible workerselection parallel model of computation (WSP) is proposed to strike a right balance between the problem of inconsistent parameter versions (staleness) and that of inconsistent execution progresses (straggler). Extensive experiments on many typical machine learning applications with real and synthetic datasets validate the effectiveness of DRPS.