一种适应节能的云存储系统元数据动态建模与管理方法

云存储规模的不断扩大以及设计时对能耗因素的忽略使其日益暴露出高能耗低效率的问题,并且此问题已经成为制约云计算与大数据快速发展的一个主要瓶颈.从云存储系统的元数据信息的组成与组织方式考虑系统的节能改进与适应性问题,提出适应节能的元数据建模与管理方法,将存储磁盘及节点状态、数据块存储位置与状态等信息纳入到新的元数据模型中.围绕节能的元数据模型设计了适应该模型的节能模式切换算法,有效的解决了现有算法与节能算法或策略的不匹配问题.实验结果表明:适应节能的元数据模型与算法能够提高系统磁盘级的能耗利用率.     

基于分布式文件系统HDFS的节能算法

与传统数据中心节能算法不同,MapReduce计算任务的数据依赖性使得设计HDFS(Hadoop Distributed File System)节能算法时必须保证集群中所有数据块的可用性,即任意数据块或其副本中的至少一块处于活动状态.根据HDFS集群结构与数据块存储等特点建立了DataNode节点矩阵、节点状态矩阵、文件分块矩阵、数据块存储矩阵与数据块状态矩阵,为后续研究建立了基础模型.结合数据块状态矩阵与数据块可用性之间的关系设计了DataNode节点休眠验证算法.概率分析了由于机架感知的存储策略带来数据块分布的随机性,使得在不改变数据块存储结构与存储策略的情况下并不能通过休眠DataNode节点达到节能的目的.进而设计了数据块存储结构配置节能算法与基于对称数据块存储策略下的节能算法,分别从改变数据块的存储结构与存储策略两方面对HDFS进行节能改进.实验结果表明:两种节能算法都能解决HDFS集群的能耗低利用率问题,并且集群负载越低节能效率越高.     

基于存储结构重配置的分布式存储系统节能算法

作为云计算底层核心基础设施,分布式数据存储系统是各种云计算服务的基础,是云计算重要的组成部分.然而随着系统规模的不断扩大以及设计时对能耗因素的忽略使其暴露出高能耗问题.由于存在数据可用性要求,使其并不能简单采用已有节能技术解决能耗问题,保证数据可用性成为设计分布式存储系统节能算法的前提.对系统与数据的可用性进行了建模,并通过对存储结构与机制、节点状态与数据块可用性之间的关系的研究提出构造数据块可用性度量矩阵解决数据可用性完全覆盖问题.定义了分布式存储系统的节能模型,将RACK划分为Active-Zone与Sleep-Zone两个存储区域,根据不同数据的访问频率与规律计算活动因子以配置数据的存储区域,通过数据中心负载规律适时对Sleep-Zone区域中的服务器进行休眠处理以达到节能的目的.实验结果表明:算法在适应数据访问规律与可用性保证前提下,能够提高分布式存储系统的能耗利用率,并且当系统负载与数据平均活动因子越低时算法节能效率越高.     

分布式文件系统数据块聚类存储节能策略

针对分布式文件系统中由于数据块随机放置而导致的服务器利用率低、能耗管理复杂的问题,建立了数据块访问特征向量模型描述用户对数据块的随机访问,运用K-means算法对数据块进行聚类计算,根据计算结果将数据节点划分为多个区域以存储不同聚类簇的数据块,在系统负载较低时进行数据块动态重配置,关闭不必要节点达到节能的目的。为使得策略适用于对能耗和资源利用率有不同要求的场景,算法中聚类簇间隔参数可灵活设置。实验通过和冷热区划分算法进行比较表明:按照聚类结果进行数据块重配置后,能耗节省效率优于冷热区划分算法,节省能耗35%~38%。     

基于ARM的公共建筑用电能耗数据采集器

本文针对目前国家机关办公建筑和大型公共建筑的高能耗问题,根据国家建设部要求设计了一种建筑能耗数据采集器。本文将数据采集的相关技术应用于建筑能耗监测领域,介绍了建筑能耗数据采集器的整体结构,重点阐述了数据采集、存储和传输的方案设计。该数据采集器的基本性能已在实验室条件下得到充分验证。通过对建筑能耗的分项计量,获取大量的能耗数据,为下一步建筑节能分析和节能控制提供可靠的数据支持。     

一种结构化数据缓存方法

针对现有报表缓存方法在内存消耗和访问速度上相冲突的问题,提出一种结构化数据缓存方法,把具有行列结构的报表数据分块存储到文件中。以文件形式存储的数据被划分为索引区和数据区,通过数据分块算法和写操作将报表数据缓存入文件。在读取报表数据时根据索引区可以直接定位到所在的块,在块中快速查找所需要的数据,从而在内存消耗和访问速度上达到优化。     

云存储系统节能研究综述

云存储系统作为云计算的重要组成部分,是各种云计算服务的基础。但随云存储系统规模的不断扩大和在设计时对能耗因素的忽略,使其日益暴露出高能耗、低效率的问题。因为云存储系统占整个云计算中心能耗的27%～40%,所以无论从降低服务提供商的运营成本,还是从降低能耗以保护环境的角度出发,研究云存储系统中的节能技术都具有很大的现实意义与应用前景。将存储系统中的能耗优化问题分为基于硬件的节能方法与基于调度的节能方法两大类进行讨论;并将基于调度的节能方法分为基于节点调度、基于数据调度和基于缓存预取技术3类进行综合比较;最后,对适应节能的云存储体系结构、节能模式下的QoS保证、节能模式与计算模式的匹配以及纠删码容错技术下的节能研究4个方向进行了展望。     

稀疏表与块表结合的多租户共享存储模型

针对传统单稀疏表存储模型存储空间利用率低以及块表存储模型重构租户逻辑关系时连接次数多的问题,提出了稀疏表与块表结合的存储模型.该存储模型中将租户基于SaaS应用服务商提供的逻辑表上定制的属性及自定义的逻辑表中的属性映射到列数合适的稀疏表中存储,而将租户一部分常见数据类型的自定义的属性存储到块表中,以此避免因扩展字段的列数超过稀疏表列数导致的数据迁移问题,最后通过定义查询重写器给出了从租户逻辑SQL请求到物理SQL请求的转换.实验结果表明,该存储模型在存储空间利用率及查询效率上相比传统的稀疏表存储模型都有所提升.     

大型公共建筑能耗动态模型的研究与应用

通过分析大型公共建筑能耗数据所具有的海量性、随机性、序列性等特征,建立了基于多元线性回归与一阶自回归算法的大型公共建筑能耗动态模型。研究了模型参数估计问题,结合F与χ2两种方法,理论验证了模型显著性与有效性;根据西安市某大型公共建筑能耗数据,实验验证了该模型的逼真性、可行性与强健性。因此,该模型能对既有与新建大型公共建筑能耗进行实时动态预测,解决了节能定量化研究、定额用能的“瓶颈”问题,为大型公共建筑能耗审计及等节能制度的实现提供科学指导。     

一种基于多层块区的数据存储架构

借鉴了云存储的的基本思想与技术平台,针对大容量数据的海量和访问频度不同的特点,提出多层块区概念,并研究基于此的数据存储方法。对数据访问性能的定量分析表明,合理划分块区能够得到比传统存储方法更好的访问效率。最后阐述了块区设置的思路和方法。研究结果可为存储系统的设计提供参考。     

基于Ceph集群的能耗管理策略研究

数据中心能耗高是云计算发展过程中一个亟待解决的关键问题。建立了一个集群能耗优化模型,并在此基础上提出了一种基于Ceph集群的数据副本放置策略。该策略在考虑集群可用性和容错性的同时,采用了顺序存储和随机存储相结合的存储方法,使得Ceph集群在满足用户SLA需求和保证集群性能的前提下,达到节能的目的。实验结果表明,与原始Ceph集群相比,该数据副本放置策略在保证集群服务质量的同时,使得数据中心耗电量降低了14.3%。     

Priori information and sliding window based prediction algorithm for energy-efficient storage systems in cloud

One of the major challenges in cloud computing and data centers is the energy conservation and emission reduction. Accurate prediction algorithms are essential for building energy efficient storage systems in cloud computing. In this paper, we first propose a Three-State Disk Model (3SDM), which can describe the service quality and energy consumption states of a storage system accurately. Based on this model, we develop a method for achieving energy conservation without losing quality by skewing the workload among the disks to transmit the disk states of a storage system. The efficiency of this method is highly dependent on the accuracy of the information predicting the blocks to be accessed and the blocks not be accessed in the near future. We develop a priori information and sliding window based prediction (PISWP) algorithm by taking advantage of the priori information about human behavior and selecting suitable size of sliding window. The PISWP method targets at streaming media applications, but we also check its efficiency on other two applications, news in webpage and new tool released. Disksim, an established storage system simulator, is applied in our experiments to verify the effect of our method for various users’ traces. The results show that this prediction method can bring a high degree energy saving for storage systems in cloud computing environment.     

基于云计算的科技资源信息共享模式的构建

随着我国电子政务系统的不断升级换代,各个地区和各个业务部门的应用系统已经开始逐步完善起来,但是由于信息化技术水平的限制,造成了大量的人力和物力的浪费,很多业务服务系统之间不能实现信息共享,“信息孤岛”问题越来越突出,如何避免该问题的重复再现,一直是一个研究的热点课题。伴随着当今云计算技术的推广,使用云计算实现大规模数据存储和计算,以及使用云平台整合服务和构建新的应用服务将有助于解决以上问题。本文提出一种基于云计算的平台共享范式,意在解决地区科技资源的信息共享,并实现科技资源数据的大规模存储,防止信息系统碎片。     

An energy conservation replica placement strategy for Dynamo

With the fast development of cloud computing and wide application of cloud storage, the energy efficiency of cloud storage system is drawing significant attention from researchers or specialists. For the typical Dynamo cloud storage system, we design a new policy instead of the consistent hashing policy which is a combination of consistent hashing and sequential policy. The basic idea of this policy is that it divides the nodes into groups and allows each other to be mirror modes so it can find the full coverage subset of data items easily. Also we use autoregressive-moving-average model to estimate the task numbers of servers so that when under low utilization period, certain numbers of servers can be turned off to save energy. Based on the model, we demonstrate that it can save up to 23.7 % energy and maintain load balancing of servers. Furthermore, we compare our policy with Heuristic which is a classical energy conservation policy for cloud storage system that is based on consistent hash table. And we find several advantages of our policy which include finding the minimum subset of full coverage as well as other aspects.     

面向云计算环境的能耗测量和管理方法

云计算引领了计算机科学的一场重大变革,但与此同时,也不可避免地带来了日益凸显的能源消耗问题,因此,云计算能耗管理成为近几年的研究热点.云计算系统的能耗测量和管理直接关系到云计算的可持续发展,能耗数据不仅关系到能耗模型的建立,而且也是检验云计算资源调度算法的基础.为此,在广泛研究现有能耗测量方法的基础上,归纳总结了当前云计算环境的4种能耗测量方法:基于软件或硬件的直接测量方法、基于能耗模型的估算方法、基于虚拟化技术的能耗测量方法、基于仿真的能耗评估方法,并分析和比较了它们的优势、缺陷和适用环境.在此基础上,指出了云计算能耗管理的未来重要研究趋势:智能主机电源模块、面向不同类型应用的能耗模型、混合任务负载的能耗模型、可动态管理的高效云仿真工具、动态异构分布式集群的能耗管理、面向大数据分析处理和任务调度的节能方法以及新能源供电环境下的节能规划,为云计算节能领域的研究指明了方向.     

基于物联网大数据节能调度框架研究

当今社会,物联网的快速发展离不开数据的支撑,数据的持久化存储与检索离不开物联网的边缘服务器,边缘服务器相当于物联网的数据服务中心,同时也是云环境重要组成部分,因此数据中心的能耗问题成为核心问题。现今在边缘侧常用的大数据资源调度框架为YARN,该框架并不能对能耗进行有效控制,针对此问题,提出一种基于YARN的物联网大数据节能调度框架,该框架是在YARN基础上进行优化,增加三个关键性的功能模块,分别对系统任务进行分析、计算、调度、分配,实现了细粒化管理。通过模拟实验验证该框架能在保证系统任务性能的同时减少能量损耗。     

云视频监控系统的能耗优化研究

随着基于云计算的视频监控系统(以下简称云视频监控系统)的兴起,其无限扩展的终端设施、众多的物理服务器、频繁的网络传输等所带来的能耗问题不容忽视.分析了云视频监控系统的体系结构、能耗的产生及其优化机理,并将云视频监控系统的能耗研究分为监控节点、物理节点和存储节点这3个层次;然后,结合国内外应用于传感器网络和云计算数据中心的相关能耗优化理论与方法,分别对3个层面上的云视频监控系统的能耗优化方法进行综述,并进行了深入的分析和比较;最后,针对当前的研究空缺和问题,提出今后可能的研究方向和重点,并进行了总结.     

云环境下绿色任务调度策略

针对云计算数据中心的能耗问题,提出了绿色云计算体系理论,设计了绿色云系统架构;基于该架构,将能量作为一种系统资源进行分配,提出了三种绿色任务调度算法分别是STF-OS、LTF-OS和RT-OS算法;对三种绿色任务调度算法可行性做了相关的理论分析,三种算法可以有效地减少能源消耗;通过扩展云计算仿真平台CloudSim实现了模拟实验,结果表明STF-OS算法降低数据中心能耗的能力最优。     

访问特征驱动的副本存储策略自动生成框架

大规模分布式数据存储是云计算和大数据时代的重要支撑技术.在分布式存储系统中,数据副本如何放置是一个基本问题.然而,现有可实用的算法或忽略应用具体的访问特征而牺牲效率,或拘泥于单一应用而不具备泛化能力.通过建立副本存储策略的统一描述模型以及提取应用的关键访问特征参数,定义出副本存储策略自动生成算法的输出和输入;通过机器学习的方法获得访问特征参数和最优副本存储策略参数之间的一般性关系,从而形成自动生成机制的核心算法.在提高存储系统访问性能及节约能耗等成本的同时,有效降低副本存储策略设计过程中的人工干预程度.