S-RAID 5:一种适用于顺序数据访问的节能磁盘阵列

磁盘及其冷却系统是现代存储系统中能耗的主体,已有的节能研究主要面向以随机数据访问为主的存储系统,对于广泛存在的以顺序数据访问为主的存储系统,如视频监控、虚拟磁带库(VTL)、连续数据保护(CDP)等,针对该类系统固有访问模式的节能研究较少.为此,提出了适用于顺序数据访问的节能磁盘阵列S-RAID 5,采用局部并行策略:阵列中的存储区被分成若干组,组内采用并行访问模式,分组有利于调度部分磁盘运行而其余磁盘待机,组内并行用以提供性能保证.在S-RAID5磁盘阵列中运行磁盘调度算法,辅以合适的Cache策略来过滤少量的随机访问,S-RAID5可获得显著的节能效果.在32路D1标准的视频监控模拟实验中,在满足性能需求、单盘容错的条件下,24小时功耗测量实验表明:S-RAID5的功耗为节能磁盘阵列Hibernator功耗的59％,eRAID功耗的23％,PARAID、GRAID功耗的21％左右.     

S-RAID中基于连续数据特征的写优化策略

节能型磁盘阵列S-RAID通过对磁盘分组,关闭部分磁盘,降低存储系统部分性能来实现节能.为避免启动已关闭磁盘而产生额外能耗,S-RAID中的写操作全部采用"读-改-写"方式,影响了S-RAID的写性能.本研究提出一种S-RAID的优化结构:LS-RAID,在不提高存储系统能耗的条件下,优化S-RAID的写性能.LS-RAID适用于以连续访问为主的应用,通过磁盘分区,分离存储系统中的随机访问和顺序访问,降低了随机访问对存储系统性能的影响;提出一种数据增量校验算法,避免了写过程中对数据盘旧数据的读操作,降低了因"读-改-写"导致的写惩罚.实验表明,与S-RAID相比,在不增加系统能耗的情况下,LS-RAID的写速率可以提升至少56%.在提供相同写性能的条件下,LS-RAID可以关闭更多磁盘,进一步降低了存储系统能耗,提升了节能效果.     

Ripple-RAID:一种面向连续数据存储的高效能盘阵

视频监控、备份、归档等应用具有独特的负载特性和I/O访问模式,需研究特定的存储节能方法.磁盘阵列的局部并行策略有利于实现该类存储系统的节能,但通常会导致RAID执行小写操作而严重影响性能.为此,提出一种面向该类存储系统的高效能盘阵——Ripple-RAID,采用新的局部并行数据布局,通过综合运用地址转换、异地更新、基于流水技术渐进生成校验、分段数据恢复等策略,在单盘容错条件下,保持了局部并行的节能性,又有效解决了局部并行带来的小写问题.Ripple-RAID具有突出的性能和节能效率,在80%顺序写负载情况下,请求长度为512KB时,写性能为S-RAID 5的3.9倍,Hibernator、MAID写性能的1.9倍,PARAID、eRAID 5写性能的0.49倍;而比S-RAID 5节能20%,比Hibernator、MAID节能33%,比eRAID 5节能70%,比PARAID节能72%.     

连续数据存储中面向RAID5的写操作优化设计

针对连续数据存储应用,如视频监控、连续数据保护(CDP)、虚拟磁带库(VTL)等,提出一种面向RAID5的写操作优化方法：首先进行基于区间映射(area mapping)的地址转换(AT),把非连续的I/O请求虚拟地址转换为连续的物理地址,以实现对磁盘阵列的连续写;然后,在缓冲区内保存应用程序发出的写数据块,并构造一个与RAID5的完整条带长度相等的对齐数据块,对齐数据块在RAID5上恰好占满整个条带,再发送给RAID5,以实现对RAID5的完全写.这样写入的数据块恰好占满RAID5的整个条带,不仅避免了因生成校验数据而产生重构写、读改写等额外I/O开销,而且数据块的连续写入有效降低了磁头的寻道时间,提高了RAID5的吞吐能力.实验表明,该写优化方法在有限降低RAID5读性能的同时,可大幅提高RAID5的写性能,在80%连续的负载下,使RAID5的数据传输率接近其最大值.在连续数据存储中该方法同样适用于RAID4和RAID6.     

图书馆数据存储方案的比较

介绍了目前图书馆数据存储技术中三种主要的解决方案DAS、NAS和SAN的主要特点,比较了它们的优缺点,并讨论了它们的适用环境.     

一种新型存储体系结构—SAN

SAN（Storage Area Network/存储区域网）是一种新型存储体系结构。本文介绍了SAN的发展,SAN的基本模型,支持SAN的主要技术－光纤通道,以及这种体系结构的几种优点以及今后的发展前景。     

子阵列数据布局方法在网络存储中的应用

RAID的高性能源于无差异磁盘组的并行工作。但受网络等因素的影响,网络存储阵列系统中各个磁盘的性能是有差异的,这直接导致系统并行度的降低。现有的研究大都是通过改变RAID中数据单元和校验单元的布局方式来平衡磁盘间的差异。该文根据不同存储应用的特点,提出了子阵列数据布局方法来解决这一问题,显著提高了网络存储系统的性能。     

浅析监控数据的存储模式

随着监控的发展，监控数据的存储模式大致经历了从模拟监控的录像带式存储，基于数字硬盘录像机的分布式存储，到基于IP网络、存储设备的全数字化集中存储三代发展历程。简单分析了第一代和第二代监控数据存储模式的优缺点．并针对第三代全数字化集中存储模式进行了较为详细的分析和介绍。     

基于混合云的安全数据存储架构

云计算技术为数据存储与计算提供了一个非常有效的方法,当前研究工作的重点集中在云中的数据安全。基于混合云,提出一个安全数据存储架构,将数据存储过程划分为两部分。数据的机密性、完整性和可追踪性的相关操作在私有云中实现,公共云实现数据的存储与查询。该架构在保障云端数据安全存储的同时,降低企业在保证云数据安全存储方面的成本。     

分布存储并行机上的自动数据布局优化模型

在分布式并行机上,数据布局的质量极大的影响着应用程序的执行性能,以往的研究一般将自动数据布局优化问题近似分解为数据对准优化和数据分布优化两步来解决,且对两者的结合只研究了一维的情况,在相关研究工作的基础上,在多维情况下将数据对准优化和数据分布优化结合在一个模型当中,提出了一个数据对准优化与数据分布优化统一的多维静态数据布局模型,避免了采用启发式策略,从而更加精确地描述了自动数据布局优化问题,同时给     

ADL-RAID: Energy-Saving Data Layout for Dynamic Loads

With the rapid development of information technology and the explosive growth of data, the scale of storage equipment is growing rapidly. The high energy consumption storage devices have become a serious problem for data centers. For data storage, the model of sequential data access a storage system is commonly used. Aiming at the characteristics of a sequential data storage system, this paper, we propose a structure, named Adapted to Dynamic Load based on Redundant Array Independent Disks (ADL-RAID) which is an effective energy-saving data layout for dynamic loads based on the existing Semi-Redundant Array Independent Disks (S-RAID). ADL-RAID inherits the local parallel energy-saving strategy, uses an address mapping mechanism, and allocates storage space to satisfy the performance requirements for the user requested application. By sensing different loads, ADL-RAID allocates storage space for its dynamic loads with the appropriate parallelism. One or several data disks are used when the load is minimized, and all the data disks are used in parallel when the load is maximized. Experimental results show that, for 100% continuous write request, ADL-RAID saves 33.6% energy consumption than S-RAID5 and improves write performance than S-RAID5 by 34.3%. Thus, ADL-RAID has higher availability and is ideal for sequential data storage applications.     

基于存储结构重配置的分布式存储系统节能算法

作为云计算底层核心基础设施,分布式数据存储系统是各种云计算服务的基础,是云计算重要的组成部分.然而随着系统规模的不断扩大以及设计时对能耗因素的忽略使其暴露出高能耗问题.由于存在数据可用性要求,使其并不能简单采用已有节能技术解决能耗问题,保证数据可用性成为设计分布式存储系统节能算法的前提.对系统与数据的可用性进行了建模,并通过对存储结构与机制、节点状态与数据块可用性之间的关系的研究提出构造数据块可用性度量矩阵解决数据可用性完全覆盖问题.定义了分布式存储系统的节能模型,将RACK划分为Active-Zone与Sleep-Zone两个存储区域,根据不同数据的访问频率与规律计算活动因子以配置数据的存储区域,通过数据中心负载规律适时对Sleep-Zone区域中的服务器进行休眠处理以达到节能的目的.实验结果表明:算法在适应数据访问规律与可用性保证前提下,能够提高分布式存储系统的能耗利用率,并且当系统负载与数据平均活动因子越低时算法节能效率越高.     

异构磁盘阵列DSUraid5数据分布方法

通过分析以往的异构磁盘阵列数据算法，提出了DSUraid5数据分布方法。根据磁盘性能参数，给磁盘设定不同的条带单元，提出虚拟同构磁阵的概念，解决校验块的计算及分布问题。通过结合动态条带单元和左对称校验单元布局方法，使磁阵中各磁盘达到负载均衡或基本均衡。模拟实验结果表明，与raid5相比，DSUraid5数据分布方法的性能可提升40％，适应于不同场合。     

一种大规模传感器网络节能数据发布协议

无线传感器网络的主要功能是实现数据发布,在接收到信息查询时能够以有效的方式传输给查询者.目前的数据发布方式通常基于洪泛机制查询信息,浪费了有限的能源.虽然一些最近的数据发布协议从不同程度上解决了这一问题,但不能保证查询成功率.基于圆形节点分布网络模型提出了一种既能减少能源消耗,又能提高成功率的数据发布模式--直径-弦模式DCS(diameter-chord scheme).该模式利用了每个圆的弦都存在一个直径与之垂直相交的性质.在此基础上提出了Two-Phase协议.它在信息查询时分成两个工作方式不同的阶段进行,在第1段查询不中时触发第2段查找.为了减少Two-Phase的延迟,提出了基于优先级和概率转发两种解决方法.理论分析和实验结果都表明,所提出的数据发布协议具有较好的性能.     

面向顺序存储结构的数据流分析

C程序中数组、malloc动态分配后的连续内存等顺序存储结构被大量使用,但大多数传统的数据流分析方法未能充分描述其结构及其上的操作,特别是在利用指针访问顺序存储结构时,传统的分析方法只关注了指针的指向关系,而未讨论指针可能发生偏移的数值信息,且未考虑发生偏移时可能存在越界的不安全问题,导致了对顺序存储结构分析不精确.针对以上不足,首先对顺序存储结构进行抽象建模,并对顺序存储结构与指针结合使用时的指向关系与偏移量进行有效表示,建立了用于顺序存储结构的抽象内存模型SeqMM;其次,归纳总结C程序中顺序存储结构涉及的指针相关迁移操作、谓词操作及遍历顺序存储结构的循环操作,提出了安全范围判别保证操作安全性;之后,针对函数调用时形参指针引用顺序存储结构与实参的映射过程进行过程间推导规则设计;最后,基于上述分析,提出了一种内存泄漏缺陷检测算法,对5个开源C工程的内存泄漏缺陷进行检测.实验结果表明,所提出的Seq MM能够有效地刻画C程序中的顺序存储结构及其涉及的各种操作,其数据流分析结果能够用于内存泄漏的检测工作,同时在效率和精度之间取得合理的权衡.     

异构磁盘阵列RAID5结构数据布局研究

由于应用需求的快速发展以及网络存储系统的出现,因此异构磁盘阵列的变得越来越常见。RAID5由于较高的性能和可靠性以及较低的代价,是应用最为广泛的RAID结构。目前对异构磁盘阵列RAID5结构的研究,重点主要放在充分利磁盘存储空间以及对性能的定性研究。论文提出了一种异构磁盘阵列RAID5结构数据布局优化方法,该方法充分考虑异构磁盘的相对容量和性能,以及校验单元的散布对RAID5小数据写性能的影响,可以生成负载均匀分布或接近均匀分布的布局。仿真实验结果表明,对于多用户小数据访问模式,优化布局的性能明显优于简单RAID5布局,且具有更高的伸缩性。     

无线传感器网络中一种能量有效的数据存储方法

如何有效地对传感器在过去历史时间段内采集的大量感知数据进行存储,以备将来的信息查询和数据分析已经成为无线传感器网络应用面临的一个难题.介绍了一种基于树型路由的分布式数据存储方法,通过采用动态规划方法选择存储节点,使存储节点能量均衡和所有节点能耗之和最小,从而达到整个无线传感器网络能量有效.仿真实验结果表明,这种数据存储方法能够获得较好的能量均衡和总能耗较小,从而有效地延长整个无线传感器网络的生命周期.     

云存储系统节能研究综述

云存储系统作为云计算的重要组成部分,是各种云计算服务的基础。但随云存储系统规模的不断扩大和在设计时对能耗因素的忽略,使其日益暴露出高能耗、低效率的问题。因为云存储系统占整个云计算中心能耗的27%～40%,所以无论从降低服务提供商的运营成本,还是从降低能耗以保护环境的角度出发,研究云存储系统中的节能技术都具有很大的现实意义与应用前景。将存储系统中的能耗优化问题分为基于硬件的节能方法与基于调度的节能方法两大类进行讨论;并将基于调度的节能方法分为基于节点调度、基于数据调度和基于缓存预取技术3类进行综合比较;最后,对适应节能的云存储体系结构、节能模式下的QoS保证、节能模式与计算模式的匹配以及纠删码容错技术下的节能研究4个方向进行了展望。