云存储系统节能研究综述

云存储系统作为云计算的重要组成部分,是各种云计算服务的基础。但随云存储系统规模的不断扩大和在设计时对能耗因素的忽略,使其日益暴露出高能耗、低效率的问题。因为云存储系统占整个云计算中心能耗的27%～40%,所以无论从降低服务提供商的运营成本,还是从降低能耗以保护环境的角度出发,研究云存储系统中的节能技术都具有很大的现实意义与应用前景。将存储系统中的能耗优化问题分为基于硬件的节能方法与基于调度的节能方法两大类进行讨论;并将基于调度的节能方法分为基于节点调度、基于数据调度和基于缓存预取技术3类进行综合比较;最后,对适应节能的云存储体系结构、节能模式下的QoS保证、节能模式与计算模式的匹配以及纠删码容错技术下的节能研究4个方向进行了展望。     

基于SSD的机群文件系统元数据存储系统

随着数据量的增加和元数据操作性能需求的提高,传统基于磁盘(HDD)存储架构的机群文件系统元数据存储系统由于HDD成为性能瓶颈而无法满足需求.将SSD应用到元数据存储中,设计实现了一个基于SSD+HDD的异构元数据存储系统Hybrid MDSL.针对SSD的I/O特性设计了基于追加写的元数据存储组织,并通过基于访问热度的数据迁移机制提高SSD空间利用率.测试结果表明,Hybrid MDSL明显提高了元数据I/O的性能.     

一种基于策略的云存储系统故障管理方法

为了解决云存储系统故障管理自动化的问题,基于策略管理的思想,提出了基于策略的云存储系统故障管理框架PSF-C,设计了基于XML的云存储系统故障处理策略形式化描述语言CFS-PDL,该语言简单、灵活、可扩展性强,能够适应云存储系统故障处理各类策略要素的形式化描述需求。针对云存储系统故障自动化管理的实现问题,给出了PSF-C的策略映射方法。PSF-C和CFS-PDL的提出为云存储系统故障自动化管理提供了思路,提高了可实现性。     

一种面向海量存储系统的高效元数据集群管理方案

高效的、去中心化的元数据管理方案对大型分布式存储系统的可靠性、可扩展性起至关重要的作用.针对基于Hash划分和基于子树划分的元数据管理方案扩展代价巨大、对集群变动敏感等问题,提出一种基于一致性Hash结构的元数据服务器(metadata server, MDS)集群化方案——CH-MMS(consistent Hash based metadata management schema).CH-MMS在一致性MDS集群上引入虚拟MDS(Virtual MDS),有效平衡MDS集群负载;将Standby机制与延迟更新策略融合并应用于MDS集群,实现MDS快速失效恢复以及集群变动时零数据迁移量.阐述了CH-MMS的体系结构,介绍了核心数据结构layout-table、虚拟MDS结构、延迟更新机制及相关算法,并对CH-MMS扩展性、容错性作了定性分析.最后通过原型系统和模拟实验说明,CH-MMS具有元数据平衡分布、快速失效恢复、灵活的扩展性以及零结点变动数据迁移量等特点,能满足数据量不断增加的大规模存储集群元数据灵活、高效管理的需求.     

集群多媒体存储系统的两级元数据管理

随着网络上多媒体数据的爆炸性增长,对海量可扩展的存储系统的需求也快速增长.CMSS(Cluster Multimedia Storage System)项目采用分布式存储系统结构:一种自治的高性能的基于PC的存储集群系统.CMSS采用两级的元数据服务器结构,通过分离存储数据的逻辑视图与物理视图,全局逻辑视图由专用的全局元数据服务器来管理,局部逻辑视图和物理视图由各个存储服务器上的本地元数据服务器来管理.在详细介绍了CMSS系统两级元数据管理方案的同时,进行了相应的试验测试和性能分析.     

海量存储系统元数据服务器的设计及性能优化

设计适用于GRASS海量存储系统的元数据服务器,分析并优化3个影响元数据性能的因素：元数据组织方式,通信性能和搜索效率,利用Bloom Filter算法进行名字空间搜索,在此基础上实现目标系统的文件名查询优化。实验结果证明,目标系统的元数据处理性能得到明显提升,基本满足大规模高能物理计算的需求。     

云存储系统管理节点故障自恢复算法

为了解决大规模云存储系统中管理节点发生故障导致存储服务不可用的问题,建立了管理节点故障影响分析模型,提出了一种基于消息的管理节点动态自我恢复算法FRA-M.该算法通过基于负载均衡的元数据备份更新控制方法完成多个管理节点之间相互协作、透明接管和故障自我恢复.测试结果表明,FRA-M算法能够使得管理节点发生故障时自动进行切换,并且能够合理地分配资源达到良好的负载均衡状态.通过控制TCP超时时限、故障检测周期以及故障检测超时,能够使得FRA-M算法的性能保持在相对稳定的区间,随失效时刻的适应性也比较强.当管理节点发生故障时,FRA-M能够较好地保证存储服务可用性、数据可用性和数据可靠性.     

一种基于云模型的不确定性数据的建模与分类方法

不确定性是数据的本质特征,它的产生可能来自于样本误差、更新延迟或重复测量等,对不确定性数据的分析在越来越多的领域得到了关注。传统的不确定性数据的数据项被表示成一个值域及其上的概率分布函数。由于不确定性数据存在模糊性与随机性,传统的概率分布函数难以准确定义不确定性数据的实际分布,因此利用云模型中云滴的分布提出一种不确定性数据的云建模过程,并通过云综合与云相似度计算来实现不确定性数据的分类。云模型能有效地将数据的随机性与模糊性融合在一起,能更真实地反映数据的实际分布,从而实现有效的数据分类。实验结果也证明了此种方法的有效性。     

一种基于对象存储系统的元数据缓存实现方法

对象存储系统中元数据访问速度是影响文件系统性能的关键因素之一。提出了一种在客户端实现元数据缓存的方法,并用元数据操作协议保证缓存一致性,基于Hash的LFU-DA算法提高缓存查找效率。实验表明该方法减少了系统平均服务响应时间,提高了系统的I／O性能。     

云存储系统的分析与应用研究

云存储系统是随着社会的发展应运而生的,在人们的生活中发挥着越来越重要的作用。本研究将向大家介绍云存储系统的一些基本概念,并针对其应用提更好的解决方案。     

监控视频云存储系统

非结构化数据呈爆炸态势增长, 传统存储技术在吞吐能力可扩展性及易管理性等方面急需改进, 通过分析安保视频数据存储的问题, 设计一种云计算架构下的安保视频监控存储系统, 基于框架技术搭建了对等架构的云计算环境, 并对其中的云存储策略进行了设计和建模. 实现在廉价不可信节点上存储海量私有化只读视频数据, 并提供高效可靠地访问. 仿真结果显示, 系统的存储性能可靠度高且易于扩展, 可提供效能较高的视频云存储服务.     

云数据管理系统能耗基准测试与分析

云数据管理系统是一种新兴的数据管理系统.为了研究云数据管理系统的能耗优化,实现"绿色计算",首先要定义能耗的度量模型和基准测试方法,分析系统的能耗特点.目前云数据管理系统的基准测试主要集中在性能方面,对能耗方面的评估和优化工作很少;对测量仪器、测试手段、测试用例以及能耗基本规律的研究存在空白.文中提出了一种能耗的度量模型和数学表达;定义了一组数据装载、查询和分析用例来测试云数据管理系统的能耗;设计了系统能耗的测量方法;分析了若干云数据管理系统在执行数据装载、读取、查询、聚集和连接等操作时的能耗特征,提出了通过降低"等待能耗"而进行云数据管理系统的能耗优化.大量实验数据证明,尽管云计算被认为是一种绿色计算,但文中测试的云数据管理系统在能耗方面差异较大,需要对部分系统进行进一步的优化.     

云存储系统的分析与应用研究

文章首先对云存储进行了介绍,然后着重介绍了云存储系统的结构模型及其实现的关键技术,最后分析了云存储系统的几种应用模式。     

基于云存储的医院PACS系统存储设计

目前,PACS系统已经日益成为各级医院实现信息化建设的重要组成部分,在网络应用越来越广泛的今天,异地多院区联接形成医院PACS系统对存储应用有更高的要求。文章从医院PACS系统存储的实例出发,探讨了基于云存储的PACS系统存储设计。     

云存储中的数据完整性证明研究及进展

随着云存储模式的出现,越来越多的用户选择将应用和数据移植到云中,但他们在本地可能并没有保存任何数据副本,无法确保存储在云中的数据是完整的.如何确保云存储环境下用户数据的完整性,成为近来学术界研究的一个热点.数据完整性证明(Provable Data Integrity,PDI)被认为是解决这一问题的重要手段,该文对此进行了综述.首先,给出了数据完整性证明机制的协议框架,分析了云存储环境下数据完整性证明所具备的特征;其次,对各种数据完整性证明机制加以分类,在此分类基础上,介绍了各种典型的数据完整性验证机制并进行了对比;最后,指出了云存储中数据完整性验证面临的挑战及发展趋势.     

云计算环境中绿色服务级目标的分析、量化、建模及评价

高能效性问题是开启绿云计算新纪元的主要障碍之一.特别是随着全球气候变化和对能量依赖程度的不断增加,绿色计算作为一种新的高端计算,受到了人们的广泛关注.为了实现云计算能耗的最小化,实现对绿色服务级目标的可量化和可管理,我们开展了关于云计算环境中绿色服务级目标的分析、量化、建模及评价的研究.在本文中,首先给出了绿云的定义.随后,通过借鉴服务级目标和绿色计算的相关理论,对实现绿色服务级目标的原理进行了系统的分析.之后,基于绿云的原理和方法,提出了一种多维能耗模型M2EC.理论和实验结果均表明M2EC模型在高能效方面具有明显优势,实现了云计算环境中能耗和服务级目标之间的均衡.     

Protecting Data Mobility in Cloud Networks Using Metadata Security

At present, health care applications, government services, and banking applications use big data with cloud storage to process and implement data. Data mobility in cloud environments uses protection protocols and algorithms to secure sensitive user data. Sometimes, data may have highly sensitive information, leading users to consider using big data and cloud processing regardless of whether they are secured are not. Threats to sensitive data in cloud systems produce high risks, and existing security methods do not provide enough security to sensitive user data in cloud and big data environments. At present, several security solutions support cloud systems. Some of them include Hadoop Distributed File System (HDFS) baseline Kerberos security, socket layer-based HDFS security, and hybrid security systems, which have time complexity in providing security interactions. Thus, mobile data security algorithms are necessary in cloud environments to avoid time risks in providing security. In our study, we propose a data mobility and security (DMoS) algorithm to provide security of data mobility in cloud environments. By analyzing metadata, data are classified as secured and open data based on their importance. Secured data are sensitive user data, whereas open data are open to the public. On the basis of data classification, secured data are applied to the DMoS algorithm to achieve high security in HDFS. The proposed approach is compared with the time complexity of three existing algorithms, and results are evaluated.     

基于可信云计算的非集中式元数据存储结构优化

在非集中式元数据的存储调用过程中,在硬件结构复杂、负载量大的情况下,参数设置优化步骤复杂,导致带宽达不到存储应用的期望,为此设计了一种基于可信云计算的非集中式元数据存储结构优化方法。设计非集中式元数据存储结构总体框架,计算最优元数据存储结构,通过能量检测对存储分区进行筛选,建立基于可信云计算的存储度量模型,设计可信度量存储报告机制,引入行列混合存储,设计内部结构分布图,实现结构优化。测试结果显示：在不同优化方法下,设计的优化方法所得到的存储结构下并行读写的写入带宽不会受到服务器数量变化的影响,高负载读写下的聚集带宽也较优。     

元数据和数据分离的安全云存储体系结构的设计

随着云计算的日益兴起,数据存储技术逐步由传统存储转移到了云存储技术。而云存储技术现在面临的主要挑战之一就是数据存储的安全性。为了解决云时代下数据存储的安全性问题,提出了一个元数据和数据分离的安全云存储系统,为用户提供了安全可靠的数据存储模式。首先介绍了现有的海量信息存储系统,然后简述了云存储的结构模型．最后提出了元数据和数据分离的安全云存储体系结构的结构设计。