P2P存储系统中基于用户体验的可用性模型与应用

保证数据的可用性是Peer-to-Peer(P2P)存储系统最重要的属性之一.可用性分析模型和数据的放置是P2P存储系统设计的两个关键问题.由于用户在P2P存储系统中同时作为服务节点和访问节点,决定了可用性分析必须以用户为中心,从而提高服务质量,并降低系统开销.目前广泛使用的可用性分析模型以及随机放置方法存在以下缺点:1.忽视了节点在线时间的模式,会在不同时间段高估或低估节点的可用性;2.忽视了节点对数据的访问规律,不能准确评估用户体验到的可用性;3.忽视了节点可用性差异,缺乏激励机制.本文提出了一个新的基于用户体验的可用性模型,它能够从用户体验的角度,评价P2P存储系统的可用性,同时它也可以兼容传统的可用性分析模型.在新模型的基础上,本文针对两种典型的P2P存储应用:数据共享和个人备份,提出了相应的分布式数据分发算法.通过真实日志驱动实验证明,新的算法在数据共享应用中能大大降低可用性方差,减少低可用性数据;同时,在个人备份应用中能针对不同用户的贡献提供不同层次的服务,起到有效的激励作用.     

面向读密集型应用的事务内存云研究

对于读密集型的云计算应用,现有系统很难同时满足它们对性能、一致性与可用性的需求。因此提出了一种基于事务内存和云存储技术的编程与存储模型TMC,能为云应用提供可配置的事务特性与数据存储服务。TMC包括事务与存储两个组件,事务组件允许所有只读事务无需远程验证即可顺利提交,其他事务则采用2PC算法提交;存储组件负责实现系统的可扩展性与可用性。仿真实验结果表明,TMC具有较高的性能与可用性。系统若经进一步改进和优化,将具有应用于实际生产环境中的潜力,可为用户提供高质量的云计算服务。     

消除重复数据的加密云存储系统

0引言云计算[1]是近几年最热门的互联网技术,同时也是发展最为迅速的互联网服务模式。随着云计算重心的迁移以及大数据的兴起,存储即服务(Storage-as-a-Service,SaaS)作为云计算的支撑技术迅速发展,同时单独的云存储服务(cloud storage)在商业上也得到广泛的应用,比如DropB ox、Google Drive等。云存储服务的推广,业界很快发现围绕个人数据的可用性和安全性是云存储服务推广的最大障碍。用户对于云存储服务提供     

一种面向数据可用性和存储可靠性动态要求的自适应纠删码存储策略设计

为了满足指数级增长的大数据存储需求,现代的分布式存储系统需要提供大容量的存储空间以及快速的存储服务.因此在主流的分布式存储系统中,均应用了纠删码技术以节约数据中心的磁盘成本,保证数据的可靠性,并且满足应用程序和客户端的快速存储需求.在实际应用中数据往往重要程度并不相同,对数据可用性要求不一,且不同磁盘的故障率和可靠性动态不一的特点,对于传统RAID存储方式包括基于纠删码的存储系统提出了新的挑战.本文提出了一种面向数据可用性和磁盘可靠性动态要求的灵活自适应纠删码存储设计On-demand ARECS(On-demand Availability and Reliability Oriented Adaptive Erasure Coded Storage System),根据存储后端数据可用性和磁盘可靠性的多个维度进行设计,综合确定纠删码编码策略和存储节点选择,从而减少存储冗余度和存储延迟,同时提高数据可用性和存储可靠性.我们在Tahoe-LAFS开源分布式文件系统中进行了实验,实验结果验证了我们的理论分析,在保证具有多样性要求的数据可用性和磁盘可靠性的前提下,明显减少了数据冗余度和存储延迟.     

ACTIFIO复制数据管理,简化而不简单

2010年,一家名为Actifio的虚拟化数据管理公司在美国的Waltham市成立。截至2012年3月,该公司的融资总额已超过1亿美元,有关专家预估这家公司的市值已达到5亿美元,并已积极实施股权发行计划。作为一家"保护性和可用性存储平台"公司,Actifio的主要使命是为大中小型企业、托管服务以及云服务提供商提供数据管理解决方案。因此,复数数据存储平台也理所当然地成为了Actifio公司的核心产品。Actifio公司的复制数据存储平台允许客户使用虚拟化技术储存与管理数据,也就是可     

基于存储结构重配置的分布式存储系统节能算法

作为云计算底层核心基础设施,分布式数据存储系统是各种云计算服务的基础,是云计算重要的组成部分.然而随着系统规模的不断扩大以及设计时对能耗因素的忽略使其暴露出高能耗问题.由于存在数据可用性要求,使其并不能简单采用已有节能技术解决能耗问题,保证数据可用性成为设计分布式存储系统节能算法的前提.对系统与数据的可用性进行了建模,并通过对存储结构与机制、节点状态与数据块可用性之间的关系的研究提出构造数据块可用性度量矩阵解决数据可用性完全覆盖问题.定义了分布式存储系统的节能模型,将RACK划分为Active-Zone与Sleep-Zone两个存储区域,根据不同数据的访问频率与规律计算活动因子以配置数据的存储区域,通过数据中心负载规律适时对Sleep-Zone区域中的服务器进行休眠处理以达到节能的目的.实验结果表明:算法在适应数据访问规律与可用性保证前提下,能够提高分布式存储系统的能耗利用率,并且当系统负载与数据平均活动因子越低时算法节能效率越高.     

蓝鲸高可用服务部署系统的研究与设计

基于网络存储的特点造成蓝鲸服务部署系统的可用性从根本上依赖于存储服务系统的可用性。该文设计了为客户机提供高可用服务、针对各部件采用不同冗余机制的蓝鲸高可用服务部署系统。对高可用系统的可用性进行了评估。结果表明,与原服务部署系统相比,该系统拥有更高的可用性等级。     

云计算虚拟化数据发展助力物流行业

在云世界,数据存储就是基石,如果数据存储的可用性或者灵活性不够的话,其他所有一切都可能出现问题,存储必须能够确保其他工作的顺利进行。大约在三年前,配置托管服务供应商决定完全拥抱云计算,阿玛尼手表为客户提供全新的云服务产品。当迁移到新服务时,该公司希望使用其原有的硬件基础设施(主要是戴尔和EMC存储服务器),再通过购买新硬件来进行升级。但不希望被束缚于任何一个供应商,以防应用程序需求或者市场变化。对于云计算而言,应着重从高端服务器、高密度低成本服务器、海量存储设备和高性能计算设备等基础设施领域提高云计算数据中心     

基于MooseFS的纠错码存储方法设计和实现

在云存储技术中,云存储系统的数据容错十分重要,直接关系到整个系统的可用性。当前多数分布式存储系统通过多副本来保证数据的可用性,然而,多副本存储方式也使得数据存储空间翻倍增加,为了降低存储空间,提高数据可用性,有些分布式存储系统开始采用纠错码技术来提高数据可用性和降低数据存储空间占用。通过对MooseFS分布式文件系统进行分析,提出了一种基于MooseFS的纠错码实现方法。通过数据存储效率测试,该方法能够保证常用的“热数据”按照多副本存储,不常用的“冷数据”按照纠错码方式存储,在保证可靠性的同时极大地降低了多副本方式空间占用量。     

面向云存储的非结构化数据存取

非结构化数据呈爆炸态势增长,现有存储技术在I/O吞吐能力、可扩展性及易管理性等方面亟待改进。存储系统以云存储和可靠性理论为基础,建立了非结构化数据的分布式存储模型,并设计了可靠度函数。采用分布式关系数据库管理系统(RDBMS)作为存储底层,将非结构化数据直接存储于数据表中,实现了非结构化数据和元数据的分离式存储和统一管理,进而提升了存储系统性能。相对于集中式存储,新系统具有较高的可用性。仿真结果显示,存储系统可靠度高且易于扩展。该分布式存储系统可应用于动态开放计算环境,提供效能较高的云存储服务。     

气象数据完整性评估及可视化应用

省级气象数据存储环境虽然有效解决数据标准存储、共享服务的难点问题,但是存在数据完整性不足、可用性不高等影响数据质量的问题,造成气象行业用户的数据服务应用效果较差。针对数据质量中数据完整性这一评估指标,采用宁夏气象综合数据库作为研究数据集,结合数据完整性精确评估方法和大数据可视化技术对评估结果进行仿真,并在宁夏综合气象数据库管理系统中进行应用,为后续完善省级气象数据环境建设提供借鉴。     

Z’ code: 一种新的云数据精确修复方法*

由于云存储中用户对数据失去了控制,所以云存储存在低可用性和隐私泄露等严重的安全问题。为提高数据可用性,根据已有的冗余技术--Z code,提出Z’ code,一个新的云数据精确修复方案。首先对数据进行隐藏与编码,再将编码数据在多个云上进行分布存储。通过实验和分析,Z’ code修复一块隐藏数据块所花费的时间与Z code相差无几,而修复一块冗余块的时间比它们修复数据块的时间都要少。一方面,它能够保证数据隐私;另一方面,它能精确修复任意两个丢失数据块,进一步提高了数据可用性。     

一种基于重复数据删除技术的云中云存储系统

随着云存储技术的快速发展和应用,越来越多的企业和用户都开始将数据从本地转移到云存储服务提供商进行存储.但是,在享受云存储高质量服务的同时,将数据仅仅存储于单个云存储服务商中会带来一定的风险,例如云存储服务提供商的垄断、数据可用性和安全性等问题.为了解决这个问题,提出了一种基于重复数据删除技术的云中云存储系统架构,首先消除云存储系统中的冗余数据量,然后基于重复数据删除集中的数据块引用率将数据块以复制和纠删码2种数据布局方式存储在多个云存储服务提供商中.基于复制的数据布局方式易于实现部署,但是存储开销大;基于纠删码的数据布局方式存储开销小,但是需要编码和解码,计算开销大.为了充分挖掘复制和纠删码数据布局的优点并结合重复数据删除技术中数据引用的特点,新方法用复制方式存储高引用数据块,用纠删码方式存储其他数据块,从而使系统整体性能和成本达到较优.通过原型系统的实现和测试验证了相比现有云中云存储策略,新方法在性能和成本上都有大幅度提高.     

时空大数据资源集成框架设计与应用

随着地理空间信息技术的快速发展,产生了大量形式各异的时空数据资源与服务应用。针对资源共享存在的服务互操作、消息传输、数据同步和数据传输等技术瓶颈问题,提出一种时空大数据资源集成框架(STDRIF)。采用松耦合模块化的方式,形成一套从数据资源集成到服务调用的完整技术体制,可以有效整合各类时空数据资源。以J2EE架构应用为例,验证了STDRIF的可用性并进行性能分析。实验结果表明,STDRIF具有较高的性能和良好的用户体验。     

基于HBase的多维索引查询机制的优化

键值存储旨在从非常大的数据量中提取值,同时具有高可用性、容错性和可伸缩性,因此提供了非常需要的基础设施来支持基于位置的服务（LBS）。然而,多维数据上的复杂查询不能有效地处理,因为键值存储不提供访问多个属性的方法。针对键值存储HBase不能有效处理多维数据的问题,提出了一个统一的索引框架——New-grid,使键值存储HBase支持多维查询。在改进的P-grid覆盖网络中,组织了一组节点,提供了高效的数据分布、容错和多维数据的查询处理。为了进行索引,使用基于Hilbert空间填充曲线来保存数据的局部性,从而有效地管理键值存储中的多维数据。同时使用HBase底层存储管理数据,并提出了一种范围查询和K最近邻查询的算法,以消除维护单独索引表的开销。在Amazon EC2上使用4、8和16个普通节点的集群进行了广泛的实验。实验结果表明,New-grid的性能相比MD-Hbase以及MapReduce更优。     

基于数据仓库环境下的数据可用性研究

随着数据仓库技术的广泛应用,如何存储数据并保证数据长期可用性已成为近年来的研究重点。文中阐述了在数据仓库环境下存在的数据长期可用性问题,并分析了已有解决方案的优劣,从而给出了一种较为完善的解决方案———模拟策略的核心思想和具体实现过程,以及相关的关键技术,指出了保障数据可用性的未来研究方向。该策略通过模拟历史的硬件平台环境,较好地解决了数据仓库中大量历史数据的长期可用性问题。     

基于Hadoop的电力运维审计系统的设计

国家电网公司信息化程度越来越高，单机运维审计系统产生的数据量日益增多，对海量数据高效率存储分析性能严重下降，系统稳定性降低。为满足国家电网当前对运维审计系统数据存储分析以及系统稳定性的需求，在Hadoop开源架构的基础上，本文提出基于Hadoop集群的海量数据分布式存储方法和基于Heartbeat的心跳检测技术，实现基于Hadoop的电力运维审计系统。〖JP2〗实验测试结果表明，基于Hadoop的电力运维审计系统相比单机系统可用性提高了8.42%，大大提升了存储分析海量数据的性能，具有系统工作稳定和服务不间断等优势。     

基于数据仓库环境下的数据可用性研究

随着数据仓库技术的广泛应用，如何存储数据并保证数据长期可用性已成为近年来的研究重点。文中阐述了在数据仓库环境下存在的数据长期可用性问题，并分析了已有解决方案的优劣，从而给出了一种较为完善的解决方案——模拟策略的核心思想和具体实现过程，以及相关的关键技术，指出了保障数据可用性的未来研究方向。该策略通过模拟历史的硬件平台环境，较好地解决了数据仓库中大量历史数据的长期可用性问题。     

校园网络立体化数据存储方案的研究与设计

本文针对校园网络数据存储方式单一、成本高、实用性不高的问题,设计了一个实用、可操作性的立体化数据存储方案。该方案发挥raid、虚拟存储和数据容灾三种存储技术各自的优势,将这三种存储技术有机的融合,构建了三个存储层,物理存储层、虚拟存储层、数据容灾备份层,每个层又采取两种不同的存储方式,在实用、低廉的基础上实现数据的安全冗余和立体化备份,从而确保校园应用数据的安全性和可用性。     

基于数据容灾系统的服务漂移实现

传统的数据容灾技术只能提供数据的实时备份与恢复,无法保证服务的连续性.服务容灾技术可以在服务级别上保证业务连续性和数据一致性,但系统设计往往过于复杂.一种基于传统数据容灾系统的服务漂移方案可以有效地解决该问题.该方案在客户服务器出现故障后,使用另一台拥有相同服务配置的镜像服务器,通过iSCSI协议和存储服务器上的逻辑卷镜像建立链接,并基于此虚拟逻辑卷继续提供服务.待客户服务器故障修复后,再切换回本服务器提供服务.这种方案可以使传统的数据容灾系统实现服务级容灾,进一步提高企业关键业务的容灾能力.