基于存储熵的存储负载均衡算法

在分布式存储系统中,一般都是以磁盘空间利用率（DU）来判断各存储节点的负载均衡程度,当所有节点的磁盘空间利用率相等时,是整个分布式存储系统的存储负载均衡点。但是在实际的应用场景中,磁盘I/O速率比较低的存储节点和可靠性比较低的存储节点往往成为影响整个存储系统数据读写性能的瓶颈,因此在异构分布式存储系统中,特别是各存储节点磁盘I/O速率和可靠性差异较大的分布式存储系统中,如果仅仅以磁盘空间利用率作为存储负载均衡的判定条件,则其数据的读写效率必然受到限制。从读写效率的角度提出一种度量分布式存储系统中存储负载均衡的新思路。根据负载均衡理论和熵理论给出存储熵（SE）的定义,并提出一种基于存储熵的负载均衡算法,该算法通过系统负载判定、单节点负载判定和负载迁移实现了对分布式存储系统存储负载的量化调整,并通过实验与基于磁盘空间利用率的负载均衡算法进行了对比分析,验证了该算法对分布式存储系统中存储负载具有良好的均衡性,有效地控制了系统负载失衡的问题,提高了分布式存储系统的整体读写效率。     

一种基于Windows操作系统的存储虚拟化在线扩展技术

云计算、大数据等传统应用系统中的存储系统往往以虚拟化的形式运行在开源的Linux平台上,随着存储虚拟化技术不断成熟并向多元化发展,用户同样需要基于Windows平台的存储虚拟化服务。针对这些需求,提出一种基于Windows操作系统平台提供存储虚拟化服务的软件,可实现在Windows操作系统中创建虚拟的本地磁盘供用户使用,磁盘中的数据以条带化的形式平均分布在底层各个物理磁盘上。该软件基于海量存储网络系统TH-MSNS,在存储区域网SAN环境中为用户提供虚拟磁盘服务并支持在线容量扩展。通过测试后证明,条带卷在进行在线扩展时可以保证前台应用不中断,并且能够快速准确地完成大规模的数据迁移。当用户需要扩充虚拟磁盘的容量时,使用此项技术既可保证虚拟磁盘的可靠性又可提高扩容之后的读写性能。     

面向数据中心的安全网络存储系统设计

针对各类数据中心存储系统建设需求,开展了存储系统设计需求分析,重点针对存储系统可靠性、安全性需求,进行了安全网络存储系统备份恢复机制、安全保密机制设计,针对数据中心大数据存储加密处理需求,开展了存储加密运算高性能和可靠性设计研究,提出了灵活可配置的存储加密策略,可适配具有不同加密性能或可靠性需求的应用场景,能够适配各类数据中心存储区域网络建设安全保密需求.     

大容量数据采集存储系统设计与实现

为解决现有数字示波器和数据存储记录仪对复杂系统覆盖性和可靠性测试不适用问题,设计了基于PCIe总线架构的大容量数据采集存储系统,保证多路高速测量时完整保留测试数据便于后续分析和回顾。给出了基于主控单元片上系统的硬件框架和PCIe总线存储架构设计,多种数据存储方式满足不同数据量的需求。设计了系统通信协议,HPS与FPGA之间的控制指令和交互方式。对数据存储流程中HPS获取采样数据过程,HPS将采样数据写入磁盘过程,以及数据写入磁盘的数据格式进行了设计。测试结果表明,系统硬件、软件设计方案可行,运行稳定,在相同采样速率和分辨率下能存储记录数据量远优于现有数字示波器和数据存储记录仪,目前已投入多款产品的研制和生产过程,取得良好测试效果。     

大规模并行文件系统中的数据可靠性机制

把分布式的备份思想应用到大规模并行文件系统中,在使用冗余机制构建数据的系统中提供快速恢复机制。并使用马尔可夫模型建立了一个平均直到数据丢失时间的分布模型,指导如何在数据可靠性需求和冗余数据开销之间进行平衡。根据可靠性模型分析,在快速恢复机制下,使用m-n机制,只要n≥m＋2,并且恢复数据所需的计算时间与磁盘I／O时间相比可以忽略不计,就可以满足大规模存储系统对町靠性的需求。     

基于Fstor的校园云存储方案

针对传统校园存储中能耗高、计算能力及存储效率低下、数据的存储安全性、可靠性及稳定性较低的现状,提出基于Fstor的校园云存储解决方案,采用云计算结构,实现对分布式数据存储功能的自主定制和管理,应用部署快速简单,实现专业服务集成化应用平台与编程接口(API)的完美对接,最终达到校园云存储系统的安全可靠及高效运行。     

面向云存储的非结构化数据存取

非结构化数据呈爆炸态势增长,现有存储技术在I/O吞吐能力、可扩展性及易管理性等方面亟待改进。存储系统以云存储和可靠性理论为基础,建立了非结构化数据的分布式存储模型,并设计了可靠度函数。采用分布式关系数据库管理系统(RDBMS)作为存储底层,将非结构化数据直接存储于数据表中,实现了非结构化数据和元数据的分离式存储和统一管理,进而提升了存储系统性能。相对于集中式存储,新系统具有较高的可用性。仿真结果显示,存储系统可靠度高且易于扩展。该分布式存储系统可应用于动态开放计算环境,提供效能较高的云存储服务。     

SAS通道技术

在校园数字化的建设过程中,数据资料快速膨胀。为了满足数据存储的需求,更多的学校开始把注意力转向大型的存储系统。顾名思义,存储系统需要有大量的硬盘装载能力,承担海量数据存储的要求,而存储系统的架构设计则直接影响到系统的性能、最大磁盘数等核心指标。本文重点介绍了SAS（Serial Attached SCSI串行SCSI）通道技术的技术细节,如技术架构、各类端口命名和含义、宽端口技术等,并且和原有的存储系统通道技术,如FC协议,进行了比较。并且认为,SAS作为磁盘通道技术,在接口带宽、工作性能、可扩展性、组网应用、可靠性等方面,有着突出的优势,尤其适合应用于企业级系统。     

工业实时数据库过程数据存储的研究与应用

过程数据是一种丰富的信息资源,过程数据存储的主要目的是为了满足某些应用软件（如趋势图软件）对实时数据的需求以及用户对历史数据的查询。在福大自动化公司开发的实时数据库软件基础上,主要介绍以内存数据库和磁盘历史数据库来存储实时历史数据,重点研究过程数据的存储设计和存储结构。最后,由工程实例给出了存储系统的功能应用。     

一种面向连续数据保护的分布式存储模型研究

一个典型的连续数据保护(CDP,Continuous Data Protection)系统必须具有一个高效的存储系统来支撑.本文提出了一种分布式的存储模型,在此基础之上设计了一个面向CDP应用的分布式存储系统.同传统CDP系统相比,本文提出了分布式存储应用于CDP应用,将文件级和块级的数据存储都归纳到一个存储系统中;通过引入了元数据和数据分离的思想,并且把数据分级存储.根据原型系统的理论论证以及测试,结果表明,论文所提存储模型很好的解决了CDP服务器低效率,高负荷的问题,并且具有低成本的优势.     

纠删码存储系统数据更新方法研究综述

在分布式存储系统中,节点故障已成为一种常态,为了保证数据的高可用性,系统通常采用数据冗余的方式.目前主要有2种冗余机制：一种是多副本,另一种是纠删码.伴随着数据量的与日俱增,多副本机制带来的效益越来越低,人们逐渐将目光转向存储效率更高的纠删码.但是纠删码本身的复杂规则导致使用纠删码的分布式存储系统的读、写、更新操作的开销相比于多副本较大.所以纠删码通常被用于冷数据或者温数据的存储,热数据这种需要频繁访问更新的场景仍然用多副本机制存储.专注于纠删码存储系统内的数据更新,从硬盘I/O、网络传输、系统优化3方面综述了目前纠删码更新相关的优化工作,对目前具有代表性的编码方案的更新性能做了对比分析,最后展望了未来研究趋势.通过分析发现目前的纠删码更新方案仍然无法获得和多副本相近的更新性能.如何在纠删码更新规则和系统架构角度优化纠删码存储系统,使其能够替换掉热数据场景下的多副本机制,降低热数据存储开销仍是未来值得深入研究的问题.     

纠删码存储系统单磁盘错误重构优化方法综述

随着云存储的迅猛发展与大数据时代的来临,越来越多的存储系统开始采用纠删码技术,以保障数据的可靠性.在基于纠删码的存储系统中,一旦有磁盘出错,系统需根据其他磁盘里存储的冗余信息,重构所有失效数据.由于当前存储系统中绝大部分磁盘错误都是单磁盘错误,因此,如何快速地在单磁盘错误的情况下重构失效数据,已成为存储系统的研究热点.首先介绍了存储系统中基于纠删码的单磁盘错误重构优化方法的研究背景与研究意义,给出了纠删码的基本概念与定义,并分析了单磁盘错误重构优化的基本原理;接着归纳了现有的一些主流单磁盘错误重构方法的构造算法及其优缺点与适用范围,并分类介绍了一些用于优化单磁盘错误重构效率的新型纠删码技术;最后指出了存储系统中基于纠删码的磁盘错误重构方法的进一步研究方向.     

存储系统中的纠删码研究综述

随着海量存储系统的发展和在复杂环境中的应用,存储系统的可靠性受到了严重的挑战.纠删码作为存储系统容错的主要方法越来越受到重视.首先介绍了当前典型和常见的纠删码技术的发展现状,从评价纠删码性能的各项重要指标的角度详细地对比和分析了现有的纠删码技术,给出了不同纠删码在容错能力与磁盘要求、空间利用率、编码效率、更新效率、重构效率等方面的不足和可能的改进见解,并讨论了磁盘阵列系统、P2P存储系统、分布式存储系统、归档存储系统等不同存储系统对于纠删码各类性能的差别要求,并进一步指明了当前存储系统纠删码研究中尚未解决的一些难题和未来纠删码可能的发展方向.通过分析得出,目前不同纠删码在容错能力、计算效率、存储利用率等方面都存在不同程度的缺陷,如何平衡这些影响纠删码性能的因素,设计出更高容错能力、更高计算效率及更高存储利用率的纠删码,仍是未来很长一段时间内值得不断深入研究的问题.     

减少重建数据量的冗余编码技术研究

为防止硬件故障或机器宕机导致的数据丢失,冗余编码技术被广泛应用于分布式存储系统中来保证数据的可靠性。然而,传统的冗余编码技术,如里德-所罗门码,存在着重建数据量大的问题。副本技术在重建丢失数据时只需要读取和传输丢失的数据,而冗余编码需要读取和传输更大的数据量,从而消耗更多的磁盘I/O带宽和网络带宽。因此,基于冗余编码的分布式存储系统在重建数据时将消耗更长的时间,从而将整个系统长时间暴露在一种降级的模式下,进而增加了发生永久性数据丢失的风险。为解决这个问题,减少重建数据量的冗余编码技术不断被提出,然而只有这些冗余编码与传统的里德-所罗门码的比较,缺少它们在存储系统的综合比较。系统地从减少重建数据量等几个重要方面研究了这些减少重建数据量的冗余编码技术,从而为实际系统中采用合适的编码提供重要参考和依据。     

分布式存储系统中的预测式纠删码研究

纠删码消耗的存储空间较少,获得的数据可靠性较高,因此被分布式存储系统广泛采用。但纠删码在修复数据时较高的修复成本限制了其应用。为了降低纠删码的修复成本,研究人员在分组码和再生码上进行了大量的研究。由于分组码和再生码属于被动容错方式,对于一些容易出现失效的节点,采用主动容错的方式能更好地降低修复成本,维护系统的可靠性,因此,提出了一种主动容错的预测式纠删(Proactive basic-Pyramid, PPyramid)码。PPyramid码利用硬盘故障预测方法来调整basic-Pyramid码中冗余块和数据块之间的关联,将预测出的即将出现故障的硬盘划分到同一小组,使得在修复数据时,所有的读取操作在小组内进行,从而减少读取数据块的个数,节省修复成本。在基于Ceph搭建的分布式存储系统中,在修复多个硬盘故障时,将PPyramid码与其他常用的纠删码进行对比。实验结果表明,相比basic-Pyramid码,PPyramid码能降低6.3%～34.9%的修复成本和减少7.6%～63.6%的修复时间,相比LRC码、pLRC码、SHEC码、DLRC码,能降低8.6%～52%的修复成本和减少10....     

一种云存储系统数据持久存储机制

针对云存储中的可靠性产生的担忧,提出一种云存储系统完善的数据存储保障机制,以保证系统的高可靠性和数据的高可用性。在处理与数据持久存储的相关的数据分片、数据分发、完整性检查以及冗余数据的维护中,引入基于纠删码的数据冗余机制,与传统的复制冗余方案相比,能够在获得相同的数据可用性时降低存储空间和网络带宽的开销多达50%以上。采用基于缓冲区的分段读入编码对纠删码算法进行优化后,提高了对文件分片与合并的平均编码速率。     

基于多级网络编码的多副本云数据存储

云数据存储的快速发展对数据的可用性提出了较高要求.目前,主要采用纠删码计算数据编码块进行分布式冗余数据存储来保证数据的可用性.虽然这种数据编码技术保证了存储数据的安全性并减少了额外的存储空间,但在损坏数据恢复时会产生较大的计算和通信开销提出一种基于多级网络编码的多副本生成和损坏数据恢复算法算法基于多级网络编码对纠删码的...     

云文件系统中纠删码技术的研究与实现

云文件系统凭借高性能、高扩展、高可用、易管理等特点,成为云存储和大数据的基础和核心。云文件系统一般采用完全副本技术来提升容错能力,提高数据资源的使用效率和系统性能。但完全副本的存储开销随着副本数目的增加呈线性增长,存储副本时造成额外的写带宽和数据管理开销。纠删码在没有增加过量的存储空间的基础上,通过合理的冗余编码来保证数据的高可靠性和可用性。研究了纠删码技术在云文件系统中的应用,从纠删码类型、编码对象、编码时机、数据更改、数据访问方式和数据访问性能等六个方面,对云文件系统中纠删码的设计进行了探究,以增强云文件系统的存储模型。在此基础上,设计并实现了纠删码原型系统,并通过实验证明了纠删码能有效地保障云文件系统的数据可用性,并且节省存储空间。     

分布式存储系统(OceanStore)的复制策略

OceanStore项目是因特网上基于P2P结构的分布存储应用,目标是向用户提供强持久性、高可用性、可扩展性和安全性的服务。它的整个复制策略分为两个大的方面：ErasureCoding和Replication。ErasureCoding主要是保证数据的持久性,Replication主要是保证用户的访问速度。一份数据同时用ErasureCoding和Replication实现。     

Coding-based replication schemes for distributed systems

Data is often replicated in distributed systems to improve availability and performance. This replication is expensive in terms of disk storage since the existing schemes generally require full files to be stored at each site. In this paper, we present schemes which significantly reduce the storage requirements in replication based systems. These schemes use the coding method suggested by Rabin to store replicated data. The first scheme that we present is a modification of the simple voting algorithm and its quorum requirements. We then show how some of the extensions of the voting algorithm can also be modified to get storage efficient schemes for managing such replication. We evaluate the availability offered by these schemes and show that the storage space required to achieve certain availability are significantly lower than the conventional schemes with full file replication. Since coding is used, these schemes also provide a high degree of data security