存储系统中的纠删码研究综述

随着海量存储系统的发展和在复杂环境中的应用,存储系统的可靠性受到了严重的挑战.纠删码作为存储系统容错的主要方法越来越受到重视.首先介绍了当前典型和常见的纠删码技术的发展现状,从评价纠删码性能的各项重要指标的角度详细地对比和分析了现有的纠删码技术,给出了不同纠删码在容错能力与磁盘要求、空间利用率、编码效率、更新效率、重构效率等方面的不足和可能的改进见解,并讨论了磁盘阵列系统、P2P存储系统、分布式存储系统、归档存储系统等不同存储系统对于纠删码各类性能的差别要求,并进一步指明了当前存储系统纠删码研究中尚未解决的一些难题和未来纠删码可能的发展方向.通过分析得出,目前不同纠删码在容错能力、计算效率、存储利用率等方面都存在不同程度的缺陷,如何平衡这些影响纠删码性能的因素,设计出更高容错能力、更高计算效率及更高存储利用率的纠删码,仍是未来很长一段时间内值得不断深入研究的问题.     

基于多斜率码链的阵列纠删码

针对当前大多阵列纠删码容错能力偏低以及构造时需要满足的约束条件较强的问题,提出一类基于码链构造的阵列纠删码。该阵列纠删码使用不同斜率码链组织数据元素和校验元素间的关系,从而能达到理论上不受限制的容错能力;而在构造时避开了类似素数约束的强约束条件,易于实用和扩展。仿真实验结果表明,相对于RS（Reed-Solomon）码,基于多斜率码链阵列纠删码在运算效率上的提升超过了2个数量级;在固定的容错能力下,存储效率能随着条块尺寸的增加而提高。此外,该类阵列码的修复代价和更新代价为一个固定常量,不会随着系统规模的扩大或容错能力的提高而增加。     

基于纠删码的云计算存储备份及恢复策略

如何保障云存储系统中数据的可靠性是云计算领域的热点问题。副本备份技术是保障数据可靠性的重要手段,但是存在占用存储空间大、存储效率低等问题。纠删码能够提供优化的数据冗余度,以防止数据丢失,恰当地使用纠删码可以提高空间的利用效率并获得较好的数据保护效果,在通讯方面已经得到广泛应用。将纠删码引入云存储系统中,代替副本备份策略,以提高云存储系统的性能。实验表明该方案可以有效提高数据可靠性和空间利用率。     

云文件系统中纠删码技术的研究与实现

云文件系统凭借高性能、高扩展、高可用、易管理等特点,成为云存储和大数据的基础和核心。云文件系统一般采用完全副本技术来提升容错能力,提高数据资源的使用效率和系统性能。但完全副本的存储开销随着副本数目的增加呈线性增长,存储副本时造成额外的写带宽和数据管理开销。纠删码在没有增加过量的存储空间的基础上,通过合理的冗余编码来保证数据的高可靠性和可用性。研究了纠删码技术在云文件系统中的应用,从纠删码类型、编码对象、编码时机、数据更改、数据访问方式和数据访问性能等六个方面,对云文件系统中纠删码的设计进行了探究,以增强云文件系统的存储模型。在此基础上,设计并实现了纠删码原型系统,并通过实验证明了纠删码能有效地保障云文件系统的数据可用性,并且节省存储空间。     

基于数据挖掘的存储数据纠删码容错方法仿真

在存储数据的纠删码容错中,针对传统存储数据纠删码容错方法容错速度较低的问题,提出一种基于数据挖掘的存储数据纠删码容错方法。采用数据挖掘方法对存储数据纠删码进行重构,计算存储数据纠删码的丢失片段;利用CHR算法对存储数据纠删码进行异构修复,通过建立存储数据纠删码容错模型实现存储数据的纠删码容错。为了验证存储数据纠删码容错方法的有效性,将存储数据纠删码容错方法与传统存储数据纠删码容错方法进行对比,实验结果得出:上述方法与基于流水线的存储数据纠删码容错方法、基于RapidRaid码的存储数据纠删码容错方法、基于非规则LDPC码的存储数据纠删码容错方法的容错速度分别为:286Mbps/s、262Mbps/s、243Mbps/s、232Mbps/s,比较可知,所提方法的容错速度最快,证明了上述方法的优越性。     

图书馆云存储系统中一种自适应容错策略

云存储的优势吸引着越来越多的图书馆采用云存储解决馆藏数字资源的存储需求。但随着海量数据的增长,云存储节点的失效概率越来越大。单一的容错策略,如单一的复制或纠删码,不可避免地存在一些缺点,不能满足当今容错技术的需要。因此,根据馆藏文献访问的频率和大小,提出了一种自适应切换的容错策略,该策略可以在整个生命周期中动态地选择复制方案或纠删码方案。实验结果表明,该方案较单一复制策略节约了43%的存储空间,较单一纠删码策略提升了52%的节点故障恢复时间。     

异构环境下纠删码的数据修复方法综述*

在大规模云存储系统中,由于磁盘或网络故障造成的存储节点失效事件频发,系统需要数据冗余技术以保证数据的可靠性和可用性。纠删码,相对于副本方式而言,能大大提高存储空间的利用率,但纠删码在冗余数据修复方面的代价较副本方式高很多。目前针对纠删码的冗余数据修复研究大都无差别对待每个存储节点,然而实际分布式存储系统中,节点通常存在带宽资源、计算资源、存储容量资源等方面的差异性,这些资源的异构性对冗余数据修复性能影响很大。本文指出影响修复性能的关键因素,选取带宽开销、磁盘访问开销、修复时间、参与修复的节点数量和修复代价作为修复性能的评价标准;分析了现有研究方法如何降低这五种开销,重点讨论了这些方法的优缺点;阐述当前异构分布式存储系统中纠删码修复技术的研究现状;最后指出纠删码数据修复技术中尚未解决的一些难题和未来纠删码修复技术可能的发展方向。     

面向纠删码存储集群的弹性I/O调度机制研究

纠删码存储集群已经成为适应大规模数据中心的典型容错存储方案.纠删码存储研究主要从新型编码和存取过程优化2个方面展开,从存取过程角度来优化纠删码存储集群的可靠性和能效性.具体地,结合系统运行状态,建立一种与运行状态相匹配的弹性I/O调度策略,即,节点正常运行时,在保证用户性能的前提下,将一部分节点切换到休眠状态,以降低存储系统的当前功率;节点失效时,以提升系统可靠性为目标,对失效数据进行流水线高速重构,最小化数据恢复时间.分别设计了具有节能特性的正常模式方案ECS2和能够加速恢复的Pipe-Rec方案,并在Reed-Solomon码存储集群(其中,编码参数k=6,r=3)中实现了原型.能耗对比测试表明:ECS2在读密集型和写密集型负载下分别能节约29.8%和28%的能耗;而重构对比测试表明:Pipe-Rec方案的重构性能是传统同步式重构方案的5.76倍.     

右边正则纠删码中二部图的构造算法

通过深入研究右边正则度序列的分析性质,设计了右边正则纠删码度序列的参数优化算法.基于此算法,提出了右边正则纠删码设计中随机二部图的连边构造算法.数值结果证明了所给的度序列参数优化算法的有效性.仿真结果表明基于右边正则度序列的级联型纠删码的性能优于Tornado码.随机二部图的连边构造算法和度序列的参数优化算法有助于右边正则纠删码的设计及其工程应用.     

纠删码存储下的离线批处理作业性能优化

随着互联网数据的爆发式增长,越来越多的分布式存储系统开始引入纠删码存储机制,以在提供数据可靠性的同时降低存储开销。但纠删码机制的引入改变了数据放置模式,从而影响分布式系统上层业务的数据访问和运行效率。在异构 Hadoop 集群环境中,一类典型的离线批处理作业——MapReduce 应用在条带式纠删码存储模式下需要从多个节点访问数据,该“一对多”的数据访问模式由于节点性能差异造成应用执行效率下降。对此,该文提出了一种基于异构环境的数据放置和任务分 配策略。通过对异构集群中各节点的硬件参数和历史负载进行分析,将同一纠删码条带的数据块尽可能分布在性能相近的节点上;在系统进行任务分配时,针对各节点当前负载和运算能力确定节点的任务并发度,以平衡各节点计算资源的占用情况,从而避免因数据访问或计算过程中的资源竞争产生极端缓慢任务以致降低整个 MapReduce 应用的运行效率。实验结果表明,相比当前 Hadoop 默认的随机数据放置和任务分配策略,该文提出的异构感知数据放置策略和动态任务分配策略能够在不同类型的MapReduce 应用中有效削弱任务的长尾效应,使得作业整体运行时间节约 10.5%～42%,验证了该方案的有效性。     

基于MPLS的移动IPv6预测式快速切换方案

针对现有的多协议标签交换（MPLS）和IPv6融合方案存在建立标签交换路径（LSP）所需时延大、丢包率高和无错误恢复处理等问题,提出了一种新的方案。该方案通过定义预测信息表和预测式MPLS移交切换算法,使得移动节点（MN）在移交切换前,根据自身需要选择目的接入路由器（TAR）,以便TAR提前完成其与交叉路由器（CR）的LSP建设,从而实现MN移交切换时延的最小化;另外,所提预测式MPLS移交切换算法使得该方案具有错误恢复的能力;对LSP拓扑结构的改进和采用双播机制能够有效减少切换丢包率。理论和仿真分析表明,所提方案的切换时延和丢包率小于现有方案,且具有错误恢复的能力。     

一种MPLS故障恢复算法

MPLS故障恢复机制解决了第3层(IP)重路由速度较慢和低层故障恢复机制功能较弱的缺陷，现有的Makam方案丢包较多，而Haskin方案虽解决了丢包问题，但时延较大且失序分组较多．结合二者提出了H—M方案，并给出了算法描述，它通过在Haskin方案中增加故障指示信号将局部恢复和全局恢复有机地结合起来．理论分析和仿真实验均表明，H—M方案兼具Makam和Haskin方案的优势，对平均时延和丢包有明显改善，平均时延接近Makam方案，丢包比Haskin方案还略低，同时对Haskin方案的失序问题有微弱改善。     

An adaptive redundancy control method for erasure-code-basedreal-time data transmission over the Internet

We propose an adaptive redundancy control method for erasure-code-based real-time data transmission over the Internet. The loss rate is an important quality of service (QoS) parameter for real-time data transmission. However, real-time data transmission over best-effort networks, such as the Internet, suffers from a frequent packet loss due to traffic congestion. Erasure-code-based loss recovery scheme is widely used for loss recovery on the Internet. We propose a redundancy estimation algorithm which considers consecutive losses since the loss recovery rate depends on the amount of redundancy data. A continuous time Markov chain is used for modeling the loss process and adjusting the number of redundant packets. Measurements and simulation results show that the proposed scheme can be used as an efficient loss recovery algorithm for real-time data transmission over the Internet     

视频流传输中的拥塞恢复研究

从拥塞恢复的角度,现有的拥塞控制方法存在一定的不足,主要表现在:丢包率不能很好地反应视频数据的重建质量,在链路中多码流时,码流间的公平性得不到很好的保证。针对这些方法的不足之处,提出了一种基于加权丢包率的分层速率控制方法。通过在NS环境进行实验,实验结果表明该方法在视频数据重建质量和码流之间的公平性上有很大优势。     

Adaptive hybrid error correction model for video streaming over wireless networks

The Hybrid ARQ (HARQ) mechanism is the well-known error packet recovery solution composed of the Automation Repeat reQuest (ARQ) mechanism and the Forward Error Correction (FEC) mechanism. However, the HARQ mechanism neither retransmits the packet to the receiver in time when the packet cannot be recovered by the FEC scheme nor dynamically adjusts the number of FEC redundant packets according to network conditions. In this paper, the Adaptive Hybrid Error Correction Model (AHECM) is proposed to improve the HARQ mechanism. The AHECM can limit the packet retransmission delay to the most tolerable end-to-end delay. Besides, the AHECM can find the appropriate FEC parameter to avoid network congestion and reduce the number of FEC redundant packets by predicting the effective packet loss rate. Meanwhile, when the end-to-end delay requirement can be met, the AHECM will only retransmit the necessary number of redundant FEC packets to receiver in comparison with legacy HARQ mechanisms. Furthermore, the AHECM can use an Unequal Error Protection to protect important multimedia frames against channel errors of wireless networks. Besides, the AHECM uses the Markov model to estimate the burst bit error condition over wireless networks. The AHECM is evaluated by several metrics such as the effective packet loss rate, the error recovery efficiency, the decodable frame rate, and the peak signal to noise ratio to verify the efficiency in delivering video streaming over wireless networks.     

Packet loss in peer-to-peer video streaming over the Internet

Peer-to-peer streaming has recently gained attention as an effective solution to support large scale media streaming applications over the Internet. One of the main challenges of peer-to-peer video streaming is the cumulative impact of the Internet packet loss due to the decoding dependency of the compressed video frames. In this paper we study the impact of the Internet packet loss on the performance of peer-to-peer video streaming systems, and analyze the efficiency of various packet loss recovery policies in such systems. Our analytical and simulation results show how the Internet packet loss can affect the performance of peer- to-peer video streaming systems and how different packet loss recovery policies can be effective for such systems. Our analysis results give us some insights that can be used in designing efficient peer-to-peer video streaming systems.     

多媒体组播中的RTP包丢失恢复方案

论文提出了一种在实时多媒体组播应用中的RTP包丢失恢复方案,该方案是基于重传机制的,利用“分层缓冲路由器”作为辅助,配合接收端的缓冲播放机制,使得RTP包的本地丢失恢复成为可能。同时,该方案还考虑在网络拥塞时对重传请求进行缓冲等待处理,这样就不会因为向上级缓冲路由器发送该请求而加重拥塞的程度,甚至造成该重传请求的最终丢失。     

基于潜信道的IPSec密钥恢复方案

传统密钥恢复协议采取增加密钥恢复字段的方法,恶意攻击者容易辨别具备密钥恢复功能的数据包,并进行过滤阻挠。该文将潜信道密钥恢复与具体协议相结合,提出基于IPSec协议的密钥恢复方案。该方案易于实施,数据包具有不可过滤性,可避免恶意攻击者的过滤阻挠,进行有效的网络监控。     

基于动态缓冲阈值的Internet区分服务

该文提出了一种将Internet网络分组传输延时和丢失控制的区分服务要求合并在一起的综合方案.在这个方案中,分组丢失控制是基于动态缓冲阈值(dynamic buffer threshold,简称DBT)方案.在DBT方案中,缓冲控制阈值基于分组丢失行为而动态地变化.在静态缓冲阈值(static buffer threshold,简称SBT)方案中,分组丢失变化没有控制,丢失率变化大.对于缓冲控制阈值的确定,没有简明的数学表达方式.由于SBT不能随着传输突发特性的变化而变化,从而影响网络的系统性能.该文提出的DBT方案不但可以克服这些问题,而且可以确定和控制标志分组与非标志分组丢失率之间的比例关系.文章给出了所提出方案的随机Petri网性能模型、不同分组级别之间的丢失比例数学公式以及此方案重要性能的模拟和分析结果.     

一种基于LWAP的IEEE 802.11平滑切换机制

IEEE 802.11网络中的BSS切换不可避免地产生丢包问题,这会造成网络性能严重下降,进而限制了移动环境下WLAN的广泛应用。为了降低切换过程中的丢包率,本文提出了一种在数据链路层、由无线链路事件触发的用户空间平滑切换机制,并且在基于嵌入式Linux平台的无线AP上进行了实现。大量的实验结果表明,在无需对当前IEEE 802.11协议进行改动的前提下,新切换机制可以保证在允许的时延范围内,较大地降低丢包率,提高网络性能,并且可以支持平滑漫游。改进的平滑切换机制独立于驱动,具有良好的可移植性,可以在现有AP上增量添加,而无需更改STA,降低了升级成本。