分布式存储系统中的预测式纠删码研究

纠删码消耗的存储空间较少,获得的数据可靠性较高,因此被分布式存储系统广泛采用.但纠删码在修复数据时较高的修复成本限制了其应用.为了降低纠删码的修复成本,研究人员在分组码和再生码上进行了大量的研究.由于分组码和再生码属于被动容错方式,对于一些容易出现失效的节点,采用主动容错的方式能更好地降低修复成本,维护系统的可靠性,因...     

基于纠删码的HDFS存储调度技术

云计算环境下,对数据的实时处理要求高,降低时延、加快数据处理,可以提高客户对数据服务的满意度。在HDFS存储系统下,纠删码技术可以极大节省数据副本的存储空间,并能较好地实现冷数据的存储和使用。通过分析存储节点的负载率和性能指标对文件获取的平均时延的影响,设计了一种基于负载信息和吞吐量的调度算法。通过实验验证发现,调度算法在时延方面最高减少了20%平均时延,服务的稳定性提高了15%,使数据处理更加高效。     

分布式存储系统中的低修复成本纠删码

纠删码技术是分布式存储系统中典型的数据容错方法，与多副本技术相比，能够以较低的存储开销提供较高的数据可靠性；然而，纠删码修复成本过高的特点限制了其应用。针对现有纠删码修复成本高、编码复杂和灵活性差的问题，提出一种编码简单的低修复成本的纠删码——旋转分组修复码（RGRC）。RGRC首先将多个条带组合成条带集，然后利用条带之间的关联关系对条带集内的数据块进行分层旋转编码，以此得到相应的冗余块。RGRC大幅度地减少了单节点修复过程中所需要读取和传输的数据量，从而能节省大量的网络带宽资源。同时RGRC在解决单节点修复成本高的问题时，依然保留着较高的容错能力，且为满足分布式存储系统的不同需求，可以灵活地权衡系统的存储开销和修复成本。在分布式存储系统中进行的对比实验分析结果展示，与其他常用的RS（Reed-Solomon）码、LRC（Locally Repairable Codes）、basic-Pyramid、DLRC（Dynamic Local Reconstruction Codes）、pLRC（proactive Locally Repairable Codes）、GRC（Group Repairable Codes）、UFP-LRC（Unequal Failure Protection based Local Reconstruction Codes）相比，RGRC只需要增加少量的存储开销，就能降低单节点修复14%~61%的修复成本，同时减少14%~58%的修复时间。     

基于蚁群优化算法的纠删码存储系统数据更新方案

由于纠删码具备高可用性和高存储空间有效性的特点,采用纠删码为大规模分布式存储系统提供数据持久性已成为事实标准.然而,纠删码的密集型更新操作将导致大量的数据传输和I/O开销.如何减少数据传输量,优化现有网络资源的利用率,以提高纠删码的更新效率,成为纠删码存储系统面临的重要挑战.然而,在多重服务质量(quality of service, QoS)指标下,目前对纠删码更新效率的优化研究很少.针对此问题,提出一种基于蚁群优化算法的多数据节点更新方案(ant colony optimization algorithm based multiple data nodes update scheme, ACOUS),采用2阶段数据更新方式以优化多数据节点更新过程.具体而言,基于多目标蚁群优化更新路由算法(multi-objective ant colony optimization update routing algorithm, MACOU)所构建的多目标更新树,2阶段数据更新方式能有效地进行数据增量收集和校验增量分发.大量的实验结果表明,在典型的数据中心网络拓扑结构下,与TA-Update方案相比,所提方案能够在保证算法收敛的前提下,以可忽略的计算开销为代价,将更新时延降低26%~37%.     

分布式存储系统中的低修复成本纠删码

纠删码技术是分布式存储系统中典型的数据容错方法,与多副本技术相比,能够以较低的存储开销提供较高的数据可靠性;然而,纠删码修复成本过高的特点限制了其应用。针对现有纠删码修复成本高、编码复杂和灵活性差的问题,提出一种编码简单的低修复成本的纠删码——旋转分组修复码（RGRC）。RGRC首先将多个条带组合成条带集,然后利用条带之间的关联关系对条带集内的数据块进行分层旋转编码,以此得到相应的冗余块。RGRC大幅度地减少了单节点修复过程中所需要读取和传输的数据量,从而能节省大量的网络带宽资源。同时RGRC在解决单节点修复成本高的问题时,依然保留着较高的容错能力,且为满足分布式存储系统的不同需求,可以灵活地权衡系统的存储开销和修复成本。在分布式存储系统中进行的对比实验分析结果展示,与其他常用的RS（Reed-Solomon）码、LRC（Locally Repairable Codes）、basic-Pyramid、DLRC（Dynamic Local Reconstruction Codes）、pLRC（proactive Locally Repairable Codes）、GRC（Group Repairable Codes）、UFP-LRC（Unequal Failure Protection based Local Reconstruction Codes）相比,RGRC只需要增加少量的存储开销,就能降低单节点修复14%~61%的修复成本,同时减少14%~58%的修复时间。     

纠删码存储下的离线批处理作业性能优化

随着互联网数据的爆发式增长,越来越多的分布式存储系统开始引入纠删码存储机制,以在提供数据可靠性的同时降低存储开销。但纠删码机制的引入改变了数据放置模式,从而影响分布式系统上层业务的数据访问和运行效率。在异构Hadoop集群环境中,一类典型的离线批处理作业——MapReduce应用在条带式纠删码存储模式下需要从多个节点访问数据,该“一对多”的数据访问模式由于节点性能差异造成应用执行效率下降。对此,该文提出了一种基于异构环境的数据放置和任务分配策略。通过对异构集群中各节点的硬件参数和历史负载进行分析,将同一纠删码条带的数据块尽可能分布在性能相近的节点上;在系统进行任务分配时,针对各节点当前负载和运算能力确定节点的任务并发度,以平衡各节点计算资源的占用情况,从而避免因数据访问或计算过程中的资源竞争产生极端缓慢任务以致降低整个MapReduce应用的运行效率。实验结果表明,相比当前Hadoop默认的随机数据放置和任务分配策略,该文提出的异构感知数据放置策略和动态任务分配策略能够在不同类型的MapReduce应用中有效削弱任务的长尾效应,使得作业整体运行时间节约10.5%～42%,验证了该方案的...     

基于纠删码的区块链存储优化

区块链具有去中心化、不可篡改、可追溯以及公开透明等特性,可以解决去中心化网络中节点之间相互不信任的问题,为构建价值互联平台提供了可能.然而,区块链要求每个节点都存储一份完整的数据,以高存储冗余来保证数据的可靠性,给节点带来了巨大的存储压力,降低了存储资源的利用效率,也导致系统的存储可扩展性成为区块链性能的一个瓶颈.采用...     

一种面向数据可用性和存储可靠性动态要求的自适应纠删码存储策略设计

为了满足指数级增长的大数据存储需求,现代的分布式存储系统需要提供大容量的存储空间以及快速的存储服务.因此在主流的分布式存储系统中,均应用了纠删码技术以节约数据中心的磁盘成本,保证数据的可靠性,并且满足应用程序和客户端的快速存储需求.在实际应用中数据往往重要程度并不相同,对数据可用性要求不一,且不同磁盘的故障率和可靠性动...     

纠删码在分布式容错存储中的应用

在分布式存储中,海量数据被存储到同一个数据中心的不同节点或不同数据中心的节点上,数据的位置和组织方式对用户是透明的,由于面临的数据规模和用户规模更加庞大,在容错安全性上面临着严峻的挑战。本文提出一种基于纠删码的分布式存储系统模型,利用纠删码高效的编码效率和容错能力,为数据安全性保障提供了一个可靠的解决方案。     

纠删码存储系统中基于网络计算的高效故障重建方法

目前分布式存储系统的规模越来越大,不论存储设备是磁盘还是固态盘,系统都始终面临着数据丢失的风险.传统分布式存储系统大多采用基于三副本的高可靠性技术,但为了追求较低的存储开销,大量系统正在转向基于纠删码的可靠性方法.但是在纠删码方案下,重建故障数据需要读取多个存储设备,这将导致大量的网络传输和存储I/O操作,增大系统恢复开销.为了能够在不损失其他性能的同时降低恢复开销,利用软件定义网络(software defined networking, SDN)技术,提出一种基于网络计算的高效故障重建方案——网络流水线(in-network pipeline, INP),其中SDN 控制器利用网络的全局拓扑信息构造重建树,系统依据重建树进行数据传输,并在交换机上完成部分计算,减少向后传输的网络流量,从而消除网络瓶颈,提升恢复性能.测试评估了不同网络带宽下INP的恢复效率.实验结果表明：与传统的纠删码系统相比,INP总是能大幅减少网络流量,并且在一定带宽条件下,能够接近正常读的时间开销.     

纠删码存储系统单磁盘错误重构优化方法综述

随着云存储的迅猛发展与大数据时代的来临,越来越多的存储系统开始采用纠删码技术,以保障数据的可靠性.在基于纠删码的存储系统中,一旦有磁盘出错,系统需根据其他磁盘里存储的冗余信息,重构所有失效数据.由于当前存储系统中绝大部分磁盘错误都是单磁盘错误,因此,如何快速地在单磁盘错误的情况下重构失效数据,已成为存储系统的研究热点.首先介绍了存储系统中基于纠删码的单磁盘错误重构优化方法的研究背景与研究意义,给出了纠删码的基本概念与定义,并分析了单磁盘错误重构优化的基本原理;接着归纳了现有的一些主流单磁盘错误重构方法的构造算法及其优缺点与适用范围,并分类介绍了一些用于优化单磁盘错误重构效率的新型纠删码技术;最后指出了存储系统中基于纠删码的磁盘错误重构方法的进一步研究方向.     

基于数据分散编码存储的门限方案分析研究

针对数据分散编码存储体系中的(m,n)门限方案进行研究.在分析编码存储有限域运算特点的基础上,求得有限域GF(2)及其扩域GF(2k)上的门限方案n值理论上限,设计并证明了一种能够接近门限方案n值上限的编码存储向量构造方法.通过实验数据分析不同门限方案的编码开销,表明对于各种门限方案设计情况,采用编码有限域GF(216)总能够实现相对较优的应用适用性.     

基于置信传播的LDPC码译码算法

对基于置信传播的LDPC（低密度奇偶校验）码译码算法（SPA算法）。进行了分析和研究,在此基础上提出了一种方便寻址的串行结构译码方法,对其作案了性能仿真和实现复杂度分析。分析结果表明,这种LDPC译码结构简化了寻址过程,节省了资源,具有一定的普遍适用性。     

LDPC码的低复杂度译码算法研究

本文在对LDPC码的译码算法分析的基础上，针对校验矩阵中含有的环对译码算法的影响，提出了一种基于置信传播算法基础上的低复杂度译码算法。该算法通过及时切断消息在环上的重传回路，可消除因校验矩阵中的环回传原始信息对译码造成的影响，保证优质的原始信息能尽可能地传播到其能传播的节点，从而提升了LDPC码的译码性能。仿真实验表明，该算法具有低于传统算法的复杂度，在低信噪比的信道中可以获得相当于传统算法的性能，在良好的信道条件下可以取得比传统算法更优异的性能。     

LRCRaft: 支持节点数据快速恢复的共识协议

在支持纠删码的分布式存储系统中, 最常用的编码是RS (Reed-Solomon)码. 对于一个RS(k, m)编码条带, 常见的配置是一个节点仅存储条带中的一个分片, 这导致在节点出现故障的情况下, 对其存储分片的恢复需要跨多个节点读取分片并重新编码生成恢复分片, 容易造成系统网络拥塞. 在需要恢复大量数据的场合, 系统在恢复期间会处于较长时间的脆弱期, 容错能力和吞吐量下降、读写时延升高时有发生. LRCRaft是一个基于LRC (local reconstruction code)的改进Raft共识协议, 通过在Raft中引入LRC码、动态日志增补、状态机删减和分片版本一致性等机制, 降低了Raft的读写时延, 缩短了节点故障恢复时间. 实验结果表明, 相较于Raft, LRCRaft在不同恢复模式中恢复一个单节点故障数据时, 恢复用时有着49.25%–74.97%的减少.     

基于Ceph存储系统的小文件存储优化方案

针对Ceph存储系统面对小文件存储时存在元数据服务器性能瓶颈、文件读取效率低等问题.本文从小文件之间固有的数据关联性出发,通过轻量级模式匹配算法,提取出关联特征并以此为依据对小文件进行合并,提高了合并文件之间的合理性,并在文件读取时将同一合并文件内的小文件存入客户端缓存来提高缓存读取命中率,经过实验验证本文的方案有效的提高了小文件的访问效率.     

一种基于LT码的数据云存储方案

拜占庭失效或恶意攻击会降低云服务供应商的云存储服务可靠性,为此,提出一种基于云计算的安全可靠数据存储方案。通过LT编码增加分布式云服务器的数据冗余度,在保证性能全局准最优的同时,提升数据用户在数据检索阶段的解码效率。利用支持公共数据完整性检查和准确数据修复,避免数据拥有者长期保持在线状态,并设计数据修复解决方案,使服务运行期间无需产生元数据也能进行数据修复。实验结果表明,与基于网络编码和基于RS码的云存储方案相比,该方案的通信成本只增加了15%,但数据检索效率却提高了约1倍。     

基于持久性内存的属性图存储系统

属性图是一种流行的图数据模型, 在各种图系统中得到了广泛应用. 然而, 面向事务型负载的图数据库系统在执行图分析任务的场景下面临着高延迟等挑战. 传统的图分析系统往往是基于简单图模型, 而且大多不支持图的事务型负载. 因此, 迫切需要一个能够在属性图上高效处理事务型负载和图分析任务的图存储系统. 持久性内存的问世, 使得我们有机会重新设计图存储系统, 以充分发挥这种设备的特点. 为此, 本文提出了一种基于持久性内存的属性图存储系统, 名为TAG. TAG采用了一种新颖的混合架构的图存储方式, 以充分发挥持久性内存和主存的优势. 其次, 通过拓扑和索引结合的方式, 将图的拓扑嵌入到系统的索引中以加速图的拓扑查询. 最后, TAG通过基于标签的方式来组织图的属性数据, 进一步优化图的属性访问. 实验结果表明, TAG显著优于其他图数据库系统, 与图分析系统相比, TAG也有着相近的性能表现.     

分布式环境中基于改进RS编码的数据存储

针对目前主流分布式处理平台数据冗余因子过大、数据可用性不高的问题,提出基于改进RS编码的二次分块数据存储方法.将分布式环境中的文件块分成多个数据子块,利用RS编码对其进行编码,并分布存储到不同机器节点中,以减少数据冗余.实验结果表明,该方法能有效降低数据冗余度,提高数据可用性,减少任务执行时间.