分布式代理记忆机制的P2P网络研究

为了解决节点频繁离线、信任机制缺乏和带宽有限等问题对P2P网络服务质量的影响,提出了一种分布式代理记忆机制的P2P网络模型。在该模型中,数据被分成若干个数据块,节点访问结束后对数据块的服务进行评价,数据块内容和服务评价更新存储于邻域节点及后继节点;节点访问信息时,根据本地策略优化搜索代理记忆;对服务评价较低的代理记忆进行定期更新与清除。该模型通过数据块分布式代理记忆和数据动态更新的方法,有效地提高了数据可用性,阻止了病毒文件的传播,减轻了带宽压力,提高了搜索效率,增强了系统的安全性和网络性能。     

集群RAID5存储系统可靠性分析

集群存储具有高并发性、高可扩展性、高性价比等特点,成为构建大型存储系统的一种重要技术.但随着系统规模的扩大,系统失效事件日益频繁,如何提高系统可靠性,保证数据持续、有效地访问就成为一个必须解决的问题.集群RAID系统是传统RAID技术在集群存储上的延伸,是有效解决可靠性问题的一种方案.出于设计集群RAID5系统的需要,提出了一种基于Markov模型的集群RAID5存储系统的可靠性模型,用以定量分析存储拓扑结构、节点/磁盘平均失效时间、重构速率等参数对集群RAID5系统可靠性的影响.分析表明:1.多层集群RAID5具有比单层集群RAID5更高的系统可靠性,更适合构建集群RAID系统;2.提高重构速率能够带来近似等幅的可靠性提升;3.在保持可靠性不变的前提下,提高重构速率能够降低系统对节点平均失效时间的需求,10倍的重构速率提升最多可以使得系统对节点平均失效时间的需求降低到原来的1/7.     

基于动态布局的块级网络存储系统VISA

高性能、可扩展的网络存储系统在当今数据密集型应用中日益重要.分布式RAID作为一种存储体系结构,被广泛应用在集群和分布式计算环境中,但其机械的数据放置策略会导致在数据一致性维护中读写性能的下降.基于分布式RAID和存储虚拟化的理念,提出了一种新型块级网络存储系统VISA(virtual interface storage architecture).VISA系统不仅可以实现本地和远程的快速存储访问,而且可以根据当前各存储节点的负载状况和数据布局策略,将用户I/O请求的逻辑块地址动态映射到物理块地址,从而达到负载均衡与高性能的统一.测试结果显示,使用这种动态映射策略的VISA系统与传统的采用分布式RAID结构的IP-SAN相比,顺序写性能提高了78.66%～141.77%,顺序读性能提高了34.89%～51.73%.     

一种面向P2P空间查询的路由恢复方法

基于一种P2P空间查询系统,分析了该系统中节点失效时可能出现的问题,提出了一种基于空间接管的路由恢复方法,以在节点失效时维持整个数据空间的完整性。同时给出了在这种路由恢复方法下的节点加入以及空间查询算法。测试表明,这种路由恢复方法能有效地解决节点失效带来的空间查询消息“回溯”、节点不能加入系统等问题,增强了系统的可用性。     

一种基于网络编码的云存储系统

存储空间、修复带宽和更新带宽是云存储系统的3个重要指标,系统设计往往需要在这些性能度量之间取折衷。为了降低存储空间、修复带宽、更新带宽以及系统复杂度,文中提出了一种基于网络编码的云存储系统。该系统结构为m*n数据阵列的形式,n列表示n个存储节点,其中k个节点用于存储原始数据,称为系统部分;另外(n－k)个节点用于存储校验字符,称为非系统部分。数据阵列的m行对应m个系统形式的(n,k)最大距离可分(MDS)码,每个源数据符号只参与它所在行的编码,不参与其他行的编码,这种系统结构大幅降低了编译码的复杂度。该系统可以承受最多(n－k)个节点的失效,此外,当单节点失效时,由于使用了系统形式的MDS码,可以使用干扰对齐技术进一步缩减修复带宽。与现有的某些云存储系统相比,该系统明显降低了存储空间、修复带宽和更新带宽等资源消耗,性能得到大幅提升。     

一种基于节点可选度的P2P点播流媒体数据调度算法

当前的P2P(Peer-to-Peer)点播流媒体系统中数据调度算法未能充分利用每个用户节点自身的特性.在分析典型数据调度算法基础上提出一种基于节点可选度的数据调度算法(SSP算法).该算法一方面在调度下载数据块时综合考虑了邻居节点带宽能力及其所拥有的数据信息.另一方面对服务节点的请求处理过程进行了优化.SSP算法有利于提高用户节点播放视频的连续性,降低流媒体服务器的负载压力,从而改善P2P点播流媒体系统的整体服务质量.仿真结果和实际应用表明算法性能良好,适用于用户节点能力差异较大的P2P点播流媒体环境.     

面向系统吞吐率最大化的P2P自适应覆盖网络

P2P系统的本质任务在于提高资源利用率和系统吞吐量,满足更多用户的数据请求。在无结构P2P中,通常分配高权重节点以较多连接,使之收到并命中更多查询,以提高搜索成功率。但高搜索成功率本身却未必能够提高系统吞吐量,因为受带宽因素影响,高权重节点的负载较重,造成服务可用性降低。提出了一种覆盖网络优化方案,即根据带宽负载和存储权重自适应性调整节点连接度,优化覆盖网络结构,提高系统吞吐量。模拟实验数据表明,基于带宽和搜索成功率的覆盖网络优化方案可以以很小代价提高系统吞吐量,当文件体积较小时提高比例可高达22%。     

BW-VSDS:大容量、可扩展、高性能和高可靠性的网络虚拟存储系统

设计并实现了一个大容量、可扩展、高性能和高可靠性的网络虚拟存储系--BW-VSDS.和其他网络存储系统对比,它有如下的特点:1)采用带内元数据管理和带外数据访问的虚拟存储管理架构,存储管理更灵活,并且系统扩展性更好;2)在单个节点内部的多个虚拟卷、多个虚拟池和多个网络存储设备上利用存储虚拟化技术重构得到面向多种存储应用的网络虚拟存储设备,实现了3层的层次化存储虚拟化模型,对内共享存储设备的容量和带宽,对外提供不同属性的虚拟磁盘;3)采用写时按需分配策略提高了存储空间的利用率,使用数据块重组提高了I/O读写性能;4)使用设备链表和位图实现了层叠式虚拟快照,支持增量快照、写时拷贝和写时重定向机制,实现源卷和快照卷的数据共享;5)提出结合带外存储虚拟化管理的后端集中的带外冗余管理结构,数据读写直接访问存储节点,冗余管理节点在磁盘上以日志方式缓存从存储节点镜像写的数据,然后在后台进行RAID5冗余计算,提高了活跃数据的可靠性,减轻了冗余计算对写性能的影响.     

连续数据存储中面向RAID5的写操作优化设计

针对连续数据存储应用,如视频监控、连续数据保护(CDP)、虚拟磁带库(VTL)等,提出一种面向RAID5的写操作优化方法:首先进行基于区间映射(area mapping)的地址转换(AT),把非连续的I/O请求虚拟地址转换为连续的物理地址,以实现对磁盘阵列的连续写;然后,在缓冲区内保存应用程序发出的写数据块,并构造一个与RAID5的完整条带长度相等的对齐数据决,对齐数据块在RAID5上恰好占满整个条带,再发送给RAID5,以实现对RAID5的完全写.这样写入的数据块恰好占满RAID5的整个条带,不仅避免了因生成校验数据而产生重构写、读改写等额外I/O开销,而且数据块的连续写入有效降低了磁头的寻道时间,提高了RAID5的吞吐能力.实验表明,该写优化方法在有限降低RAID5读性能的同时,可大幅提高RAID5的写性能,在80％连续的负载下,使RAID5的数据传输率接近其最大值.在连续数据存储中该方法同样适用于RAID4和RAID6.     

封闭式P2P网络中的离线数据存储

随着计算机与网络技术的快速发展,网络分布式存储逐渐成为存储技术研究的重点,但对离线数据存储的研究仍是个空缺.提出一种基于封闭式P2P网络的离线数据存储系统.客户端将离线数据发送至P2P网络,网络中节点利用chord路由算法存储数据;目标用户上线后,提出查询下载请求,从系统中获取与自身相关的离线数据.为了提高离线数据存取效率,每个节点保存一张包含网络中所有节点信息的路由表,离线数据的定位通过本地查找实现;另外,对传统Chord路由算法进行改进,使其更好地适应封闭式P2P网络的离线数据存储.实验表明,在封闭式网络中进行离线数据存取可以获得高的效率.     

神威3000A高可用海量存储系统

神威3000A海量存储系统采用基于文件分条的网络数据冗余方法,支持网络RAID1和RAID5冗余模式,能够对存储服务器及盘阵故障在线容错,是一个高可用的分布式存储系统。     

一种基于iSCSI的网络RAID设计与实现

RAID是存储系统的基础和关键部件,它通过数据分布存储、并行访问以及信息冗余等技术,极大地扩大了存储容量、增强了I/O请求处理能力、提高了数据可靠性。论文将RAID的思想扩展到了分布的存储网络环境之中,设计了一种基于iSCSI的网络RAID系统,实现了系统原型,并对该系统进行了性能测试和分析。结果表明,该系统可以通过并行数据读写提高存取速度,通过奇偶校验技术提高数据的可靠性。     

RAID0.5: design and implementation of a low cost disk array data protection method

RAID has long been established as an effective way to provide highly reliable as well as high-performance disk subsystems. However, reliability in RAID systems comes at the cost of extra disks. In this paper, we describe a mechanism that we have termed RAID0.5 that enables striped disks with very high data reliability but low disk cost. We take advantage of the fact that most disk systems use offline backup systems for disaster recovery. With the use of these offline backup systems, the disk system needs to only replicate data since the last backup, thus drastically reducing the storage space requirement. Though RAID0.5 has the same data loss characteristics of traditional mirroring, the lower storage space comes at the cost of lower availability. Thus, RAID0.5 is a tradeoff between lower disk cost and lower availability while still preserving very high data reliability. We present analytical reliability models and experimental results that demonstrate the enhanced reliability and performance of the proposed RAID0.5 system.     

Linux下高效存储优化的研究

随着数据的指数性增长,存储技术成为信息产业发展的核心动力,存储系统在一定程度上比计算系统和通信系统更加重要。如何高效地存储和优化存储空间,是存储系统急需解决的问题。本文介绍高效存储技术中的RAID技术、重复数据删除技术、数据压缩技术等,并在Linux环境下设计与实现具有高效存储优化特点的应用程序。试验表明该应用程序实现了软件RAID,删除了重复性数据,提高了存储空间利用率,降低了存储能耗。     

SAN系统中存储空间共享冲突问题的研究

在分析SAN系统中存储空间共享冲突产生原因和表现形式的基础上，给出了解决这一难题的分布式和集中控制两种基本方法，并融合了集中控制的网络文件系统、三方传送和软件RAID等技术，提出并实现了FC3HPN系统，该系统在具备较高性能的同时，首次实现了元数据共享。     

一种面向数据可用性和存储可靠性动态要求的自适应纠删码存储策略设计

为了满足指数级增长的大数据存储需求,现代的分布式存储系统需要提供大容量的存储空间以及快速的存储服务.因此在主流的分布式存储系统中,均应用了纠删码技术以节约数据中心的磁盘成本,保证数据的可靠性,并且满足应用程序和客户端的快速存储需求.在实际应用中数据往往重要程度并不相同,对数据可用性要求不一,且不同磁盘的故障率和可靠性动态不一的特点,对于传统RAID存储方式包括基于纠删码的存储系统提出了新的挑战.本文提出了一种面向数据可用性和磁盘可靠性动态要求的灵活自适应纠删码存储设计On-demand ARECS(On-demand Availability and Reliability Oriented Adaptive Erasure Coded Storage System),根据存储后端数据可用性和磁盘可靠性的多个维度进行设计,综合确定纠删码编码策略和存储节点选择,从而减少存储冗余度和存储延迟,同时提高数据可用性和存储可靠性.我们在Tahoe-LAFS开源分布式文件系统中进行了实验,实验结果验证了我们的理论分析,在保证具有多样性要求的数据可用性和磁盘可靠性的前提下,明显减少了数据冗余度和存储延迟.     

海量存储系统中基于BUFFER的虚拟存储池的构造

网络磁盘阵列通过实行命令与数据的分离极大地提高了系统的吞吐能力和服务器的平均响应速度 .本文基于原有的网络磁盘阵列的研究成果 ,采用虚拟技术 ,在服务器端构造了一个虚拟存储池 ,使得构成虚拟存储池的多台异构接口的物理存储设备 (这里为网络磁盘阵列 )可以通过其网络通道并行传输数据 ,实现扩容和增速同步 ,文件集中管理与数据分布存储 ,从而构造了一种新型海量存储系统     

一种新型的能够防止两块磁盘失败的技术

海量存储系统的建设是目前计算机系统最热门和发展最快的领域,存储系统的主要部分是在线存储系统。RAID(磁盘阵列)对于提升存储系统的效率、数据的高可靠性、防止数据破坏和业务停顿具有重大意义。目前实际应用中的RAID 1,RAID 0+1,RAID 4,RAID 5都只能防止单块磁盘的损坏,实际生产中已经出现了很多由于双盘损坏造成业务长时间停顿的事故。在介绍了通用的RAID级别的基础上,介绍了一种新型的对角线奇偶校验方法,结合水平奇偶校验,可以防止两块磁盘损坏。通过可靠的数学分析,可以看到该方法可以极大提高磁     

基于Intel ISA-L的RS-RAID系统的研究与实现

由于传统RAID技术自身的局限性,导致其难以在更高的可靠性、I/O性能以及存储空间利用率之间取得良好的平衡。RS-RAID（Reed Solomon RAID）能够提供更高的可靠性,并且具有较高的存储空间利用率,但仍存在I/O性能低和数据恢复时间长的重要问题。基于Intel ISA-L的RS-RAID通过使用Intel ISA-L库加速RS码的计算速度,提高了RS-RAID的I/O性能;通过使用有效数据bitmap记录磁盘中实际需要恢复的数据,减少了RS-RAID在数据恢复过程中需要恢复的数据量,从而降低了RS-RAID的数据恢复时间。     

基于概率预测的P2P分布式存储副本查找

分布式存储系统是Peer-to-Peer技术的一个重要研究领域。如何实现有效的副本存储和副本查找定位是分布式存储系统的关键。DHT（Distributed Hash Tables）能够有效地实现分布式存储。在基于DHT的Peer-to-Peer分布式存储系统中提出了一种基于概率预测的副本查找和定位算法。分析并且详细描述了该算法,实现了算法的仿真模拟,分析了其性能。模拟结果显示,基于概率预测的副本查找算法通过概率的先预测能够实现高效率及高查准率的副本查找。