一种基于HDFS的远程文件备份系统的设计和实现

针对传统远程文件备份系统,备份数据存储在单节点服务器存在的存储空间受限、多用户情况下的读写性能以及备份数据单副本问题,提出了一种基于HDFS的远程文件备份系统的设计方案。将用户的备份数据分布式存储于多台不同的数据存储服务器,元数据存储在单独的控制服务器。该存储架构可以有效解决单存储服务器存储空间受限的问题,改善面对多用户并发读性能问题,提供了文件多副本存储策略,并且该系统增强了备份文件存储的安全性。     

一种基于权重的数据网格副本替换策略

针对数据网格中存储站点的容量限制,提出了一种基于权重的数据副本替换策略(WBRR).在网格模拟环境OptorSim上进行的模拟实验结果表明:基于权重的策略相比于传统的副本替换策略,在降低网络利用率的同时缩短了系统的响应时间,达到了提高系统性能的目的.     

异构存储感知的Ceph存储系统数据放置方法

Ceph分布式存储系统正成为广泛使用的开源云环境存储解决方案。异构存储如果应用有效的数据管理策略,则能够在保持低成本的同时提供大容量和高性能存储。在Ceph中使用异构存储设备不能有效发挥异构存储设备的性能,由于数据的多个副本可以存放到不同的存储介质中,因此不同的副本组合的性能和成本都不一样。针对Ceph提出一种面向异构存储的数据放置方法,通过划分多种不同的副本组合,根据数据热度和读写比例将不同的数据放到不同的副本组合上,在提升系统性能的同时有效地控制了系统容量成本。     

基于MooseFS的纠错码存储方法设计和实现

在云存储技术中,云存储系统的数据容错十分重要,直接关系到整个系统的可用性。当前多数分布式存储系统通过多副本来保证数据的可用性,然而,多副本存储方式也使得数据存储空间翻倍增加,为了降低存储空间,提高数据可用性,有些分布式存储系统开始采用纠错码技术来提高数据可用性和降低数据存储空间占用。通过对MooseFS分布式文件系统进行分析,提出了一种基于MooseFS的纠错码实现方法。通过数据存储效率测试,该方法能够保证常用的“热数据”按照多副本存储,不常用的“冷数据”按照纠错码方式存储,在保证可靠性的同时极大地降低了多副本方式空间占用量。     

存储中的副本分级存储调度策略

当集群中的部分节点是廉价主机时,采用HDFS的随机存储策略可能使访问频率高的数据存储在廉价节点上,受到廉价节点的性能影响,访问时间过长,降低了集群效率。为改善以上问题,提出一种改进的副本分级存储调度策略。为减少副本调度的次数,先根据节点的CPU、内存、网络、存储负载以及网络距离来评价节点的性能,再从中选取高性能节点进行存储。副本调度以节点中副本的访问频率为依据,结合硬件配置,把访问频率高的副本尽可能存储在高性能、高配置的节点中,以加快集群响应速度。实验结果表明,改进后的策略可以在异构集群中提高副本的访问效率,优化负载均衡。     

基于多属性最优化的海洋监测数据副本布局策略

数据的完整性和可靠性是保证其能被高效访问的关键,尤其是在云存储环境中,数据副本策略是影响系统性能和保障数据可用性的核心。从数据副本布局的角度,提出了基于多属性最优化的数据副本布局策略(Data Replica Layout Strategy based on Multiple Attribute Optimization,MAO-DRLS)。该策略根据数据的访问热度和存储节点的关键属性特点,为每个数据设置动态的副本数,并选择合适的节点对副本进行布局。实验表明,MAO-DRLS策略能够有效地提升数据副本的利用率,缩短系统的响应时间。     

基于GLOBUS的数据网格中副本定位策略研究

在因特网的数据网格环境中，将整个网格系统划分为若干个存储子域，基于Globus平台，结合Giggle框架提出三层副本定位服务结构，并提出了基于Giggle的副本定位算法（RLBOG）。分析表明，新算法有效地减少了响应时间，提高了系统性能。     

GeoFS:一个广域文件系统的设计与实现

GeoFS是一个遵从POSIX标准的广域分布式文件系统,用于站点之间共享数据.GeoFS使用FUSE用户态文件系统库,为应用程序提供标准文件系统接口,现有应用无需修改源代码即可运行其上.详述GeoFS副本及缓存设计,使得GeoFS适用于高时延、低带宽的广域环境的同时,提高GeoFS的可靠性与可用性.性能测试表明GeoFS在不同时延下,并行两副本读比单副本读性能平均提高56%,其中在100ms时延下,并行两副本读比单副本读性能提高66%;而当客户端缓存命中时,读写性能与本地文件系统性能相当.     

基于超节点网络的多源并行数据分发研究

在P2P系统中,同一个数据往往拥有多个副本,这些副本分布在网络的不同节点上,为并行分发提供了可能.然而在传统的数据分发中,只有单一的源节点参与分发,这种模式不但浪费了系统中存在的多个副本资源,而且容易使单一的源节点成为系统的瓶颈.为了更有效地利用系统中存在的多个副本资源,提高分发的效率和系统的性能,提出了一个基于超节点网络的多源并行数据分发算法PPMSD,通过一个基于超节点网络的结构化拓扑来组织系统中的数据和索引,使得数据的查询和定位效率控制在O(log N)以内;根据分发速率动态地为每个数据源分配相应比例的分发数据量,并行地向目标节点传输数据以最小化分发时间;最后,实现了原型系统PPThor以验证算法的有效性.测试结果表明分发的效率得到了极大的提高.     

云存储系统中基于分簇的数据复制策略

云存储技术已经成为当前互联网中共享存储和数据服务的基础技术,云存储系统普遍利用数据复制来提高数据可用性,增强系统容错能力和改善系统性能。提出了一种云存储系统中基于分簇的数据复制策略,该策略包括产生数据复制的时机判断、复制副本数量的决定以及如何放置复制所产生的数据副本。在放置数据副本时,设计了一种基于分簇的负载均衡副本放置方法。相关的仿真实验表明,提出的基于分簇的负载均衡副本放置方法是可行的,并且具有良好的性能。     

基于重复数据删除的虚拟桌面存储优化技术

虚拟桌面基础架构依靠数据中心海量的云基础设施,为用户按需提供虚拟桌面部署所需的软硬件资源,但同时面临存储资源利用率低和虚拟机启动慢的困境.针对虚拟桌面存储中具有大量数据冗余的特性,采用重复数据删除技术缩减虚拟桌面基础架构的存储空间需求;并利用服务器本地磁盘缓存以及共享存储池内的固态硬盘来优化虚拟机的启动性能.通过原型实现,发现相比于基于内容分块的策略,静态分块策略更适合虚拟桌面存储进行重复数据删除,最优的分块大小为4KB,并能够缩减85%的存储空间容量;通过服务器本地磁盘缓存和基于闪存的固态硬盘进行I/O优化,虚拟机的启动速度能够获得35%的提升.     

一种高可用对象存储系统的数据组织研究

通过对现有不同存储系统的容错能力进行认真分析,提出了一种新的高可用对象存储系统架构HAOSS(High Availability Object Storage System).HAOSS系统分两层:上层存储的对象采用在多个设备之间的数据备份的方式来实现高可靠性,多个备份能够同时对外提供服务,保证系统的高性能,但是磁盘利用率比较低.下层采用RAID5,RAID6以及RAID_Blaurn等不同的容错编码来实现多盘容错功能,磁盘利用率较高,但是由于编码越来越复杂,容错编码需要大量的计算,性能受到很大的影响.在数据组织上,新对象和热点对象放上层,这样大部分请求都能够在上层命中,从而保证系统的性能.下层主要用来放不常用的数据.磁盘利用率比较高.在1000Mbps以太网环境下对HAOSS性能进行了测试,结果表明,HAOSS顺序读写性能都比较好,最大可以达到104MB/s,达到1000Mb以太网的理论最大物理带宽.     

基于云存储的二阶段动态优化调度机制

在分布式存储的研究中,如何高效地利用存储空间是个热点问题.存储集群中,每个数据节点存储容量不可能完全一致,由于主节点选择数据节点的随机性,被选中数据节点磁盘可能接近满额,此时主节点会自动做存储负载均衡,占用数据传输带宽,不仅影响数据传输的性能,而且会引起传输数据的不可靠.论文提出一种基于云存储的二阶段动态优化调度机制：第一阶段通过计算副本存储优选比率,采用基于贪心算法的局部优化存储方案,选择存储节点,均衡副本放置空间;第二阶段采用实时监控存储集群,动态调整副本放置节点,达到存储资源的高效利用.最后通过实验,验证了该调度机制可有效地放置副本,减少节点间的数据传输,并提高文件访问效率.     

Multiclass replicated data management: exploiting replication toimprove efficiency

Research efforts in replication-control protocols primarily use replication as a means of increasing availability in distributed systems. It is well-known, however, that replication can reduce the costs of accessing remotely-stored data in distributed systems. We contribute a classification of replicas and a replication-control protocol which introduce the availability benefits of replication and, at the same time, exploit replication to improve performance, by reducing response time. Each replica class has different consistency requirements. Metareplicas keep track of up-to-date replicas for recently-accessed objects and help exploit data-reference localities. Thus they allow many transaction operations to execute synchronously at only a single (and often local) replica. Pseudoreplicas are nonpermanent replicas that facilitate “localized execution” of transaction operations. True replicas are ordinary, permanent replicas as used in other replication schemes. For many commonly occurring replication scenarios, the protocol outperforms both replication-control protocols in the literature and nonreplicated systems, while offering the availability benefits of replication     

基于双层ID空间的Peer-to-Peer文件系统设计与实现

提出并实现了一种建立在Peer-to-Peer搜索策略上的自组织，自适应，高效和可靠的文件系统DISPES（Double ID Space Based Peer-to-peer File System)。它在双层ID空间中构造虚拟存储节点，不仅有效地取得了文件系统的负载均衡，提高系统利用率，而且保证了动态环境中文件的可靠，快速获取，试验数据表明，DISPFS在系统接近满负荷运行和文件插入/删除操作频繁的双重压力下依然保持优良的性能。     

Adaptive data replication strategy in cloud computing for performance improvement

Cloud computing is becoming a very popular word in industry and is receiving a large amount of attention from the research community. Replica management is one of the most important issues in the cloud, which can offer fast data access time, high data availability and reliability. By keeping all replicas active, the replicas may enhance system task successful execution rate if the replicas and requests are reasonably distributed. However, appropriate replica placement in a large-scale, dynamically scalable and totally virtualized data centers is much more complicated. To provide cost-effective availability, minimize the response time of applications and make load balancing for cloud storage, a new replica placement is proposed. The replica placement is based on five important parameters: mean service time, failure probability, load variance, latency and storage usage. However, replication should be used wisely because the storage size of each site is limited. Thus, the site must keep only the important replicas.We also present a new replica replacement strategy based on the availability of the file, the last time the replica was requested, number of access, and size of replica. We evaluate our algorithm using the CloudSim simulator and find that it offers better performance in comparison with other algorithms in terms of mean response time, effective network usage, load balancing, replication frequency, and storage usage.     

虚拟机文件取证分析

介绍VMware Workstation软件常见的虚拟机磁盘文件结构及其含义,提出一种符合司法要求的虚拟机文件取证方法。通过直接扫描虚拟机文件,依据虚拟硬盘分区文件类型的存储结构定位虚拟机磁盘文件的虚拟主机的相应扇区,获取证据。以虚拟硬盘分区文件系统NTFS为例进行说明,探讨在虚拟机下进行计算机取证的策略。     

基于对等网数据副本间消息传输的PBMB算法

在基于对等网技术构建的广域网存储系统中,保存数据的多份副本可有效地提高整个存储系统的性能与可靠性,为了使更新数据在副本间有效地进行传输,该文提出适用于广域网存储系统副本间数据传输的PBMB算法,通过广播位将系统中的节点划分为不同组,并使用一种新颖的方式在组间进行数据传输,与传统方法相比,降低了节点负担,提高了数据传输效率。模拟实验表明,PBMB算法降低了节点连接出入度,具有较好的数据传输效率,适用于实际系统的需求。