面向海量空间数据存储的元数据管理机制

为了有效管理海量空间数据存储的元数据,引入了一种基于一致性哈希的分布式元数据服务器管理架构,并在此基础上提出了一种元数据轮式备份策略,将经过一致性哈希算法散列后存储元数据的节点按轮转方式进行数据备份,有效缓解了元数据管理的单点问题与访问瓶颈.最后对轮式备份策略进行测试,得出最佳元数据节点个数备份方案,与单点元数据服务器相比提高了元数据的安全性,降低了访问延迟,并结合虚拟节点改善了分布式元数据服务器的负载均衡.     

面向大数据分布式存储的动态负载均衡算法

随着大数据时代的到来,分布式存储技术应运而生。目前主流大数据技术Hadoop的HDFS分布式存储系统的元数据存储架构上一直存在可扩展性差和写延迟高等问题,其在官方2.0版本中针对可扩展性的解决方案(Fe-deration)仍不完美,仅解决了原有HDFS扩展性的问题,在元数据分配的问题上没有考虑NameNode的异构性能差异,也未解决NameNode集群动态负载均衡的问题。针对该情况,提出了一种动态负载均衡的分布NameNode算法,通过元数据多副本异构节点的动态适应性备份,使元数据在考虑节点性能及负载的情况下实现了动态分布,保证了元数据服务器集群的性能;同时结合缓存策略及自动恢复机制,提高了元数据的读写性及可用性。该算法在试验验证中达到了较为理想的效果。     

一种分布式元数据的动态管理系统

为得到有效的元数据分布,获得多元数据服务器的负载均衡,提出一种分布式元数据的动态管理系统。利用负载均衡算法选择合适热度的子树,通过子树迁移策略将选定的子树迁移到合适的元数据服务器上进行管理,采用子树复制策略降低元数据服务器负载。实验结果证明,该系统能实现元数据的均匀分布。     

基于异构分布式存储系统的动态反馈负载均衡技术

Samba分布式存储系统通过根服务器向用户提供全局名字空间,当用户提出访问请求时,根服务器只按照静态的方式返回逻辑名对应的物理目标位置.当存在多个物理目标时,大多数用户的访问请求都将被定位在一台服务器上.多目标只保证了服务可用性,而没有对系统的负载均衡作出贡献.针对这一问题,提出了一种基于服务器性能指标的动态反馈负载均衡策略,并给出了基于Samba分布式存储系统的实现方案,旨在提高整个系统的存储能力、网络吞吐率、服务平均响应时间等指标.实验表明,优化后系统的I/O性能得到了很大提升.     

对象存储系统中自适应的元数据负载均衡机制

面向对象的存储系统在研究、工程以及服务领域均得到了广泛的应用.在面向对象的存储系统中,元数据的负载均衡对于提高整个系统的I/O性能具有重要的作用.现有的元数据负载均衡策略不能动态地平衡元数据的访问负载,而且自适应性以及容错特性有待提高.提出了一种自适应的分布式元数据负载均衡机制(adaptabledistributed load balancing of metadata,简称ADMLB),包含基本的负载均衡算法和分布式的增量负载均衡算法.采用基本的负载均衡算法按照服务器的性能公平地分布负载,使用分布式的负载均衡算法定时地调整负载的分布.ADMLB采取分布式的方法均衡地在元数据服务器之间分布负载,根据负载的变化自适应地进行调整,具有很好的容错特性,而且用户可以高效地定位元数据服务器.     

一种基于负载反馈的分布式数字集群动态负载均衡算法

针对传统负载均衡算法不能满足公网数字集群系统高并发用户请求和快速呼叫建立等需求,提出一种基于负载反馈的分布式数字集群动态负载均衡算法,实现公网数字集群系统负载均衡,提高用户容量。首先建立参与MCPTT服务器的静态负载和动态负载监控机制和指标;然后利用加权轮询算法为用户分配参与MCPTT服务器,并通过用户请求的处理获得复合负载参数;根据负载指标的反馈更新参与MCPTT服务器权值以动态调整服务器负载。仿真结果表明,该算法的负载均衡效果优于传统算法和其他动态反馈算法,负载均衡度更小、用户请求响应延迟更低。     

分布式文件系统元数据服务的负载均衡框架

请求负载均衡,是分布式文件系统元数据管理需要面对的核心问题.以最大化元数据服务器集群吞吐量为目标,在已有元数据管理层之上设计实现了一种分布式缓存框架,专门管理热点元数据,均衡不断变化的负载.与已有的元数据负载均衡架构相比,这种两层的负载均衡架构灵活度更高,对负载的感知能力更强,并且避免了热点元数据重新分布、迁移引起的元数据命名空间结构被破坏的情况.经观察分析,元数据尺寸小、数量大,预取错误元数据带来的代价远远小于预取错误数据带来的代价.针对元数据的以上鲜明特点,提出一种元数据预取策略和基于预取机制的元数据缓存替换算法,加强了上述分布式缓存层的性能,这种两层的元数据负载均衡框架同时考虑了缓存一致性的问题.最后,在一个真实的分布式文件系统中验证了框架及方法的有效性.     

可扩展的分布式元数据管理系统设计

为解决高能物理海量存储系统由于存储规模不断扩大所面临的问题,设计一种分布式元数据管理系统,包括元数据管理、元数据服务、缓存服务以及监控信息采集4个部分,在此基础上提出自适应目录子树划分算法,以目录为粒度进行元数据划分,根据集群负载情况调整目录子树,实现元数据信息在元数据集群中的合理存储和分布。实验结果证明,该算法能提高元数据的访问和检索性能,提供可扩展及动态负载均衡的元数据服务,以保证该元数据管理系统的可用性、扩展性及I/O性能不会因存储规模扩大而受到影响,满足高能物理实验日益增长的存储需求。     

Ceph分布式系统的ISCSI高可用集群

在分布式存储集群环境中,为了兼容现有存储协议,提高集群可扩展性,通常都会支持ISCSI存储协议.而现有ISCSI服务的高可用主要通过主从备份的方式实现,该方式会导致资源利用不充分,容易造成单节点负载过重等情况.本文基于Ceph分布式存储系统的优势,采用raft一致性算法等设计并实现ISCSI高可用集群.ISCSI集群使用自定义的节点选择策略实现服务负载均衡,并通过raft分布式协议实现服务故障迁移.实验表明,本文提出的方案是有效的,能够实现服务故障迁移,保证集群负载均衡.     

分布存储VOD系统的负载均衡设计及其仿真

为了满足日益增长的VOD用户数量,设计了一种多服务器组成的分布式VOD系统,系统中服务器的负载均衡问题成为亟待解决的问题.为了解决负载均衡问题.从用户行为分析入手,建立了用户行为的数学模型.根据用户的节目选择分布以及点播时长分布,制定了媒体文件按时间分块并分布存储在多服务器上的策略,并根据热度信息的变化,每隔一段时间对各服务器上存储的内容进行重发布,以此达到各服务器的负载均衡.实现了仿真系统,并设计出用户行为仿真程序进行用户点播行为仿真.仿真实验结果显示,使用该重发布策略后,各服务器达到很好的负载均衡,说明策略是有效的.     

3MDG:基于动态均衡布局的网格元数据管理模型

通过对网格及元数据特点分析，给出了一种数据网格环境下的元数据管理模型。该模型目的在于实现分布式的元数据管理平台，负责对元数据的注册、访问及管理。通过建立元数据到存储系统的映射，用户可进行元数据资源的透明访问。为了适应网格中资源的多变性，提出改进的动态区间映射布局算法对元数据进行动态的、均衡的、可伸缩的重布局，以提高存储系统的自适应能力。     

蓝鲸分布式文件系统的分布式分层资源管理模型

为了高效地管理海量分布式存储资源,蓝鲸分布式文件系统抛弃了传统的集中式资源管理方式。实现了分布式分层资源管理模型．该模型可以管理多个存储服务器,还能支持多个元数据服务器组成的集群进行分布式元数据处理,支持各种元数据和数据的负载平衡策略．同时,该模型中的带外数据传输功能克服了系统的性能瓶颈。提高了系统支持并发访问的能力．理论分析和实际测试结果都表明此模型能够满足多种不同的需求,提供很好的性能和良好的扩展性．     

Dr. Hadoop: an infinite scalable metadata management for Hadoop—How the baby elephant becomes immortal

In this Exa byte scale era, data increases at an exponential rate. This is in turn generating a massive amount of metadata in the file system. Hadoop is the most widely used framework to deal with big data. Due to this growth of huge amount of metadata, however, the efficiency of Hadoop is questioned numerous times by many researchers. Therefore, it is essential to create an efficient and scalable metadata management for Hadoop. Hash-based mapping and subtree partitioning are suitable in distributed metadata management schemes. Subtree partitioning does not uniformly distribute workload among the metadata servers, and metadata needs to be migrated to keep the load roughly balanced. Hash-based mapping suffers from a constraint on the locality of metadata, though it uniformly distributes the load among NameNodes, which are the metadata servers of Hadoop. In this paper, we present a circular metadata management mechanism named dynamic circular metadata splitting (DCMS). DCMS preserves metadata locality using consistent hashing and locality-preserving hashing, keeps replicated metadata for excellent reliability, and dynamically distributes metadata among the NameNodes to keep load balancing. NameNode is a centralized heart of the Hadoop. Keeping the directory tree of all files, failure of which causes the single point of failure (SPOF). DCMS removes Hadoop’s SPOF and provides an efficient and scalable metadata management. The new framework is named ‘Dr. Hadoop’ after the name of the authors.     

Adaptive and scalable load balancing for metadata server cluster in cloud-scale file systems

Big data is an emerging term in the storage industry, and it is data analytics on big storage, i.e., Cloud-scale storage. In Cloud-scale (or EB-scale) file systems, load balancing in request workloads across a metadata server cluster is critical for avoiding performance bottlenecks and improving quality of services.Many good approaches have been proposed for load balancing in distributed file systems. Some of them pay attention to global namespace balancing, making metadata distribution across metadata servers as uniform as possible. However, they do not work well in skew request distributions, which impair load balancing but simultaneously increase the effectiveness of caching and replication. In this paper, we propose Cloud Cache (C²), an adaptive and scalable load balancing scheme for metadata server cluster in EB-scale file systems. It combines adaptive cache diffusion and replication scheme to cope with the request load balancing problem, and it can be integrated into existing distributed metadata management approaches to efficiently improve their load balancing performance. C² runs as follows: 1) to run adaptive cache diffusion first, if a node is overloaded, loadshedding will be used; otherwise, load-stealing will be used; and 2) to run adaptive replication scheme second, if there is a very popular metadata item (or at least two items) causing a node be overloaded, adaptive replication scheme will be used, in which the very popular item is not split into several nodes using adaptive cache diffusion because of its knapsack property. By conducting performance evaluation in trace-driven simulations, experimental results demonstrate the efficiency and scalability of C².     

数据网格中一种基于副本和缓存的元数据管理系统

元数据管理是数据网格的关键技术之一．对全局分布式存储系统GDSS(global distributed storage system)中的元数据管理进行了改进，提出了一种基于副本和缓存的分布式元数据管理系统RCMMS(replication and cache based distributed metadata management system)，缓存设置在GDSS系统中的存储服务点SSP(storage senice point)端．还讨论了RCMMS的设计、实现以及测试．RCMMS提供了动态管理元数据副本的有效算法．分析和测试表明，副本结合缓存的元数据管理方案在性能上超过了GDSS现有的元数据管理系统，有着较好的可靠性．     

面向多虚拟机的分布式存储系统

通过分析虚拟桌面系统对存储系统的要求,设计并实现了面向多虚拟机的分布式存储系统——虚拟机存储系统(virtual machine storage,VMStore)。分布式技术具有灵活性和可扩展性,因此采用分布式技术提高多虚拟机存储系统的吞吐率。在元数据管理中采用直接块索引结构以获得更好的快照性能,并采用去冗余技术减少多虚拟机镜像之间的冗余数据。实验结果显示存储系统具有较好的吞吐能力,且快照和去冗余的开销对整个系统的影响较小。