共查询到17条相似文献,搜索用时 203 毫秒
1.
在集群文件系统中,元数据服务器是整个系统正常运转的核心,它的可靠性和性能是设计系统时需要着重考虑的问题之一.本文设计了一个具有高可靠性、高性能的两级元数据服务器系统,兼顾了集中式元数据管理和分布式元数据管理的优点.系统中高级元数据服务器负责维护文件系统全局的目录结构和管理整个文件系统的命名空间,双元数据服务器负责维护文件元数据的分布信息,并采用了马尔可夫回报模型对两级元数据服务器系统进行了可靠性分析.实验数据表明,具有两级元数据服务器的集群文件系统能提供高吞吐量. 相似文献
2.
提出了一种新的机群文件系统缓存模型,它充分利用机群系统累积的系统资源和高速的互联网络,将文件系统元数据和内容数据分离,分别使用分布式元数据缓存和统一缓存模型进行管理。元数据缓存使用改进的广播一致性协议和LRU替换算法。内容数据统一缓存则将磁盘缓存整个文件和内存缓存文件块相结合组成一个单一映像的多层次分布协作缓存,并使用单拷贝优先LRU和向前传递调度缓存块替换算法以及一种贪心的数据预取方法。实验结果表明,这两种缓存机制结合使用能极大地提高机群文件系统的性能。 相似文献
3.
面向大数据分析的分布式文件系统关键技术 总被引:1,自引:0,他引:1
大数据时代的来临使数据分析和处理能力成为数据中心和互联网公司日益倚重的技术手段.信息规模的扩大和数据结构的多样化,使海量数据存储成为大数据分析研究的热点.传统的分布式文件系统在扩展性、可靠性和数据访问性能等方面难以满足新形势下的需求.设计并实现了一个面向大数据分析、专为大规模集群应用的分布式文件系统Clover.该系统采用基于目录划分和一致性Hash映射的名字空间管理方法,解决了元数据扩展性问题;通过改进的两阶段提交协议,保证了多元数据服务器下分布式元数据操作的一致性;提出了基于共享存储池的高可用机制,通过热备和全局状态恢复机制提高了元数据的可靠性.评测结果表明,Clover的元数据处理能力随服务器的数量线性增长,增加单个服务器的元数据操作性能平均提升了5.13%~159.32%.由于名字空间管理和分布式事务的开销,多元数据服务器会导致复杂操作的性能下降,但是这种下降的幅度很小(小于10%).与HDFS相比,Clover的文件读写带宽与之接近,并能够保证在元数据服务器失效后文件系统快速恢复,适合于构建高可扩展和高可用的存储系统. 相似文献
4.
针对广域网高延迟、低带宽的特性给广域文件系统访问带来的性能影响问题,提出了一种不依赖于底层文件系统、能够加速广域文件系统读写访问的缓存策略.该策略支持基于区间粒度的文件数据缓存及访问,并支持元数据本地缓存;该策略提供基于阈值的容量管理功能,采用超时与最终一致相结合的方式维护缓存的一致性.最后使用典型的文件I/O基准测试工具和元数据性能测试工具对该缓存策略进行了评测,实验结果表明:该缓存策略减少了客户端与服务器的交互次数,给广域文件系统的数据访问带来了明显的性能提升,当缓存命中时其数据的读写性能与本地文件系统相近. 相似文献
5.
分布式文件系统元数据服务器高可用性设计 总被引:1,自引:0,他引:1
设计并实现了面向对象的分布式文件系统元数据服务器高可用方案,用于提高存储系统的可用性.系统使用集中式元数据管理服务器,通过日志文件和检查点文件对元数据进行保存;针对系统特点,该方案采用active/hot-standby模式实现元数据服务器冗余备份.对系统状态监控、日志及检查点数据同步复制、元数据服务器节点失败接管、防止系统split-brain等关键技术问题进行了深入研究和提出相应解决方法,并对影响系统恢复时间的因素进行了细致分析.测试表明,高可用功能的实现对系统性能影响可以随存储文件的增大而减少,并可在失败发生后的较短时间内完成主从服务器的切换. 相似文献
6.
文章描述了WanLan集群视频服务器上的集群流媒体文件系统(MFS)的设计与实现。MFS是一种支持MPEG文件格式的分布式流媒体文件系统,它由MFS的客户端、管理节点、数据节点以及元数据服务节点组成。MFS流媒体集群文件系统实现了单一系统的逻辑映像、数据和元数据的高可用以及系统自动配置。 相似文献
7.
8.
随着网络上多媒体数据的爆炸性增长,对海量可扩展的存储系统的需求也快速增长.CMSS(Cluster Multimedia Storage System)项目采用分布式存储系统结构:一种自治的高性能的基于PC的存储集群系统.CMSS采用两级的元数据服务器结构,通过分离存储数据的逻辑视图与物理视图,全局逻辑视图由专用的全局元数据服务器来管理,局部逻辑视图和物理视图由各个存储服务器上的本地元数据服务器来管理.在详细介绍了CMSS系统两级元数据管理方案的同时,进行了相应的试验测试和性能分析. 相似文献
9.
10.
可靠性问题是研究大规模集群存储系统的一个重要方面,元数据服务器是大规模集群存储的中心。本文针对基于镜像复制和共享存储的服务器实现方案,采用马尔可夫补偿模型研究元数据服务器的状态迁移概率,分析了元数据服务器集群的可靠性以及数据一致性对可靠性的影响,对实现大规模集群文件系统中的元数据服务器有重要的指导意义。 相似文献
11.
蓝鲸分布式文件系统的分布式分层资源管理模型 总被引:10,自引:0,他引:10
为了高效地管理海量分布式存储资源,蓝鲸分布式文件系统抛弃了传统的集中式资源管理方式,实现了分布式分层资源管理模型.该模型可以管理多个存储服务器,还能支持多个元数据服务器组成的集群进行分布式元数据处理,支持各种元数据和数据的负载平衡策略.同时,该模型中的带外数据传输功能克服了系统的性能瓶颈,提高了系统支持并发访问的能力.理论分析和实际测试结果都表明此模型能够满足多种不同的需求,提供很好的性能和良好的扩展性. 相似文献
12.
13.
Distributed metadata consistency is one of the critical issues of metadata clusters in distributed file systems. Existing methods to maintain metadata consistency generally need several log forced write operations. Since synchronous disk IO is very inefficient, the average response time of metadata operations is greatly increased. In this paper, an asynchronous atomic commit protocol (ACP) named Dual-Log (DL) is presented. It does not need any log forced write operations. Optimizing for distributed metadata operations involving only two metadata servers, DL mutually records the redo log in counterpart metadata servers by transferring through the low latency network. A crashed metadata server can redo the metadata operation with the redundant redo log. Since the latency of the network is much lower than the latency of disk IO, DL can improve the performance of distributed metadata service significantly. The prototype of DL is implemented based on local journal. The performance is tested by comparing with two widely used protocols, EP and S2PC-MP, and the results show that the average response time of distributed metadata operations is reduced by about 40%-60%, and the recovery time is only I second under 10 thousands uncompleted distributed metadata operations. 相似文献
14.
本文研究集群文件系统的特征,提出了一种分布式元数据管理技术。该技术通过哈希方式分布元数据对象、自侦测自适应和连续相邻节点备份的方法,实现了元数据的动态扩展和高可用。在我们研制的HANDY文件系统中采用了这项技术。测试结果说明,HANDY的元数据扩展性是令人满意的。实现了动态可扩展和高可用的设计目标。 相似文献
15.
高效的、去中心化的元数据管理方案对大型分布式存储系统的可靠性、可扩展性起至关重要的作用.针对基于Hash划分和基于子树划分的元数据管理方案扩展代价巨大、对集群变动敏感等问题,提出一种基于一致性Hash结构的元数据服务器(metadata server, MDS)集群化方案——CH-MMS(consistent Hash based metadata management schema).CH-MMS在一致性MDS集群上引入虚拟MDS(Virtual MDS),有效平衡MDS集群负载;将Standby机制与延迟更新策略融合并应用于MDS集群,实现MDS快速失效恢复以及集群变动时零数据迁移量.阐述了CH-MMS的体系结构,介绍了核心数据结构layout-table、虚拟MDS结构、延迟更新机制及相关算法,并对CH-MMS扩展性、容错性作了定性分析.最后通过原型系统和模拟实验说明,CH-MMS具有元数据平衡分布、快速失效恢复、灵活的扩展性以及零结点变动数据迁移量等特点,能满足数据量不断增加的大规模存储集群元数据灵活、高效管理的需求. 相似文献
16.
17.
A GPU-Accelerated In-Memory Metadata Management Scheme for Large-Scale Parallel File Systems
下载免费PDF全文
![点击此处可从《计算机科学技术学报》网站下载免费的PDF全文](/ch/ext_images/free.gif)
Driven by the increasing requirements of high-performance computing applications,supercomputers are prone to containing more and more computing nodes.Applications running on such a large-scale computing system are likely to spawn millions of parallel processes,which usually generate a burst of I/O requests,introducing a great challenge into the metadata management of underlying parallel file systems.The traditional method used to overcome such a challenge is adopting multiple metadata servers in the scale-out manner,which will inevitably confront with serious network and consistence problems.This work instead pursues to enhance the metadata performance in the scale-up manner.Specifically,we propose to improve the performance of each individual metadata server by employing GPU to handle metadata requests in parallel.Our proposal designs a novel metadata server architecture,which employs CPU to interact with file system clients,while offloading the computing tasks about metadata into GPU.To take full advantages of the parallelism existing in GPU,we redesign the in-memory data structure for the name space of file systems.The new data structure can perfectly fit to the memory architecture of GPU,and thus helps to exploit the large number of parallel threads within GPU to serve the bursty metadata requests concurrently.We implement a prototype based on BeeGFS and conduct extensive experiments to evaluate our proposal,and the experimental results demonstrate that our GPU-based solution outperforms the CPU-based scheme by more than 50%under typical metadata operations.The superiority is strengthened further on high concurrent scenarios,e.g.,the high-performance computing systems supporting millions of parallel threads. 相似文献