共查询到17条相似文献,搜索用时 62 毫秒
1.
2.
3.
并行文件系统容错是集群容错的关键组成部分。本文采用一种新的数据复制技术来实现并行文件系统数据的容错。由元数据管理器跟踪文件副本的存放位置,使节点副本可以平均分布在其他I/O节点,从而有利于负载平衡和可扩展性,另外还能够避免临近节点失效问题。 相似文献
4.
5.
6.
本文在并行文件系统中结合了分布共享存储器的机制而提出了新的模型,方便了文件的并发存取,充分地全用了内存潜力,提高了系统的性能。 相似文献
7.
并行文件系统已作为超级计算机提高I/O带宽最常用的方法之一,鉴于超级计算机之间体系结构的差异,其设计和实现方法也不同。本文就IntelTFLOPS的并行文件系统(PFS)作一介绍。 相似文献
8.
并行文件系统是高性能计算机为提高I/O带宽在软件方面采用的主要并行I/O技术之一。该文介绍了一种基于直接数据访问的并行文 件系统的设计和实现,阐明了该并行文件系统具备的主要功能及解决的关键技术问题。 相似文献
9.
本文针对集束式请求服务模型和并行科学计算应用的访问模式,综合考虑了磁盘开销和通讯时间,在理论上推导出最优化的服务关系,并进行了模拟验证。 相似文献
10.
为了优化基于对象的存储设备(OSD)内对象的存储,该文提出了一种用于OSD中的智能化的对象文件系统SOFS,它是一个文件系统容器,可以包含多种基于不同应用的文件系统,目前包含了两种文件系统:通用对象文件系统和媒体对象文件系统,分别用于存储文档、网页等小对象和大的媒体对象。SOFS在Linux内核中的实现与ext2比较,结果显示,读写普通文档等小对象时,SOFS的性能高出ext2 大约10%,而读写大的媒体对象时,效率高出ext2 30%左右。 相似文献
11.
研究并行文件系统自适应的文件条带(Striping)策略对改进文件访问性能的影响,并开发动态的文件条带分析模型,利用自动访问模式分类和实时文件系统性能数据为文件条带策略选择模糊逻辑规则库,来优化文件访问性能。研究结果表明:当文件系统负载低时,可以尽量将文件分布到所有磁盘上来最小化I/O的反馈时间;反之,在系统负载高时,使文件分布的范围小一些以便最大化文件系统整体的吞吐量。并通过实验给出了请求大小、请求宽度、请求到达率与系统性能的相互关系,实证了自适应规则库的正确性。 相似文献
12.
并行文件系统研究综述 总被引:3,自引:0,他引:3
对于运行在机群上的一类I/O密集型应用,I/O成为整个系统的瓶颈,并行文件系统是解决I/O瓶颈问题的重要方法.但如何实现高性价比且高可用的并行文件系统,目前还没有一个成形完整的解决方案.本文阐述了并行文件系统的功能和模型,对现存的并行文件系统从三个不同的角度进行了分类,详细分析了设计并行文件系统的5个关键技术,分析评价了具有代表性的并行文件系统优缺点,最后讨论了进一步的研究工作. 相似文献
13.
曙光星云分布式文件系统:海量小文件存取 总被引:2,自引:0,他引:2
随着互联网应用的发展和云计算的兴起,在线图片、音频、视频以及微博等服务逐渐广泛发展,这些应用展示了与传统应用截然不同的数据访问和存储模式.数据中心内每秒钟都有大量较小文件的生成、分析和返回,这些应用对高并发海量文件的高吞吐、低延迟读写提出了新的挑战.提出基于分布式表存储的全新的分布式文件系统HVFS来管理数以十亿计的文件,并同时支持高吞吐和低延迟的文件访问.HVFS通过改进分布式可扩展哈希来管理元数据、日志结构的格式和列存储来利用时空局部性.本文描述了HVFS的设计和实现并进行了中等规模的实验.实验显示HVFS的表存储结构能够线性的扩展,并在82个结点上提供超过240,000次/秒、100,000次/秒的数据(<1KB)写和读;基于FUSE的实现在32个节点上提供超过180,000个/秒的文件创建速度. 相似文献
14.
并行文件系统是高性能计算系统中的快速I/O库。它的目的是为并行计算应用提供快速Input/Output的手段。文章总结了并行应用程序的读写特点,其中的关键问题和在并行文件系统的通常使用的技术,并以此为基础设计了面向曙光高性能服务器的曙光并行文件系统(Dawning Parallel File System,DPFS)。 相似文献
15.
16.
数据规模和并发访问的需求日益增长,可扩展能力成为并行文件系统的重要需求之一.文中提出了一种基于非对称并行文件系统Redbud的高可扩展资源管理机制.该管理机制根据数据的访问特征,使用不同的树形结构管理不同类型的数据,满足了文件数据和元数据的并发检索需求;该管理机制还使用文件级的数据分布机制,允许用户利用各种策略进行目录和文件的管理,能满足文件级的数据访问性能、目录级数据可靠性等实际应用需求.多个基准测试程序和实际应用程序的测试结果表明,文件的独占访问能达到磁盘95%的性能;同时,随着设备和应用节点的增加,数据和元数据的并发访问性能线性增长. 相似文献
17.
并行文件系统与并行I/O研究 总被引:1,自引:0,他引:1
集群计算系统中并行文件系统的研究是当前计算机与网络技术中的一个热点问题,而并行I/O是缓解系统数据输入输出瓶颈的一个技术途径。论文对当前集群系统中的并行文件系统与并行I/O做了研究,阐述了研究发展的现状、关键问题等,指出了在集群计算系统中的文件组织、分布以及其在磁盘上的实现、数据的访问特性、高性能网络文件系统、系统的负载平衡与缓冲和预取策略。 相似文献