共查询到17条相似文献,搜索用时 78 毫秒
1.
2.
集群计算系统中并行文件系统的研究是当前计算机与网络技术中的一个热点问题,而并行I/O是缓解系统数据输入输出瓶颈的一个技术途径.论文对当前集群系统中的并行文件系统与并行I/O做了研究,阐述了研究发展的现状、关键问题等,指出了在集群计算系统中的文件组织、分布以及其在磁盘上的实现、数据的访问特性、高性能网络文件系统、系统的负载平衡与缓冲和预取策略. 相似文献
3.
并行文件系统Lustre粗粒度I/O性能良好,细粒度I/O性能相对粗粒度I/O比较低下,因此优化细粒度I/O性能成为提高系统整体I/O性能的关键问题。在研究和分析了Lustre的I/O访问模式、细粒度I/O服务流程和页面替换算法等方面后,提出了细粒度优先(Fine Grained First,FGF)LRU算法。在OST端及Client端的页高速缓存中最大程度地保留细粒度I/O的页面,降低细粒度I/O引起的页面下沉速度,延长细粒度I/O页面在主存中的时间,进而减少对磁盘的访问次数,降低磁盘访问开销。通过对实验数据的对比和分析,验证了FGF-LRU算法的有效性。在不影响粗粒度I/O性能的情况下,提高了细粒度I/O性能,最终实现提高系统整体I/O性能。 相似文献
4.
MPP的峰值速度可望在近年内达到每秒十万亿次,主要用于大数据量的计算。所以,如果MP中的I/O性能不能得到迅速提高,MPP的整体性能将会肥到严重影响。也就是说,I/O性能决定着MPP的总体性能。 相似文献
5.
并行文件系统与并行I/O研究 总被引:1,自引:0,他引:1
集群计算系统中并行文件系统的研究是当前计算机与网络技术中的一个热点问题,而并行I/O是缓解系统数据输入输出瓶颈的一个技术途径。论文对当前集群系统中的并行文件系统与并行I/O做了研究,阐述了研究发展的现状、关键问题等,指出了在集群计算系统中的文件组织、分布以及其在磁盘上的实现、数据的访问特性、高性能网络文件系统、系统的负载平衡与缓冲和预取策略。 相似文献
6.
赵铁柱 《网络安全技术与应用》2013,(8):61-63
并行文件系统是并行计算系统的存储子系统,I/O性能是并行计算系统研究的重要方面.本文分析了并行文件系统I/O研究的难点,研究了并行文件系统的I/O特征和关键技术,指出了并行文件系统I/O性能研究未来的研究方向,为并行计算系统的设计和优化提供重要参考. 相似文献
7.
并行I/O服务模型是将并行I/O子系统提供的在物理I/O带宽高效地转化为用户实际I/O带宽的关键。文中针对DDIO服务模型对小尺寸I/O访问的服务性能改善较小和通信开销过大的局限性,提出了新的IDDIO服务模型,IDDIO模型针对并行科学计算应用中同有求和独立请求的特点采用了统一的集成式界面,同时对大尺寸、小尺寸I/O访问提供了较好的优化,并采用打包、流水等技术降低了通信开销,在一定程度上消除DD 相似文献
8.
并行文件系统的框架设计和性能研究 总被引:1,自引:0,他引:1
利用InfiniBand技术特征实现高效的并行文件系统(EPFS),设计一个高性能的透明传输层,对数据流的缓存管理、动态和公平的缓存共享,以及有效的内存注册和注销进行研究。实验表明,当I/O节点足够多时,随着计算节点的增加,基于InfiniBand技术的EPFS比基于TCP/IP的EPFS的读写性能增长更快。并且,两级别的内存注册和注销方法AFMRD比受约束的缓存技术更好地改进I/O性能。 相似文献
9.
杨树强 《计算机工程与科学》2004,26(4):70-72
I/O和网络开销是数据库系统主要的性能瓶颈,本文针对数据库I/O请求的特点,讨论在大量并发I/O请求到来的情况下如何有效地对这些I/O请求进行重组、排序和合并,以便提高数据库系统的总体性能。 相似文献
10.
本文基于开放硬件平台和软件环境提出了一种集成式多通道组合阵列存储系统结构;设计了多个阵列适配卡分条和卡上多个磁盘分条的两级并行数据组织和分布方式,以提高I/O访问的并发性;提出了一种将来自主机的I/O命令并行分散到多个阵列通道上的调度方法。实验表明,在10Gb/s的Infiniband主机接口通道下,组合阵列的I/O性能基本上是多个阵列适配卡I/O带宽的线性叠加。 相似文献
11.
近几年,性能模型作为一种新的并行系统性能分析方法,得到学术界和工业界的广泛重视.给出了一个开放式性能模型框架结构PMPS(n)并实现了该框架下的一个面向I/O密集型并行应用模型PMPS(3),使用该模型分析了各种NPB程序在PⅣ机群系统上的性能.实验结果表明,对存储密集型应用,PMPS(3)模型与PERC模型预测结果相当;对I/O密集型应用性能的预测,PMPS(3)模型优于PERC模型.进一步分析发现,应用的数据相关、控制相关和操作重叠会影响模型预测结果.实验结果还说明了PMPS(n)性能模型具有很好的扩展性. 相似文献
12.
Hyeonsang Eom Jeffrey K. Hollingsworth 《Journal of Parallel and Distributed Computing》2001,61(12):1732
This paper presents a family of simulators for data-intensive applications, and a methodology to select the most efficient simulator based on a user-supplied requirement for accuracy. The methodology consists of a series of tests that select an appropriate simulation based on the attributes of the application. In addition, each simulator provides two estimates of application execution time: one for the minimum expected time and the other for the maximum. We present the results of applying the strategy to existing applications and show that we can accurately simulate applications tens to hundreds of times faster than application execution time. 相似文献
13.
为支持数据挖掘应用,对NOW机群系统的分布式共享存储管理机制进行了适当的简化1~2,结合数据挖掘中数据处理的特点,设计了一个并行内存缓冲系统。该缓冲系统为应用程序提供上下两层应用接口,既可以保证内存操作的透明性,又为应用程序自主操作数据提供了极大的灵活性。缓冲系统可以充分利用网络结点的存储空间为应用程序实现网络虚拟存储环境,同时也可以很好地支持应用程序对数据文件的并行化处理。 相似文献
14.
一种集群计算系统中并行I/O文件存储分配策略 总被引:2,自引:0,他引:2
现代计算机系统性能已经由受限于CPU转变为受限于I/O,近年来研究人员对高性能计算中的并行I/O问题进行了深入研究.本论文的主要工作是对集群计算中的并行I/O子系统进行研究,提出一种文件拆分与存储分配的新策略,即:已知知识的文件拆分与分配方法(KKFDA),该方法保证文件存储方式与访问方式的一致性,达到了提高文件访问时的本地命中率、缩短访盘响应时间的目的.算法设计与实验证明了方法的有效性. 相似文献
15.
数据规模和并发访问的需求日益增长,可扩展能力成为并行文件系统的重要需求之一.文中提出了一种基于非对称并行文件系统Redbud的高可扩展资源管理机制.该管理机制根据数据的访问特征,使用不同的树形结构管理不同类型的数据,满足了文件数据和元数据的并发检索需求;该管理机制还使用文件级的数据分布机制,允许用户利用各种策略进行目录和文件的管理,能满足文件级的数据访问性能、目录级数据可靠性等实际应用需求.多个基准测试程序和实际应用程序的测试结果表明,文件的独占访问能达到磁盘95%的性能;同时,随着设备和应用节点的增加,数据和元数据的并发访问性能线性增长. 相似文献
16.
并行文件系统是高性能计算系统中的快速I/O库。它的目的是为并行计算应用提供快速Input/Output的手段。文章总结了并行应用程序的读写特点,其中的关键问题和在并行文件系统的通常使用的技术,并以此为基础设计了面向曙光高性能服务器的曙光并行文件系统(Dawning Parallel File System,DPFS)。 相似文献
17.
高性能计算系统需要一个可靠高效的并行文件系统.Lustre集群文件系统是典型的基于对象存储的集群文件系统,它适合大数据量聚合I/O操作.大文件I/O操作能够达到很高的带宽,但是小文件I/O性能低下.针对导致Lustre的设计中不利于小文件I/O操作的两个方面,提出了Filter Cache方法.在Lustre的OST组件中设计一个存放小文件I/O数据的Cache,让OST端的小文件I/O操作异步进行,以此来减少用户感知的小文件I/O操作完成的时间,提高小文件I/O操作的性能. 相似文献