共查询到17条相似文献,搜索用时 125 毫秒
1.
高性能计算系统需要一个可靠高效的并行文件系统.Lustre集群文件系统是典型的基于对象存储的集群文件系统,它适合大数据量聚合I/O操作.大文件I/O操作能够达到很高的带宽,但是小文件I/O性能低下.针对导致Lustre的设计中不利于小文件I/O操作的两个方面,提出了Filter Cache方法.在Lustre的OST组件中设计一个存放小文件I/O数据的Cache,让OST端的小文件I/O操作异步进行,以此来减少用户感知的小文件I/O操作完成的时间,提高小文件I/O操作的性能. 相似文献
2.
并行文件系统Lustre粗粒度I/O性能良好,细粒度I/O性能相对粗粒度I/O比较低下,因此优化细粒度I/O性能成为提高系统整体I/O性能的关键问题。在研究和分析了Lustre的I/O访问模式、细粒度I/O服务流程和页面替换算法等方面后,提出了细粒度优先(Fine Grained First,FGF)LRU算法。在OST端及Client端的页高速缓存中最大程度地保留细粒度I/O的页面,降低细粒度I/O引起的页面下沉速度,延长细粒度I/O页面在主存中的时间,进而减少对磁盘的访问次数,降低磁盘访问开销。通过对实验数据的对比和分析,验证了FGF-LRU算法的有效性。在不影响粗粒度I/O性能的情况下,提高了细粒度I/O性能,最终实现提高系统整体I/O性能。 相似文献
3.
一种基于虚拟机的高效磁盘I/O特征分析方法 总被引:1,自引:0,他引:1
于磁盘系统的机械运动本质,磁盘系统I/O往往会成为计算机系统的性能瓶颈.为了有效地提高系统性能,收集和分析应用系统的磁盘I/O特征信息将成为性能优化工作的重要基础.与以往I/O特征分析方法不同,给出了一种基于Xen 3.0虚拟机系统的磁盘I/O特征在线分析方法.在虚拟机环境下,该磁盘I/O特征采集方法可以透明地应用于任意无须修改的操作系统.该方法可以高效地在线采集多种基本I/O特征数据,其中包括:磁盘I/O块大小、I/O延迟、I/O时间间隔、I/O空间局部性、时间局部性以及磁盘I/O操作热点分布.通过测试和分析,该在线I/O分析方法有着较小的系统开销,并且对应用系统I/O性能的影响很小.此外,还给出了在大文件拷贝、基于Filebench的filemirco和varmail等工作负载下的I/O特征分析结果. 相似文献
4.
赵铁柱 《网络安全技术与应用》2013,(8):61-63
并行文件系统是并行计算系统的存储子系统,I/O性能是并行计算系统研究的重要方面.本文分析了并行文件系统I/O研究的难点,研究了并行文件系统的I/O特征和关键技术,指出了并行文件系统I/O性能研究未来的研究方向,为并行计算系统的设计和优化提供重要参考. 相似文献
5.
近年来,平行档案系统被广泛的用来解决这个问题,除此之外,由于电脑被使用于平行处理平台的普及率逐步上升,造成使用于电脑上的平行处理软体需求量持续增加,但是,却有可能缺乏平行I/O的系统。因此,文章旨在研究与分析Windows平行文件系统下的平行I/O的特点与实现方式。 相似文献
6.
首先分别介绍了文件I/O和标准I/O库的相关函数和实现细节,提出了一系列有关文件读写效率的猜想,然后基于Linux平台设计实验并验证了提出的猜想,最后比较了文件I/O函数和标准I/O库函数,并总结了各自的适用场合。 相似文献
7.
8.
在文件预取技术中,如何提高文件预取的命中率和适用度一直是研究的焦点.尤其是在面对大批量数据读取的时候,如何提高预取命中率对系统的性能提升有着至关重要的影响.本文提出识别I/O Feature的预测模型(IOPM),该模型通过记录文件的历史访问信息获取I/O Features,然后分析这些I/O访问模式,设计一个简单高效的特征符号表来表示这些模式.此预测模型可以有效地识别出顺序读、固定点读、逆序读、跳读、多步跳读等多种模式.同时,该模型添加应用程序的信息,可以有效地对不同程序之间的交叉读做出预测,具有很高的预测命中率. 相似文献
9.
闪存以其体积小、抗震性强、能耗低、读取速度快等特点,被广泛应用于存储系统中。NOOP是闪存上传统的调度方法,但是NOOP的I/O性能较低,不能满足很多应用程序的要求。根据闪存读取速度快、多个banks(chips)可以并行运行等特点,提出了一种基于闪存文件系统YAFFS的Multi-bank闪存调度方法(简称MBS)。MBS并行地执行请求,且给予读请求更高的优先级。MBS根据AVL-based-tree机制识别出的写请求属性动态地将其分配到合适的bank中。实验结果表明,相比NOOP,MBS调度具有更高的I/O吞吐率、更短的请求响应时间并具有均匀的bank擦除次数和利用率。 相似文献
10.
论文中对于文件访问的服务时间进行了较深入的研究,提出一种并行I/O文件分配算法——启发式文件分类分配策略,它在负载基本均衡前提下,按照相似的访问服务时间对每个待分配的数据文件进行磁盘分配。通过对启发式文件分类分配策略与已有的贪婪文件分配法进行实验比较,结果表明:系统处理重负载时,访问响应时间提高了30%左右,而且数据访问速率越高,由启发式文件分类分配策略所提高的性能就越明显。 相似文献
11.
蒋晶 《计算机工程与应用》2011,47(4):84-86
网格环境下资源的管理和调度是一个非常复杂且具有挑战性的问题。在数据密集型应用中,数据文件的读取延迟时间是至关重要的。提出了一种基于聚类预处理的数据文件复制算法(CBR),将传输带宽满足一定条件的网格结点通过聚类方法构成一个“逻辑区域”;并介绍了一种改进的LRU算法,考虑了其他计算任务需要的数据文件请求,避免删除未来将使用的数据文件。通过实验证明,该算法得到的计算任务完成时间优于其他两种算法。 相似文献
12.
存储设备的功耗在整个计算机系统尤其是数据中心所占的比例已经越来越大。要进行硬盘功耗优化,在缺少硬件直接测量硬盘功耗的情况下就需要对硬盘功耗进行建模。现代操作系统通过文件系统层进行硬盘I/O操作管理,并提供实时监控数据。通过对EXT2、EXT4和NILFS2等常用文件系统的硬盘I/O过程进行实验分析,发现不同的文件系统对硬盘功耗具有不同的影响,为了刻画这种差异性,提出基于I/O空闲率的硬盘功耗建模与评估方法。同时使用I/O空闲率来指导硬盘进行功耗优化,将视频播放器的I/O空闲率由4.79%提高到96.55%,硬盘的功耗降低45.28%。 相似文献
13.
针对传统MPI集群并行I/O效率不高的问题,通过分析Lustre并行文件系统的特点和MPI-IO集中式I/O操作的算法,提出了一种基于MPI-IO编程接口的改进方案,用以改善集群I/O瓶颈,提高I/O并行效率,并通过实验验证了该方案的可行性。 相似文献
14.
并行文件系统与并行I/O研究 总被引:1,自引:0,他引:1
集群计算系统中并行文件系统的研究是当前计算机与网络技术中的一个热点问题,而并行I/O是缓解系统数据输入输出瓶颈的一个技术途径。论文对当前集群系统中的并行文件系统与并行I/O做了研究,阐述了研究发展的现状、关键问题等,指出了在集群计算系统中的文件组织、分布以及其在磁盘上的实现、数据的访问特性、高性能网络文件系统、系统的负载平衡与缓冲和预取策略。 相似文献
15.
在实现Matlab和其它应用程序的数据共享时,Matlab常需要读写数据文件。本文详细讨论了Matlab数据文件I/O的实现方法,并给出了程序实例。 相似文献
16.
17.
SUN Ninghui 《计算机科学技术学报》1999,14(3):206-223
The Scalable I/O(SIO)Initiative‘s Low-Level Application Programming Interface(SIO LLAP)provides file system implementers with a simple low-Level interface to support high-level parallel /O interfaces efficiently and effectively.This paper describes a reference implementation and the evaluation of the SIO LLAPI on the Intel Paragon multicomputer.The implementation provides the file system structure and striping algorithm compatible with the Parallel File System(PFS)of Intel Paragon ,and runs either inside the kernel or as a user level library.The scatter-gather addressing read/write,asynchronous I/O,client caching and prefetching mechanism,file access hint mechanism,collective I/O and highly efficient file copy have been implemented.The preliminary experience shows that the SIO LLAPI provides opportunities of significant performance improvement and is easy to implement.Some high level file system interfaces and applications such as PFS,ADIO and Hartree-Fock application,are also implemented on top of SIO.The performance of PFS is at least the same as that of Intel‘s native pfs,and in many cases,such as small sequential file access,huge I/O requests and collective I/O,it is stable and much better,The SIO features help to support high level interfaces easily,quickly and more efficiently,and the cache,prefetching,hints are useful to get better performance based on different access models.The scalability and performance of SIO are limited by the network latency,network scalable bandwidth,memory copy bandwidth,memory size and pattern of I/O requests.The tadeoff between generality and efficienc should be considered in implementation. 相似文献