共查询到18条相似文献,搜索用时 82 毫秒
1.
高性能计算中的并行I/O技术 总被引:2,自引:0,他引:2
1 引言高性能计算能力已经日益成为一个国家经济、科技与国防实力的重要组成部分。由于科学工程计算和大规模商业事务处理需求的牵引,高性能计算中对I/O处理能力的要求简直是无止境的。大规模多媒体应用要求大容量快速存储系统支持,多用户事务处理环境要求快速I/O支持实时访问,而一些重大挑战性科学计算课题更是追求计算机系统具有3T性能(即要求能提供 1 Teraflops计算能力、1 Terabyte主存容量和1 Terabyte/s I/O带宽)。 I/O一直是高性能计算中的瓶颈。典型地,磁盘比主存的速度要慢一万倍到十万倍。近年来,随着大规模集成电路技术和网络技术的飞速发展,CPU的性能大约每三年就有一个较大的飞跃,网络带宽增长更快,但I/O设备的性能受制于机 相似文献
2.
集群计算系统中并行文件系统的研究是当前计算机与网络技术中的一个热点问题,而并行I/O是缓解系统数据输入输出瓶颈的一个技术途径.论文对当前集群系统中的并行文件系统与并行I/O做了研究,阐述了研究发展的现状、关键问题等,指出了在集群计算系统中的文件组织、分布以及其在磁盘上的实现、数据的访问特性、高性能网络文件系统、系统的负载平衡与缓冲和预取策略. 相似文献
3.
并行I/O服务模型是将并行I/O子系统提供的在物理I/O带宽高效地转化为用户实际I/O带宽的关键。文中针对DDIO服务模型对小尺寸I/O访问的服务性能改善较小和通信开销过大的局限性,提出了新的IDDIO服务模型,IDDIO模型针对并行科学计算应用中同有求和独立请求的特点采用了统一的集成式界面,同时对大尺寸、小尺寸I/O访问提供了较好的优化,并采用打包、流水等技术降低了通信开销,在一定程度上消除DD 相似文献
4.
MPP的峰值速度可望在近年内达到每秒十万亿次,主要用于大数据量的计算。所以,如果MP中的I/O性能不能得到迅速提高,MPP的整体性能将会肥到严重影响。也就是说,I/O性能决定着MPP的总体性能。 相似文献
5.
6.
并行文件系统与并行I/O研究 总被引:1,自引:0,他引:1
集群计算系统中并行文件系统的研究是当前计算机与网络技术中的一个热点问题,而并行I/O是缓解系统数据输入输出瓶颈的一个技术途径。论文对当前集群系统中的并行文件系统与并行I/O做了研究,阐述了研究发展的现状、关键问题等,指出了在集群计算系统中的文件组织、分布以及其在磁盘上的实现、数据的访问特性、高性能网络文件系统、系统的负载平衡与缓冲和预取策略。 相似文献
7.
杨树强 《计算机工程与科学》2004,26(4):70-72
I/O和网络开销是数据库系统主要的性能瓶颈,本文针对数据库I/O请求的特点,讨论在大量并发I/O请求到来的情况下如何有效地对这些I/O请求进行重组、排序和合并,以便提高数据库系统的总体性能。 相似文献
8.
为了缓解I/O瓶颈问题,可以从应用程序、可扩展算法、编译器和语言、运行时库、操作系统和体系结构六方面展开研究。其中,I/O体系结构是所有技术途径的关键支撑。当前并行I/O性能分析缺乏科学的理论模型为I/O体系结构设计提供理论依据。本文针对并行计算机系统的可扩展性问题,研究了I/O负载对并行计算机系统可扩展性的影响,建立了I/O受限的并行加速比性能模型,对目前大规模并行计算机系统中三种常用I/O体系结构的可扩展性进行了分析;以此为理论依据,提出了一种面向高性能计算的可扩展并行I/O系统结构。同时,还提出了几种有效降低I/O操作服务时间的策略,从而达到增强系统可扩展性的目的,为后续研究奠定了基础。 相似文献
9.
在气候变化数值模拟工作中,气候数值模式运行效率主要受到计算效率和I/O效率的共同影响。目前,模式计算部分已经基本实现并行,计算效率显著提升。随着气候数值模式时空分辨率的提高,对I/O效率的需求也不断增加,数据并行I/O技术已经成为提高模式整体运行效率的有效方法之一。文中深入分析了BCC_AGCM模式串行I/O算法及NetCDF数据结构特点,采用基于MPI-IO的高层I/O库对模式I/O算法进行并行优化,优化后可支持多类气象要素并行输出,输出效率明显提升。为我国应对气候变化数值模式的运行效率优化工作,进行了有益的技术探索和积累。 相似文献
10.
赵铁柱 《网络安全技术与应用》2013,(8):61-63
并行文件系统是并行计算系统的存储子系统,I/O性能是并行计算系统研究的重要方面.本文分析了并行文件系统I/O研究的难点,研究了并行文件系统的I/O特征和关键技术,指出了并行文件系统I/O性能研究未来的研究方向,为并行计算系统的设计和优化提供重要参考. 相似文献
11.
并行I/O是基于无共享结构的并行数据库系统提高性能的有效途径之一。它通过并行磁盘服务和网络传输并行化提供了高带宽I/O。文章设计实现了基于无共享结构的并行数据库系统的并行I/O,探讨了设计并行I/O时的几个关键问题及实现技术。 相似文献
12.
该研究对象为并行计算机的I/O性能,将任务分发给不同的处理结点,通过进程间的相互协调、有序合作完成FFT并行算法的实现。在完成任务的过程中,通过记录I/O时间与计算时间,求出I/O性能与计算性能,通过分析比较数据从而认识I/O性能的重要性。研究计算机的I/O性能对于如何进一步改进系统以及提高资源利用率具有重要意义。 相似文献
13.
14.
In this paper, we study I/O server placement for optimizing parallel I/O performance on switch-based clusters, which typically
adopt irregular network topologies to allow construction of scalable systems with incremental expansion capability. Finding
optimal solution to this problem is computationally intractable. We quantified the number of messages travelling through each
network link by a workload function, and developed three heuristic algorithms to find good solutions based on the values of the workload function. The maximum-workload-based
heuristic chooses the locations for I/O nodes in order to minimize the maximum value of the workload function. The distance-based
heuristic aims to minimize the average distance between the compute nodes and I/O nodes, which is equivalent to minimizing
average workload on the network links. The load-balance-based heuristic balances the workload on the links based on a recursive
traversal of the routing tree for the network.
Our simulation results demonstrate performance advantage of our algorithms over a number of algorithms commonly used in existing
parallel systems. In particular, the load-balance-based algorithm is superior to the other algorithms in most cases, with
improvement ratio of 10 to 95% in terms of parallel I/O throughput. 相似文献
15.
16.
文章提出了一种并行存储反应调度算法,它是基于存储访问建模的和基于规则的存储自动优化算法。这种算法使用E_IS_PPM和Last_N_Successor算法对存储访问建模,然后对存储访问模式进行分类,并确立了存储优化的规则集。最后,在MPI基础上实现了调度算法。 相似文献
17.
I/O部分一直是制约计算机系统整体性能提升的瓶颈。本文提出外存性能模型,用于定量分析外存的I/O性能并帮助克服I/O瓶颈,并在此基础上,提出用多通道I/O克服PCI总线瓶颈。采用多钱程控制和异步I/O技术,使所有通道的磁盘并行工作。对比实.验表明,最大顺序读性能提升了46%,顺序写提升48%,随机读提升4%,随机写提升57%。 相似文献
18.
一个基于NOW的并行I/O系统 总被引:1,自引:0,他引:1
随着NOW(networksofworkstations)在科学研究中的应用日益广泛,如何为NOW上的科学计算提供高性能的输入、输出成为人们所面临的一个新课题.根据NOW的特点,设计并实现了一个具有NOW特色的采用CollectiveI/O技术的并行I/O系统CION(collectiveI/Oonnowsystem).CION吸取了DDIO(disk-directedI/O)与two-phaseI/O的优点,同时采用了数据筛选等一系列优化技术.初步的测试已经显示了良好的系统性能. 相似文献