共查询到17条相似文献，搜索用时 46 毫秒
1.
科学计算数据集由数据和元数据组成.一般条件下,数据的尺寸较大,元数据尺寸较小.传统的高性能计算机并行文件系统可以高效率地读写大块连续数据,但是无法高效率地读写大量较小块的元数据.一旦大块数据和小块元数据两类读写特征混杂在一起,元数据将较严重地干扰并行I/O,造成性能的下降.为此,文中提出数据与元数据分治的双路并行I/O方法.该方法在高层I/O库中建立内存文件系统与并行文件系统两级存储,在存储资源之间并行迁移科学计算元数据.一方面降低较频繁读写元数据的I/O延迟,另一方面改变科学计算数据的存储特征与存储模式,从而提高科学计算应用、尤其是数据分析与可视化等读入密集型应用的I/O效率.测试表明,双路并行I/o方法可提高写性能8％～13％,提高读性能89％到1.01倍. 相似文献
2.
赵铁柱 《网络安全技术与应用》2013,(8):61-63
并行文件系统是并行计算系统的存储子系统,I/O性能是并行计算系统研究的重要方面.本文分析了并行文件系统I/O研究的难点,研究了并行文件系统的I/O特征和关键技术,指出了并行文件系统I/O性能研究未来的研究方向,为并行计算系统的设计和优化提供重要参考. 相似文献
3.
4.
该研究对象为并行计算机的I/O性能,将任务分发给不同的处理结点,通过进程间的相互协调、有序合作完成FFT并行算法的实现。在完成任务的过程中,通过记录I/O时间与计算时间,求出I/O性能与计算性能,通过分析比较数据从而认识I/O性能的重要性。研究计算机的I/O性能对于如何进一步改进系统以及提高资源利用率具有重要意义。 相似文献
5.
使用MPI的并行I/O实现及性能分析 总被引：1，自引：0，他引：1
论文讨论了并行环境中I/O的基本方法——串行I/O方法和并行I/O方法,并使用MPI-1及MPI-2对这两种方法进行了实现。分析了不同的实现方法对I/O带宽产生的影响。通过理论分析和实验表明,基于MPI-2的并行I/O实现方法与其它I/O实现方法相比,可得到更高的I/O带宽,是解决I/O性能问题的有效途径。 相似文献
6.
为了匹配超级计算机的整体计算能力,超级计算机存储子系统通常具有良好的I/O性能可扩展性,表现为：应用获得存储子系统最佳性能时的I/O访问并发度,与超级计算机系统总计算核数(可达数万至数百万)通常处于同一数量级.然而,科学计算可视化应用通常使用的进程数(等于I/O访问并发度)相对较小(经验上常设为计算进程数的1%,典型值为数个至数百个),因此无法充分发挥超级计算机存储子系统的最佳I/O性能.提出了一种面向科学计算可视化的两级并行数据读取加速方法,在可视化进程内部引入多线程并行数据读取,通过进程间和进程内两级并行,增加超级计算机存储子系统的I/O访问并发度,提升可视化应用数据读取速率.测试结果表明:在不同的可视化进程规模下,两级并行比单级并行峰值数据读取速率提高33.5%~269.5%,均值数据读取速率提高26.6%~232.2%;随着科学计算应用种类以及应用规模的变化,两级并行数据读取可使可视化应用整体峰值运行速度加速19.5%~225.7%,均值运行速度加速15.8%~197.6%. 相似文献
7.
8.
基于MPI-2规范的并行I/O方法,以并行矩阵乘法问题为例,比较了并行I/O和串行I/O的性能,给出了并行I/O方法的应用实例. 相似文献
9.
为了提高并行I/O系统的数据调度器的可靠性,提出数据调度器自动重构机制(DD_AR),同时在数据调度器可自动重构机制的基础上进行并行I/O系统的设计,实验结果表明机制的有效性. 相似文献
10.
在大型多维数据集合处理中,对多维数据集合的拆分及其在磁盘上的存储分配是重要的研究课题。由于磁盘的机械运动已形成了数据I/O时的速度瓶颈,因此通过采用并行I/O技术,将多维数据进行有效的拆分,并在多个磁盘间进行分布存储是克服瓶颈的有效办法。基于此,论文中提出了一种多维数据的循环拆分方法,它是对二维数据集合循环拆分分配方法的扩展,性能比较与分析表明了新算法的有 效性。 相似文献
11.
杨树强 《计算机工程与科学》2004,26(4):70-72
I／O和网络开销是数据库系统主要的性能瓶颈,本文针对数据库I／O请求的特点,讨论在大量并发I／O请求到来的情况下如何有效地对这些I／O请求进行重组、排序和合并,以便提高数据库系统的总体性能。 相似文献
12.
为了缓解I/O瓶颈问题,可以从应用程序、可扩展算法、编译器和语言、运行时库、操作系统和体系结构六方面展开研究。其中,I/O体系结构是所有技术途径的关键支撑。当前并行I/O性能分析缺乏科学的理论模型为I/O体系结构设计提供理论依据。本文针对并行计算机系统的可扩展性问题,研究了I/O负载对并行计算机系统可扩展性的影响,建立了I/O受限的并行加速比性能模型,对目前大规模并行计算机系统中三种常用I/O体系结构的可扩展性进行了分析;以此为理论依据,提出了一种面向高性能计算的可扩展并行I/O系统结构。同时,还提出了几种有效降低I/O操作服务时间的策略,从而达到增强系统可扩展性的目的,为后续研究奠定了基础。 相似文献
13.
It is hard for applications to make full utilization of the peak bandwidth of the storage system in highperformance computers because of I/O interferences,storage resource misallocations and complex long I/O paths.We performed several studies to bridge this gap in the Sunway storage system,which serves the supercomputer Sunway TaihuLight.To locate these issues and connections between them,an end-to-end performance monitoring and diagnosis tool was developed to understand I/O behaviors of applications and the system.With the help of the tool,we were about to find out the root causes of such performance barriers at the I/O forwarding layer and the parallel file system layer.An application-aware I/O forwarding allocation framework was used to address the I/O interferences and resource misallocations at the I/O forwarding layer.A performance-aware data placement mechanism was proposed to mitigate the impact of I/O interferences and performance variations of storage devices in the PFS.Together,applications obtained much better I/O performance.During the process,we also proposed a lightweight storage stack to shorten the I/O path of applications with N-N I/O pattern.This paper summarizes these studies and presents the lessons learned from the process. 相似文献
14.
Qing Liu Jeremy Logan Yuan Tian Hasan Abbasi Norbert Podhorszki Jong Youl Choi Scott Klasky Roselyne Tchoua Jay Lofstead Ron Oldfield Manish Parashar Nagiza Samatova Karsten Schwan Arie Shoshani Matthew Wolf Kesheng Wu Weikuan Yu 《Concurrency and Computation》2014,26(7):1453-1473
Applications running on leadership platforms are more and more bottlenecked by storage input/output (I/O). In an effort to combat the increasing disparity between I/O throughput and compute capability, we created Adaptable IO System (ADIOS) in 2005. Focusing on putting users first with a service oriented architecture, we combined cutting edge research into new I/O techniques with a design effort to create near optimal I/O methods. As a result, ADIOS provides the highest level of synchronous I/O performance for a number of mission critical applications at various Department of Energy Leadership Computing Facilities. Meanwhile ADIOS is leading the push for next generation techniques including staging and data processing pipelines. In this paper, we describe the startling observations we have made in the last half decade of I/O research and development, and elaborate the lessons we have learned along this journey. We also detail some of the challenges that remain as we look toward the coming Exascale era. Copyright © 2013 John Wiley & Sons, Ltd. 相似文献
15.
16.
论文对集群计算系统中的并行I／O技术作了分析,在理论研究基础上提出并行I／O模拟器的框架模型及研究、设计该模拟器的思路,并开发了一个并行I／O模拟器CLU—PIO—SIM的部分功能。 相似文献
17.
在气候变化数值模拟工作中,气候数值模式运行效率主要受到计算效率和I/O效率的共同影响。目前,模式计算部分已经基本实现并行,计算效率显著提升。随着气候数值模式时空分辨率的提高,对I/O效率的需求也不断增加,数据并行I/O技术已经成为提高模式整体运行效率的有效方法之一。文中深入分析了BCC_AGCM模式串行I/O算法及NetCDF数据结构特点,采用基于MPI-IO的高层I/O库对模式I/O算法进行并行优化,优化后可支持多类气象要素并行输出,输出效率明显提升。为我国应对气候变化数值模式的运行效率优化工作,进行了有益的技术探索和积累。 相似文献