并行文件系统的设计与实现

并行文件系统已作为超级计算机提高Ｉ／Ｏ带宽最常用的方法之一,鉴于超级计算机之间体系结构的差异,其设计和实现方法也不同。本文就ＩｎｔｅｌＴＦＬＯＰＳ的并行文件系统（ＰＦＳ）作一介绍。     

并行文件系统的设计

在大规模并行处理巨型机（ＭＰＰ）的设计中，提高Ｉ／Ｏ性能同提高计算能力和通信能力同样重要。并行文件系统（ＰＦＳ）在多个Ｉ／Ｏ结点的多个磁盘上，分布文件系统和文件的磁盘块，将文件读写在计算结点转化成多个对物理块的直接Ｉ／Ｏ请求，利用预读，预分配，磁盘缓冲式区和异步Ｉ／Ｏ增加Ｉ／Ｏ的并发生，在特定的文件使用模式下，也是ＭＰＰ应用的主要Ｉ／Ｏ模式，获得很高的Ｉ／Ｏ效率。     

SPP外围子系统的设计与实现

并行处理机外围子系统的设计和实现技术直接影响整个系统的性能价格比，本文根据ＳＰＰ体系结构的特点和实际应用需要，在前端服务器与ＳＭ／ＳＳＭ之间设计了专用的Ｉ／Ｏ处理机，使得系统Ｉ／Ｏ设备与ＳＭ／ＳＳＭ之间直接进行高速数据传送，从而大大提高系统的Ｉ／Ｏ性能。在Ｉ／Ｏ处理机的设计中，采用了ｉ８６０＋８２３８０＋ＳＲＡＭ的总体结构，从而实现了处理机访问主存和ＤＭＡ控制器访问ＳＲＡＭ之间的并行。     

BJ－1并行计算机的并行程序设计语言

本文介绍了ＢＪ－１并行计算机系统中并行Ｃ（ＢＰＣ）／并行ＦＯＲＴＲＡＮ（ＢＰＦ７７）语言的设计思想和实现技术．     

BJ—1并行计算机的并行程序设计语言

本文介绍了ＢＪ－１并行计算机系统中并行Ｃ（ＢＰＣ）／并行ＦＯＲＴＲＡＮ（ＢＰＦ７７）语言的设计思想和实现技术。     

ODP系统的安全结构

在任何计算机环境中，安全性是非常重要的，特别是在计算机网络和开放式分布处理系统中更为重要，本文介绍了ＯＤＰ系统中的安全结构，从扩充ＩＳＯ／ＯＳＩ环境中的安全结构，ＯＤＰ环境中的安全服务与安全域这几个方面阐明了ＯＤＰ环境中的安全结构。     

基于环网的多DSP系统的并行算法的设计

在基于环网的多ＤＳＰ系统上,应用并行块处理的策略讨论了并行算法设计的调度模型;对可１００％利用的ＤＳＰ数目及调度模型的２个关键参数：块处理的时间和ＤＳＰ间的延迟时间进行了具体的分析;将ＤＳ寂的处理过程和Ｉ／Ｏ设备上的处理过程分开,得到了更加接近真实计算环境的调度模型;给出了算法的性能评价准则;对ＦＩＲ滤波器的并行算法进行了具体的设计和实现,在模拟环境下的测试结果表明,应用以上确定工模型的关键参数的     

异构环境下的文件传输服务系统（FTS）

本文介绍了一种异构环境下（异种网络协议、异种机）的多功能文件传输服务系统（ＦＴＳ）的设计和实现原理、系统提供的服务，以及系统的应用范围等。ＦＴＳ系统基于ＩＳＯ／ＯＳＩ的ＦＴＡＭ标准，采用了标准软件集成、队列管理技术和协议迁移技术，为用户提供了不同机型、不同操作系统、不同网络和协议（ＯＳＩ，ＳＮＡ，ＴＣＰ／ＩＰ等）之间的文件传输服务，并为用户进一步开发网络上的应用业务提供了良好的操作平台。     

基于PDM框架的并行集成技术研究

本文具体论述了基于ＰＤＭ的产品集成开发体系结构及系统集成框架。依据并行工程的产品开发哲理及细化设计循环的思想,分析了ＣＡＤ／ＤＦＭ／ＣＡＰＰ／ＣＡＭ并行集成的实现方法。通过ＯＤＢＣ标准接口的方式实现了与ＭＩＳ、ＭＲＰⅡ系统的集成,有效地达到了企业内部信息资源的共享。基于ＰＤＭ框架来实现ＣＡＤ／ＣＡＰＰ／ＣＡＭ的并行集成是一种较为理想的模式。     

YH-F2的处理机间通讯

银河仿真Ⅱ型机ＹＨ－Ｆ２是高性能的全数字仿真计算机，处理机间通讯是ＹＨ－Ｆ２采用的关键技术之一。本文分三个部分介绍了ＹＨ－Ｆ２的处理机间通讯：①处理机通讯指令，③处理机间数据传输，③Ｉ／Ｏ处理机ＩＯＰ与通讯控制处理机ＣＣＰ之间的通讯。     

Reference implementation of scalable I/O low-level API on Intel Paragon

The Scalable I/O(SIO)Initiative‘s Low-Level Application Programming Interface(SIO LLAP)provides file system implementers with a simple low-Level interface to support high-level parallel /O interfaces efficiently and effectively.This paper describes a reference implementation and the evaluation of the SIO LLAPI on the Intel Paragon multicomputer.The implementation provides the file system structure and striping algorithm compatible with the Parallel File System(PFS)of Intel Paragon ,and runs either inside the kernel or as a user level library.The scatter-gather addressing read/write,asynchronous I/O,client caching and prefetching mechanism,file access hint mechanism,collective I/O and highly efficient file copy have been implemented.The preliminary experience shows that the SIO LLAPI provides opportunities of significant performance improvement and is easy to implement.Some high level file system interfaces and applications such as PFS,ADIO and Hartree-Fock application,are also implemented on top of SIO.The performance of PFS is at least the same as that of Intel‘s native pfs,and in many cases,such as small sequential file access,huge I/O requests and collective I/O,it is stable and much better,The SIO features help to support high level interfaces easily,quickly and more efficiently,and the cache,prefetching,hints are useful to get better performance based on different access models.The scalability and performance of SIO are limited by the network latency,network scalable bandwidth,memory copy bandwidth,memory size and pattern of I/O requests.The tadeoff between generality and efficienc should be considered in implementation.     

An adaptive cache coherence protocol specification for parallel input/output systems

Caching has been intensively used in memory and traditional file systems to improve system performance. However, the use of caching in parallel file systems and I/O libraries has been limited to I/O nodes to avoid cache coherence problems. We specify an adaptive cache coherence protocol that is very suitable for parallel file systems and parallel I/O libraries. This model exploits the use of caching, both at processing and I/O nodes, providing performance improvement mechanisms such as aggressive prefetching and delayed-write techniques. The cache coherence problem is solved by using a dynamic scheme of cache coherence protocols with different sizes and shapes of granularity. The proposed model is very appropriate for parallel I/O interfaces, such as MPI-IO. Performance results, obtained on an IBM SP2, are presented to demonstrate the advantages offered by the cache management methods proposed.     

基于新型存储器件的分布式文件系统性能优化

新型存储器件的I/O性能通常比传统固态驱动器（SSD）高一个数量级，然而使用新型存储器件的分布式文件系统相对于使用SSD的分布式文件系统性能并没有显著的提高，这说明目前的分布式文件系统并不能充分发挥新型存储器件的性能。针对这个问题，对Hadoop分布式文件系统（HDFS）的数据写入流程及传输过程进行了量化分析。通过量化分析HDFS数据写入过程各阶段的时间开销，发现在写入数据的各个阶段中，节点间数据传输的时间占比较大。因此提出了对应的优化方案，通过异步写入的方式并行化数据传输与处理过程，使得不同数据包的处理阶段叠加起来，减少了数据包整体的处理时间，从而提升了HDFS的写入性能。实验结果表明，所提方案将HDFS的写入吞吐量提升了15%~24%，总体的写入执行时间降低了28%~36%。     

基于新型存储器件的分布式文件系统性能优化

新型存储器件的I/O性能通常比传统固态驱动器（SSD）高一个数量级,然而使用新型存储器件的分布式文件系统相对于使用SSD的分布式文件系统性能并没有显著的提高,这说明目前的分布式文件系统并不能充分发挥新型存储器件的性能。针对这个问题,对Hadoop分布式文件系统（HDFS）的数据写入流程及传输过程进行了量化分析。通过量化分析HDFS数据写入过程各阶段的时间开销,发现在写入数据的各个阶段中,节点间数据传输的时间占比较大。因此提出了对应的优化方案,通过异步写入的方式并行化数据传输与处理过程,使得不同数据包的处理阶段叠加起来,减少了数据包整体的处理时间,从而提升了HDFS的写入性能。实验结果表明,所提方案将HDFS的写入吞吐量提升了15%~24%,总体的写入执行时间降低了28%~36%。     

SPIFFI-a scalable parallel file system for the Intel Paragon

This paper presents the design and performance of SPIFFI, a scalable high-performance parallel file system intended for use by extremely I/O intensive applications including “Grand Challenge” scientific applications and multimedia systems. This paper contains experimental results from a SPIFFI prototype on a 64 node/64 disk Intel Paragon. The results show that SPIFFI provides high performance and linear scaleup on real hardware. The paper also explains how shared file pointers (i.e., file pointers that are shared by multiple processes) can simplify the design of a parallel application. By sequentializing I/O accesses and by providing dynamic I/O load balancing, a shared file pointer may even improve an application's performance. This paper also presents the predictions of a SPIFFI simulator that we validated using the prototype. The simulator results show that SPIFFI continues to provide high performance even when it is scaled to configurations with as many as 128 disks or 256 compute nodes     

基于集群的MPI主从式并行文件传输系统的研究与实现

研究并实现了一种基于PC集群系统的MPI主从式并行文件传输系统。通过引入一个监控节点实时监控当前各真实节点上的连接数、请求任务量以及各节点的实际处理能力,并衡量不同内容节点的负载,以实现集群内各节点负载均衡,从而更合理地实现并行文件I/O的任务分配。结果显示,该系统具有近似线性加速比,即文件I/O传输速度随着并行节点数量的增多而提高。     

并行文件系统的关键技术与框架设计

论述并行文件系统的工作负载特征——基于空间和时间的文件访问模式，并对非连续数据访问技术进行比较研究；给出并行文件系统设计的原则与目标，最后提出并行文件系统的框架。     

并行文件系统I/O特征

并行文件系统是并行计算系统的存储子系统,I/O性能是并行计算系统研究的重要方面.本文分析了并行文件系统I/O研究的难点,研究了并行文件系统的I/O特征和关键技术,指出了并行文件系统I/O性能研究未来的研究方向,为并行计算系统的设计和优化提供重要参考.     

Gfarm Grid File System

Gfarm Grid file system is a global distributed file system to share data and to support distributed data-intensive computing. It federates local file systems on compute nodes to maximize distributed file I/O bandwidth, and allows to store multiple file replicas in any location to avoid read access concentration of hot files. Data location aware process scheduling improves the file I/O performance of distributed data-intensive computing. This paper discusses the design and implementation of the Gfarm Grid file system, and reports the performance.