iSCSI与NFS的协议开销对比

随着IP网络存储体系的发展,iSCSI和NFS协议在局域网环境中的应用越来越广泛。实验性地比较iSCSI和NFS的性能,在具体硬件环境中分析了iSCSIinitiator和NFSserver读写进程的系统开销。对依附iSCSI存储的NFS服务器中的数据转发过程进行测试,综合考虑网络传输、异步读写以及工作流等因素产生的影响。实验结果显示,根据不同的请求数据大小以及读写比例,两者的系统开销比率也随之变化。因此,依附iSCSI存储的NFS服务器应该根据以上因素合理调整资源分配,从而获得良好的存储系统性能。     

一种集群环境下高可用的NFS服务器

章说明了一种高可用笥的NFS服务器原理和技术要点，在此基础上，给出了一个在集群件系统中高可用性NFS服务器的软件框架及实现。     

基于给定访问序列的NFS预取技术

网络文件系统(Network Filc System)由于其稳定、易用而得到了广泛的应用。为了提高NFS服务器端的I/O性能,提出一种在给定客户端访问序列的NFS服务器端伪随机序列预取(NPRP: NFS Pseudo Random Prefetch)机制。实验测试结果表明,NPRP机制对特定应用的NFS服务器的I/O带宽提升超过2倍。     

局域网文件系统谁最棒

基于Windows NT的NFS服务器,和基于Unix的SMB服务器是两种主要的跨平台文件/打印服务器。在ZD实验室的测试中,NFS的产品比SMB的产品运行速度更快。不过,性能更快并不说明NFS在任何环境下都是最佳的选择:对于那些在Windows PC上进行了巨额投资的大企业来说,SMB家族的产品具有独到的优点。除此以外,SMB和NFS这两种技术之间的几个重要区别,使得SMB和NFS的性能比较变得非常复杂,其中最关键的一点是,服务器产品中自动性能调整工具的不同水平,使得我们很难建立一个绝对公平的比较条件。所以,我们的测试结果只能说是在某次任意的条件下、关于性能方面的一般性结论,而不能认为是对每种产品的精确评估。众多影响性能测试的不利因素     

带宽和时延受限的流媒体服务器集群负载均衡机制

流媒体服务器集群的整体负载能力很大程度上受其服务时延和带宽负载均衡程度的影响。因此如何提高服务实时性和均衡带宽负载是提升流媒体服务器集群服务能力的关键。为此,提出了一种带宽和时延受限的流媒体服务器集群负载均衡机制。该机制通过将服务器带宽和任务带宽的离散化、区间化,构建服务器与任务状态集,再利用遗传算法离线计算并存储各个状态下的最佳分配方案,使得在有效地将不同带宽需求的任务分配到各个服务器上优化集群负载的同时,加快在线任务分配方案的计算速度,提高时效性。仿真结果显示,该机制能够在拥有与轮询算法、最小连接数算法相似的计算时延的基础上,有效均衡带宽负载,降低失败任务数,从而提升整体服务质量和能力。     

基于文化算法的负载均衡自适应机制

负载均衡是解决Web集群系统容量和伸缩能力的重要方法,但通常使用的单纯的加权轮叫调度算法依然会导致服务器间的负载不平衡。本文分析了影响Web服务器性能的主要因素,提出了一种负载均衡的自适应机制。该方法将文化算法(CultureAlgorithmsCA)应用到对服务器性能权值的进化计算中,通过评价服务器的负载状况,获得优化的性能权值,并自适应地转换到集群的分配器中,使事务在集群系统中得到合理分配。模拟实验证明,随着访问量的逐渐增多,每台服务器都趋近于最佳负载,系统达到好的使用效果。     

影响文件系统性能的若干因素的实验

影响文件系统的因素有很多,该文从不同访问模式、多通道硬件配置、文件系统老化等方面设计试验,利用多种性能评测工具,对EXT3、XFS两种本地文件系统进行试验,分析这些因素对本地文件系统性能的影响以及作为NFS服务器端的文件系统时,对NFS性能的影响。在试验过程中,编写了测试文件系统元数据性能的Thput benchmark以及使文件系统能够快速老化的工具FastAging。通过分析试验结果总结出针对应用中不同的访问模式配置最优的文件系统的解决方案,使用户能够获得最大的I/O性能。     

并行网络文件系统PNFS性能评测与分析

传统的网络文件系统难以满足高性能计算系统的I/O 需求,并行网络文件系统——PNFS可以有效地解决传统网络文件系统在可扩展性、可用性和性能上存在的问题。首先对PNFS的体系结构进行了设计,实现了元数据服务器与存储服务器的分离,消除了由于集中服务器结构引发的I/O瓶颈问题。然后,对PNFS的原型系统进行了性能测试,并与相同环境下NFS的测试结果进行比较与分析,结果表明PNFS能够为客户端提供并行访问文件数据的能力,有着较高的I/O读写带宽和较低的访问延迟,同时实现了客户端I/O带宽与存储服务器规模之间的线性可扩展关系,能较好地满足高性能计算中的I/O需求。     

Linux下集群系统的设计与实现

并行计算广泛地应用到各个领域,基于Liux集群的MPI并行环境是一个廉价而高效的并行计算系统.对网络文件系统NFS、Secure Shell(SSH)、消息传递接口MPI和集群系统作简单的介绍.详细记录配置NFS、SSH、MPI等软件的实现过程,并对设计的集群系统并行运算环境进行测试,测试结果说明这种并行计算环境具有良好的性能.     

流媒体服务的集群负载平衡方法分析

该文在分析了流媒体服务器的带宽因素和负载平衡原理的基础上,讨论了针对流媒体服务的按层次划分的服务器集群动态负载平衡技术,为流媒体服务集群的部署提供参考。     

软件DSM机群上并行大规模地理图像处理系统ParGIP

基于共享虚拟存储（shared virtual memory,SVM)PC机群的大规模并行地理图像处理原型系统ParGIP(parallel geographical image processing)采用Client-Server计算模型，通过软件分布式共享存储（software distributed shared memory,software DSM)中间层将PC机群组织成一个逻辑上共享的内存的并行计算平台，地理图像处理可以充分利用ParGIP提供的大共享内存和并行处理能力来提高性能，缩短处理周期，从而解决传统单机串行方式下地理图像处理中内存匮乏和计算能力不足的问题，ParGIP还进一步将机群中各个结点上分布的磁盘组织起来，提供地理影像库所需的海量存储空间和并行I／O能力，测试结果表明，ParGIP的8机并行I／O带宽达到102．6MB/s，典型的图像处理算法获得了接近线性的加速比。     

基于高速通信协议的COSMOS机群文件系统性能研究

作为曙光3000超级服务器的重要组成部分,COSMOS机群文件系统对机群文件系统协议,结构及性能优化等问题进行全面深入的探讨,首先描述了基于曙光3000机群高速通协议BCL－3的COSMOS文件系统的实现,然后引入并发带宽利用率,描述了通信与I／O对机群文件系统性能影响程序,最后介绍了有关性能实验并对实验结果作出解释。     

Filter Cache:一种提高Lustre I/O性能的方法

高性能计算系统需要一个可靠高效的并行文件系统.Lustre集群文件系统是典型的基于对象存储的集群文件系统,它适合大数据量聚合I/O操作.大文件I/O操作能够达到很高的带宽,但是小文件I/O性能低下.针对导致Lustre的设计中不利于小文件I/O操作的两个方面,提出了Filter Cache方法.在Lustre的OST组件中设计一个存放小文件I/O数据的Cache,让OST端的小文件I/O操作异步进行,以此来减少用户感知的小文件I/O操作完成的时间,提高小文件I/O操作的性能.     

Block I/O Scheduling on Storage Servers of Distributed File Systems

This paper presents a new scheme of I/O scheduling on storage servers of distributed/parallel file systems, for yielding better I/O performance. To this end, we first analyze read/write requests in the I/O queue of storage server (we name them block I/Os), by using our proposed technique of horizontal partition. Then, all block requests are supposed to be divided into multiple groups, on the basis of their offsets. This is to say, all requests related to the same chunk file will be grouped together, and then be satisfied within the same time slot between opening and closing the target chunk file on the storage server. As a result, the time resulted by completing block I/O requests can be significantly decreased, because of less file operations on the corresponding chunk files at the low-level file systems of server machines. Furthermore, we introduce an algorithm to rate a priority for each group of block I/O requests, and then the storage server dispatches groups of I/Os by following the priority order. Consequently, the applications having higher I/O priorities, e.g. they have less I/O operations and small size of involved data, can finish at a earlier time. We implement a prototype of this server-side scheduling in the PARTE file system, to demonstrate the feasibility and applicability of the proposed scheme. Experimental results show that the newly proposed scheme can achieve better I/O bandwidth and less I/O time, compared with the strategy of First Come First Served, as well as other server-side I/O scheduling approaches.     

高强度I/O的应用对并行存储系统的挑战和解决方法研究

具有高I/O密集特性的高性能计算应用对高性能计算机存储系统综合性能的要求越来越高.以石油地震勘探数据处理为代表的一类重要应用表现出I/O数据量巨大、I/O访问密度大,对单个磁盘阵列存储部件的读写带宽要求高的特征.在Lustre文件系统中,充当对象存储服务功能的磁盘阵列设备输出带宽的不足将成为阻碍存储系统整体性能发挥的重要因素.针对此类问题,提出了一种缓存管理方法,分别在客户端添加VDISK模块,在OST端添加Cache模块,二者协同提高并行文件系统I/O的输出带宽的使用效率;另外,充分利用客户端空闲内存以及客户端之间的通信带宽,降低应用程序对磁盘阵列设备输出带宽的要求.通过大规模并行模型的验证表明,VDISK提高了实际可用的输出带宽,提高了外部存储系统的I/O效率.     

存储区域网络技术在数据处理中心的应用

随着高性能计算技术的发展,实现对大规模数据的高效存取已成为行业中提高系统整体性能的关键。传统的NFS存储架构,由于其I/O存取带宽低,容易造成TCP/IP局域网络的瓶颈,因此制约了系统整体性能的发挥。为了有效地缓解TCP/IP网络瓶颈,提高海量数据的访问效率,实现网络中各服务器节点对地震数据的共享,我中心自2004年起先后两次进行了存储区域网络的构建,并安装了ADIC公司的SNFS存储共享软件。本文重点介绍了存储区域网的构建、整合方法,并对存储共享软件SNFS的安装与配置做了简单介绍,对其它数据处理中心的存储区域网络构建和应用具有一定的借鉴作用。     

NFS和PVFS文件系统吞吐率分析

随着工作站机群系统的迅猛发展,I/O瓶颈问题也日益严重。性能优良的机群文件系统对机群系统而言至关重要。吞吐率是指在单位时间内所处理的作业数,它是评价系统性能的一个重要指标。该文首先简要介绍了NFS和PVFS这两个比较有代表性的文件系统,然后比较了NFS和PVFS的吞吐率,给出了详细的测试数据。最后对NFS、PVFS吞吐率差异的产生原因和影响吞吐率的关键因素进行了较详细的分析,并给出了自己的结论。     

Using eager strategies to improve NFS I/O performance

Typical network file system (NFS) clients write lazily: they leave dirty pages in the page cache and defer writing to the server. This reduces network traffic when applications repeatedly modify the same set of pages. However, this approach can lead to memory pressure, when the number of available pages on the client system is so low that the system must work harder to reclaim dirty pages. We show that NFS performance is poor under memory pressure and present two mechanisms to solve it: eager writeback and eager page laundering. These mechanisms change the client's data management policy from lazy to eager, in which dirty pages are written back proactively, resulting in higher throughput for sequential writes. In addition, we show that NFS servers suffer from out-of-order file operations, which further reduce performance. We introduce request ordering, a server mechanism to process operations, as much as possible, in the order they were sent by the client, which improves read performance substantially. We have implemented these techniques in the Linux operating system. I/O performance is improved, with the most pronounced improvement visible for sequential access to large files. We see 33% improvement in the performance of streaming write workloads and more than triple the performance of streaming read workloads. We evaluate several non-sequential workloads and show that these techniques do not degrade performance, and can sometimes improve performance.