基于分布式共享共存储系统的并行文件子系统DPFS

为了改进软件DSM系统中对文件的存取性能以获得更好的应用程序性能，基于软件DSM系统JIAJIA的并行文件子系统DPFS被开发出来，DPFS系统采用文件映射接口作为编程接口，使得文件存取界面简单，并且能充分利用软件DSM系统的大量特性，系统设计相对简单，在曙光2000并行机上进行的应用测试表明，采用DPFS文件系统后，应用程序的整体性能有了很大提高。     

多模式并行I/O测试程序Jetter的研究与实现

并行I/O系统有多种存取模式,它们有各自的存取特点和适用范围。为了获得不同模式下的系统性能,并行I/O测试中往往要综合使用多种微测试程序。这不仅要求用户深入了解并行I/O的特点,而且要求他们熟悉各种并行I/O微测试程序的输入与输出。提出并实现了一个并行I/O测试Jetter,它从接口类型、存取模式和进程-文件关系的角度划分了并行I/O接口,不仅能够测试I/O系统在上述模式下的性能,而且简化了测试工作。实际应用Jetter表明,并行I/O系统对不同模式的支持效果不同,最高差异可以达到两个数量级以上,这些测试结论有助于用户开发高质量的并行程序。     

曙光并行文件系统DPFS的研究与设计

并行文件系统是高性能计算系统中的快速I／O库。它的目的是为并行计算应用提供快速Input／Output的手段。文章总结了并行应用程序的读写特点，其中的关键问题和在并行文件系统的通常使用的技术，并以此为基础设计了面向曙光高性能服务器的曙光并行文件系统（Dawning Parallel File System，DPFS）。     

计算机支持的并行与协同可视化系统

描述了一个并行与协同可视化系统模型,系统包含了５个层次,具有与硬件无关的优点和良好的可移植性,系统使用一个基于Ｃａｃｈｅ相关性的分布式共享体数据缓冲区（ＤＳＶＢ）来管理分布存储的大规模体数据,并提供对体数据的统一存取接口;使用分布可视化应用程序接口来提供对用户透明的并行可视化应用程序设计,系统还设计了一个人－人交互界面来支持协同工作。     

异构存储共享系统的设计与实现

对基于SAN的异构系统间文件共享问题进行研究,采用异步I／O访问模式、缓冲I／O及双重缓冲区等优化方法,提高了系统运行性能,使得大型机与开放系统对SAN的磁盘子系统的存储共享效率更高。通过SAN连接大型机、Unix工作站、Window工作站和磁盘阵列,同时系统还提供一组文件访问API供上层应用程序调用。系统具有海量存储、高速数据存取、高可用性以及高可靠性等突出特性。     

数据库存取组件的复用

本文利用Visual Studio.NET 2003开发一个数据库存取组件,并将它重复使用在另外的ASP.NET应用系统中,从而说明组件技术可以使软件复用更加方便、高效,使应用程序的开发更加简单、灵活。     

在.NET中激活基于COM的OPC数据存取定制接口

研究C#接口属性类后，编写了一个COM编排文件，将基于COM的OPC数据存取定制接口映射到．NET接口，有效地实现了遵循OPC数据存取规范2．0版本的代码从COM移植到.NET。文章的研究成果在工业自动化实时数据采集系统中具有实用价值。     

基于多层MD5消息摘要的文件完整性实时检测技术

在大规模并行系统上,并行应用涉及的文件操作的可靠性和文件数据的完整性验证很重要。基于传统串行MD5摘要的文件验证手段无法满足大规模并行应用的需求,提出一种多层MD5并行摘要思想。基于此实现了文件完整性实时检测接口,并测试了串行MD5摘要和多层MD5摘要的性能,以及相应的文件完整性检测技术的性能。     

基于OLE技术的Word和Excel的存取调用

本文介绍了在C Builder中,如何利用文件流、BLOB流、VBA和OLE技术实现应用程序与Word和Excel之间的接口,以及Word和Excel文档在数据库中的存取调用.     

面向SQL Server的OPC Client开发

实现了一种OPC Client软件,解决了现场数据通过OPC Server到SQL Server数据库集成的难题.该应用程序提供了Windows Explore形式的标准的用户界面,易学易用.软件采用了文件操作、OPC数据存取、ADO数据库访问、SQL-DMO对象管理和操作、系统托盘等多项关键技术,来实现对文件数据源、OPC数据源、SQL Server数据源等的读写和OPC对象、SQL Server中的库、表、Job等对象的管理和操作.本OPC Client应用程序已在实际工程中取得良好的应用效果.     

一种高性能I／O方法

并存文伴系统是解决I／O瓶颈问题的重要途径。研究表明，科学应用中跨越式的文件访问模式与现存并行文件系统访问这些数据的方法的结合，对于大型数据集的访问其I／O性能是难以接受的。为了提高并行文件系统中对不连续数据的I／O性能，创建了一种新型高性能I／O方法：用户自定义文件视图结合合并I／O请求。并且在WPFS并行文件系统中实现了该方法。研究和实验结果表明，该方法具有增强科学应用性能的潜力。     

高性能逻辑文件系统设计与实现

服务器端文件系统不仅需要很大的容量,而且要为大量并发访问提供很高的I/O性能。该文提出一种把多个物理文件系统通过软件集成为一个逻辑文件系统的技术,很好地聚合了各个文件系统所在磁盘设备的带宽和容量,综合了不同文件系统在元数据和数据处理性能上的优势。性能测试结果表明,逻辑文件系统技术是一种构造支持高度并发访问的高性能文件系统的有效方法。     

A prediction-based dynamic file assignment strategy for parallel file systems

Nowadays, the rapid development of the internet calls for a high performance file system, and a lot of efforts have already been devoted to the issue of assigning nonpartitioned files in a parallel file system with the aim of pursuing a prompt response to requests. Yet most of the existing strategies still fail to bring about an optimal performance on system mean response time metrics, and new strategies which can achieve better performance in terms of mean response time become indispensable for parallel file systems. This paper, while addressing the issue of assigning nonpartitioned files in parallel file systems where the file accesses exhibit Poisson arrival rates and fixed service times, presents an on-line file assignment strategy, named prediction-based dynamic file assignment (PDFA), to minimize the mean response time among disks under different workload conditions, and a comparison of the PDFA with the well-known file assignment algorithms, such as HP and SOR. Comprehensive experimental results show that PDFA is able to improve the performance consistently in terms of mean response time among all algorithms for comparison.     

可重构云计算领域的小文件系统设计与实现

借助ASIC系统的高效性和软件的可编程性,可重构概念使计算机的性能获得了进一步的提升空间。但在云计算应用背景下,需要一个文件系统对互联网上的海量小文件进行高效处理。为此,阐述和分析现有的小文件系统,设计一个基于现场可编程门阵列(FPGA)的小文件系统(FPGASmallFS)。该系统通过简化文件系统结构和动态划分磁盘卷,提高文件系统的速度和磁盘空间利用率,同时借助FPGA的并行加速实现文件系统挂载过程的加速,从而提高磁盘空间利用率。测试结果表明,与ReiserFS和Ext2系统相比,FPGASmallFS具有更好的系统性能。     

基于机器学习的动态分区并行文件系统性能优化

近年来,随着大数据、云计算技术的发展,应用系统越来越集中,规模亦越来越大,使得存 储系统的性能问题越来越突出。为应对其性能要求,并行文件系统得到了大量的应用。然而现有的并 行文件系统优化方法,大多只考虑应用系统或并行文件系统本身,较少考虑两者之间的协同。该文基 于应用系统在并行文件系统上的访问模式对存储系统的性能有显著影响这一特点,提出基于动态分区 的并行文件系统优化方法。首先,利用机器学习技术来分析挖掘各个性能影响因素和性能指标之间的 关系和规律,生成优化模型。其次,以优化模型为基础,辅助并行文件系统的参数调优工作。最后, 基于 Ceph 存储系统进行原型实现,并设计了三层架构应用系统进行了性能测试,最终达到优化并行 文件系统访问性能的目的。实验结果表明,所提出方法可以达到 85% 的预测优化准确率;在所提出模 型的辅助优化下,并行文件系统的吞吐量性能得到约 3.6 倍的提升。     

高性能计算平台的IO性能测试与分析

在高性能计算平台上测试NFS和Lustre文件系统在大规模并行计算环境下的IO速率,根据测试结果分析该实验平台的IO瓶颈并提出改进方案;之后测试本地Cache、并行应用进行IO时的TransferSize和并行程序存取文件的FileSize等因素对分布式文件系统性能的影响,并根据实验结果提出如何合理地部署并行软件以有效地利用本地Cache,以及提出在编写并行程序时设置合适的TransferSize和FileSize以提高IO性能的建议。     

几个常见分布式文件系统特征分析和性能对比

近年来随着云计算市场规模不断增长,作为云计算平台基础设施的云存储系统也随之显得越来越重要。数以万计的互联网应用已经运行于云计算环境,同时大量不同的应用也即将从传统运行环境转移到云计算平台。不同的互联网应用的存储需求可能不一样。例如:应用中涉及的单个文件大小,文件数量,IO访问模式,读写比率等,都对底层存储系统提出了不同的要求。这说明在云计算环境中,单个文件系统可能无法满足全部应用的存储需求,本文尝试通过在单一云计算平台中部署多个不同分布式文件系统来优化存储系统的总体性能。为了优化混合式文件系统的性能,首先需要分析不同文件系统的性能特征。本文通过量化方法分析了云计算环境下几个常用的分布式文件系统,这些文件系统分别是ceph,moosefs,glusterfs和hdfs。实验结果显示:即使针对同一文件的相同读写操作,不同分布式文件系统之间的性能也差异显著,当单个文件的大小小于256MB时,moosefs的平均写性能比其它几个文件系统高22.3%;当单个文件大小大于256KB时,glusterfs的平均读性能比其它几个文件系统高21.0%。这些结果为设计和实现一个基于以上几个分布式文件系统的混合式文件系统提供了基础。     

高强度I/O的应用对并行存储系统的挑战和解决方法研究

具有高I/O密集特性的高性能计算应用对高性能计算机存储系统综合性能的要求越来越高.以石油地震勘探数据处理为代表的一类重要应用表现出I/O数据量巨大、I/O访问密度大,对单个磁盘阵列存储部件的读写带宽要求高的特征.在Lustre文件系统中,充当对象存储服务功能的磁盘阵列设备输出带宽的不足将成为阻碍存储系统整体性能发挥的重要因素.针对此类问题,提出了一种缓存管理方法,分别在客户端添加VDISK模块,在OST端添加Cache模块,二者协同提高并行文件系统I/O的输出带宽的使用效率;另外,充分利用客户端空闲内存以及客户端之间的通信带宽,降低应用程序对磁盘阵列设备输出带宽的要求.通过大规模并行模型的验证表明,VDISK提高了实际可用的输出带宽,提高了外部存储系统的I/O效率.     

SNFS并行文件系统负载均衡技术的研究与实现

在大规模集群系统的并行运算环境中,I/O效率一直是影响系统整体性能的关键因素,并行文件系统技术是目前解决I/O性能瓶颈的有效途径之一。介绍当前并行文件系统的发展现状以及并行文件系统的类型,阐述SNFS并行文件系统的架构以及负载均衡DLC(分布式LAN客户端)技术的实现原理,并给出大规模集群系统环境中SNFS文件系统负载均衡技术的实现方法,最后,通过实际应用分析说明该技术在提升I/O性能上的优势。