基于分布式共享存储系统的并行文件子系统DPFS

为了改进软件 DSM系统中对文件的存取性能以获得更好的应用程序性能 ,基于软件 DSM系统 JIAJIA的并行文件子系统 DPFS被开发出来 .DPFS系统采用文件映射接口作为应用编程接口 ,使得文件存取界面简单 ,并且能充分利用软件 DSM系统的大量特性 ,系统设计相对简单 .在曙光 2 0 0 0并行机上进行的应用测试表明 ,采用DPFS文件子系统后 ,应用程序的整体性能有了很大提高     

基于分布式共享共存储系统的并行文件子系统DPFS

为了改进软件DSM系统中对文件的存取性能以获得更好的应用程序性能，基于软件DSM系统JIAJIA的并行文件子系统DPFS被开发出来，DPFS系统采用文件映射接口作为编程接口，使得文件存取界面简单，并且能充分利用软件DSM系统的大量特性，系统设计相对简单，在曙光2000并行机上进行的应用测试表明，采用DPFS文件系统后，应用程序的整体性能有了很大提高。     

智能分布式并行文件系统的研究与实现

信息时代大量数据安全可靠、高效合理的存储面临着新的问题，它对数据管理系统提出了更高要求。由多台高档Pc机构建分布式并行服务器使这问题能得到很好的解决。以下从文件系统的角度分析、研究了这些新的问题中急需解决的数据存储的智能化管理问题；提出了数据分布式存储后的智能化管理模型；介绍了该模型在分布式并行服务器上的设计与实现.     

基于NOWs分布式共享存储系统的并行图像处理数据通讯研究

1.引言目前,并行分布式系统的应用正在不断地发展和扩大。将现有的微机、工作站用高速网络连接起来,再配上并行分布式计算的软件环境,便能实现高速的并行计算。这将有利于普及并行计算。在所有类型的并行系统中,基于分布式存储的工作站集群(NOWs)由于具有很高的性价比,越来越受到高性能计算领域的重视。数字图像处理具有内在的并行性,建立基于微机、工作站集群的并行图像处理系统,将有利于实时处理海量数字图像系统的实用化。分布式系统的并行机制主要有两种,即消息传递和共享存储。但它们不是完全对立的,一个系统可以同时采用这两种机制,不过有所侧重,习惯上依其侧重点的不同分别称为消息传递系统和共享存储系统。在消息传递系统中,通过仔细设计     

一种并行存储器系统的FPGA实现

介绍一种可在现代小卫星上应用的高（低）位交叉并行存储系统,并给出了该存储系统控制器的FPGA实现。该系统的应用将极大地增强星上计算机的数据通信和图象处理的能力,并提高整个系统的可靠性。     

一种适用于机群OpenMP系统的有效调度算法

OpenMP作为共享存储并行编程标准,以其良好的易用性、支持增量并行等特点成为并行程序设计的主流模型之一．OpenMP标准是针对UMA共享存储结构制定的,其循环调度机制只考虑了负载平衡而无须考虑数据分布．然而在机群OpenMP系统中,数据局部性是影响性能的关键因素．针对OpenMP标准中静态调度策略不适合机群计算的缺点,提出了一个充分体现拥有者计算原则的LBS调度算法,并通过扩展制导的方式在机群OpenMP系统（OpenMP/JIAJIA)上加以实现．测试结果表明,LBS算法对于机群OpenMP系统很有效．     

一种视频缓冲和调度策略的研究和实现

分别从客户和多媒体流的角度分析了视频模块采用的调度策略。基于Linux平台研究了一种视频缓冲区的实现方法：缓存管理器使用两个流缓冲池,另一个是正在使用的流缓冲池。当申请一个流时,缓存管理器看空闲缓冲池是否为空,如果不为空则返回一个空闲的流;如果为空则系统的资源不足,拒绝流的请求。同时把实现的缓存策略与LRU策略进行了理论上的分析。对视频模块的性能进行了仿真,研究了磁盘性能模型。     

缓冲技术在分布式文件系统中的应用

文中介绍在客户／服务器结构的分布式文件系统中缓冲技术的几个应用，并设计一个解决缓冲一致性问题的改进算法。     

并行缓存结构在高速海量数据记录系统中的应用

在光纤2.5Gbps SDH干线网上,常常需要将某些重要的高速数据及时记录下来,以便为后续的分析处理作准备;以硬盘作为存储介质的高速海量数据记录系统有着广泛的应用前景;但是受其机械结构的限制,硬盘的内部数据传输速率远低于高速数据的传输速度;在分析了乒乓缓存结构的原理及特点的基础之上,提出了一种由乒乓结构演变而来的并行缓存结构;该结构可以降低数据流的传输速率,使之与硬盘内部数据传输率相匹配,进而实现了以硬盘为存储介质的高速海量数据记录系统。     

并行文件系统与并行I／O研究

集群计算系统中并行文件系统的研究是当前计算机与网络技术中的一个热点问题,而并行I/O是缓解系统数据输入输出瓶颈的一个技术途径。论文对当前集群系统中的并行文件系统与并行I/O做了研究,阐述了研究发展的现状、关键问题等,指出了在集群计算系统中的文件组织、分布以及其在磁盘上的实现、数据的访问特性、高性能网络文件系统、系统的负载平衡与缓冲和预取策略。     

MPD：结点具有多个并行缓存一致性域的CC-NUMA系统

大规模高速缓存一致性非均匀存储访问(cache coherence non-uniform memory access, CC-NUMA)系统通常采用两级一致性域方法来降低缓存一致性协议维护开销,提升系统性能.两级一致性域系统中,多个处理器互连,形成结点内一致性域;多个结点互连,形成结点间一致性域.然而,受限于处理器直连能力与处理器可识别ID数,系统的单结点规模有限,系统规模的扩展不得不依靠增加结点数来实现,使得大规模CC-NUMA系统的结点间互连复杂度上升,跨结点访问带宽和延迟急剧增长,影响了系统性能的有效扩展.MPD系统通过在结点内构建多个并行缓存一致性域,突破了处理器直连能力与可识别ID数对单结点规模的限制,能够大幅减少结点数量,并将部分结点间访问转化为结点内访问,实现系统性能的有效扩展.理论分析和实验结果表明:采用同规格处理器的32路系统中,结点内4个并行缓存一致性域的MPD系统可实现结点数目减少75%、一致性目录存储开销节省40%以上、平均访问延迟降低约27.9%、系统整体性能提升约14.4%.     

并行文件系统管理工具的设计与实现

通过对常用并行文件系统体系结构的分析，提出了一种适用于某一大类并行文件系统的管理框架。以该管理框架为基础，实现了PVFS并行文件系统的管理工具，并为用户提供了单一映像的管理控制台。功能测试结果表明，该管理工具的引入降低了并行文件系统管理的复杂性。     

i860XP多机并行系统的Cache一致性策略及其实现

本文讨论承公共总线和纵模交叉开关结构的ｉ８６０ＸＰ多机并行系统中Ｃａｃｈｅ一致性的实现策略。     

软件DSM系统的重放

软件DSM系统的并行调试环境已经成为制约其广泛应用的一个重要因素，重放方法使得用户能用循环调试技术来调试具有执行不确定性的软件DSM程序，本文定义了软件DSM程序执行的happen-before-1关系，并依据其提出一种在软件DMS系统JIAJIA上实现重放的方法，实际应用测试表明，该方法产生很小的空间和时间开销。     

支持内存数据库索引缓存优化的CST树的设计与实现

针对目前内存数据库中索引缓存失配的问题,在分析了现有内存数据库索引结构基础上,提出了一种缓存敏感T树（CST树）的索引数据结构,详细数据结构描述和操作算法也已给出。通过CST树的缓存次数分析和进行查询、插入等操作性能测试,结果表明CST树能有效减少缓存敏感次数,并且在数据量较小时,CST树的插入、删除速度比T树略慢,而查询速度比T树要快。在数据量较大时,CST树的插入、删除、查询效率都比T树要高。     

数据挖掘系统中语义缓存机制的设计与实现

越来越多的人开始研究如何能够快速高效地采用数据挖掘的方法获取有用的知识,然而面对大量数据特别是海量数据时,采用现有的挖掘算法有时会需要相当长的执行时间,而且如果挖掘请求相似,将会出现重复计算问题。论文在挖掘过程中引入一种称为语义cache的机制,在对挖掘请求进行分析并和已有挖掘结果进行比较的基础上,除去某些可以避免的计算,提取出用户所需的所有知识,以此来达到减少计算量,提高系统响应速度的目的。理论分析和实验结果证明了该机制的有效性。     

基于双缓冲文件系统过滤驱动技术研究

针对单缓冲技术在过滤驱动透明加解密中存在的缺陷和不足,本文提出采用双缓冲机制,在内核态创建两个缓冲区,授权程序访问解密缓冲区数据,非授权程序访问非解密缓冲区数据,两者互不影响。首先对文件系统过滤驱动和双缓冲技术进行理论研究,然后提出了系统的设计思想,建立设计方案,进行实现和应用。通过测试结果表明,该系统对透明加解密系统性能和兼容性有很大提升。     

高强度I/O的应用对并行存储系统的挑战和解决方法研究

具有高I/O密集特性的高性能计算应用对高性能计算机存储系统综合性能的要求越来越高.以石油地震勘探数据处理为代表的一类重要应用表现出I/O数据量巨大、I/O访问密度大,对单个磁盘阵列存储部件的读写带宽要求高的特征.在Lustre文件系统中,充当对象存储服务功能的磁盘阵列设备输出带宽的不足将成为阻碍存储系统整体性能发挥的重要因素.针对此类问题,提出了一种缓存管理方法,分别在客户端添加VDISK模块,在OST端添加Cache模块,二者协同提高并行文件系统I/O的输出带宽的使用效率;另外,充分利用客户端空闲内存以及客户端之间的通信带宽,降低应用程序对磁盘阵列设备输出带宽的要求.通过大规模并行模型的验证表明,VDISK提高了实际可用的输出带宽,提高了外部存储系统的I/O效率.