基于内存缓存的异步检查点容错技术

高性能计算机系统规模越来越大,系统可靠性问题越来越严重.检查点技术是最典型的容错方法,但是因为并行文件系统的性能提高相对缓慢,数据写带宽低,传统检查点方法产生了严峻的性能问题.针对当前计算机系统计算和存储资源丰富,而并行文件系统写带宽提高相对滞后的特点,提出了基于内存缓存的异步检查点容错技术,传统的检查点技术被划分为两步:检查点文件首先被缓存在计算结点的局部内存,然后使用一个独立的帮助任务将数据拷贝到并行文件系统.利用局部内存带宽高以及帮助任务和计算任务并行执行的特点,新方法极大减小了检查点容错引入的时间开销,模拟和实际程序测试验证了异步检查点容错技术的有效性.     

GlusterFS缓存机制研究

缓存机制在并行文件系统中广泛使用,以提高文件系统的性能。简单介绍GlusterFS文件系统的特点,简叙当前文件系统中的缓存机制研究概况,对GlusterFS缓存机制进行深入研究,并通过实验对GlusterFS理论分析的缓存机制进行验证。通过有缓存和无缓存的实验的对比,证实GlusterFS的缓存机制改进了GlusterFS文件系统的读性能。     

并行虚拟文件系统客户端缓存技术研究与实现

缓存技术是一种提高文件系统性能的关键性技术．在并行文件系统中实现客户端缓存，既能够减轻集群服务器系统的通信负载，又能有效地提高文件系统的性能．对PVFS并行文件系统进行了分析，建立了客户端缓存模型，就客户端缓存实现的一些关键性问题，如一致性、查找、替换等进行了研究，给出了解决方案，并在此基础上实现了一个客户端缓存的原型系统．测试结果表明，加入缓存后，PVFS整体性能有明显的提高．     

改进的基于概率的非结构化对等网搜索算法

资源发现是P2P应用所面临的最核心问题之一.无结构P2P主要采用了查询消息泛洪和信息索引机制,会造成严重的网络带宽负担以及巨大的索引维护开销.提出了一种无结构P2P环境下一种改进的概率自适应的、动态缓存和索引算法EAPS,EAPS算法依据用户结点和用户结点的邻居节点命中查询的历史信息赋予结点相应权值作为查询消息路由的依据,引导查询快速接近目标资源,同时能够解决由搭便车结点所带来的网络带宽消耗.自适应缓存机制和索引机制的引入使搜索性能大为加强.最后的实验表明,附带自适应缓存和索引的EAPS,以其高搜索成功率、很短的时间响应,能够显著地提高资源发现性能.     

一种快速产生 3D 图形系统的帧存储器设计

介绍了一种支持高性能的图形图象系统的帧缓存的体系结构。在此系统中利用ＳＩＭＤ、存贮器交叉和流水线三种并行技术以及ＣＡＣＨＥ来提高更新帧缓存中象素数据的速率；图形处理器可以按行、列或一个任意的矩形块同时存取Ｎ／２个象素（Ｎ为帧缓存的模块数）。系统中的Ｚ－ＢＵＦＦＥＲ可以提高三维消隐面算法的效率。     

PVFS客户端目录缓存设计与实现

缓存技术是提高并行文件系统性能的关键性技术。在并行文件系统中实现客户端目录缓存，不仅可以减轻目录服务器的压力，避免目录服务器成为系统瓶颈，而且可以简化客户端操作过程，提高并行文件系统的性能。该文对PVFS并行文件系统进行了分析，建立了客户端目录缓存模型；就客户端目录缓存实现的一些关键性问题，如缓存池开辟位置、一致性等问题进行了研究，给出了解决方法，并在此基础上实现了一个客户端目录缓存的原型系统。测试结果表明，加入缓存后，PVFS系统性能有所提高。     

一种快速发生3D图形系统的帧存储器设计

介绍了一种支持高性能的图形图象系统的帧缓存的体系结构。在此系统中利用ＳＩＭＤ、存贮器交叉和流水线三种并行技术以及ＣＡＣＨＥ来提高更新帧缓存中象素数据的速率；图形处理器按行、列或一个任意的矩形块同时存取Ｎ／２个象素（Ｎ为帧缓存的模块数）。系统中的Ｚ－ＢＵＦＦＥＲ可以提高三维消隐面算法的效率。     

一种加速广域文件系统读写访问的缓存策略

针对广域网高延迟、低带宽的特性给广域文件系统访问带来的性能影响问题,提出了一种不依赖于底层文件系统、能够加速广域文件系统读写访问的缓存策略.该策略支持基于区间粒度的文件数据缓存及访问,并支持元数据本地缓存;该策略提供基于阈值的容量管理功能,采用超时与最终一致相结合的方式维护缓存的一致性.最后使用典型的文件I/O基准测试工具和元数据性能测试工具对该缓存策略进行了评测,实验结果表明:该缓存策略减少了客户端与服务器的交互次数,给广域文件系统的数据访问带来了明显的性能提升,当缓存命中时其数据的读写性能与本地文件系统相近.     

一种用于大数据分析服务的启发式云爆发算法

基于异构云联合的并行化大数据分析服务可以提升性能。然而由于大数据网络传输存在较大时延,原则上必须在并行化水平和大数据分析性能之间进行折衷。鉴于此,提出一种启发式云爆发算法用于并行化大数据分析服务。首先确定联合云中哪些计算结点应该用于大数据分析并行处理,然后将大数据妥善地分配给这些计算结点,确保处理同步完成且性能最优,最后,确定被分配的不同大小数据块在各个结点的计算次序,确保数据块传输尽量在结点上一数据块计算期间完成。与其他负载均衡算法做了对比,结果表明,使用该算法后性能可提升20%~60%。     

一种高性能图形图像系统的帧缓存体系结构设计

本文介绍了一种支持高性能的图形图像系统的帧缓存的体系结构。在此系统中利用ＳＩＭＤ，存储器交叉和流水线三种并行技术，以及ＣＡＣＥ来提高更新帧缓存中像素数据的速率。在此系统中图形处理器可以按行、列或一个任意的矩形块同时存取Ｎ／２个像素（Ｎ为帧缓存的模块数）。系统中的Ｚ—ＢＵＦＦＥＲ可以提高三维消隐面算法的效率。     

容错系统中文件状态的保存与恢复算法

在机群计算环境中实现容错是人们日益关心的热点。许多著名的机群计算环境都使用检查点实现了容错的功能。但目前的检查点算法在使程序卷回执行的同时，不能相应地恢复文件系统的状态，因而对应用程序访问文件系统有较多的限制。本文在原子操作和并发控制的基础上，提出了能够恢复文件系统状态的ＳＣＲ算法，进一步发展了文件系统可恢复性的概念，ＳＣＲ算法与检查点机制结合使用，便可支持分布式应用程序在容错运行时对文件系统的任     

两级元服务器机群文件系统的负载平衡策略

提出了一种两级元数据服务器机群文件系统的负载平衡策略，高级元服务器依据与二级元服务器性能最密切相关的负载信息将任务快速分配，在存储文件时，提出了一种能正确反映各存储节点I/O流量和存储量的方法：计算文件热量值，并据此对待存文件进行了合理的分配存储。实验结果表明，该策略提高了系统的性能，缩短了任务执行时间，取得了较好的效果。     

SCR algorithm: Saving/restoring states of file systems

Fault-tolerance is very important in cluster computing and has been implemented in many famous cluster-computing systems using checkpoint/restart mechanisms,But existent check-pointing algorithms cannot restore the states of a file system when roll-backing the running of a program,so there are many restrictions on file accesses in existent fault-tolerance systems.SCR algorithm,an algorithm based on atomic operation and consistent schedule,which can restore the states of file systems,is presented into idem-potent operations and non-idem-potent operations.systems are classified into idem-potent operations and non-idem-potent operations.A non-idem-potent operation modifies a file system‘s states,while an idem-potent operation does not.SCR algorithm tracks changes of the file system states.It logs each non-idem-potent operation used by user programs and the information that can restore the operation in disks.When check-pointing roll-backing the program,SCR algorithm will revert the file system states to the last checkpoint time.By using SCR algorithm,users are allowed to use any file operation in their programs.     

Sloth：一种新的适于缓存服务器的应用层文件系统

针对传统的文件系统(如UFS等)在支持缓存服务器时存在着元数据一致性维护、同步写操作、内存拷贝和多缓存诸多固有的缺陷，我们设计和实现了一种新的、高效的、可移植性好的文件系统Sloth。该系统在应用层实现，采用异步写操作和聚集文件等技术。仿真实验表明，Sloth文件系统有效地提高了读写磁盘的性能，大大减少了访问磁盘的次
数。     

基于消息调度的分布式雷达产品生成系统

随着天气雷达新技术的发展,传统单一封闭式的雷达产品生成系统已不能较好地适应新体制天气雷达系统快速的探测速率和多源的数据形式.为了提高雷达产品生成系统的实时性和可扩展性,本文提出一种基于消息调度的分布式雷达产品生成系统.基于ActiveMQ消息中间件设计了分布式集群的任务调度策略,采用Ceph分布式文件系统构建统一高效的存储服务,并利用GPU实现了对气象算法的并行加速.目前系统已在实际项目中交付使用,取得了良好的运行效果,具有一定的推广价值和应用意义.     

寄存器堆互连的VLIW结构及其指令调度算法

超长指令字(Very Long Instruction Word,VLIW)处理器一般采用总线互连的多簇结构,每个簇中的功能单元共享一个本地寄存器堆,簇间采用总线传输数据,以避免功能单元增多时,全连通结构的延时、面积和功耗的快速增长;但簇间数据共享时的拷贝和延时,使得处理器在性能上有所下降.文中提出了一种寄存器堆互连的多簇VLIW结构,采用寄存器堆来连接各个簇,从而可以避免簇间数据传输的延时和额外的数据拷贝操作.同时也提出了针对这种结构的指令调度算法,以提高指令调度的性能.实验结果表明,与全连通的VLIW结构相比,寄存器堆互连结构在性能上仅有13%左右的性能下降,代码长度则基本不变;这都优于总线互连的多簇结构.     

初始信息素筛选的蚁群优化算法在HDFS副本选择中的研究

随着社会信息化程度的不断提高,各种形式的数据急剧膨胀.HDFS成为解决海量数据存储问题的一个分布式文件系统,而副本技术是云存储系统的关键.提出了一种基于初始信息素筛选的蚁群优化算法(InitPh_ACO)的副本选择策略,通过将遗传算法(GA)与蚁群优化算法(ACO)算法相结合,将它们进行动态衔接.提出基于初始信息素筛选的ACO算法,既克服了ACO算法初始搜索速度慢,又充分利用GA的快速随机全局搜索能力.利用云计算仿真工具CloudSim来验证此策略的效果,结果表明:InitPh_ACO策略在作业执行时间、副本读取响应时间和副本负载均衡性三个方面的性能均优于基于ACO算法的副本选择策略和基于GA的副本选择策略.     

一种机群文件系统的缓存模型

提出了一种新的机群文件系统缓存模型，它充分利用机群系统累积的系统资源和高速的互联网络，将文件系统元数据和内容数据分离，分别使用分布式元数据缓存和统一缓存模型进行管理。元数据缓存使用改进的广播一致性协议和LRU替换算法。内容数据统一缓存则将磁盘缓存整个文件和内存缓存文件块相结合组成一个单一映像的多层次分布协作缓存，并使用单拷贝优先LRU和向前传递调度缓存块替换算法以及一种贪心的数据预取方法。实验结果表明，这两种缓存机制结合使用能极大地提高机群文件系统的性能。     

基于多级副本分布的机群服务器动态扩展研究

升级和扩展是机群服务器系统需要经常面对的问题。该文提出了基于多级副本分布的机群服务器系统重构和动态扩展模型及结点动态添加算法，采用优化的局部平衡文件迁移策略，有效减少系统动态添加新结点时的文件迁移开销，支持机群系统的动态扩展。     

Path-Based Multicast Communication in Wormhole-Routed Unidirectional Torus Networks

This paper addresses the problem of one-to-many, or multicast, communication in wormhole-routed,n-dimensional torus networks. The proposed methods are designed for systems that support intermediate reception, which permits multidestination messages to be pipelined through several nodes, depositing a copy at each node. A key issue in the design of such systems is the routing function, which must support both unicast and multicast traffic while preventing deadlock among messages. An efficient, deadlock-free routing function is developed and used as a basis for a family of multicast algorithms. TheS-torusmulticast algorithm uses a single multidestination message to perform an arbitrary multicast operation. TheM-torusalgorithm is a generalized multiphase multicast algorithm, in which a combination of multidestination messages is used to perform a multicast in one or more communication steps. Two specific instances of the M-torus algorithm, theM_d-torusandM_u-torusmulticast algorithms, are presented. These algorithms produce contention-free multicast operations and are deadlock-free under all combinations of network traffic. A simulation study compares the performance of the different multicast algorithms, and implementation issues are discussed. The results of this research are applicable to the design of architectures for both wormhole-routed massively parallel computers and high-speed local area networks with wormhole-routed switch fabrics.