基于Infiniband技术构建高性能分布式文件系统-Lustre

介绍了基于对象的分布式文件系统Lustre,分析了其通信机制,重点介绍了Infiniband以及IPOIB技术。基于Infiniband技术构建了高性能Lustre文件系统。通过对该系统进行性能测试并将其与千兆以太网条件下的Lustre进行了比较,可以看出Infiniband技术极大地提高了Lustre的性能,具有很大的潜力。最后介绍了下一步的工作。     

MPICH2-CMEX:可扩展消息传递接口实现技术

在大规模并行计算系统中,为了更有效地利用系统的并行性,实现一个高性能、可扩展的MPI系统是非常重要的。CMEX是无连接模式的用户级通讯软件接口,提供了高性能的报文传输和RDMA通讯操作,MPICH2-CMEX是基于CMEX的MPI实现,结合RDMA读和RDMA写通讯操作的特性,MPICH2-CMEX实现了多种数据传输通道,并利用并行应用的近邻通讯模式,实现了混合通道数据传输方法,实际的应用测试表明,MPICH2-CMEX系统具有良好的性能和可扩展性。     

采用故障接管策略的容错MPI实现技术

面向集群系统的通信故障，研究了如何在消息传递层采用故障接管实现通信子系统的透明容错。并描述了基于高性能通信接口NICHAL的容错MPI(R-MPI)实现，测试数据表明该实现有效利用TRDMA特征实现容错通信协议。     

主动消息与MPI

本文详细分析了消息传递的开销问题,并对可降低开销的一种机制：主动消息进行了深入探计,在此基础上给出了将主动消息引入ＭＰ少基于主动消息实现ＭＰＩ的原型。     

并行作业启动及其可扩展性分析

随着高性能计算机系统与并行应用规模的不断增加,大规模并行作业的启动时间不能再被忽略不计.已有的研究给出了在Tianhe-1A系统上加载MPI作业的性能结果.通过分析作业启动在控制消息传递、文件访问、MPI环境初始化等各阶段的时间开销,发现对于大规模MPI作业而言,环境初始化时间是作业启动的主要开销.基于此发现进行了一些优化,减少MPI环境初始化时交换的数据量,并避免不必要的数据传输开销.显著地提高了并行作业启动的性能,进而提出了一种层次式的可扩展进程管理结构,以进一步增强作业启动的可扩展性.与其他主流MPI实现的进程管理机制的作业启动时间进行了比较.     

基于Lustre文件系统的MPI检查点系统实现技术与性能测试

基于协同式检查点的回卷恢复是在大规模并行计算机系统中得到采用的一项重要容错技术,其性能开销主要为协同协议和检查点映像存储所决定.描述了一个在MPICH2中实现的应用透明的并行检查点系统,相比已有的技术,该系统有以下特点：1）协同协议操作利用了并行应用的近邻通信特性,通过虚连接方法减少协议的处理开销;2）采用Lustre文件系统简化检查点映像文件管理的复杂性;3）通过并行I/O操作提高性能,优化检查点映像的存储过程.实际应用的测试表明,该检查点系统具有较小的运行时间开销和良好的可扩展性.     

面向磁盘故障预测的机器学习方法比较

磁盘是保存数据的重要载体,提高磁盘的可靠性和数据可用性具有重要意义。现代磁盘普遍支持SMART协议,用来监控磁盘的内部工作状态。采用机器学习方法,分析磁盘的SMART信息,实现对磁盘故障的预测。所采用的机器学习方法包括反向神经网络、决策树、支持向量机以及简单贝叶斯,并采用实际磁盘SMART数据进行验证与分析。基于上述数据,对不同机器学习方法的有效性及其效果进行了对比。结果表明,决策树方法的预测率最好,支持向量机方法的误报率最低。     

消息传递、PVM及MPI

求文介绍了消息传递的发展历史、PVM系统的发展及流行、MPI标准的制定以及MPI的现状及未来的发展前景。在此基础上对MPI和PVM进行了比较，供人们在选择PVM或MPI作为消息传递库时作参考。