工资计算的网络并行实现

介绍在ＮＯＶＥＬＬ网络下用ＦｏｘＢＡＳＥ语言并行实现一个实际的工资计算问题，叙述了如何运用网络节点间的通信，对各节点进行同步和控制操作，从而实现具有一定容错能力的并行计算。     

大规模MPI 并行计算的可扩展三模冗余容错机制

随着系统规模的扩大,并行计算的性能不断提高,但可靠性却也在不断下降,因此需要采用某种容错机制来容忍或恢复硬件故障和数据错误.目前常用的容错机制Checkpoint/Restart和多模冗余均引入了额外的开销,这些开销均在某种程度上制约了并行计算的可扩展性.因此,在高性能计算需求不断增长的今天,可扩展容错机制的设计显得尤为迫切和重要.以三模冗余(triple modular redundancy,简称TMR)为典型案例,描述了传统TMR在大规模MPI 并行计算上的实现方法,分析了该机制所面临的实际问题,进而指出传统TMR制约了并行计算的扩展.根据该技术所面临的问题,设计了可扩展三模冗余(scalable triple modular redundancy,简称STMR),并进一步验证了其有效性和可扩展性.该机制不仅能够处理Checkpoint/Restart针对的fail-stop故障,还能够解决绝大部分硬件不能直接感知的数据错误.最后,借用BlueGene/L的系统参数进行模拟,预测当系统规模增大时,在分别采用TMR和STMR的情况下并行计算可扩展性的变化,结果进一步验证了STMR是可扩展的容错机制.     

基于协同服务器组的志愿者计算环境的构造

构造了一个基于协同服务器组的志愿者计算环境P2HP.P2HP把平台中的所有节点按照角色划分为监控服务器节点、调度服务器节点、计算节点和数据服务器,进而形成一个可扩展的层次网络拓扑架构.P2HP具有开放性、容易使用、容错能力好、可扩展、跨平台等特点,并提供一套简单方便的API(application programming interface)函数调用来支持并行应用程序开发.测试结果表明,P2HP是处理高性能并行应用的一个可行的方法.     

基于ProActive的容错调度器设计与实现

在分布式计算系统中保证并行应用计算的正确性及提高计算系统中动态资源的利用率是一个重要的研究问题。在原有的基于ProActive的并行计算平台上,引入呼吸通信机制、故障节点发现机制和子任务重新调度机制,设计和实现了一个容错调度系统。实验表明该调度器在部分节点出现故障的情况下,能保证并行计算的正确性,并具有较好的性能。     

协同系统中可扩展的动态容错模型研究及实现

针对协同系统的特点以及其对可靠性、实时性和性能等方面的要求，提出了一种可扩展的动态容错模型xDFT（Extensible Dynamic Fault Tolerance Model，xDFT）．本容错模型将容错支持结构和容错机制结合在一起：在本模型中首先定义了一种可扩展的、动态容错支撑结构；基于此，提出了一种容错机制．xDFT模型能够根据系统负载状况设定服务节点的负载阈值，改变服务冗余度，不仅提高了服务效率，而且以一种简单有效的方式实现了负载平衡．     

数据网格中基于优化机制的通信模型

针对基于多计算机机群构成的网格的大规模并行计算的需要,对多级分组通信模型的单一机群分组通信进行了研究。探讨了在单一机群内的主动节点、被动节点个数和各个计算节点的能力以及机群网络的带宽之间的形式化关系,优化了通信结构,描述了基于能力优化机制的通信模型。理论和试验表明,该模型充分利用了机群的计算节点能力、网络通信能力。该模型适合基于网格的并行计算。     

基于Socket分布式计算的泥石流危险性分区系统

针对以往单机版的泥石流分区系统计算速度慢、可扩展性和伸缩性差等缺点,研究并实现了一种基于Socket分布式计算的泥石流危险性分区系统.引入一个监控节点实时监控当前每个子计算节点的Socket连接数、任务量以及实际处理能力.通过主节点的负载均衡计算实现系统的负载均衡,使得主计算节点更加合理地分配计算任务.实验结果表明,系统完成一次模拟任务所用时间随着并行计算节点数量的增加而减少,具有较高的性价比.     

基于MPI并行程序的容错系统设计

为了确保并行程序能够在并行环境下准确地运行,须提高系统的可靠性,将容错技术应用到并行计算中。该文针对MPI并行程序提出一种容错系统的设计方法,采用检查点/卷回恢复技术、并添加故障检测功能,能够有效地处理节点失效故障和进程失效故障,在一定范围内实现容错,为MPI环境下进行大规模计算提供一个可使用的应用模型。     

网格计算环境下分布并行计算的一种实现方法

网格计算为人们处理很多复杂问题提供了新方法。文章利用GlobusToolkit来构建网格计算环境,并把它扩展为分布并行计算的支撑环境,为实现分布并行计算提供了新方法。讨论了任务分布、系统通信和容错机制等关键问题。最后给出了基于网格计算环境下的一个分布并行计算实例,取得了令人满意的实验结果。     

支持低延迟通信与容错的计算资源共享环境构建

提出与描述了支持低延迟通信与容错的计算资源共享环境LF-CRSE (low latency and fault tolerance CRSE),LF-CRSE提出了节点功能角色的观点,由客户端功能节点、任务服务器、工作机服务提供器、工作机节点组成,形成一个可扩展的分布式网络体系结构.采用了任务缓存、任务预获取和任务服务器端计算等策略保证了通信过程的低延迟开销.在应用上利用分支界限模式的任务划分,使LF-CRSE支持主-从模式和分-治模式的灵活编程模型.通过工作机端的心跳消息和面向子任务的容错方式保证了LF-CRSE的正确性.测试过程选择了具有数据依赖的分布式旅行商问题,实验结果表明,LF-CRSE的加速比随着工作机的增加稳定提高,在低延迟通信和容错特性上也具有良好的性能.     

一种面向大规模数据处理的数据库引擎

当数据量从GB级上升至TB级甚至PB级时,具有高性能的并行数据库在保证扩展性和容错性的同时计算代价会很高。针对该问题,设计一种面向大规模数据处理的并行数据库引擎FlexDB。利用Map Reduce的并行计算框架作为通信层,调度和协调集群中各节点的计算和通信。实验结果表明,FlexDB的系统性能接近于并行数据库,并且具有较好的扩展性和容错性。     

利用DRBD和OpenSSI构建高可用集群系统

为提高集群系统的可靠性和计算性能并降低成本,提出将单一系统映像的集群系统(Single System Image)和分布式复制块设备技术(DRBD)结合起来构建一种高可用集群(SSI-DRBD集群).这种利用单一系统映像和DRBD技术所构建的集群具有高性能、高可靠、实时性强、易管理和低成本等特点,可作为周期性、高强度和多元信息处理的平台.     

HPC‐GAP: engineering a 21st‐century high‐performance computer algebra system

Symbolic computation has underpinned a number of key advances in Mathematics and Computer Science. Applications are typically large and potentially highly parallel, making them good candidates for parallel execution at a variety of scales from multi‐core to high‐performance computing systems. However, much existing work on parallel computing is based around numeric rather than symbolic computations. In particular, symbolic computing presents particular problems in terms of varying granularity and irregular task sizes that do not match conventional approaches to parallelisation. It also presents problems in terms of the structure of the algorithms and data. This paper describes a new implementation of the free open‐source GAP computational algebra system that places parallelism at the heart of the design, dealing with the key scalability and cross‐platform portability problems. We provide three system layers that deal with the three most important classes of hardware: individual shared memory multi‐core nodes, mid‐scale distributed clusters of (multi‐core) nodes and full‐blown high‐performance computing systems, comprising large‐scale tightly connected networks of multi‐core nodes. This requires us to develop new cross‐layer programming abstractions in the form of new domain‐specific skeletons that allow us to seamlessly target different hardware levels. Our results show that, using our approach, we can achieve good scalability and speedups for two realistic exemplars, on high‐performance systems comprising up to 32000 cores, as well as on ubiquitous multi‐core systems and distributed clusters. The work reported here paves the way towards full‐scale exploitation of symbolic computation by high‐performance computing systems, and we demonstrate the potential with two major case studies. © 2016 The Authors. Concurrency and Computation: Practice and Experience Published by John Wiley & Sons Ltd.     

基于Raft算法改进的实用拜占庭容错共识算法

针对应用于联盟链的实用拜占庭容错（PBFT）共识算法可扩展性不足、通信开销大等问题,提出了一种基于Raft算法改进的实用拜占庭容错共识算法K-RPBFT。首先,将区块链分片,使用K-medoids聚类算法将所有节点划分为多个节点簇,每个节点簇构成一个分片,从而将全局共识改进为分层次的多中心共识;然后,每个分片的聚类中心节点之间使用PBFT算法进行共识,而在分片内部使用基于监督节点改进的Raft算法进行共识。K-RPBFT算法的片内监督机制赋予了Raft算法一定的拜占庭容错能力,并提升了算法的安全性。实验分析表明,相较于PBFT算法,K-RPBFT算法在具备拜占庭容错能力的同时能够大幅降低共识的通信开销与共识时延,提升共识效率与吞吐量,并且具有良好的可扩展性与动态性,使联盟链能够应用于更广泛的场景中。     

一种适用于P2P存储系统的自反馈故障检测算法

在构建高可用性P2P存储系统的过程中,针对系统中节点的高度动态特征,设计了一种自反馈的心跳故障检测算法。它结合心跳策略和无偏灰色预测模型,根据应用需求和网络环境的变化动态地改变检测的质量,在保持一定检测时间的前提下,提高了故障检测的精度。实验表明,根据该算法实现的故障检测器具有较好的性能,提高了P2P存储系统的可用性。     

云数据管理索引技术研究

数据的爆炸式增长给传统的关系型数据库带来了巨大的挑战,使其在扩展性、容错性等方面遇到了瓶颈.而云计算技术依靠其高扩展性、高可用性、容错性等特点,成为大规模数据管理的有效方案.然而现有的云数据管理系统也存在不足之处,其只能支持基于主键的快速查询,因缺乏索引、视图等机制,所以不能提供高效的多维查询、join等操作,这限制了云计算在很多方面的应用.主要对云数据管理中的索引技术的相关工作进行了深入调研,并作了对比分析,指出了其各自的优点和不足;对在云计算环境下针对海量物联网数据的多维索引技术研究工作进行了简单介绍;最后指出了在云计算环境下针对大数据索引技术的若干挑战性问题.     

基于对端重叠网络的通用大规模计算资源共享环境的构造

大规模计算资源共享是网格计算和其它基于Internet的计算模式的首要目标之一 .作为计算网格的一个主要分支 ,自愿计算环境在大规模计算模式中正在扮演着越来越重要的角色 .目前的自愿计算环境大多是专用和集中控制的 ,因而存在着某些可用性和可扩展性的问题 .该文构造了一个通用和可扩展的自愿计算环境 :Paradrop per .该环境的可扩展性得益于一个自组织的对端重叠网络 ( peer to peeroverlaynetwork) ;通用性得益于统一的计算和任务描述手段以及建立在该网络之上的计算任务调度、容错机制和界面友好的使用平台 .该文首先对自愿计算的特点以及Paradropper计算平台做了简要介绍 ,然后重点阐述该环境下计算网络的构造和基于该网络的计算任务调度算法 ,对计算网络的若干特性 (诸如高聚合性和低搜索路径 )以及调度的效能进行了仿真分析 ,最后 ,通过若干示例应用对计算平台的功能进行了测试 .仿真结果说明 ,该文构造的计算网络表现出明显的自组织特性 ,具有较好的可扩展性和自组织能力 ,能为计算资源的调度提供很好的支持 .小规模测试结果初步说明 ,该文构造的计算环境为Internet环境下的单程序多数据 (SPMD)的易并行计算应用提供了一个可行的思路 .     

网络环境中MPI和PVM的分析与比较

消息传递接口(MessagePassingInterface,MPI)和并行虚拟机(ParallelVirtualMachine,PVM)是两种广泛应用的网络分布式并行计算环境。论文首先介绍了消息传递接口和并行虚拟机两者各自的起源和特点,然后在此基础上从可移植性、点对点通信、集体通信、资源管理和容错能力等多方面分析和比较了这两者的功能特点。     

网络应用系统服务器集群技术研究

本文从处理能力可扩展和容错的角度，给出了功能分布和对称的网络应用服务器集群结构，并讨论了实现存储部件容错的各种集群结构。