一种低费用的协调检查点算法

检查点算法作为一种有效的故障技术及容错手段,已广泛地运用在网格、分布式和云计算系统中。该文提出了一种非阻塞协调检查点算法,该算法增加了系统的可靠性,并允许检查点灵活设置,充分缩减了同步信息数量,加速了检查点形成时间。和典型的相关算法比较,该文提出的算法使用更少的同步控制消息,具有更低的费用,引入同步控制消息的时间复杂度由一般的O(n2)降到O(n),且同步消息数仅仅为n-1。     

一种高效的协调式检查点算法

为降低设置检查点的开销,提出一种高效的异步存储非阻塞协调式检查点算法。该算法允许多个进程并发地在进程状态信息量较小时设置检查点,只在稳固存储器空闲时进行异步存储,并可同时进行检查点设置及进程执行。实验结果表明,该算法能降低设置检查点的开销,提高系统性能。     

一种低开销非阻塞的协同式检查点算法

协同式检查点设置及卷回恢复技术是一种简单有效的容错手段,被广泛地运用于并行/分布式系统中。为进一步降低协同式检查点算法的开销,该文给出了一个基于可重建检查点的非阻塞协同式检查点算法。并行程序出错导致卷回恢复发生的概率远小于检查点设置概率,该算法利用这一特性,将检查点设置的部分开销转至卷回恢复阶段,降低了容错的开销,提高了系统的可扩展性。     

分布式系统中的检查点算法

检查点能够保存和恢复程序的运行状态．它在进程迁移、容错、卷回调试等领域都有重要的应用．本文对分布式系统中的检查点算法进行了详细的分类评述．检查点算法可分为单进程和分布式程序检查点算法，分布式程序检查点算法又可分为异步检查点算法和一致检查点算法．同时本文系统介绍了改进检查点算法性能的典型方法．这些改进算法主要采用两个策略来减少算法的开销与延迟：一是减少检查点文件中需要存储的信息量，如增量算法等；二是提高检查点操作与目标程序运行的并行性，如主存算法等．最后，文章讨论了目前检查点算法的局限性和进一步的工作．     

SFT:一个具有较短冻结时间的一致检查点算法

介绍了一个基于消息记录的一致检查点算法－ＳＦＴ算法,ＳＦＴ算法能够实现分布式系统的容错,该算法具有无多米诺效应,冻结时间短,开销小和重启动算法简单的优点,ＳＦＴ的ＩＰＣ机制基于ＰＶＭ,能够保证消息的有序到达,并且其消息的发送和接收操作都是原子操作,另外,ＩＰＣ机制中进程的ｉｄ值编码与所在机器无关,这样一个过程即使从故障机器迁移到其它机器上运行仍可与其它进程继续通信,为提高检查点操作的并行性,ＳＦＴ     

一种基于准同步检查点的虚拟机卷回恢复算法

针对典型的云平台下虚拟化系统的特点,提出了一种结合选择性日志的准同步检查点算法VM_QSC:保持不同虚拟机节点固有的优化检查点周期,通过物理节点Hypervisor选择性地进行虚拟机的消息日志的稳定存储,在全局监控节点维护虚拟机一致线信息,保持全局的一致性。与传统的准同步检查点和同步检查点相比,该算法维持了虚拟机检查点设置的自主性,并显著降低了虚拟化系统的容错开销,可以有效应用于云计算环境下的虚拟资源管理和动态迁移。     

减少检查点开销的一种方法

设置检查点（ｃｈｅｃｋｐｏｉｎｔｉｎｇ）是容错计算机系统进行故障恢复的重要手段。设置检查点的开销则是影响其性能的一个主要因素。文章提出了一种预先保存部分检查点数据的新方法。该方法不仅能够有效地减少检查点开销,而且具有比较短的检查点延迟。     

一种基于索引的准同步检查点协议

在基于索引的分布式检查点算法中,尽量减少全局一致性检查点和强制检查点的数目对提高计算效率具有重要意义．该文在已有的基于索引的检查点算法的基础上,提出了一种新的检查点协议,既减少检查点的数目,又使各个进程的检查点之间实时同步,以免程序出错后回卷执行的开销太大,丢失过多有效计算．模拟实验表明,按该文所提协议,平均每条消息导致的强制检查点数比传统方法平均减少23．2％．     

基于PVM的协调检查点设置关键技术

本文论述了基于PVM的并行程序运行回卷恢复系统设计和实现过程中的退出再加入PVM机制、任务号隐式映射机制、任务结束前同步机制、防止PVM库重入机制，信号与消息协同触发机制、应用任务初始化机制以及作为前述各机制实现基础的函数包裹与换名机制等关键技术。这些技术已经成功地应用于我们自主开发的ChaRM系统中，证明了技术的正确性和有效性。     

分布式系统检查点算法中程序卷回时文件系统的状态恢复

检查点技术,也称为“回溯恢复”,是软件容错的重要手段,它主要用于保存和恢复程序的运行状态。在分布式计算和并行计算系统中有十分重要的作用。该文从减少检查点的开销角度,对分布式系统检查点算法中关于程序卷回时文件系统状态的恢复问题进行了分析讨论和进一步的研究。     

MapReduce框架下结合分布式编码计算的容错算法

随着分布式系统规模扩大及计算复杂度增加,分布式计算的平均故障修复时间和容错计算所产生的通信开销呈现日益上升趋势.结合分布式编码计算和副本冗余技术,提出一种新的容错算法.map节点应用分布式编码计算的思想,将数据冗余分配至多个计算节点创建编码中间结果,降低计算节点在shuffle阶段的数据传输量.reduce节点通过对接...     

利用分布式哈希表构建带副本的检查点

利用分布式哈希表构建了一种带副本的检查点文件共享机制,可以使因特网上的计算资源共享平台由于节点异常退出时恢复或重新启动任务的执行.所有关于该检查点文件的操作都是在非集中式的分布式哈希表中完成,可以很好的跟踪、共享、回收在存储点上的检查点文件,很少需要后台服务器的参入与合作.把检查点保存在其相应的存储点上,通过哈希表中的标准函数来访问指向存储点的指针,最终完成检查点文件的基本操作.仿真结果表明:本文的检查点机制比传统的检查点策略具有比较快的任务通信轮回时间,同时计算平台也可以获得比较好的任务吞吐量,减少通信的负载.     

通过非易失存储和检查点优化缓解日志开销

在文件系统进行用户数据和元数据的持久化过程中,如果出现异常掉电或系统崩溃,可能导致文件系统出现数据的不一致性问题.现有的Ext4文件系统通过写前日志(write-ahead logging, WAL)技术结合事务机制来保证持久化操作的一致性.写前日志技术将文件系统元数据写入磁盘2次,元数据的粒度小、数量大、重复度高,影响了程序的性能,也缩短了Flash存储介质的使用寿命.针对这一问题,提出了使用新型非易失存储(non-volatile memory, NVM)作为存放日志的独立外部设备,并通过存取指令(load/store)接口直接访问;同时使用倒序扫描(reverse scan)技术对检查点(checkpoint)流程进行优化,减少同一数据块的重复写操作.实验结果表明,使用NVM作为外部日志分区,对于写操作比重较大的程序,在HDD上带宽提升接近50%;在SSD上带宽提升达到23%;在checkpoint时使用倒序扫描之后,写入次数降低明显,带宽提升接近20%.     

Cooperative computing and integrated system management: A critical comparison of architectural approaches

New information processing service structures based on client-server concepts gain growing importance in both scientific and commercial computing because theyprovide a high flexibility with respect to the positioning of building blocks of a distributed application. The price for this flexibility, however, is a more complex system management. The paper discusses the new management requirements in a cooperative computing environment. The management platforms needed in this context must provide appropriate models for cooperation, services for supporting distributed management applications and an information model as a basis for the modeling of resources relevant to system management. The paper presents and evaluates approaches to solutions existing so far in research and development.     

基于开源软件的云监控平台设计与实现

最近几年,基于云计算的互联网服务迅速增长,数据中心的基础设施和应用资源不断增加。需要及时、高效的监控和管理资源的可用性,保证云服务的可靠性。通过对云监控的内容和特性的研究,提出一种管理云计算资源的云监控系统架构,重点对分布式架构、逻辑处理模块和云监控接口进行设计,实例中完成对私有云中物理主机、虚拟机、应用服务的批量监控,实现数据的存储和展示。     

支持分布式合作实时事务处理的协同检验点方法

在实时事务执行时,事务故障或数据竞争会导致事务重启,为减少事务重启损失的工作量,可以采用检验点技术保证事务的时间正确性．在一类分布式实时数据库应用中,不同结点的事务通过消息交换形成合作关系,为保证合作事务间的全局一致性,当某一事务记检验点时,相关事务也要记检验点．传统协同检验点方法没有考虑应用的定时约束,不能很好地支持分布式合作实时事务处理．该文提出了一种基于图论的协同检验点方法,利用在每个计算结点上为每个合作事务集维护的局部有向图,使用一个基于图论的计算过程标识出应记检验点的事务,该方法既具有最小协同检验点特性,又使全局检验点的时延最小．实验表明该算法减少了全局检验点时延,有利于实时事务截止期的满足．     

基于并行计算的海量日志分析系统实现

通过深入研究日志的类型和特点,设计并实现了一套基于并行计算的海量日志文件分析系统.该系统采用集群方式并行地收集日志文件,采用分布式文件系统存储,最终利用并行计算对日志进行分析处理.该系统实现了日志采集、分析的完全自动化处理,在系统部署之后能够有效地进行系统安全的维护、系统性能的优化、系统故障的排查.该系统结合云计算提高了日志分析的效率,解决了海量日志处理过程中存在的问题,为海量日志分析提供了一个完整有效的解决方案.     

一种分布式计算中的容错选举算法

选举算法被广泛应用于分布式计算中,而且它已经被证明比合意问题更难.在分析了选举问题和合意问题的关系之后,提出了一种新的容错选举算法.该算法是稳定的、通信有效的,并且该算法可以容忍进程和链路的暂时性错误.所提出的算法不仅解决了选举问题,并且也提供了解决合意问题的一条新的途径.