基于心跳超时机制的Hadoop实时容错技术

针对官方的Hadoop软件中提供的节点心跳超时容错机制对短作业并不合理,而且忽略了异构集群中各节点超期时间设置的公平性的问题,提出了公平心跳超时容错机制。首先根据每个节点的可靠性及计算性能构建节点故障误判损失模型,提出公平误判损失(FMJL)算法,使其同时满足长作业和短作业要求;接着,设计并实现了基于FMJL算法的公平超时机制。在实现了公平超时机制的Hadoop上运行大约345 s的短作业时,当出现TaskTracker节点故障时作业完成时间平均大约节省了44%,与自适应超时机制相比,作业完成时间大约节省了23%。实验结果表明,公平超时机制在保证不影响长作业完成时间的情况下缩短了短作业的容错处理时间,提高了Hadoop的实时处理效率。     

一种基于iSCSI的自适应故障检测器的研究

故障检测器是构建可靠的iSCSI存储系统所必需的基础组件.本文实现了一种iSCSI系统中自适应故障检测器iAFD(adaptive failure derector for iSCSI).根据心跳(heartbeat)策略,设计了一种自适应心跳机制.故障检测器通过估计预期到达时间来提供一个探测时间,并动态地估算心跳消息超时时限,以适应系统状态的变化,减少故障检测服务的错误.实验表明,该方法与其它的故障检测方法相比,故障检测出错次数较少,检测时间较短,并能够适应高可靠计算系统状况的变化,在侦测的实时性和正确性上提供较好的平衡.     

基于心跳故障检测器的无阻塞弱原子提交问题解决方案

在有故障发生的情况下,使用不可靠的故障检测器无法解决无阻塞原子提交问题。本文减弱无阻塞原子提交问题的非平凡性条件,得到一个较弱的问题,再用一个扩展的心跳故障检测器在包含进程故障和链路故障的异步消息传递系统中解决弱化后的问题。     

一种适用于P2P存储系统的自反馈故障检测算法

在构建高可用性P2P存储系统的过程中,针对系统中节点的高度动态特征,设计了一种自反馈的心跳故障检测算法。它结合心跳策略和无偏灰色预测模型,根据应用需求和网络环境的变化动态地改变检测的质量,在保持一定检测时间的前提下,提高了故障检测的精度。实验表明,根据该算法实现的故障检测器具有较好的性能,提高了P2P存储系统的可用性。     

存储区域网中基于神经网络故障检测器的研究

故障检测器是构建可靠的存储区域网所必需的部分。针对系统中节点状态变化快的特点,设计了一种基于神经网络的故障检测器。它结合心跳策略和神经网络模型,根据环境的变化预测出被检测节点的状态,在一定的检测时间内,提高了故障检测器的精度。实验表明,该故障检测器具有较好的性能,提高了存储区域网的可靠性。     

云存储系统管理节点故障自恢复算法

为了解决大规模云存储系统中管理节点发生故障导致存储服务不可用的问题,建立了管理节点故障影响分析模型,提出了一种基于消息的管理节点动态自我恢复算法FRA-M.该算法通过基于负载均衡的元数据备份更新控制方法完成多个管理节点之间相互协作、透明接管和故障自我恢复.测试结果表明,FRA-M算法能够使得管理节点发生故障时自动进行切换,并且能够合理地分配资源达到良好的负载均衡状态.通过控制TCP超时时限、故障检测周期以及故障检测超时,能够使得FRA-M算法的性能保持在相对稳定的区间,随失效时刻的适应性也比较强.当管理节点发生故障时,FRA-M能够较好地保证存储服务可用性、数据可用性和数据可靠性.     

多因素自适应心跳检测算法研究

分布式系统中心跳检测是节点故障检测机制的关键技术之一,心跳频率设定的合理性将影响到故障检测的准确性和完整性。针对大数据环境下,分布式系统产生故障受到网络、节点、作业多方面影响,为了提高心跳频率在多方面因素影响下的合理性设定,提出一种多因素心跳检测综合指标评价模型。在该模型下同时考虑网络负载情况和节点CPU工作状态及节点作业的大小对心跳检测过程的影响。在此基础上,提出了基于多因素评价模型的自适应心跳检测算法。该算法可以随网络环境、节点CPU占用率、作业任务大小自适应地改变心跳频率,综合各因素给出心跳频率设定的最优方案。最后通过实验验证了多因素对心跳频率自适应调整的影响。     

一种分布计算系统自适应故障侦测方法

面向高可靠智能应用的分布计算系统,首先提出一组故障侦测服务的QoS度量标准,其次给出一种自适应故障侦测方法.该方法使用一个无需统计行为的高度动态的计算方法,动态地估算心跳消息超时时限,并协商改变心跳消息的发送周期,以适应分布计算系统计算节点和网络状态变化,提高故障侦测服务的QoS.模拟实验表明,该方法能够适应分布计算系统状况的变化,在侦测的实时性和正确性上提供较好的平衡.     

一种无线自组网故障检测算法

针对无线自组网的拓扑结构,设计一种基于分簇的无线自组网节点故障检测架构和对应的故障检测算法。分簇时分别确定主用簇和备用簇管理节点,冗余簇管理节点负责对内部成员实施异常检测,给出故障检测模块的心跳发送、心跳监控、心跳预判与实时调整机制,通过增加心跳预判实时调整机制,确保算法能够动态适应自组网易变的拓扑结构,并通过备用簇管理节点和簇间共享异常信息机制,提高系统故障检测的可靠性。利用仿真实验对故障检测机制的性能进行评估,结果表明,提出的故障检测算法具备较好的检测准确率,能够有效满足上层应用在系统可靠性设计方面的需求。     

无向双环网络的容错路由研究

在节点出现故障的情况下,如何保证网络节点之间的路由是一个重要的问题。将无向双环网络的节点按照最短路径访问方式映射到直角坐标系形成最优路由构图[CG(N;±r,±s)];基于该构图根据源节点和目的节点是否位于坐标轴上以及它们周围的故障节点数,提出故障节点封闭区和逃逸区的概念;存在故障逃逸区的情况下,源、目的节点之间仍然可以进行最优路由,针对出现故障节点封闭区而无法进行最优路由的情况下,增加等价节点形成扩展路由构图[ECG(N;±r,±s)],从而寻找容错路由;给出最优路由构图、扩展路由构图和容错路由的算法,并编程仿真了这些算法。     

一种基于分布式代理的网络管理重构机制

为了提高网络管理系统自身的可靠性，提出一种基于分布式代理的重构容错机制。该机制在集中式管理域内，设置多个具备管理者部分或全部功能的分布式代理实体作为冗余，保证了在域管理者失效时，能通过分布式代理的故障检测模块触发重构，从而选出负载性能最好的分布式代理来替代原管理者，并重构管理域。此外，还对分布式代理实体的结构进行了说明。     

基于代理群的网络管理中群首选举算法的研究

基于代理群的网络管理是一种动态的分布式管理模式,群首在代理群中是最关键的节点,群首的选举则是动态群管理中的最关键问题之一。针对选举问题,本文在建立的部分同步系统模型基础上,提出了一种三段式的群首选举算法,该算法具有较高的效率和一定的容错能力;同时应用故障检测器相关理论解决了选举的触发问题,并对相关参数的确定进行了讨论。     

一种网格环境下的动态故障检测算法

针对现有网格系统出错几率较大、已有故障检测算法不能有效满足网格系统需求问题,提出了一种网格环境下的动态故障检测算法．根据网格系统的特点,基于不可靠故障检测思想,建立了网格系统模型和故障检测模型;结合心跳（heartbeat）策略和灰色预测方法,设计了一种动态心跳机制,并给出了预测模型和实时预测策略;提出了基于该动态心跳机制的网格故障检测算法,分析了算法的可靠性．仿真实验结果表明,该算法是正确、有效的,可用于网格环境下的故障检测．     

一种基于非阻塞的分布式数据库原子提交协议

针对现今先进的分布式系统在效率和容错方面日益增加的需求,引入了心跳故障检测器的概念来解决合意问题,提出了一种基于非阻塞的分布式数据库事务原子提交协议。协议的提交只需两步操作,在保证非阻塞的同时,大大降低了事务提交的成本,甚至在有广播网的情况下进一步降低了通信开销。通过证明和比较,提出的协议具有可行性、实用性。     

基于灰色预测的分布式系统动态故障检测服务

针对已有故障检测服务不能有效满足分布式系统需求问题,设计了一种适用于分布式系统的动态故障检测服务.根据分布式系统的特点,在定义分布式系统模型的基础上,提出了动态故障检测服务架构.结合心跳策略和灰色预测方法,设计了一种动态心跳机制,并给出了预测模型和动态预测策略,提出了基于该动态心跳机制的分布式系统的故障检测算法.最后,仿真实验验证了该算法的正确性和有效性.     

面向容错计算机的仲裁系统的设计与实现*

为了解决传统仲裁机制故障覆盖率和故障诊断成功率低的问题,针对容错计算机,提出了一种基于仲裁处理器的仲裁机制,并设计了仲裁系统和仲裁算法.其中仲裁处理器使用三模冗余系统和芯片级的容错设计技术,仲裁算法采用分级方式,同时采用自检测和心跳监测相结合的故障监测机制,有效地解决了单点故障和检测成功率低的问题.最后通过故障注入方式验证了仲裁系统的可用性.     

云计算环境中基于朴素贝叶斯算法的负载均衡技术

针对云计算环境中任务调度算法复杂度高、任务分配不够合理等问题,提出一种基于朴素贝叶斯分类的负载均衡技术。该技术利用云计算环境的心跳机制全面地收集各节点负载信息,并采用朴素贝叶斯算法对各节点负载状态进行分类;然后,根据节点状态分类结果,实现任务和资源分配的合理调度。实验结果表明,基于朴素贝叶斯算法的负载均衡技术能提高任务的分配效率,避免任务在各节点间频繁迁移,快速有效地实现云计算环境中各节点间的负载均衡。