基于VxWorks的高可用容错系统的设计与实现

文中设计了一种容错系统,该系统是建立在应用程序层之下、操作系统层之上位置结构的中间件。系统由三模冗余与其之间的通信链路组成系统的硬件结构以及由故障检测模块（对节点的检测和对应用程序的检测）、故障处理模块所组成的软件部分构成。基于VxWorks实时操作系统,设计了一种高可用的容错中间件系统,分析了系统的组成原理,给出了基于心跳检测的故障检测机制和N版本编程方法进行故障检测,以及前向和后向任务恢复方法进行故障恢复,并实现了原型系统。试验表明：给出的容错中间件系统具备了基本的容错能力,可有效提高系统的可用性和可靠性。     

基于 VxWorks 的高可用容错系统的设计与实现

文中设计了一种容错系统,该系统是建立在应用程序层之下、操作系统层之上位置结构的中间件.系统由三模冗余与其之间的通信链路组成系统的硬件结构以及由故障检测模块(对节点的检测和对应用程序的检测)、故障处理模块所组成的软件部分构成.基于 VxWorks 实时操作系统,设计了一种高可用的容错中间件系统,分析了系统的组成原理,给出了基于心跳检测的故障检测机制和 N 版本编程方法进行故障检测,以及前向和后向任务恢复方法进行故障恢复,并实现了原型系统.试验表明:给出的容错中间件系统具备了基本的容错能力,可有效提高系统的可用性和可靠性     

结构化P2P系统中副本一致性管理的一种新算法

结构化P2P系统通常使用数据复制来提高数据可用性,但P2P环境中的节点搅动、多节点并发更新以及恶意节点的存在也为副本的一致性管理带来了新的挑战.基于协商的算法要求节点间以全交换的方式通讯,在P2P环境中其可伸缩性不够理想.本文针对结构化P2P系统提出一种基于Quorum的副本管理算法:使用混合失效模型降低容错开销,利用DHT服务处理节点搅动,将数据存储与其元信息管理分离,使数据可靠性和数据可用性得以独立调整.模拟实验表明该算法可以明显改善系统的可伸缩性,减少系统的容错开销.     

具有容错机制的机群监控系统

通过对大规模机群监控系统可靠性分析,提出了一种容错的机群监控节点模型.该模型针对Ganglia机群监控系统在处理监控节点故障时存在的问题,提出了将Ganglia机群监控技术和心跳技术相结合的解决方法,通过修改与两种技术相关的配置文件,实现了二者的无缝连接,有效地处理了监控节点故障的转移和恢复.实验结果表明,该模型避免了机群监控节点故障,增强了监控系统的可用性,提高了无人值守的可信度.     

云存储系统管理节点故障自恢复算法

为了解决大规模云存储系统中管理节点发生故障导致存储服务不可用的问题,建立了管理节点故障影响分析模型,提出了一种基于消息的管理节点动态自我恢复算法FRA-M.该算法通过基于负载均衡的元数据备份更新控制方法完成多个管理节点之间相互协作、透明接管和故障自我恢复.测试结果表明,FRA-M算法能够使得管理节点发生故障时自动进行切换,并且能够合理地分配资源达到良好的负载均衡状态.通过控制TCP超时时限、故障检测周期以及故障检测超时,能够使得FRA-M算法的性能保持在相对稳定的区间,随失效时刻的适应性也比较强.当管理节点发生故障时,FRA-M能够较好地保证存储服务可用性、数据可用性和数据可靠性.     

高维胖树系统中确定性路由容错策略实现

由于采用高维胖树拓扑结构的高性能计算机系统中叶交换机故障将严重影响系统使用,为了提高系统的可用性和可维性,基于误路由的思想提出了一套适用于高维胖树拓扑的确定性路由容错策略。其基本思路是通过误路由绕过发生故障的叶交换机,跳转至同维中其他叶交换机后,再通过正常路由到达目的节点。该容错策略可在不影响系统使用的情况下,实现故障叶交换机的屏蔽,并在实际的高维胖树系统中进行了容错实验。实验结果表明,该容错策略取得了可快速屏蔽故障叶交换机的预期效果,可以有效地提高系统维护的效率。     

分布式计算系统回卷恢复容错的仿真设计

为了解决分布式计算系统回卷恢复容错的验证评估问题,设计一种分布式计算系统的回卷恢复容错算法的仿真机制,依据分布式计算系统回卷恢复容错的总体架构,将分布式计算系统中的节点任务过程使用离散事件模拟,在网络系统仿真工具的应用层增加支持多任务回卷恢复容错仿真的模块,并设计用于回卷恢复容错仿真的结构、功能模块和系统参数设定。结果表明本文提出的仿真机制能够实现分布式计算系统的回卷恢复容错算法的模拟验证,为不同容错算法间对比、改进与优化提供参照。      

MapReduce框架下结合分布式编码计算的容错算法

随着分布式系统规模扩大及计算复杂度增加,分布式计算的平均故障修复时间和容错计算所产生的通信开销呈现日益上升趋势。结合分布式编码计算和副本冗余技术,提出一种新的容错算法。map节点应用分布式编码计算的思想,将数据冗余分配至多个计算节点创建编码中间结果,降低计算节点在shuffle阶段的数据传输量。reduce节点通过对接收到的编码中间结果进行解码,从而验证中间结果的正确性并得到最终计算结果。实验结果表明,在基于MapReduce的分布式计算框架下,与三模冗余和两阶段三模冗余容错算法相比,该算法在完成容错计算的同时能降低计算过程中的通信开销和平均故障修复时间,并提高分布式系统的可用性和可靠性。     

主动容错副本存储系统的可靠性分析模型

主动容错机制通过预先发现即将故障的硬盘来提醒系统提前迁移备份危险数据,从而显著提高存储系统的可靠性。针对现有研究无法准确评价主动容错副本存储系统可靠性的问题,提出几种副本存储系统的状态转换模型,然后利用蒙特卡洛仿真算法实现了该模型,从而模拟主动容错副本存储系统的运行,最后统计系统在某个运行时期内发生数据丢失事件的期望次数。采用韦布分布函数模拟设备故障和故障修复事件的时间分布,并定量评价了主动容错机制、节点故障、节点故障修复、硬盘故障以及硬盘故障修复事件对存储系统可靠性的影响。实验结果表明,当预测模型的准确率达到50%时,系统的可靠性可以提高1~3倍;与二副本系统相比,三副本系统对系统参数更敏感。所提模型可以帮助系统管理者比较权衡不同的容错方式以及系统参数下的系统可靠性水平,从而搭建高可靠和高可用的存储系统。     

基于故障节点再利用的细粒度NoC容错路由算法

针对传统NoC容错算法中容错粒度过粗造成资源浪费的问题,提出了一种细粒度的自适应容错路由算法,对带有部分故障的节点重新利用。算法将各种故障映射为一种功能故障模型,结合新提出的路由端口优先级策略和嵌入的奇偶转向模型,实现数据包的无死锁容错路由。实验表明,随着负载和故障数目的增加,该算法具有更优越的容错性能,证明了算法的有效性。     

DPVoD:基于P2P的视频点播体系结构

可扩展性和可靠性是视频点播系统大规模应用的关键,提出了一种P2P点播系统结构DPVoD.系统基于应用层组播,用户以订制的缓存为其他节点提供服务,并形成相对独立的共享并发流组播树,组播树之问根据拥有的视频数据的重合程度而建立不同的组邻居关系,以此为基础,采用多种机制来提高系统性能:组协同工作、父亲点选择策略、状态控制协议和失效恢复等.定义并分析了可能对系统性能有严重影响的结尾雪崩问题并提出解决方案.对系统基本性能进行了理论分析.仿真结果表明,在静态和动态环境中,DPVoD系统的并发流占用数和利用率、可靠性等性能均优于类似系统.     

视频点播中视频服务器节目替换算法研究

提出了一种分布集群式的视频点播体系结构,针对视频点播系统特点设计了两种适用于系统不同的运行阶段的视频服务器节目替换算法。在视频点播系统初始化时间段内使用改进的LFRU算法进行节目替换;系统达到稳定状态后使用最小加权周期频率替换算法进行节目替换。对比实验表明两种替换算法适合分布集群式视频点播系统,其替换效率较高。     

基于P2P的视频点播系统的存储设计

在对真实VoD/P2P系统的存储过程进行模块划分的基础上：在客户端,提出了一种通用的存储算法模型VSVR,它可以归纳目前绝大多数的存储策略并可能推导出新的设计;在服务器端,给出了存储调度的主要目标与基本原理。其工作可作为VoD/P2P系统存储设计的重要参考。     

低成本可扩展的分布式VoD系统体系结构研究

考虑视频点播(VoD)系统的成本代价要求,给出了一种基于普通PC机的、高性价比的分布式VoD系统方案,论述了系统的体系结构、动态扩展及其负载平衡机制.实验数据表明,系统能有效地解决传统集中式VoD系统的瓶颈问题,具有良好的可扩展性,能够满足大规模VoD应用的要求.     

异构分布式系统混合型实时容错调度算法

基/副版本技术是实现实时分布式系统容错的一个重要手段。提出了一种异构分布式混合型容错模型,该模型与传统的异构分布式实时调度模型相比同时考虑了周期和非周期调度任务。在此基础上给出3种容错调度算法:以可调度性为目的SSA算法、以可靠性为目的RSA算法、以负载均衡性为目的BSA算法。算法能够在异构系统中同时调度具有周期和非周期容错需求的实时任务,且能够保证在异构系统中某节点机失效情况下,实时任务仍然能在截止时间内完成。最后从可调度性、可靠性代价、负载均衡性、周期与非周期任务数及任务周期与粒度J个方面对算法进行了分析。模拟实验结果显示算法各有优缺点,所以在选择调度算法时应该根据异构系统的特点来选择。     

一种高性能和高可用的集群VoD系统的设计及其实现

随着分布式系统、网络技术和多媒体技术的迅速发展,使得联机访问异地巨量媒体数据成为可能,从而形成了当前研究和开发的热点——分布式媒体服务系统。优化VoD系统的性能以及降低系统的成本是设计VoD系统的一个重要挑战。描述了一种基于PC机集群系统的高性能、高可用性以及低成本的集群VoD系统——CVoD的设计及其实现。对该系统进行的性能测试表明,每个节点能够服务大约90个近似于DVD质量的视频流;随着集群系统规模的扩大,该系统能够服务的客户端和系统中的服务器节点的个数基本上成正比,限制系统性能进一步扩展的关键因素是网络带宽大小的限制。实验结果证明CVoD具有很好的性能可扩展性以及良好的可用性。     

分布式视频点播系统的接入控制研究

Video on Demand(VoD)systems are considered as one of the most valuable services for the next generation broad-bandwidth Internet. To provide high-quality service, the VoD system must employ an admission control module to guarantee QoS, but there are still less research works having been made in this field, especially for distributed VoD systems. In this paper, we mainly focus on distributed admission control for VBR video streams in distributed VoD systems. We firstly discuss different approaches and then two admission control strategies are proposed with experimental comparisons. Our research is also further extended to resource assignment in distributed VoD systems. At the end of this article, we address issues in implementing distributed admission control.     

The Analysis and Performance of Multi-Rate Service in Distributed Video-on-Demand Systems

In this paper, we develop an end-to-end analysis of a distributed Video-on-Demand (VoD) system that includes an integrated model of the server and the network subsystems with analysis of its impact on client operations. The VoD system provides service to a heterogeneous client base at multiple playback rates. A class-based service model is developed where an incoming video request can specify a playback rate at which the data is consumed on the client. Using an analytical model, admission control conditions at the server and the network are derived for multi-rate service. We also develop client buffer requirements in presence of network delay bounds and delay jitter bounds using the same integrated framework of server and network subsystems. Results from an extensive simulation show that request handling policies based on limited redirection of blocked requests to other resources perform better than load sharing policies. The results also show that downgrading the service for blocked requests to a lower bitrate improves VoD system performance considerably. Combining the downgrade option with restrictions on access to high bitrate request classes is a powerful tool for manipulating an incoming request mix into a workload that the VoD system can handle.     

Distributed Throughput Maximization in P2P VoD Applications

In peer-to-peer (P2P) video-on-demand (VoD) systems, a scalable source coding is a promising solution to provide heterogeneous peers with different video quality. In this paper, we present a systematic study on the throughput maximization problem in P2P VoD applications. We apply network coding to scalable P2P systems to eliminate the delivery redundancy. Since each peer receives distinct packets, a peer with a higher throughput can reconstruct the video at a higher quality. We maximize the throughput in the existing buffer-forwarding P2P VoD systems using a fully distributed algorithm. We demonstrate in the simulations that the proposed distributed algorithm achieves a higher throughput compared to the proportional allocation scheme or the equal allocation scheme. The existing buffer-forwarding architecture has a limitation in total upload capacity. Therefore we propose a hybrid-forwarding P2P VoD architecture to improve the throughput by combining the buffer-forwarding approach with the storage-forwarding approach. The throughput maximization problem in the hybrid-forwarding architecture is also solved using a fully distributed algorithm. We demonstrate that the proposed hybrid-forwarding architecture greatly improves the throughput compared to the existing buffer-forwarding architecture. In addition, by adjusting the priority weight at each peer, we can implement the differentiated throughput among different users within a video session in the buffer-forwarding architecture, and the differentiated throughput among different video sessions in the hybrid-forwarding architecture.      

Presentation planning for distributed VoD systems

A distributed video-on-demand (VoD) system is one where a collection of video data is located at dispersed sites across a computer network. In a single site environment, a local video server retrieves video data from its local storage device. However, in distributed VoD systems, when a customer requests a movie from the local server, the server may need to interact with other servers located across the network. In this paper, we present different types of presentation plans that a local server can construct in order to satisfy a customer request. Informally speaking, a presentation plan is a temporally synchronized sequence of steps that the local server must perform in order to present the requested movie to the customer. This involves obtaining commitments from other video servers, obtaining commitments from the network service provider, as well as making commitments of local resources, while keeping within the limitations of available bandwidth, available buffer, and customer data consumption rates. Furthermore, in order to evaluate the quality of a presentation plan, we introduce two measures of optimality for presentation plans: minimizing wait time for a customer and minimizing access bandwidth which, informally speaking, specifies how much network/disk bandwidth is used. We develop algorithms to compute three different optimal presentation plans that work at a block level, or at a segment level, or with a hybrid mix of the two, and compare their performance through simulation experiments. We have also mathematically proven effects of increased buffer or bandwidth and data replications for presentation plans which had previously been verified experimentally in the literature.