基于影子页面的MMDB的数据恢复方法

内存数据库数据主拷贝常驻内存,活动事务只与内存打交道,而由于内存的易失性,内存数据库的恢复成为内存数据库的核心技术.讨论了内存数据库的恢复技术,考虑所研究的系统环境限制,设计一种利用影子页面技术,并结合事务一致性检查点、模糊检查点思想,加上多版本技术的内存数据库恢复方法.该方法无需额外的硬件支持,解决了现有内存数据库恢复方法的一些问题.通过日志,检查点、恢复等方面来说明所设计的数据恢复方法,讲述它的备份过程和在事务故障和系统故障情况下恢复系统的过程.     

空间实时内存数据库恢复机制研究与实现

为了满足空间应用对数据管理的实时性和可靠性的要求,针对Swallow空间实时内存数据库设计了一个内存数据库的恢复机制,结合日志驱动修改、影子页面、模糊检查点的思想实现了内存数据库数据和日志的快速备份以及在内存数据库出现事务故障和系统故障时的恢复策略.实验表明该策略保证了事务的并发度,并且在事务故障和系统故障时都有着较高的恢复效率.     

VxWorks中任务恢复机制的设计与实现

设计并实现了一种在VxWorks系统下基于检查点的任务恢复机制。分析了VxWorks系统下检查点文件的内容。采用基于内存预先分配的主动内存管理、基于系统内核对象池的任务间通信和基于检查点的用户层中间件的方法实现了任务恢复机制。通过验证实验表明,原型系统实现了基本的任务恢复功能,有效提高了系统的软件容错能力。     

数据库文件恢复的容错设计方法

本文概述了联机事务处理的特点及其对计算机系统的要求,详细地介绍了在此环境下,如何利用日志文件对数据库文件的故障恢复技术,包括硬件故障恢复技术和数据库文件恢复技术,分析了数据库保护措施及面临的挑战和问题,针对数据库文件在系统运行过程中出现的主要故障,提出了数据库文件恢复的策略。数据库文件的保护策略主要用用四种方法,即：并发控制,交易检查点,自动卷回恢复,向前卷回恢复。本文对建立后备副本,更新日志,建     

基于NVRAM的内存数据库性能优化策略研究与设计

为了提高内存数据库系统的实时性与稳定性,研究并设计了基于小存贮量的NVRAM获得内存数据库最大性能优化的策略与方法.该方法主要包括:设计NVRAM存储策略,增加控制文件以提高NVRAM的空间利用率;设计日志提交方法以减小提交时间从而提高事务运行速度;设计了系统的检查点策略,及时删除系统无用日志;提出快速恢复方法,在提高了系统的稳定性与可靠性的同时,加快了系统的数据恢复速度.实验结果表明了该策略的可行性与有效性.     

面向更新密集型应用的内存数据库高效检查点技术

面向更新密集型应用的内存数据库系统,其检查点技术应符合几个关键的要求,包括检查点操作对正常事务处理的干扰尽可能小、能够处理存取倾斜状况、支持数据库系统的快速恢复、提供恢复过程中的系统可用性等.该文提出一种事务一致的分区检查点技术,采用基于元组的动态多版本并发控制机制,避免了读写事务的加锁冲突,提高系统吞吐能力;检查点操作以只读事务形式实现,存多版本并发控制下,避免检查点操作对正常事务处理的堵塞;由于检查点文件是事务一致的,只需要记录事务的Redo 日志信息,在系统恢复过程中,只需要对日志文件进行一遍扫描处理,加快恢复过程;基于优先级的数据分区装载和恢复,使得恢复过程中新事务的数据存取请求迅速得到满足,保证了恢复过程中的系统可用性.由于采用两级版本管理机制以及动态版本共享技术,多版本管理的空间开销降低到可以接受的水平.实验结果表明,文中提出的检查点技术方案获得比模糊检查点技术高27%的系统吞吐量,同时版本管理的空间开销在可接受的范围之内,满足高性能应用的要求.     

检查点系统中进程地址空间的优化存储策略

机群系统的规模增大,部件增多,导致了机群的组合错误率也不断上升。节点失效使运行于机群节点上的作业面临中途失败,从而造成巨大的资源浪费,甚至导致大量的作业无法完成。检查点系统为节点提供了较好的容错性能,因此成为机群操作系统软件的重要组成部分。进程的地址空间是检查点系统需要记录的一部分重要内容,对它的存储效率直接影响检查点操作的性能。论文提出了两种检查点系统中进程地址空间的优化存储策略。其中组合式检查点文件写策略解决了并发写机制在应用内存接近物理内存时的性能突降问题,A-O(Access-Order)进程地址空间存储策略调整传统地址空间的存储顺序,使大内存应用的检查点操作性能得到了大幅度提升。在实验中,A-O进程地址空间存储策略最高可以将传统的存储策略的时间开销缩减至原来的50%。     

基于Charm++运行时环境的异构计算应用容错研究

容错问题是大规模并行程序长时间运行中不可回避的问题,超级计算机中异构计算部件的加入使得该问题更加复杂。考察由CPU和GPU组成的异构并行系统中应用程序的容错,利用Charm++并行编程模型和CUDA的并行计算架构,对大规模计算宇宙学软件WIGEON进行重构。针对异构并行系统中存在的fail-stop硬件故障,设计并实现了内存检查点的应用容错机制。支持计算恢复后对产生变化的CPU/GPU资源配置进行自适应负载调整。通过在高性能计算机Mole8.5上的实验和分析,验证了异构容错方案的高效性和可行性,故障恢复时间仅需1~4 s。此外,使用分布式冗余数据改进了Charm++现有内存检查点存储模式,对比原有Double-in-Memory机制,性能未受影响,且最多降低了50%的额外内存使用量。     

基于RDD关键度的Spark检查点管理策略

Spark默认容错机制由程序员设置检查点,并利用弹性分布式数据集(resilient distributed dataset, RDD)的血统(lineage)进行计算.在应用程序复杂度高、迭代次数多以及数据量较大时,恢复过程需要耗费大量的计算开销.同时,在执行恢复任务时,仅考虑数据本地性选择节点,并未考虑节点的计算能力,这都会导致恢复时间增加,无法最大化发挥集群的性能.因此,在建立Spark执行模型、检查点模型和RDD关键度模型的基础上,提出一种基于关键度的检查点管理(criticality checkpoint management, CCM)策略,其中包括检查点设置算法、失效恢复算法和清理算法.其中检查点设置算法通过分析作业中RDD的属性以及对作业恢复时间的影响,选择关键度大的RDD作为检查点存储;恢复算法根据各节点的计算能力做出决策,选择合适的节点执行恢复任务;清理算法在磁盘空间不足时,清除关键度较低的检查点.实验结果表明：该策略在略增加执行时间的情况下,能够选择有备份价值的RDD作为检查点,在节点失效时能够有效地降低恢复开销,提高节点的磁盘有效利用率.     

Redis MMDB在城市垃圾清运监管系统中的研究与应用

数据存储和使用设计是应用软件系统的关键设计部分之一,关系到系统的业务处理、功能分解和应用性能。在分析原系统组成和B/S构架模式中页面链接结构特征基础上,提出和设计了一种内存数据库应用存储模型和基于Markov决策模型的数据调度策略,通过Java EE技术框架予以编程实现。实际应用表明,研究、设计和描述的内存数据库应用技术与数据调度策略具有数据访问命中率较高、响应速度快和数据灾备恢复机制的技术特点,达到了设计预期目标。     

实时内存数据库分区模糊检验点策略

检验点技术是实时内存数据库恢复的关键技术之一.在分析实时内存数据库数据特征基础上,给出了综合考虑数据和事务定时约束的数据检验点优先级计算方法.然后,结合内存数据库段式存储结构,讨论了一种基于数据段检验点优先级的分区模糊检验点策略PFCS-SCP. 通过性能测试,表明所提出的检验点策略能减低超截止期事务比率.     

Incremental recovery in main memory database systems

Recovery activities, like checkpointing and restart, in traditional database management systems are performed in a quiescent state where no transactions are active. This approach impairs the performance of online transaction processing systems, especially when a large volatile memory is used. An incremental scheme for performing recovery in main memory database systems (MMDBs), in parallel with transaction execution, is presented. A page-based incremental restart algorithm that enables the resumption of transaction processing as soon as the system is up is proposed. Pages are recovered individually and according to the demands of the post-crash transactions. A method for propagating updates from main memory to the backup database on disk is also provided. The emphasis is on decoupling the I/O activities related to the propagation to disk from the forward transaction execution in memory. The authors also construct a high-level recovery manager based on operation logging on top of the page-based algorithms. The proposed algorithms are motivated by the characteristics of large MMDBs, and exploit the technology of nonvolatile RAM     

SFT: A consistent checkpointing algorithm with short freezing time

A consistent checkpointing algorithm with short freezing time(SFT) is presented in this paper.It supports fault-tolerance in distributed systems,The algorithm has shorter freezing time,lower overhead,and simplicity of recovery.To make checkpoint time shorter,a special control message(Munblock)is used to ensure that a process can respond the checkpoint event quickly at any given time.Moreover,main memory algorithm is used to improve the concurrency of checkpointing.By using SFT,the freezing time resulted by checkpointing is less than 0.03s.Furthermore,the control message number of SFT is only O(n).     

基于共享内存的机群服务检查点机制研究

针对既有基于稳定存储的机群服务检查点存在的系统成本高、恢复时间长的问题,提出了一种基于共享内存的机群服务检查点机制;设计了一套面向基于共享内存的检查点信息主-备存储模式的检查点信息管理协议,确保机群服务检查点信息一致性;设计了一套基于单向逻辑环的检查点组管理协议,确保检查点逻辑备份环中检查点进程的成员视图一致性.性能实验结果表明,该检查点机制具有较好的检查点信息读写性能,组管理协议系统开销小,较好地满足了机群服务检查点需求.     

Necessary and sufficient conditions for transaction-consistent global checkpoints in a distributed database system

Checkpointing and rollback recovery are well-known techniques for handling failures in distributed systems. The issues related to the design and implementation of efficient checkpointing and recovery techniques for distributed systems have been thoroughly understood. For example, the necessary and sufficient conditions for a set of checkpoints to be part of a consistent global checkpoint has been established for distributed computations. In this paper, we address the analogous question for distributed database systems. In distributed database systems, transaction-consistent global checkpoints are useful not only for recovery from failure but also for audit purposes. If each data item of a distributed database is checkpointed independently by a separate transaction, none of the checkpoints taken may be part of any transaction-consistent global checkpoint. However, allowing individual data items to be checkpointed independently results in non-intrusive checkpointing. In this paper, we establish the necessary and sufficient conditions for the checkpoints of a set of data items to be part of a transaction-consistent global checkpoint of the distributed database. Such conditions can also help in the design and implementation of non-intrusive checkpointing algorithms for distributed database systems.     

Checkpointing strategies in database systems and their performance evaluation

A transaction-oriented database system is investigated, where checkpointing is carried out after a certain number of transactions are processed. The design objective is to maximize the system availability given the failure rate, checkpointing time, error recovery time, and other system parameters. Several checkpointing strategies have been proposed and analysed. The effect of error latency is also considered.     

主动实时内存数据库的组织与故障恢复

给出了一个支持主动实时的内存数据库的定义、层次存储结构和物理组织。在此基础上,讨论了MMDB的故障恢复,着重阐述了恢复中的重装策略。     

Movement-based checkpointing and logging for failure recovery of database applications in mobile environments

In this paper, we present an efficient failure recovery scheme for mobile database applications based on movement-based checkpointing and logging. Current approaches take checkpoints periodically without regard to the mobility behavior of mobile users. Our movement-based checkpointing scheme takes a checkpoint only after a threshold of mobility handoffs has been exceeded. The optimal threshold is governed by the failure rate, log arrival rate, and the mobility rate of the mobile host. This allows the tuning of the checkpointing rate on a per-user basis. We identify the optimal movement threshold which will minimize the recovery cost per failure as a function of the mobile node’s mobility rate, failure rate and log arrival rate. We derive the mobile database application recoverability, i.e., the probability that the recovery can be done by a specified recovery time deadline. Numeric data are presented to demonstrate the feasibility of our approach with its applicability given.