数据库文件恢复的容错设计方法

本文概述了联机事务处理的特点及其对计算机系统的要求,详细地介绍了在此环境下,如何利用日志文件对数据库文件的故障恢复技术,包括硬件故障恢复技术和数据库文件恢复技术,分析了数据库保护措施及面临的挑战和问题,针对数据库文件在系统运行过程中出现的主要故障,提出了数据库文件恢复的策略。数据库文件的保护策略主要用用四种方法,即：并发控制,交易检查点,自动卷回恢复,向前卷回恢复。本文对建立后备副本,更新日志,建     

基于影子页面的MMDB的数据恢复方法

内存数据库数据主拷贝常驻内存,活动事务只与内存打交道,而由于内存的易失性,内存数据库的恢复成为内存数据库的核心技术.讨论了内存数据库的恢复技术,考虑所研究的系统环境限制,设计一种利用影子页面技术,并结合事务一致性检查点、模糊检查点思想,加上多版本技术的内存数据库恢复方法.该方法无需额外的硬件支持,解决了现有内存数据库恢复方法的一些问题.通过日志,检查点、恢复等方面来说明所设计的数据恢复方法,讲述它的备份过程和在事务故障和系统故障情况下恢复系统的过程.     

集群数据库系统的日志复制和故障恢复

互联网、社交、购物、金融等各类应用直接面临海量用户的高并发访问,传统的单点数据库逐渐成为这些应用系统的瓶颈,而众多互联网应用能够良好运行的主要原因是使用了基于集群环境的数据管理系统作支撑。与传统数据库系统相比,基于集群环境的数据库系统具有更好的扩展性和可用性,而日志复制是保证这些特性的核心组件。传统的主备架构的日志复制在异常情况下对未决事务日志处理不佳,导致数据副本之间存在不一致的风险,另外,分布式系统领域的一致性算法缺乏对事务一致性的处理,而且在选主时存在活锁、多主和频繁选主的问题,无法直接适用于事务日志复制。本文提出了一种集群环境下的事务日志复制策略和恢复机制,能够有效处理未提交日志,提供了强弱两种读一致性,并且提出了一种轻量级的选主算法,可以避免以上的选主问题。本文在开源OceanBase分布式数据库系统中实现了上述机制,并使用基准测试工具对系统进行测试,通过一系列实验验证了系统的扩展性和可用性。     

基于事务回退的事务存储系统的故障恢复

针对事务存储系统机制下的容错问题,提出一种基于事务回退的事务存储系统的故障恢复方法.该方法利用事务存储系统自身的版本管理机制,避免了额外的检查点数据保存开销,从而实现了事务存储系统高效的故障恢复.通过对容错事务存储系统的隔离性证明了该方法的正确性.最后,使用包括4个SPLASH-2典型用例在内的5个测试程序对该方法进行了性能测试.实验结果表明,与经典的Checkpointing机制相比,该方法在避免了额外的检查点数据保存开销的同时,还具有较低的故障恢复开销.     

核心化多级安全数据库系统未决提交事务日志写出依赖研究

核心化体系结构的多级安全数据库系统中不同级别事务由该级别DBMS实例处理，DBMS实例自行维护事务日志缓存．事务处理过程中高级事务可能读取已提交的低级事务数据，如果低级事务提交日志记录尚未写入持久存储，而高级事务已提交并且提交日志记录写入持久存储后系统崩溃，恢复后系统将进入不一致的状态．为解决上述问题引入一个可信的日志协调实体维护全局的未决提交事务间的依赖关系，并协调各个DBMS实例的提交日志记录写出操作，保证被依赖的提交日志记录先于依赖它们的日志记录写入持久存储．文中还给出了方案的实现算法，并证明了算法的正确性，通过分析论证了方案的实用性．     

事务处理日志与数据的安全恢复

事务日志是数据库系统实现完全数据恢复的必要条件，文中深入分析了事务处理日志用于数据库恢复的作用机理，并提出了事务日志的安全配置原则。本文的技术思想与方法对DBA的日常数据维护具有重要的指导意义。     

基于虚拟文件操作的文件检查点设置

实现分布/并行系统容错的基础是单进程检查点设置和卷回恢复技术,而对活动文件信息进行保存和恢复则是这种技术的重要方面.提出一种虚拟文件操作策略,实现了对用户文件的检查点设置,有效地解决了发生故障时用户文件内容与进程全局状态的不一致的问题.该方法通过文件块式管理、检查点分布操作等技术,使得在空间开销、正常运行时间、恢复时间等性能指标上优于其他方法,并且具有对用户透明、可最大限度地保留已完成工作的特点.     

实时Client/Server数据库并发控制和恢复机制研究

该文提出了实时Client／Server数据库系统多版本两阶段封锁并发控制协议和有效的恢复机制。协议区分只读事务和更新事务。只读事务在执行读操作时遵从多版本时间排序协议，更新事务执行强两阶段封锁协议，即持有全部锁直到事务结束。只读事务读请求从不失败，不必等待等特性。在典型数据库系统中，读操作比写操作频繁。这个特性对于实践来说至关重要。为了提高只读事务的响应时间，协议让每个客户端与一个一致数据库影子相联，只读事务在客户端处理。更新事务提交到服务端运行。服务端每个事务Ti在提交时系统必须向所有客户端广播信息。客户端根据得到的广播信息自动构造一致数据库影子。一致数据库影子还将用于系统恢复。通过仿真模拟。与2V2PL和OCC-TI-WAIT-50协议进行比较，结果表明：该并发控制协议不仅能有效降低事务延误截止时间率和重起动率，而且能改善只读事务的响应时间，减少优先级高事务的锁等待时间。协议性能优于2V2PL协议和OCC-TI-WAIT-50协议。     

多副本分布式事务处理关键技术及典型数据库系统综述

数据复制是分布式数据库提高可用性的重要手段,通过在不同区域放置数据库的部分副本,还可以提高本地读写操作的响应速度,增加副本数量也会提升读负载的线性扩展能力.考虑到这些优良特性,近年来国内外都出现了众多多副本分布式数据库系统,包括Google Spanner、CockroachDB、TiDB、OceanBase等一系列主流的工业界系统,也出现了包括Calvin、Aria、Berkeley Anna等一系列优秀的学术界系统.然而,多副本数据库带来诸多收益的同时,也带来了一致性维护、跨节点事务、事务隔离等一系列挑战.总结分析现有的复制架构、一致性维护策略、跨节点事务并发控制等技术,对比几个代表性多副本数据库系统之间在分布式事务处理方面上的差异与共同点,并在阿里云环境下搭建跨区域的分布式集群环境,对几个代表性系统的分布式事务处理能力进行了实验测试分析.     

基于NVRAM的内存数据库性能优化策略研究与设计

为了提高内存数据库系统的实时性与稳定性,研究并设计了基于小存贮量的NVRAM获得内存数据库最大性能优化的策略与方法.该方法主要包括:设计NVRAM存储策略,增加控制文件以提高NVRAM的空间利用率;设计日志提交方法以减小提交时间从而提高事务运行速度;设计了系统的检查点策略,及时删除系统无用日志;提出快速恢复方法,在提高了系统的稳定性与可靠性的同时,加快了系统的数据恢复速度.实验结果表明了该策略的可行性与有效性.     

支持分布式合作实时事务处理的协同检验点方法

在实时事务执行时，事务故障或数据竞争会导致事务重启，为减少事务重启损失的工作量，可以采用检验点技术保证事务的时间正确性．在一类分布式实时数据库应用中，不同结点的事务通过消息交换形成合作关系，为保证合作事务间的全局一致性，当某一事务记检验点时，相关事务也要记检验点．传统协同检验点方法没有考虑应用的定时约束，不能很好地支持分布式合作实时事务处理．该文提出了一种基于图论的协同检验点方法，利用在每个计算结点上为每个合作事务集维护的局部有向图，使用一个基于图论的计算过程标识出应记检验点的事务，该方法既具有最小协同检验点特性，又使全局检验点的时延最小．实验表明该算法减少了全局检验点时延，有利于实时事务截止期的满足．     

Checkpointing for optimistic concurrency control methods

Restart-oriented concurrency control (CC) methods, such as optimistic CC, outperform blocking-oriented methods, such as standard two-phase locking in a high data contention environment, but this is at the cost of wasted processing due to restarts. Volatile savepoints are considered in this study as a method to reduce this wasted processing and to improve response time. There is the usual tradeoff between the checkpointing overhead and the wasted processing when a transaction is restarted. Our study shows that in a system where objects are accessed and updated uniformly during the lifetime of transactions, significant improvement in performance at high data conflict levels are attainable only when the checkpointing cost is low. This implies few optimally placed checkpoints per transaction. It is observed that checkpointing may result in a significant improvement in performance when access to database hot-spots are deferred to the final steps of transaction execution. The parametric studies reported in this paper are facilitated by closed-form analytic solutions expressing system performance, as well as an iterative solution which takes into account hardware resource contention in addition to data contention     

支持移动合作实时事务的一种新的协同检验点算法

现有的协同检验点方法在移动环境中会带来较大的检验点过程延时 ,不能很好地支持实时事务处理 .提出了一种新的协同并行检验点方法 ,在正常的消息传输过程中 ,通过一点额外的带宽传送事务间检验点依赖关系 ;在某一事务记检验点时 ,尽可能地同时通知相关的事务记检验点 .实验表明 ,该算法对网络带宽没有明显的增加 ,而能大大降低事务记检验点的延时 ,使系统中超截止期的事务比例大大降低     

Distributed Multi-Level Recovery in Main-Memory Databases

In this paper we present recovery techniques for distributed main-memory databases, specifically for client-server and shared-disk architectures. We present a recovery scheme for client-server architectures which is based on shipping log records to the server, and two recovery schemes for shared-disk architectures—one based on page shipping, and the other based on broadcasting of the log of updates. The schemes offer different tradeoffs, based on factors such as update rates.Our techniques are extensions to a distributed-memory setting of a centralized recovery scheme for main-memory databases, which has been implemented in the Dalì main-memory database system. Our centralized as well as distributed-memory recovery schemes have several attractive features—they support an explicit multi-level recovery abstraction for high concurrency, reduce disk I/O by writing only redo log records to disk during normal processing, and use per-transaction redo and undo logs to reduce contention on the system log. Further, the techniques use a fuzzy checkpointing scheme that writes only dirty pages to disk, yet minimally interferes with normal processing—all but one of our recovery schemes do not require updaters to even acquire a latch before updating a page. Our log shipping/broadcasting schemes also support concurrent updates to the same page at different sites.     

ATC中FDP集群进程检查点的研究与实现

针对空中交通管制系统(ATC)中对飞行数据集群处理的可靠性要求,提出了一种基于Linux的用户级进程检查点设置与恢复方案.对基于该Linux用户级的进程检查点的飞行数据集群处理的各个主要模块进行了介绍,在此基础上给出了系统设计框架.从进程的初始化数据段、堆、栈和打开的文件的保存与恢复,给出了该方案的详细实现方法.该进程检查点设置与恢复方案不但可以在主机崩溃重启后恢复进程在重启前的运行状态,更重要的是可以在分布式系统通过进程迁移将保存的进程检查点迁移到其它主机运行,从而有效的提高系统的可靠性,减少运算损失.     

以B链树为索引的动态多版本数据库的并发控制

在对B链树极高同步性能研究的基础上，提出了一种将B链树作为数据库索引并和多版本技术相接合的一种新颖方案。该方案将事务分为只读事务或更新事务，只读事务不需要获取锁，而更新事务也只需要少量的锁，不会形成死锁。实验表明，在并发环境下这种方案能较大的提高数据库性能和事务的吞吐量。     

Incremental recovery in main memory database systems

Recovery activities, like checkpointing and restart, in traditional database management systems are performed in a quiescent state where no transactions are active. This approach impairs the performance of online transaction processing systems, especially when a large volatile memory is used. An incremental scheme for performing recovery in main memory database systems (MMDBs), in parallel with transaction execution, is presented. A page-based incremental restart algorithm that enables the resumption of transaction processing as soon as the system is up is proposed. Pages are recovered individually and according to the demands of the post-crash transactions. A method for propagating updates from main memory to the backup database on disk is also provided. The emphasis is on decoupling the I/O activities related to the propagation to disk from the forward transaction execution in memory. The authors also construct a high-level recovery manager based on operation logging on top of the page-based algorithms. The proposed algorithms are motivated by the characteristics of large MMDBs, and exploit the technology of nonvolatile RAM     

A Survey of Distributed Database Checkpointing

Checkpointing a database is a vital technique to reduce the recovery time in the presence of a failure. For distributed databases, checkpointing also provides an efficient way to perform global reconstruction. In this paper, we survey and classify previous approaches for checkpointing a distributed database. Since the need for global reconstruction is infrequent in most distributed databases, a less restrictive and less resource-consuming approach to checkpoint distributed databases in an integrated distributed database system is recommended over a transaction consistent checkpoint approach. For a federated or multidatabase system, any type of global consistent checkpoint is difficult to achieve without violating local autonomy.     

支持复杂事务模式的Web应用服务器复制机制

当前普遍采用的复制技术和事务处理技术都无法满足应用的End-to-End可靠性需求,前者通过前向错误恢复来保证应用操作的存活性,后者通过后向错误恢复来保证应用数据的安全性.如何融合这两种技术以实现End-to-End可靠性保证,成为目前研究的热点问题.然而,已有的方法都是基于简单事务模式的假设,即只有中间层应用服务器上的容器发起事务,而很少考虑应用中普遍存在的复杂事务模式,如客户事务和嵌套事务.为了解决这个问题,首先识别出了几种典型的事务模式.针对这些事务模式,基于状态同步点概念提出了一种能够统一提供End-to-End可靠性保证的Web应用服务器复制机制RSCTP(replication scheme for complex transaction pattern).RSCTP机制采取primary-backup方式来复制EJB组件以保证业务逻辑的高可用性,同时采取primary-backup方式复制事务协调者来消除分布式事务处理中两阶段提交协议可能出现的阻塞问题.通过在不同事务模式下的失效分析,说明了该机制的有效性.已经实现了RSCTP机制并集成到了遵循J2EE规范的Web应用服务器OnceAS中.性能评价显示,该机制带来的系统开销较小.     

A New Approach for High Performance Computing Systems with Various Checkpointing Schemes

Roll-forward recovery schemes were proposed to enhance the performance of fault tolerant systems employing checkpointing approach. In the roll-forward schemes, multiple processors are used for simultaneous roll-forward and validation processing. This paper proposes the sample comparison approach along with the checkpointing, which further improves the performance by reducing the overhead imposed by the checkpointing. We also develop general analytical models for estimating the availability, which are applicable for any checkpointing scheme. Performance comparisons reveal that the availabilities of the checkpointing schemes with sample comparison are higher than those of the schemes without it, while the required checkpoint interval is larger.