基于位图的日志溢出保护机制研究

在借鉴数据库系统以及数据容灾系统的基础上,针对现有日志技术无法解决日志大小限制的问题,设计了一种基于位图的日志溢出保护机制。围绕数据一致性、原子操作机制分析了这个溢出保护机制的实现流程,比较了该机制与传统机制的优越性。原型实验表明,该机制有效地解决了由于网络拥塞或者I/O请求数量突然增加造成的日志溢出问题,为数据复制提供了保障。     

Linux平台远程逻辑卷复制系统的设计

提出了一种Linux平台上远程逻辑卷复制系统的设计方案,论述了它的系统结构及实现方法。该系统不依赖于特殊的存储设备或网络,在复制过程中通过保持主、从两端逻辑卷上数据块的更新顺序来保证数据一致性。系统支持同步和异步两种复制模式,可以适合不同的应用环境,为实现通用、经济的远程数据容灾系统提供了可能。     

设备复制系统的日志机制研究

设备复制系统采用数据复制技术实现数据容灾,而日志机制是整个系统的核心和基础。本文在分析借鉴文件系统和数据库系统日志的基础上,提出了一个满足设备复制系统特点和设计要求的日志机制,并重点围绕日志的组织结构、生成方式、访问方式以及溢出、修正等特殊情况的处理方法进行了论述。原型实验表明,该日志机制在设备复制系统得到了较好实现,为数据复制提供了保障。     

高性能的异步复制系统的设计

为了提高整个远程复制系统的性能,对卷复制系统进行了优化.采用了多线程并行处理技术和流水线技术,设计了一种高性能的日志和位图,采用了网络自适应的复制协议和高效的请求合并策略.实验结果表明,该优化策略减少了应用等待的时间,降低了网络发送的时间开销,合理利用了有限的复制带宽,提高了复制效率.     

一种基于物理级的关系数据库数据复制模型研究

针对当前逻辑级数据库数据复制技术中存在的问题,本文提出一种基于物理级的数据库数据复制模型。该模型利用一个主备数据库复制组来确立其参照关系,通过对Oracle数据库在文件系统格式下、裸设备下以及对基于数据库特殊卷管理器格式下的Redo日志的解析,在日志变化的第一时间挖掘日志捕获数据变化片段,之后采用弱滚动校验和同步增量方式将数据片段并行同步到备端。备端进行日志片段的重组,修改日志头标志位,合成日志文件并与源端校验通过后注册到灾备库,然后将合成日志以自动或者手动方式写入灾备库,从而实现物理级数据库数据复制。通过测试对比分析,验证了该模型不但可以保证两端数据一致性,而且还可以降低数据复制延时。     

一种基于虚拟日志的数据复制解决方案

本文从实际应用的角度出发,为数据库系统设计并实现了一种基于虚拟日志的高可用性的复制解决方案。采用一主多从模式（Single Master,Multi Slaves）,使用异步分发技术,实行延迟远程存取和延迟传播技术对数据进行更新,提供跨平台支持。针对具有自主知识产权的国产大型数据库系统KingbaseES具体实现了该复制方案,从而提供了一个现实的、可扩展的复制系统框架。它能够提供稳定的数据复制,可用性高、准时复制、响应时间短,在及时同步业务数据、灾难备份恢复、改善决策支持系统等许多关键服务中有很高的应用前景。     

证券交易系统中的日志复制

介绍上海证券交易所新一代交易系统中的日志复制和热备切换技术。首先介绍日志和复制的概念与特性,提出基于内存的事务日志模型。其次介绍实现模型的数据结构、功能模块和主机部署情况,描述正常日志复制的机制和主机热备切换的机制。之后介绍在算法优化和操作系统特性方面的性能优化工作。对证券交易系统日志复制方面的建模和主机热备切换机制的设计为其它领域企业级高性能高可用性系统的架构设计提供了参考。     

基于struts2拦截器的操作日志系统设计

操作日志是各种应用系统非常重要的一部分,它记录了用户在系统中进行的操作,为系统管理者进行审计跟踪提供了数据支撑。本文介绍一种基于struts2拦截器模式的操作日志系统设计,它在实现操作日志记录的同时,以极其优雅及简洁的方式降低了业务逻辑与操作日志记录之间的耦合性,是实现操作日志的理想选择。     

保证多 volume数据一致性的远程复制机制 *

提出了一种保证多 volume数据一致性的远程复制机制。其借鉴数据库系统中事务处理的基本思想 ,将多个 volume中相关联的更新作为一个原子事件向远程端复制,分析实现中如数据打包、故障恢复策略、I/O合并等关键问题 ,并给出了具体的实现方法。该远程复制机制解决了在基于存储层或基于逻辑卷方式下的大规模数据复制应用中,保证一组具有相关性数据在复制中的一致性和可用性问题。     

数据复制系统的状态机的研究与设计

在所有的容灾系统中,为了保证数据的可靠性和高可用性,数据复制是实现容灾的关键技术。数据复制系统最基本的要求是要做到确保系统处于正确的状态。目前开发了一个基于Linux的逻辑卷管理器（LVM）的远程数据复制系统——逻辑卷复制器（LVR）。在该系统中,设计并实现了一个状态机来控制系统的状态转换。主要讨论了这个状态机的工作方式以及它是如何保证系统运行在正确的状态下的。     

多源数据库数据复制模型

针对跨数据库平台、跨操作系统平台、跨硬件平台数据交互需求,提出一种基于日志解析的数据交互复制模型。该模型通过对数据库Redo日志的分析与定位,从中抽取增量变化日志数据,然后采用并行同步传输的方式将抽取的日志数据传输到预处理端,在预处理端进行原始数据的事务合并处理,然后在装载发布端通过数据订阅的形式获取预处理端的队列数据,数据内容放入本地缓存队列文件,最后对本地缓存队列文件进行数据转换、数据装载入库,从而实现数据交互复制。通过测试对比分析,验证了该模型不但可以保证两端数据一致性,而且还具有较低的数据复制延时。     

基于半主动复制技术的组通信系统

Both active replication and passive replication in group communication system are limited to implementing the false-tolerance distributed system. In this paper, we have presented a duplicate technique called Semi-Activere plication SAR, which takes in the advantage of two former techniques. As taking events log as synchronous object,employing reliable multicast as synchronous way between copies, and using the substitution method in passivereplication, this new method implements the fault control to the processors in group communication system on thepremise of assuring the consistence between duplicates and deceasing overhead of the system. It is best answer for large distributed system. Finally we apply the method in the distributed applications based on EJB specifications. It is shown that SAG provides a good solution for the false-tolerance distributed system where the communication model between clients and servers is noint-to-ooint.     

Resilient Extended True-Copy Token Scheme for a Distributed Database System

A new resiliency scheme for a distributed database system with replicated data is presented. One salient feature of the scheme is that it does not employ a log subsystem; hence, it can be used for a highly reliable system that must tolerate a total crash of a site. In addition, the scheme supports system partitioning without any consistency problem. The new scheme is based on a precise treatment of logical data; in particular, a precise definition of resilient system operation is given in terms of logical data.     

ARM平台下Netfilter日志管理技术研究

市面上中小型防火墙设备的日志管理功能极为有限。为了提高行为记录的效率及功能,设计防火墙软硬件平台,提出基于ARM平台下的Netfilter日志管理技术方案和通信日志收集、发送的流程逻辑思路;调用Linux内核ipt_ULOG模块获取Netfilter数据包处理日志并记录于嵌入式数据库;提出了日志管理的关键函数和嵌入式数据库的设计方法,利用脚本程序处理数据库日志信息并实现远程管理。测试表明：该方案能高效、全面地实现对互联网访问行为的管理;设计方案及研究结果为嵌入式防火墙的行为记录提供了依据。     

一种基于日志合并优化的数据同步机制

基于复制技术的高可用存储系统，在故障恢复时需要进行数据同步操作以保证数据副本之间的一致，缩减数据同步操作的时间可减少系统修复时间，从而提高存储系统可用性．数据同步过程的时间由数据同步所需传输的数据量决定．本文提出的基于日志操作合并优化的数据同步机制充分考虑到文件访问中的时间和空间局部性，通过对故障期间的所记录的日志进行合并优化，合并和去除不必要的日志项，使得需要同步的数据量最少，从而减少数据同步过程的时间．试验的结果表明，相对于其它几种通用的方式，基于日志合并优化的数据同步机制所传输的数据量最少，可有效的减少数据同步操作的时间．