一种异步实时远程复制系统的设计与实现

分析和讨论了现有的主要远程复制方案的特点,设计并实现了一种基于LVM的异步实时远程复制系统.它是在现有IP网络的基础上通过纯软件的方式实现的异步在线远程复制系统,无需任何昂贵的硬件支持,为远程数据容灾技术提供了一个简单经济的解决方案.     

远程异步数据复制系统的设计与实现

远程数据复制技术是远程容灾系统的核心技术,在保持两地间数据一致性和实现灾难恢复中起到关键作用。该文在研究远程数据复制技术的基础上,设计并实现了基于存储设备级的远程异步数据复制系统。系统不占用主机系统资源,对上层的文件系统和应用程序透明,可以降低上层软件设计的复杂程度。     

Linux平台远程逻辑卷复制系统的设计

提出了一种Linux平台上远程逻辑卷复制系统的设计方案,论述了它的系统结构及实现方法。该系统不依赖于特殊的存储设备或网络,在复制过程中通过保持主、从两端逻辑卷上数据块的更新顺序来保证数据一致性。系统支持同步和异步两种复制模式,可以适合不同的应用环境,为实现通用、经济的远程数据容灾系统提供了可能。     

数据复制系统的状态机的研究与设计

在所有的容灾系统中,为了保证数据的可靠性和高可用性,数据复制是实现容灾的关键技术。数据复制系统最基本的要求是要做到确保系统处于正确的状态。目前开发了一个基于Linux的逻辑卷管理器（LVM）的远程数据复制系统——逻辑卷复制器（LVR）。在该系统中,设计并实现了一个状态机来控制系统的状态转换。主要讨论了这个状态机的工作方式以及它是如何保证系统运行在正确的状态下的。     

用于灾难恢复的异步远程卷复制系统的设计

给出一个用于灾难恢复异步远程卷复制系统的总体设计框架,并说明系统的工作原理、数据流程,而且进一步解决卷复制中日志溢出的问题。该协议框架在保证具有良好的系统性能的同时,也能够很好地保持系统的数据一致性。     

基于iSCSI的级联远程复制系统实现与优化

提出基于iSCSI的级联远程复制系统结构及其实现方法.对传统实现进行优化,一方面引入带双阈值的传输控制队列和引用计数模块,提高本地子系统的性能;另一方面通过添加元数据记录传输和数据一致性恢复功能,解决了两级子系统在网络环境差异较大时协同性差的问题.调节iSCSI参数,进一步优化系统性能.性能测试表明,优化的级联远程复制系统具有高可用性和良好的性能.     

基于分布式的远程复制系统研究

针对传统的集中式复制结构存在的单点瓶颈和扩展性差等不足,提出了基于分布式结构的数据复制系统。通过将数据同步分散的复制到从节点,使得从节点能在单位时间内获得主节点的最大备份。通过从节点之间点对点的数据复制,使得在保证主从端数据一致性的同时,充分利用了从节点的资源,分散了主节点的负荷。     

电子商务中远程异构容灾实现

电子商务中远程异构容灾实现分析比较了现有几种主流数据容灾技术方案,针对海量数据库容灾的需求指出了它们的不足,并对海量数据库系统异地、异构容灾的相关技术进行了深入研究。提出了一种基于分布对象中间件的远程数据复制技术策略,该策略既能满足海量数据规模又解决了数据库系统异构问题。     

基于FreeBSD的远程卷复制系统的研究与设计*

提出了一种基于FreeBSD平台的远程逻辑卷复制系统的设计方案,论述了它的系统结构以及实现方法。该系统以Vinum逻辑卷管理器为对象添加复制机制,不依赖于具体的存储设备,能实现数据块级的复制。系统提供了独特的日志机制和日志保护技术,支持同步、异步两种复制模式,可以适合不同的网络环境。它的传输协议基于TCP/IP,并能结合成熟的压缩技术,减轻网络负载。该系统提供了一种经济、通用的复制方案,能广泛推广应用。     

异步复制流程的研究与性能改进

数据更新流程是远程复制系统的框架。针对不同的应用需求,系统可以采用不同的复制模式。文中主要讨论异步模式下的数据更新流程。在分析借鉴了已有的异步复制协议基础上,提出了一种改进性能的异步复制流程。原型实验表明,此数据更新流程的设计在保持数据的一致性以及系统简单、可靠性的同时,也降低了复制过程中对网络带宽的需求和I/O操作的数量。     

SnapCDP:一种基于LVM的CDP机制的设计与实现

连续数据保护(continuous data protection,CDP)是一种数据的连续时间点的保护技术,它能在故障瞬间完成任何时间点的故障恢复,起到业务的快速连续地运行的作用.与传统的数据保护技术相比,CDP可以提供更灵活的目标恢复点和更快的目标恢复时间.实现了一种名为SnapCDP的基于LVM(logical volume management)的CDP机制.SnapCDP是将CDP模块嵌入到LVM中来实现的.实验表明,SnapCDP可以利用较短的时间将数据恢复到用户设定的历史时间点.     

一种基于存储虚拟化的异步远程镜像系统

信息数据在当今社会中的重要性日益提高.远程镜像系统通过配置冗余的硬件和相应的高可靠软件,能够保证信息系统的数据安全.但足,已有的远程镜像系统都部分存在着依赖于专用设备或底层驱动、性能差等不足.该文提出一种应用于存储区域网络环境的、基于存储虚拟化的异步远程镜像系统.首先,设计了异步镜像逻辑卷,作为虚拟化的数据容器,该卷能够自动追踪并异步传输数据更新,节省网络带宽,同时不依赖于任何的底层设备和驱动.其次,提出了一种不间断服务的异步镜像协议,支持服务在镜像主节点和从节点间的无缝迁移,支持灾难发生和灾后恢复时主从节点的自动切换和不间断服务,同时,协议完全在镜像节点内执行,不影响客户主机的性能.最后,针对镜像卷的读写特点,设计了基于锁的镜像卷访问控制机制,既保证数据一致性,又能在此前提下尽可能提高读写并发性.FTP trace(文件传输服务跟踪记录)的重放实验证明,在人为引入主节点失效的情况下,服务能够无缝迁移;在主节点灾后数据恢复进行的同时,能够保证服务不间断;最后,FTP Trace的重放流程在"主节点失效-服务迁移-灾后恢复"场景下仅比无故障时多花费14%的时间.     

基于LVM 的系统扩容技术研究

近年来,随着大数据业务的使用,系统在运行时会产生大量的数据信息与日志文件并保存在磁盘中。由于在系统规划初期,对系统分区大小规划预期不足,很难合理规划磁盘空间,造成后期系统运行中经常出现系统分区磁盘不足的问题。当发生此类告警时,通常的分区很难动态调整大小,通常采用暂停业务,更换磁盘,数据备份与恢复的方式,该方式操作困难,程序复杂,有数据丢失的风险。在Linux系统里使用LVM(逻辑卷)技术,支持在线空间扩容,可以在用户无感知的情况下扩展系统分区容量,达到合理利用磁盘空间的目的。本文介绍了LVM技术,并在Linux系统里将分区做成逻辑卷,达到合理利用磁盘空间的目的。     

远程镜像中自适应异步模式的设计及讨论

在远程镜像系统中,通信链路的可用带宽和主站应用程序的I/O数据率都可能会不断变化,因此通信链路的负载也会随之改变。但现今一些基于存储设备块级别的远程镜像系统(如EMCSRDF,IBMPPRC,XRC等)在异步模式下并未涉及这些变化因素。该文综合考虑了这一点,简要地设计了一个异步远程镜像方案——自适应异步模式,它不但避免了rollingdisaster的产生,而且能够根据链路负载的变化动态地调整在链路中传输的数据量。     

基于主从异步复制技术的容灾实时系统研究与实现

介绍了一个实用的容灾实时系统SDP_R．为提高系统的性能，SDP_R采用严格的主从异步复制技术和多线程技术．实验表明，多线程技术和多进程技术能够较大地提高系统的性能，而且相比多进程技术，多线程技术所需的内存要少得多．详细探讨了采用多线程技术时怎样保证数据的一致性．SDP_R系统不仅满足容灾系统设计准则，而且与Oracle以及Informix等数据库提供商提供的数据复制技术相比，SDP_R通过数据库底层函数层可以屏蔽不同数据库产品或版本之间的差异，从而实现不同数据库产品和版本之间的数据复制．SDP_R适用于使用多种数据库产品或版本的系统，如智能网系统．同时，SDP_R系统可以处理数据拷贝图为任意拓扑结构的情况．容灾系统SDP_R已经实现，它是下一代智能网分布式SDP中的一个主要功能模块．     

数据复制与一致性

数据复制是分布式数据库和数据仓库中常用的方法,以提高数据的可用性和系统的性能。文中介绍了在数据库系统中广泛使用的数据复制方法,分析了其优缺点和适用的范围,重点讨论了异步复制方法中的一致性恢复、一致性偏离的度量和数据存取的限制等问题,给出了数据复制策略的评价目标。     

基于动态镜像的实时数据仓库存取预处理技术研究

实时数据仓库是数据仓库技术的重要分支,而实时数据查询和实时数据导入引发的查询竞争问题一直是实时数据仓库技术研究的重点之一。查询竞争问题严重影响了查询分析的精度和效率,还降低了数据仓库的性能。提出了一种在数据仓库外部构建动态存储区域的方法,它采用动态镜像技术,有效地缓解查询竞争问题。同时,为了提高实时OLAP上的查询分析操作的性能,提出了蝇量级物化方法及蝇量级物化下的表连接算法FWMJoin(Fly-Weight Materialization Join)。基于TPC-H基准的实时数据仓库测试系统,针对动态镜像技术下的动态存储区域的OLAP性能进行分析与评估,并对实验结果进行总结。     

数据复制技术在灾备系统中的研究与应用

分析了数据复制技术在实时灾备系统中的应用，指出了SQL Server 2000提供的数据复制功能存在的两个问题：其一是分发代理调用系统自动生成的Update存储过程会出现错误，其二是复制数据在网络传输过程中没有采用数据压缩机制。为解决这些问题，文中通过SQL 2000的编程接口SQL-DMO和ActiveX控件开发出新的数据复制管理工具用以构建正确的基于数据复制技术的灾备环境，并采用了数据通讯压缩技术。经过对比实验，给出了数据复制系统的最优部署架构，成功地实现了基于数据复制技术的数据库灾备系统的应用。