一种Hadoop数据复制优化方法

针对当前Hadoop采用固定个数的数据复制来提高数据可用性方法的不足,建立了数据复制的数学模型,该模型根据数据节点失效率、数据访问延迟、数据节点的网络带宽、期望的数据可用性计算优化的数据复制个数,在Hadoop上实现了提出的数据复制优化方法,进行性能测试实验,实验结果表明该模型不仅可以改进数据可用性,而且提高了系统存储空间的利用率。     

一种基于虚拟日志的数据复制解决方案

本文从实际应用的角度出发，为数据库系统设计并实现了一种基于虚拟日志的高可用性的复制解决方案。采用一主多从模式（Single Master，Multi Slaves），使用异步分发技术，实行延迟远程存取和延迟传播技术对数据进行更新，提供跨平台支持。针对具有自主知识产权的国产大型数据库系统KingbaseES具体实现了该复制方案，从而提供了一个现实的、可扩展的复制系统框架。它能够提供稳定的数据复制，可用性高、准时复制、响应时间短，在及时同步业务数据、灾难备份恢复、改善决策支持系统等许多关键服务中有很高的应用前景。     

对等网维护数据副本一致性的乐观复制技术研究

在对等网环境中，保持数据对象的多个副本可极大地提高数据的可靠性和访问效率，但同时需要维护副本数据的一致性。乐观复制在保证数据一致性的同时放松了对操作顺序的要求。提出了数据乐观复制系统形式化模型，应用模型推导了数据达到一致的基本条件，提出了一种基于处理操作的最优化算法，并对实际应用中可能出现的问题提出了改进方法。     

分布式电子政务系统数据一致性控制技术

采用乐观复制方法,提出一种新的基于结构序列的政务信息数据一致性控制技术,建立分布式数据存储机制,并定义政务信息数据和结构序列的记录方式。该方法以较小的通信、存储开销有效地支持分布式电子政务系统中的数据更新和一致性控制。     

移动环境下一种基于日志的数据复制方法

乐观复制方法被广泛应用于移动环境中，提出了一种新的基于日志的数据复制方法，该方法使用相对较小的通信和存储开销，能更有效地记录数据更新以及进行数据同步，和传统的方法比，该方法更适用于小型的数据记录。     

面向虚拟共享域划分的自适应迁移与复制机制

传统数据管理机制无法感知分布式cache布局的非一致访问延迟特性,导致多核处理器大容量cache失效率和命中延迟之间的矛盾日益加剧.此外,单独依靠数据迁移和盲目复制难以解决共享数据块的竞争访问与长延迟命中问题.基于瓦片式多核处理器分布式cache的虚拟共享域划分机制,提出并实现一种域间数据自适应迁移与复制机制,能够协同感知本地目标bank候选牺牲块状态和远程命中块的局部活跃程度,在多个虚拟共享域间对多核竞争访问的共享数据进行动态迁移和复制决策,综合权衡片上长延迟命中和cache容量有效利用率问题,降低平均存储访问延迟.最后,在全系统模拟器中实现虚拟共享域划分和域间共享数据自适应迁移-复制机制,并采用典型测试程序包SPLASH-2评估性能优化情况.实验表明,与传统固定共享域划分机制和同类优化机制相比,自适应迁移与复制机制在不同共享度下均可获得相应性能提升,面积开销可以忽略不计.     

数据网格中请求呈现分组特性的副本管理策略研究

在数据网格中,数据使用模式将影响系统性能.根据一些实际系统的测试结果,数据请求呈现出分组特性.为研究当数据请求呈现分组特性时请求分布与副本分布的关系,首先定义了数据网格中副本复制策略的模型,然后研究在数据请求呈现分组特性时平均访问延迟最小的最优策略.采用拉格朗日乘子法以及二分法对上述模型进行求解,得到了一个在请求分组模式下的最优下载副本策略.通过模拟实验对最优策略以及均匀复制策略、比例复制策略、平方根复制策略、LRU缓存策略的性能进行了比较.结果表明,最优策略所需广域网带宽最少,平均访问延迟最小.     

移动环境下事务一致性的动态实现

移动分布式数据库中节点间的连接是一种弱连接，为了提高移动计算机的效率，事务执行通常采有乐观复制的方法，它的不足之处是要依赖用户对应用数据和节点行为的知识，难以适应移动环境下网络连接和配置的动态变化，首次提出了移动环境下事务处理的基于概率方法，采用服务质量定义动态实现移动环境下的事务一致性，是一种用户与系统协作来完成事务处理的方法，实验结果表明，基于概率方法在性能上优于简单的乐观复制方法。     

基于写操作集的数据库同步复制模型

现有数据库管理系统(DBMS)大多采用主从模式的异步复制机制,而主从模式中主节点失效将导致整个系统瘫痪,并且异步复制中潜在的同步延迟可能造成数据丢失。针对该问题,根据组通信同步复制机制,提出一种基于写操作集的数据库多主同步复制模型,能解决异步复制带来的延迟问题,并提高分布式DBMS系统的容错性和可扩展性。     

基于协调器与遗传算法的云存储数据复制策略

针对云存储数据过程,结合协调器与遗传算法提出一种新的数据复制策略。在Hadoop分布式文件系统体系结构基础上构建一个用于复制管理的协调器,采用接收查询算法和遗传算法接收查询,并将其发送给合适的节点以满足用户期望的服务质量功能需求,同时考虑一个查询中数据块的物理位置以获得更好的复制参数。仿真结果表明,与目前典型的数据中心选择和动态数据复制策略以及逐步删除和添加数据副本策略相比,该数据复制策略不仅优化了系统的负荷分配,而且具有更高的可用性和更小的延迟。     

A survey of dynamic replication strategies for improving data availability in data grids

Data grid is a distributed collection of storage and computational resources that are not bounded within a geophysical location. It is a fast growing area of research and providing efficient data access and maximum data availability is a challenging task. To achieve this task, data is replicated to different sites. A number of data replication techniques have been presented for data grids. All replication techniques address some attributes like fault tolerance, scalability, improved bandwidth consumption, performance, storage consumption, data access time etc. In this paper, different issues involved in data replication are identified and different replication techniques are studied to find out which attributes are addressed in a given technique and which are ignored. A tabular representation of all those parameters is presented to facilitate the future comparison of dynamic replication techniques. The paper also includes some discussion about future work in this direction by identifying some open research problems.     

带窗口的净增量数据库复制优化算法

数据库复制是保持数据一致性、提高灾难应对能力和数据可访问性的途径。目前常用的复制工具大多采用异步方式,需要处理增量的问题。本文在Daffodil Replicator的基础上,针对数据库净增量复制技术做一些探讨和研究,提出利用窗口算法来平衡产生、传输和解析净增量数据的资源压力和时间代价,对该算法的时间复杂度做出估计,使用采样的方法来拟合时间函数曲线,确定最优情况。     

P2P网中基于文件分片的副本建立策略*

在大规模P2P网络中,为了提高数据的可用性,可以通过在系统中多个节点上建立数据副本的方法来增加数据的冗余度.为了减小副本建立的开销,可采用一种基于文件分片的副本建立策略,将需要复制的数据文件先进行分片,然后把这些分片在一组选取好的候选节点间进行分发复制.该方法能够充分利用网络带宽,明显减小建立副本所需的时间开销.     

P2P网中基于文件分片的副本建立策略

在大规模P2P网络中,为了提高数据的可用性,可以通过在系统中多个节点上建立数据副本的方法来增加数据的冗余度.传统方法建立副本的过程中,数据资源通常是以完整的数据文件为单位在节点间进行拷贝.为了减小副本建立的开销,可采用一种基于文件分片的副本建立策略,将需要复制的数据文件先进行分片,然后把这些分片在一组选取好的候选节点间进行分发复制,能够充分利用网络带宽,明显减小建立副本所需的时间开销.     

数据复制技术在灾备系统中的研究与应用

分析了数据复制技术在实时灾备系统中的应用,指出了SQL Server 2000提供的数据复制功能存在的两个问题:其一是分发代理调用系统自动生成的Update存储过程会出现错误,其二是复制数据在网络传输过程中没有采用数据压缩机制。为解决这些问题,文中通过SQL 2000的编程接口SQL-DMO和ActiveX控件开发出新的数据复制管理工具用以构建正确的基于数据复制技术的灾备环境,并采用了数据通讯压缩技术。经过对比实验,给出了数据复制系统的最优部署架构,成功地实现了基于数据复制技术的数据库灾备系统的应用。     

基于PM-chord算法的数据网格副本定位方法

提出一种数据网格环境下的分布式副本定位算法PM—chord,以完成对所需数据副本的快速定位,降低存储和更新开销。PM—chord取逆时针方向为chord环的正方向,对节点和数据编码后按前缀匹配的原则查询数据,同时增加前继副本机制。分析及实验表明,该算法具有很高的副本定位效率,能够有效解决网格中的查询“热点”问题,具有良好的可靠性和可行性。     

Modeling a Dynamic Data Replication Strategy to Increase System Availability in Cloud Computing Environments

Failures are normal rather than exceptional in the cloud computing environments. To improve system avai- lability, replicating the popular data to multiple suitable locations is an advisable choice, as users can access the data from a nearby site. This is, however, not the case for replicas which must have a fixed number of copies on several locations. How to decide a reasonable number and right locations for replicas has become a challenge in the cloud computing. In this paper, a dynamic data replication strategy is put forward with a brief survey of replication strategy suitable for distributed computing environments. It includes: 1) analyzing and modeling the relationship between system availability and the number of replicas; 2) evaluating and identifying the popular data and triggering a replication operation when the popularity data passes a dynamic threshold; 3) calculating a suitable number of copies to meet a reasonable system byte effective rate requirement and placing replicas among data nodes in a balanced way; 4) designing the dynamic data replication algorithm in a cloud. Experimental results demonstrate the efficiency and effectiveness of the improved system brought by the proposed strategy in a cloud.     

SCALAR: Scalable data lookup and replication protocol for mobile ad hoc networks

Data replication, as an essential service for MANETs, is used to increase data availability by creating local or nearly located copies of frequently used items, reduce communication overhead, achieve fault-tolerance and load balancing. Data replication protocols proposed for MANETs are often prone to scalability problems due to their definitions or underlying routing protocols they are based on. In particular, they exhibit poor performance when the network size is scaled up. However, scalability is an important criterion for several MANET applications. We propose a scalable and reactive data replication approach, named SCALAR, combined with a low-cost data lookup protocol. SCALAR is a virtual backbone based solution, in which the network nodes construct a connected dominating set based on network topology graph. To the best of our knowledge, SCALAR is the first work applying virtual backbone structure to operate a data lookup and replication process in MANETs. Theoretical message-complexity analysis of the proposed protocols is given. Extensive simulations are performed to analyze and compare the behavior of SCALAR, and it is shown to outperform the other solutions in terms of data accessibility, message overhead and query deepness. It is also demonstrated as an efficient solution for high-density, high-load, large-scale mobile ad hoc networks.     

高效同步复制模型的研究

数据复制是分布式数据库中常用的方法,以提高数据的可用性和系统的性能。文章引入若干技术解决同步复制方法的缺陷,提出了一个高效同步复制的模型,给出了事务的具体处理过程。