一种Hadoop数据复制优化方法

针对当前Hadoop采用固定个数的数据复制来提高数据可用性方法的不足,建立了数据复制的数学模型,该模型根据数据节点失效率、数据访问延迟、数据节点的网络带宽、期望的数据可用性计算优化的数据复制个数,在Hadoop上实现了提出的数据复制优化方法,进行性能测试实验,实验结果表明该模型不仅可以改进数据可用性,而且提高了系统存储空间的利用率。     

数据复制与一致性

数据复制是分布式数据库和数据仓库中常用的方法,以提高数据的可用性和系统的性能。文中介绍了在数据库系统中广泛使用的数据复制方法,分析了其优缺点和适用的范围,重点讨论了异步复制方法中的一致性恢复、一致性偏离的度量和数据存取的限制等问题,给出了数据复制策略的评价目标。     

基于模糊预测的数据复制优化模型的研究

云数据处理系统中广泛采用了多数据副本复制技术,以防止数据丢失,如果数据复制的份数或位置不当,就会引起数据的可用性小于用户期望的数据可用性或存储空间的浪费（如复制份数过多）。针对该问题,经研究提出了一种基于模糊预测的数据复制优化模型,该模型由模糊预测模块和复制优化模块组成。模糊预测模块以节点信息（CPU信息、节点带宽信息、内存信息和硬盘信息）作为输入,预测出节点的可用性;复制优化模块把节点的可用性和用户期望的数据可用性作为输入,计算出在满足用户期望情况下数据复制的份数和位置。提出的复制优化模型能根据云数据存储系统中数据节点可用性实现动态的优化数据复制,能获得较高的存储性价比。模拟实验中基于模糊预测的数据复制优化模型策略需要的存储空间分别是Hadoop策略的42.62%,42.84%,但文件的平均可用性可达到88.69%,90.54%,表明提出的基于模糊预测的复制模型实现了在节省存储空间的同时保证了文件可用性。     

基于模糊预测的数据复制优化模型的研究

云数据处理系统中广泛采用了多数据副本复制技术,以防止数据丢失,如果数据复制的份数或位置不当,就会引起数据的可用性小于用户期望的数据可用性或存储空间的浪费（如复制份数过多）。针对该问题,经研究提出了一种基于模糊预测的数据复制优化模型,该模型由模糊预测模块和复制优化模块组成。模糊预测模块以节点信息（CPU信息、节点带宽信息、内存信息和硬盘信息）作为输入,预测出节点的可用性;复制优化模块把节点的可用性和用户期望的数据可用性作为输入,计算出在满足用户期望情况下数据复制的份数和位置。提出的复制优化模型能根据云数据存储系统中数据节点可用性实现动态的优化数据复制,能获得较高的存储性价比。模拟实验中基于模糊预测的数据复制优化模型策略需要的存储空间分别是Hadoop策略的42．62％,42．84％,但文件的平均可用性可达到88．69％,90．54％,表明提出的基于模糊预测的复制模型实现了在节省存储空间的同时保证了文件可用性。     

基于存储区域网络的复制管理研究

有效的进行数据备份和数据灾难恢复是数据存储领域的一个重点需要解决的问题。该文提出了基于存储区域网络的复制管理的方案,首先详细介绍了数据复制管理的相关概念,然后重点设计了SAN复制管理的体系结构,最后给出了复制机能的设计方法。     

多节点动态复制结构的容灾系统的研究与实现

针对容灾系统集中式复制结构存在的单点瓶颈和扩展性差等不足,提出了基于动态层次化结构的多节点数据复制容灾系统,将复制节点之间的拓扑结构抽象为图,根据实时刷新的网络时延矩阵,实时动态重建复制系统的复制结构。论述了维护层次化节点的稳定性和系统的稳定性,以及通过发送增广原子数据与增广DCM数据以实现容灾系统广义数据一致性的方法。     

网格环境下基于编码机制的数据复制研究

本文提出了基于编码机制的网格数据复制思想,通过对副本数据进行线性分组编码,并将其分散保存到网格存储节点,可形成具有纠删能力的编码子副本组.针对目前热点研究的线性分组编码,探讨基于Cauchy Reed-Solo-mon Code、Tornado Code和Random Linear Code的编码数据复制方案,通过建模手段讨论三者的副本数据访问性能和副本数据可靠性,并与传统的完整数据复制和分块数据复制进行时比分析,证明所提出的编码数据复制有着较优的综合性能.具体实验数据进一步说明,编码副本的编码开销占整个数据复制开销的较小比例,表明编码数据复制是具有可行性的技术方案.     

PowerBuilder中数据窗口的复制方法及性能分析

详细讨论了数据窗口复制的五种方法,并对各自的性能进行了比较.这五种方法是使用GetItem/SetItem函数复制、使用剪贴板复制、使用结构数组复制、使用RowsCopy函数复制以及对数据窗口直接赋值进行复制.     

数据库实时数据复制在电信企业信息系统中的应用

阐述高效的数据复制为电信企业信息系统在数据管理领域存在的问题提供解决方案,同时介绍某电信企业省分公司BSS系统核心数据库实时数据复制项目的整体系统架构、数据复制软件、数据复制规模、数据复制部署的通道优化和数据访问安全优化措施以及项目实施的效果。     

保证多 volume数据一致性的远程复制机制 *

提出了一种保证多 volume数据一致性的远程复制机制。其借鉴数据库系统中事务处理的基本思想 ,将多个 volume中相关联的更新作为一个原子事件向远程端复制,分析实现中如数据打包、故障恢复策略、I/O合并等关键问题 ,并给出了具体的实现方法。该远程复制机制解决了在基于存储层或基于逻辑卷方式下的大规模数据复制应用中,保证一组具有相关性数据在复制中的一致性和可用性问题。     

数据复制技术在灾备系统中的研究与应用

分析了数据复制技术在实时灾备系统中的应用,指出了SQL Server 2000提供的数据复制功能存在的两个问题:其一是分发代理调用系统自动生成的Update存储过程会出现错误,其二是复制数据在网络传输过程中没有采用数据压缩机制。为解决这些问题,文中通过SQL 2000的编程接口SQL-DMO和ActiveX控件开发出新的数据复制管理工具用以构建正确的基于数据复制技术的灾备环境,并采用了数据通讯压缩技术。经过对比实验,给出了数据复制系统的最优部署架构,成功地实现了基于数据复制技术的数据库灾备系统的应用。     

A survey of data replication techniques for mobile ad hoc network databases

A mobile ad hoc network (MANET) is a network that allows mobile servers and clients to communicate in the absence of a fixed infrastructure. MANET is a fast growing area of research as it finds use in a variety of applications. In order to facilitate efficient data access and update, databases are deployed on MANETs. These databases that operate on MANETs are referred to as MANET databases. Since data availability in MANETs is affected by the mobility and power constraints of the servers and clients, data in MANETs are replicated. A number of data replication techniques have been proposed for MANET databases. This paper identifies issues involved in MANET data replication and attempts to classify existing MANET data replication techniques based on the issues they address. The attributes of the replication techniques are also tabulated to facilitate a feature comparison of the existing MANET data replication works. Parameters and performance metrics are also presented to measure the performance of MANET replication techniques. In addition, this paper also proposes criteria for selecting appropriate data replication techniques for various application requirements. Finally, the paper concludes with a discussion on future research directions.     

An optimal replication strategy for data grid systems

Data access latency is an important metric of system performance in data grid. By means of efficient replication strategy, the amount of data transferred in a wide area network will decrease, and the average access latency of data will decrease ultimately. The motivation of our research is to solve the optimized replica distribution problem in a data grid; that is, the system should utilize many replicas for every data with storage constraints to minimize the average access latency of data. This paper proposes a model of replication strategy in federated data grid and gives the optimized solution. The analysis results and simulation results show that the optimized replication strategy proposed in this paper is superior to LRU caching strategy, uniform replication strategy, proportional replication strategy and square root replication strategy in terms of wide area network bandwidth requirement and in the average access latency of data.     

一种基于物理级的关系数据库数据复制模型研究

针对当前逻辑级数据库数据复制技术中存在的问题,本文提出一种基于物理级的数据库数据复制模型。该模型利用一个主备数据库复制组来确立其参照关系,通过对Oracle数据库在文件系统格式下、裸设备下以及对基于数据库特殊卷管理器格式下的Redo日志的解析,在日志变化的第一时间挖掘日志捕获数据变化片段,之后采用弱滚动校验和同步增量方式将数据片段并行同步到备端。备端进行日志片段的重组,修改日志头标志位,合成日志文件并与源端校验通过后注册到灾备库,然后将合成日志以自动或者手动方式写入灾备库,从而实现物理级数据库数据复制。通过测试对比分析,验证了该模型不但可以保证两端数据一致性,而且还可以降低数据复制延时。     

基于协调器与遗传算法的云存储数据复制策略

针对云存储数据过程,结合协调器与遗传算法提出一种新的数据复制策略。在Hadoop分布式文件系统体系结构基础上构建一个用于复制管理的协调器,采用接收查询算法和遗传算法接收查询,并将其发送给合适的节点以满足用户期望的服务质量功能需求,同时考虑一个查询中数据块的物理位置以获得更好的复制参数。仿真结果表明,与目前典型的数据中心选择和动态数据复制策略以及逐步删除和添加数据副本策略相比,该数据复制策略不仅优化了系统的负荷分配,而且具有更高的可用性和更小的延迟。     

Dynamic QoS-aware data replication in grid environments based on data “importance”

Data replication comprises a standard fault tolerance approach for systems-especially large-scale ones-that store and provide data over wide geographical and administrative areas. The major topics that the task of data replication covers include the replica creation, placement, relocation and retirement, replica consistency and replica access. In a business context a number of constraints exists which are set by the infrastructure, network and application capabilities in combination with the Quality of Service (QoS) requirements that hinder the effectiveness of data replication schemes. In this paper, we examine how this combination affects the replication lifecycle in Data Grids and we introduce a set of interoperable novel file replication algorithms that take into account the infrastructural constraints as well as the ‘importance’ of the data. The latter is approximated through a multi-parametric factor that encapsulates a set of data-specific parameters, such as popularity and content significance.