海量存储网络中的虚拟盘副本容错技术

大规模存储网络中的数据可用性和读写性能越来越重要．在海量存储虚拟化系统的基础上，实现了多副本虚拟盘技术来提高网络存储的数据容错能力．同时，通过多副本选择调度与异步副本更新以及副本盘空间布局的动态调整算法，提高了系统的数据读写能力．测试结果表明，加入虚拟盘副本后，在设备数量充足情况下的读性能可提高26％；即使少量磁盘失效，读写操作也能正确执行，且读性能仍然比无副本时提高10％以上．     

网格环境下的数据副本一致性维护解决方案

副本技术是网格中提高数据访问和处理效率的关键技术。针对目前副本管理存在的局限性和亟待解决的一致性维护关键问题,以Globus提供的副本技术为基础,从副本创建与更新的角度出发,采用日志管理思想,提出了一种副本创建与一致性维护相结合的解决方案。     

PATCOM:基于分割树的无结构P2P系统一致性维护方法

无结构P2P技术逐渐被应用在新型的协同计算系统中.这些新型业务支持数据的动态更新,不仅要求副本数据的强一致性,而且要求更新数据的快速传播.高效的一致性维护方法是保证新业务顺利开展的基础.在比较分析现有的P2P系统一致性维护方法的基础上,针对无结构P2P系统,提出了一种基于分割树的一致性维护方法--PATCOM.PATCOM使用Chord协议作为组管理协议,通过不断分割由副本节点组成的Chord环,动态地建立更新消息传播树(Update Message Propagation Tree,UMPT).论文进一步从理论上分析了UMPT的平均高度、PATCOM的性能、容错能力以及算法开销,并和基于Gossip的一致性维护方法进行了比较.理论分析和仿真实验结果表明:PATCOM不仅能够快速地维护P2P系统的强一致性,而且产生的冗余更新消息少.     

混合云环境下利用世系保障数据一致性的研究

混合云环境下,公有云与私有云共同为用户提供服务,公有云中的应用可能需要频繁读取私有云中的数据,通过复制私有云中的副本到公有云中可降低网络开销,但不同云中文件副本的动态更新会导致云中各个副本的不一致性。提出了一致性服务,该服务由一致性维护模块和一致性检测与恢复模块两个部分组成。一致性维护模块通过发送文件的更新消息的方法维护副本的一致,降低了系统的响应时间;一致性检测与恢复模块利用世系的思想,通过对比副本的世系记录来检测副本的一致性,可将副本不一致状态恢复成一致状态。实验证明混合云下利用世系一致性服务是可行的,由此带来的通信和存储开销在可接受范围内。     

采用动态投票机制的数据网格副本一致性维护

针对网格动态性引起副本数据一致性维护困难的问题,根据网格的动态特性建立了网格系统模型和副本一致性维护模型;提出了适用于低在线率情况的动态投票机制,并在此基础上给出了一种副本数据一致性维护算法,从全局有序性和读一致性等方面证明了该算法的正确性.最后通过模拟实验对副本数取值及可扩展性等方面进行分析,探讨了网格动态性对数据一致性维护的影响.     

分布式数据库系统中数据一致性维护方法

讨论了在分布式数据系统中，对于各个数据库副本维护数据一致性的问题，介绍了Oracle8i数据库系统中数据复制的基本概念，基本原理，复制配置以及数据复制的基本配置和实现方法。     

云存储系统中基于分簇的数据复制策略

云存储技术已经成为当前互联网中共享存储和数据服务的基础技术,云存储系统普遍利用数据复制来提高数据可用性,增强系统容错能力和改善系统性能。提出了一种云存储系统中基于分簇的数据复制策略,该策略包括产生数据复制的时机判断、复制副本数量的决定以及如何放置复制所产生的数据副本。在放置数据副本时,设计了一种基于分簇的负载均衡副本放置方法。相关的仿真实验表明,提出的基于分簇的负载均衡副本放置方法是可行的,并且具有良好的性能。     

分布式系统中异地数据库的数据一致性维护

大型分布式系统通常需要在异地的数据库中存储同一数据的不同副本,不同副本之间需要维护数据的一致性。文章讨论了维护数据一致性的两种方法:消息队列法和复制控制法,并分别介绍了使用IBMMQSeries消息队列和MicrosoftSQLServer复制机制来维护数据一致的实现过程,对比分析了二者在实际应用中各自的特点,以及在理论上的技术差异。     

一种解决更新相关的更新冲突协商算法

针对数据一致性维护过程中存在的更新相关问题,本文提出一种更新冲突协商算法,利用Bloom Filter压缩技术表示更新,通过结点间的分工协作发现和解决更新相关冲突,并实现副本最终一致。模拟测试结果表明,该方法在一致性维护开销方面具有较好的性能。     

一种基于安全的网格数据副本策略模型

数据网格中数据副本的存在是为了获得对数据的更好的访问性能，同时也是为解决容错问题而采用的一种冗余技术，但系统复杂程度的增加会带来一系列不可预测的安全隐患。安全与容错是既相互统一，又相互矛盾的关系，应将它们综合起来加以研究。为此将数据副本机制与信息安全结合起来，提出一种决定数据资源副本数量的数学模型。该模型综合考虑服务提供者一方经济利益和声誉度，在合理的假设下对一个两目标的优化问题作了简化处理，通过数值计算和分析确定了数据副本数量的最佳限额。     

基于大数据的数据挖掘中容错技术研究

随着互联网的不断发展,应用程序、数据正在迅速增长,大规模数据存储成为大数据技术研究重点,借助数据挖掘技术能更好地为决策者提供信息支撑。容错技术是大数据处理领域中一个前沿且极具挑战性的研究课题。该文依据当前的研究现状和进展,通过对大数据时代数据特征的分析,结合当前技术发展趋势,运用Python技术设计数据挖掘中代码容错技术的改进,并用算法进行实现。测试结果表明,该算法运行良好,系统的健壮性和可靠性大大提高,为大数据和数据挖掘提供理论基础,为海量数据的安全可靠挖掘提供科学有效的技术支撑。     

移动数据库中数据更新与广播的并发控制

移动数据库系统中数据更新与数据广播并发处理,导致移动客户读取的数据可能不一致,本文分析了在移动数据库中数据更新与数据广播并发处理中可能出现的三类数据冲突,并提出了基于UFBL0原则的并发控制策略来解决上述的问题。该策略具有较好的独立性,对服务器和移动客户机的影响都较小,并且可以较大限度地提高广播给用户的数据项当前性。     

非连接数据库间的数据交换方法

为了实现在物理隔离条件下非连接数据库之间的数据交换,该文将数据交换分类为双向镜像和单向追加两类,重点论述了镜像数据库数据一致性的方法、数据更新冲突的类型和解决以及单向迫如时表间链接关系一致性的维护方法。并结合“电予政务数据安全交换平台”的开发经验,探讨了具体的实现方案。     

一种基于关键属性的优化数据一致性维护方法

针对关键属性更新的易描述、更新项较小和弱相关性三个特点。提出一种基于关键属性的优化数据一致性维护方法.在该方法中,首先分离出用户提交的更新请求中关于关键属性的更新;然后采用基于延迟.覆盖的更新传播模型进行更新传播,即基于副本间的网络延迟选择具有最大和最小网络延迟的结点转发更新,并在传播过程中记录和综合考虑更新的确定传播和不确定传播两条路径;在对关键更新冲突分类的基础上,采用更新缓冲区和更新日志两层更新协商机制并结合最新写胜出和分而治之规则,优化关键更新冲突的发现和解决:更新日志信息是方法中各种策略开展的基础,讨论了更新日志中信息管理方法以及结点失效和网络划分发生时信息的维护方法.关键属性更新的优化处理使得不会产生因为关键属性更新的延迟而降低系统基于关键属性的资源定位效率,满足面向Internet的P2P系统的要求.模拟测试结果表明,该方法在一致性维护开销、资源定位开销与资源访问开销以及鲁棒性方面均具有较好的性能.     

基于MapReduce框架的海量数据相似性连接研究进展

海量数据相似性连接作为海量数据处理的基本操作,在文本聚类、剽窃检测、实体解析等研究领域具有重要作用.另一方面,MapReduce编程模型因为具有良好的可扩放性、容错性和易用性,被广泛地应用于海量数据处理.因此,基于MapReduce框架的海量数据相似性连接查询技术成为海量数据处理领域的热点问题之一.首先,概括了海量数据固有特点和MapReduce编程框架的缺陷给现有相似性连接查询技术带来的巨大挑战;其次,提出了海量数据相似性连接的定义,按3种不同的分类标准对其进行了分类;接着,重点分析了集合、字符串和向量数据类型的海量相似性连接查询最新技术,并从效率和适用范围等方面分别对这些技术进行了比较;最后,讨论了海量数据相似性连接查询技术亟待解决的关键问题,并提出了一些有前景的解决方案.     

面向权威DNS的数据一致性保障机制

作为分布式系统,权威DNS服务采用多副本数据存储和多节点服务模式,对解析数据的一致性提出了要求,拜占庭容错问题成为权威DNS的关键问题。针对权威系统特征,提出一种DNS数据一致性保障机制。借鉴PBFT算法,基于自行设计的数据一致性校验和,在节点数据同步过程实施数据协商方案,排除拜占庭节点的影响,保障解析节点获得一致的可信数据。解析数据一致性分析结果表明,保障机制在不可信环境下能有效降低解析数据不一致概率,增强了权威DNS解析服务的可靠性。     

Update propagation strategies to improve freshness in lazy master replicated databases

Many distributed database applications need to replicate data to improve data availability and query response time. The two-phase commit protocol guarantees mutual consistency of replicated data but does not provide good performance. Lazy replication has been used as an alternative solution in several types of applications such as on-line financial transactions and telecommunication systems. In this case, mutual consistency is relaxed and the concept of freshness is used to measure the deviation between replica copies. In this paper, we propose two update propagation strategies that improve freshness. Both of them use immediate propagation: updates to a primary copy are propagated towards a slave node as soon as they are detected at the master node without waiting for the commitment of the update transaction. Our performance study shows that our strategies can improve data freshness by up to five times compared with the deferred approach. Received April 24, 1998 / Revised June 7, 1999     

一种基于日志的异步远程镜像协议的设计

远程镜像是一种有效的数据容灾技术。本文设计了一种基于日志的异步远程镜像协议，通过写请求分批传播的机制，减少了通信链路传输的数据量。同时给出了一种批请求的原子提交机制，从而避免了写顺序不一致引起的主存储系统与从存储系统之间数据视图不一致。该协议在保证对应用的写请求具有较好响应速度的时候，也能够很好地保持镜像系统的数据一致性。