面向边缘计算应用的拜占庭式容错分布式一致性算法

为解决边缘计算中边缘节点易于被攻击或俘获产生拜占庭错误,从而破坏边缘计算应用可用性的问题,设计一种面向边缘计算应用的拜占庭容错分布式一致性算法Edge-Raft。该算法在现有的经典Raft算法基础上,针对边缘环境中潜在的拜占庭错误进行重新设计,通过引入数字签名、同步日志检测、轮询选举、惰性投票、三阶段日志同步等机制,使其具有拜占庭容错特性的同时,将消息传递的复杂度限制至线性级,保证小于1/3的集群总数的边缘节点发生拜占庭错误时仍能为用户提供有效服务。基于不同节点规模的实验结果表明,与现有Raft算法相比,该算法在保留Raft算法可理解性的基础上,保证算法在边缘环境中的可用性与活性。相比于现有的实用拜占庭容错算法,所提算法将消息传递的时间复杂度限定在线性级,保证该算法在多节点边缘环境中的可拓展性。     

分布式系统数据一致性处理的研究

1 引言分布式系统中的数据是一组结构化数据的集合,这些数据在逻辑上属于同一系统,在物理上分布在计算机网络不同的节点上.换句话说,在物理节点上的这一组数据是以数据库为单位的。在这里所讨论的数据包括已结构化的多媒体数据,数据库指的是多媒体数据库。多媒体数据指的是除了包括普通数据之外,还包括声音、图像等其他形式的数据。声音、图像等多媒     

面向海量数据的数据一致性研究

复制是实现海量数据管理的关键技术之一,多副本之间的数据一致性维护是提高分布式系统的容错能力与性能的重要保证。强一致性确保并发的修改操作不会发生冲突,但是限制了系统的可用性、连通性以及副本数量;弱一致性确保副本的最终一致,提高了系统的容错能力。本文从已有的一致性维护方法出发,结合海量数据的特点,对一致性维护过程中所涉及的更新发布、更新传播方式、更新传播内容以及更新冲突解决等几个方面进行了分析,提出了相应的解决方法。     

面向AI模型训练的DNS窃密数据自动生成

近年来,借助DNS协议良好的隐蔽性和穿透性实施数据窃取已成为诸多APT组织青睐的TTPs,在网络边界监测DNS流量进而精准发现潜在攻击行为已成为企事业单位急需建立的网络防御能力。然而,基于DNS的APT攻击所涉及的恶意样本存在难获取、数量少、活性很低等现实问题,且主流的数据增强技术不适合移植到网络攻防这个语义敏感领域,这些问题制约了AI检测模型训练。为此,本文基于DNS窃密攻击机理分析,并结合了大量真实APT案例和DNS工具,提出了一种基于攻击TTPs的DNS窃密流量数据自动生成及应用方法,设计并实现了DNS窃密流量数据自动生成系统—MalDNS,以生成大规模、高逼真度、完备度可调的DNS窃密数据集。最后,通过实验验证了生成流量数据的有效性,以及对检测模型训练的有效支撑。     

论运营商增值业务数据一致性保障机制

分析运营商增值业务数据不一致的原因,针对每个原因制定对应的保障机制。同时从人和技术手段两方面对增值业务数据一致性进行保障,将管理办法、流程机制和技术手段有机结合,构建常态化的数据一致性保障机制。建立数据一致性管理平台,由系统对数据一致性进行自动比对和修复,同时自动比对要设置自动修复的差异阀值,达到一定差异需人工核对后再进行处理。实践表明:管理机制和技术机制相结合的保障机制,能将增值业务数据一致率由88.11%提高到99.96%,差异存续时间由5天降到一天以内。     

分布式系统中异地数据库的数据一致性维护

大型分布式系统通常需要在异地的数据库中存储同一数据的不同副本,不同副本之间需要维护数据的一致性。文章讨论了维护数据一致性的两种方法:消息队列法和复制控制法,并分别介绍了使用IBMMQSeries消息队列和MicrosoftSQLServer复制机制来维护数据一致的实现过程,对比分析了二者在实际应用中各自的特点,以及在理论上的技术差异。     

结构化P2P系统中副本一致性管理的一种新算法

结构化P2P系统通常使用数据复制来提高数据可用性,但P2P环境中的节点搅动、多节点并发更新以及恶意节点的存在也为副本的一致性管理带来了新的挑战.基于协商的算法要求节点间以全交换的方式通讯,在P2P环境中其可伸缩性不够理想.本文针对结构化P2P系统提出一种基于Quorum的副本管理算法:使用混合失效模型降低容错开销,利用DHT服务处理节点搅动,将数据存储与其元信息管理分离,使数据可靠性和数据可用性得以独立调整.模拟实验表明该算法可以明显改善系统的可伸缩性,减少系统的容错开销.     

分布式系统一致性研究与案例分析

数据一致性是分布式系统研究领域的经典问题,大数据时代数据来源和业务需求的多样性及复杂性又为一致性研究带来了诸多新的挑战,同时也推动着这方面研究不断前进。目前关于分布式系统一致性的综述文章大多集中于介绍各种一致性模型的概念、定义,忽视了对模型在实际应用中的分析。论文在阐述现有一致性模型的基础上,结合实际系统进行案例分析,总结不同模型的适用范围;同时针对目前大数据技术的发展趋势,归纳一致性问题未来研究的发展方向,为读者进行一致性方面的研究提供一定的借鉴意义。     

一种基于数据状态同步的一致性策略研究

在传统的分布式系统中,修改数据后,通过数据同步复制的方式可以使多个节点保持数据的访问一致性,同时对主节点加锁,可以保证数据的写入一致性.但数据同步的方式会造成达到访问一致性的时间长、数据写入性能低.本文提出了一种基于数据状态同步的一致性策略,能够加快同步时间,提升写入性能.通过结合Zookeeper分布式协调服务设计了...     

数据复制与一致性

数据复制是分布式数据库和数据仓库中常用的方法,以提高数据的可用性和系统的性能。文中介绍了在数据库系统中广泛使用的数据复制方法,分析了其优缺点和适用的范围,重点讨论了异步复制方法中的一致性恢复、一致性偏离的度量和数据存取的限制等问题,给出了数据复制策略的评价目标。     

一种基于关键属性的优化数据一致性维护方法

针对关键属性更新的易描述、更新项较小和弱相关性三个特点。提出一种基于关键属性的优化数据一致性维护方法.在该方法中,首先分离出用户提交的更新请求中关于关键属性的更新;然后采用基于延迟.覆盖的更新传播模型进行更新传播,即基于副本间的网络延迟选择具有最大和最小网络延迟的结点转发更新,并在传播过程中记录和综合考虑更新的确定传播和不确定传播两条路径;在对关键更新冲突分类的基础上,采用更新缓冲区和更新日志两层更新协商机制并结合最新写胜出和分而治之规则,优化关键更新冲突的发现和解决:更新日志信息是方法中各种策略开展的基础,讨论了更新日志中信息管理方法以及结点失效和网络划分发生时信息的维护方法.关键属性更新的优化处理使得不会产生因为关键属性更新的延迟而降低系统基于关键属性的资源定位效率,满足面向Internet的P2P系统的要求.模拟测试结果表明,该方法在一致性维护开销、资源定位开销与资源访问开销以及鲁棒性方面均具有较好的性能.     

基于区块链的司法数据管理及电子证据存储机制

文章针对司法场景下的事务数据分类、实体类型及电子证据在实际应用中的存储与共享访问等需求,结合区块链技术,提出一种面向司法审判场景的电子数据安全存储链式结构。该结构分为司法联盟链JudChain和证据存储链EviChain两部分,实现对司法流程数据和电子证据的高效管理和安全存储,且具有完整的节点认证及区块生成流程。此外,文章还提出了应用于JudChain的共识协议,该协议对传统PBFT算法进行改进,降低了共识开销和交易时延,提升了共识效率和吞吐量。     

一种基于数据相关性的优化数据一致性维护方法

针对数据一致性中的数据相关性问题,提出一种优化的数据一致性维护方法.在该方法中,数据对象按固定大小分块,并以数据块作为数据管理的基本单位;数据更新利用Bloom filter技术压缩表示,并进行双路径传播;发起方和协商方在一致性维护过程中,分别调用各自的协商算法检测和解决更新冲突;动态数据管理算法调节数据更新过程中的动态数据块变化,对数据块进行合并或分解.模拟测试结果表明,在选取适当范围内的分块大小时,该方法在一致性维护开销、动态性和鲁棒性方面均具有较好的性能.文中给出了选定适当分块大小的指导性方法.     

一种基于HashGraph的NoSQL型分布式存储因果一致性模型

分布式环境中的数据因果一致性指的是对具有因果依赖性的数据进行更新时,须同步更新其他分布式副本中的依赖性元数据,同时满足较高的可用性和性能需求.为解决现有成果中更新可见延迟较高的问题,在数据中心稳定向量的基础上,结合混合逻辑时钟和HashGraph原理,提出了Causal-Pdh模型.使用部分向量和校验值作为消息签名代替了所有向量,并且借鉴HashGraph的原理,改进了各个数据中心同步最新条目的过程,各个父节点随机与其他父节点同步最新状态,从而降低了虚拟投票所使用的时间.最后通过实验验证了Causal-Pdh模型不仅没有影响客户端的吞吐量,而且在时钟偏移较严重时降低了20.85%的用户PUT等待延迟,在系统中存在查询放大的情况时,PUT响应时间降低了23.27%.     

基于离线数据载体的分布数据一致性研究

针对离线数据栽体应用的特点，文章提出了“有序双场地分布事务”的概念和“有序双场地两阶段提交”协议，并给出了相关的正确性证明和阻塞性分析，从理论上彻底地解决了基于离线数据载体的分布数据一致性问题．本文结论经过了实验和实践检验。     

基于堆叠式分布式文件系统的端到端校验

端到端校验是一种有效的数据完整性检测手段,可为分布式存储系统提供基本的可靠性保证。Glusterfs 是一种常用的堆叠式分布式文件系统,但缺乏有效的数据完整性检测机制,存在用户数据遭受破坏而无法被发现的风险,即返回错误数据给用户。这种风险在某些情况还会扩散,造成多副本或灾备、双活情况下的数据丢失。针对这一问题,该文提出了一种高性价比的基于 Glusterfs 的端到端校验方案(命名为 Glusterfs-E2E),可以有效解决 Glusterfs 文件系统中存在的数据完整性风险。该方案不但可以提供全路径的保护,具备 2%～8% 的高性能开销,而且还可以提供软件故障的定位功能。