分布式账本技术的发展历程研究综述

物联网、人工智能、大数据等众多领域缺乏量身定制的安全隐私技术保障,基于分布式账本技术(DLT)的系统作为一种分散的数据管理方法可以很好地满足其安全需求,因此基于分布式账本技术的系统层出不穷。为了帮助后续的研究者更全面快速地了解分布式账本技术,梳理了近年来基于分布式账本的研究成果,分别从数据结构、技术原理、共识机制和性能等多个角度对区块链进行深入分析,并且基于当前研究现状详细比较分析了分布式账本技术的一些最新进展,如哈希图(Hashgraph)、全链(Holochain)和初链(Truechain)等。最后总结了该领域未来的发展前景。     

基于市场证明共识的分布式账本协议: Achain

区块链技术给加密货币带来了新的变化, 并得到了广泛的应用. 然而, 它仍面临着高吞吐量、低交易延迟、安全性和去中心化的需求和目标. 此外, 消费节点(交易提供者)的意愿难以映射到leader中, 区块开采者热衷于挖矿竞赛也导致中心化和能耗的加剧. 为此, 提出了一种不同于传统PoW (proof-of-work)共识的新型共识算法——PoM (proof-of-market), 及其第一个实施案例——Achain协议. PoM的算法设计使得消费节点进行PoW工作, 并投票选出leader节点. 这不仅离散化了挖矿的工作, 提升了去中心化, 降低了能耗, 还体现了消费节点的意愿, 只有受到最多支持的节点才能成为leader. 在性能上, 相较于PoW型区块链, Achain还提升了可扩展性, 此外, 还提供了一种Achain节点存储优化方案——FastAchain; 在安全性方面, Achain辅以一套激励相容的奖惩机制使得恶意节点的收益期望为负, 这保护了诚实节点的利益, 且Achain可以容忍至多1/3的全网总算力被恶意节点控制. 为了验证Achain的性能表现, 实施了一个大规模网络下的Achain原型用来评估其相关性能, 结果表明Achain达到了预期, 优于一些主流的代表性区块链协议, 且保持了良好的链收敛性和去中心化.     

基于DAG的分布式账本共识机制研究

自2008年比特币出现以来,研究学者相继提出了多种分布式账本技术,其中,区块链是当前分布式账本最主要的实现形式之一.但当前区块链中存在一个核心问题:可扩展性瓶颈.具体而言,区块链的吞吐量严重不足,且其交易确认也较为缓慢,这些因素极大地限制了它的实际应用.在此背景下,基于DAG(有向无环图)的分布式账本因其具有高并发特性,有望突破传统区块链中的性能瓶颈,从而受到了学术界和产业界越来越多的关注和研究.在基于DAG的分布式账本中,最为核心和关键的技术是其共识机制,为此,对该关键技术进行了系统深入的研究.首次从共识形态出发将现有基于DAG的分布式账本分为以下3类:基于主干链的DAG账本;基于平行链的DAG账本;基于朴素DAG的账本.在此基础上,对不同类型的共识机制本质原理及特性进行了深入阐述,并从不同层面对它们进行了详细的对比分析.最后,指出基于DAG的共识机制研究中存在的问题与挑战,并给出进一步的研究方向.     

重构图视角下超级账本在物联网的应用研究综述

在部署基于区块链的物联网应用中,出现了缺少细粒度隐私保护、事务处理效率低、高延迟、灵活性和动态性不足等方面的技术阻碍。为进一步推进区块链技术在物联网的普及和应用落地,致力于企业级标准的区块链技术的超级账本引起了研究界的广泛关注。然而在当前的研究中,缺少针对基于超级账本的物联网的客观综述。旨在以独特的视角回顾超级账本在物联网领域的研究。为展示更直观的差异和提供技术融合流程,提出了重构图的分析方法。重构是将文献中核心设计和原架构图融合,重新构造可以展示文献核心思想图的过程。这种方法旨在将文献的核心思想可视化。最后,从低功耗共识算法、智能交易验证、链上链下混合存储和自定义激励机制四个方向对超级账本在物联网的未来研究进行展望和总结。     

区块链分片技术综述

区块链作为分布式账本的关键技术之一,其去中心化、可匿名、不可篡改的特性受到学术界和工业界的青睐,被广泛应用于金融、数字货币、公共服务等领域。分片技术作为区块链扩容的主流方式之一,能够在不降低区块链去中心化程度的同时实现高性能的链上扩容,从而解决区块链可拓展性不足以及吞吐量较低的问题。介绍近年来出现的分片技术以及相关协议,总结分片技术的关键理论与方法,从分片配置、重配置、片内共识协议、跨片共识协议、状态存储等方面对分片技术方案进行对比,归纳不同分片方案在网络分片、交易分片、状态分片等设计中存在的优势和不足。同时,阐述一些经典分片技术在性能和实现方式上的特点,对许可区块链和无许可区块链、片内共识协议、跨片共识协议、准入性方案、状态分片方式等进行分析和概述。在此基础上,从分片内、分片间以及系统层级的角度总结分片技术当前所面临的困境和挑战,并对该领域的发展前景及未来研究方向加以展望。     

Ceph分布式存储系统性能优化技术研究综述

Ceph是一个统一的分布式存储系统,可同时提供块、文件和对象3种接口的存储服务。与传统的分布式存储系统不同,它采用了无中心节点的元数据管理方式,因此具有良好的扩展性和线性增长的性能。经过十余年的发展,Ceph已被广泛地应用于云计算和大数据存储系统。作为云计算的底层平台,Ceph除了提供虚拟机的存储服务外,还可以直接提供对象存储服务和NAS文件服务。Ceph支撑着云计算系统中多种操作系统和应用的存储需求,它的性能对其上的虚拟机和应用有较大的影响,因此Ceph存储系统的性能优化一直是学术界和工业界的研究热点。文中首先介绍了Ceph的架构和特性;然后针对现有的性能优化技术,从对内部机制进行改进、面向新型硬件和基于应用的优化这3个方面进行了归纳和总结,综述了近年来Ceph存储和优化的相关研究;最后对该领域未来的工作进行了展望,以期为分布式存储系统性能优化的研究者提供有价值的参考。     

一种基于纠删码的区块链账本分组存储优化方法

传统区块链系统采用全副本冗余的存储方式,每个节点存储相同的账本,使得区块链的存储负担非常大。目前,相关的区块链存储优化方法能够降低数据存储开销,但仍存在可扩展性差和可用性低的问题。为此,提出了一种基于纠删码的区块链账本分组存储优化方法。该方法引入一种新的区块链节点——分组存储(Grouping Storage, GS)节点,来解决上述问题。区块链账本的主要存储开销位于区块文件中,GS节点采用纠删码对区块文件编码,并以组为单位存储编码后的区块文件,如此,每个组织维持相同的账本,极大地降低了区块链的存储开销且提高了区块链的可用性。针对联盟链的存储扩展,基于GS节点对超级账本文件系统进行改进,重新设计了其存储、恢复和同步区块文件流程,使得本方案能够在实际的区块链架构上工作。最后,理论分析和实验结果表明,所提出的GS节点在存储开销方面取得了显著的进步,且具有较好的可扩展性和可用性。     

基于超级账本的集群联邦优化模型

联邦学习作为分布式机器学习框架,在数据不离开本地的情况下,通过共享模型参数达到协作训练的目标,一定程度上解决了隐私保护问题,但其存在中心参数服务器无法应对单点故障、潜在恶意客户端梯度攻击、客户端数据偏态分布导致训练性能低下等问题。将去中心化的区块链技术与联邦学习相结合,提出基于超级账本的集群联邦优化模型。以超级账本作为分布式训练的架构基础,客户端初始化后在本地训练向超级账本传输模型参数及分布信息,通过聚类优化联邦学习模型在客户端数据非独立同分布下的训练表现。在此基础上,随机选举客户端成为领导者,由领导者代替中央服务器的功能,领导者根据分布相似度和余弦相似度聚类并下载模型参数聚合,最后客户端获取聚合模型继续迭代训练。以EMNIST数据集为例,数据非独立同分布情况下该模型平均准确率为79.26%,较FedAvg提高17.26%,在保证准确率的前提下,较集群联邦学习训练至收敛的通信轮次减少36.3%。     

基于并发策略的分布式文件系统性能优化方案

分布式文件系统是构建分布式存储系统的核心底层子系统,它的性能影响着整个分布式存储系统的性能。针对Hadoop分布式文件系统性能的不足,提出基于并发策略的性能优化方案,改进其写操作性能。实验表明该方案能有效的提高写的性能,提高系统的执行效率。     

区块链关键技术的研究进展

区块链是一种将时序数据以链式结构组合而成、以密码学机制保证交易数据不可篡改的分布式账本,是一种新型分布式计算模式与去中心化基础构架。区块链技术具有去中心化、建立信任关系、集体维护、交易公平和透明、不可篡改、可溯源等特征,已成为工业界和学术界的研究热点。介绍了区块链的组成元素,详细阐述了区块链的基本原理、智能合约、共识机制等关键技术,结合金融、物联网、供应链、医疗系统应用场景,讨论了其利用区块链技术的优化方向。总结了区块链技术在安全、效率、隐私保护等方面存在的不足,给出了相应的应对措施。提出了改进共识机制、匿名性和系统吞吐量的有效方法,为区块链技术的进一步发展和完善提供有益的借鉴和指导。     

Spark性能优化技术研究综述

近年来,随着大数据时代的到来,大数据处理平台发展迅速,产生了诸如Hadoop,Spark,Storm等优秀的大数据处理平台,其中Spark最为突出。随着Spark在国内外的广泛应用,其许多性能问题尚待解决。由于Spark底层 的执行机制极为复杂,用户很难找到其性能瓶颈,更不要说进一步的优化。针对以上问题, 从开发原则优化、内存优化、配置参数优化、调度优化、Shuffle过程优化5个方面对 目前国内外的Spark优化技术进行总结和分析。最后,总结了目前Spark优化技术新的核心问题,并提出了未来的主要研究方向。     

实时分布式系统性能测试技术研究

实时分布式系统的性能是关注核心,对其进行评估和测试关系着系统的应用前景。基于实时分布式系统的性能测试需求,对系统关键的处理性能、存储性能、传输性能以及实时恢复性能这四种性能测试方法进行了研究和探讨,同时分别利用实时分布式系统中e600架构的处理器、flash存储器、FC网络以及分区调度策略针对这些方法开展了测试,并对获得的测试结果进行了分析。分析结果表明,性能测试结果可信,方法可行,可作为实时分布式系统评测依据。     

分布式数据库系统的查询优化技术研究

数据库数据量日益增多,造成了用户在使用数据库系统查询时费时费力,传统的查询优化方式已无法满足如今的数据查询要求,提高数据库系统优化的效率也成为计算机研究工作的热点。提出基于半连接算法的分布式查询处理技术对数据库系统进行查询优化,提出半连接操作的查询优化算法(SDD-1),并采用实验分析的方法进行验证,计算查询算法的代价。结果表明,基于半连接的研究策略的分布式数据库查询优化可以显著降低传输代价,使查询总效率得到有效提高。     

可扩展机器学习的并行与分布式优化算法综述

机器学习问题通常会转换成一个目标函数去求解,优化算法是求解目标函数中参数的重要工具.在大数据环境下,需要设计并行与分布式的优化算法,通过多核计算和分布式计算技术来加速训练过程.近年来,该领域涌现了大量研究工作,部分算法也在各机器学习平台得到广泛应用.本文针对梯度下降算法、二阶优化算法、邻近梯度算法、坐标下降算法、交替方向乘子算法五类最常见的优化方法展开研究,每一类算法分别从单机并行和分布式并行来分析相关研究成果,并从模型特性、输入数据特性、算法评价、并行计算模型等角度对每个算法进行详细对比.随后对有代表性的可扩展机器学习平台中优化算法的实现和应用情况进行对比分析.同时对本文中介绍的所有优化算法进行多层次分类,方便用户根据目标函数类型选择合适的优化算法,也可以通过该多层次分类图交叉探索如何将优化算法应用到新的目标函数类型.最后分析了现有优化算法存在的问题,提出可能的解决思路,并对未来研究方向进行展望.