去中心化的分布式存储模型

分布式数据存储过程中的元数据保存在中心节点上,容易造成单点故障和易被恶意修改,安全性较差。虽然,通过引入备份节点可以一定程度上避免该问题,但节点之间的同步和切换效率较低。同时,存储元数据的节点可以达成共识修改元数据,缺乏可信性。针对传统分布式存储中存在的问题,结合区块链的特点,提出一种去中心化的分布式存储模型DMB（Decentralized Metadata Blockchain）,通过将元数据保存在区块中、冗余存储区块链、协作验证来保证元数据的完整性。模型分为两个阶段,即元数据存储阶段和元数据验证阶段。在元数据存储阶段,将用户的签名和副本位置数据发送给若干验证节点,生成元数据区块并写入元数据区块链中。在元数据验证阶段,验证节点首先检查本地元数据区块链的状态和全局状态是否相同,如果不相同则进行状态同步。然后,检索本地元数据区块链来验证元数据完整性。理论与实验结果表明,DMB模型可以保证元数据的可追溯性和完整性,有较好的并发处理能力,对数据存储的效率影响较小。     

面向去中心化存储的数据流行度去重模型

数据流行度去重方案中存在检测机构不诚实、数据存储不可靠等问题,提出一种面向去中心化存储的数据流行度去重模型。针对检测机构不诚实,模型结合区块链的不可篡改性与智能合约的不可抵赖性,将智能合约作为检测机构执行数据的重复性检测和流行度检测,保障了检测结果的真实性。针对数据存储不可靠问题,提出一种文件链存储结构,该结构满足数据流行度去重的要求,并通过添加辅助信息的方式,建立分布在不同存储节点中实现物理/逻辑上传的分片之间的逻辑关系,为流行度数据去中心化网络存储提供基础;同时,在数据块信息中添加备份标识,借助备份标识将存储网络划分为两个虚拟存储空间,分别实现数据和备份数据的检测与存储,满足了用户备份需求。安全性分析和性能分析表明,该方案具有可行性,保障了检测结果的真实性,并提高了数据存储的可靠性。     

异构去中心化存储中的LRC-RS混合编码

为解决去中心化存储中应用相同参数的低码率RS(Reed-Solomon codes)码导致的修复带宽较高和稳定节点资源浪费的问题,提出LRC-RS混合编码的编码策略.通过将节点按可信度分类,让高可信节点使用LRC编码,低可信节点使用低码率的RS编码,降低修复带宽和减少稳定节点存储开销.理论联系实验结果表明,在同等的冗余...     

基于一致性哈希算法的云存储服务器容错性研究

HDFS架构下的云环境服务器拥有成本低、易扩展、传输效率高等诸多优点,但节点选择策略易造成存储负载不均,从而影响系统性能,针对这一问题,结合一致性哈希算法,综合多个因素,提出了一种服务器改进方案,用以缓解中小企业服务器端压力。     

去中心化的安全分布式存储系统

提出一种去中心化的安全分布式存储系统。通过公钥加密和单钥加密相结合的方法,提高存储数据的保密性。对每个数据源使用不同的对称密钥进行分布式加密,采用分布式纠删码对加密后的数据进行编码。使用RS多项式编码和List Decoding译码方法存储加密的对称密钥,以保证系统的鲁棒性。分析结果表明,该方案的计算复杂度较低。     

基于区块链构建安全去中心化的联邦学习方案

联邦学习甫一问世便得到了广泛的关注,被认为是一种具有广阔前景的分布式机器学习范式.然而,传统联邦学习方案基于中央服务器的集中式设计,在效率和可扩展性上存在不足.此外,集中式设计需要有可信的中央节点协调参与者完成训练,可能导致信任和可靠性的问题,例如中央服务器被操控或是出现单点故障.为了解决上述问题,相关领域的研究人员提出了基于区块链的去中心化联邦学习方案.去中心化联邦学习修补了传统集中式联邦学习的缺陷,但与此同时也引入了全新的攻击面.具体而言,由于区块链将网络中节点发起的全部事务保存在一个公开共享的数字账本,所有区块链节点都可以获取联邦学习参与者每轮的本地训练模型副本.这一现象严重地侵害了参与者的数据隐私和自身利益.在上述困境的驱动下,本文提出了一种安全去中心化联邦学习的可行方案,能够同时解决联邦学习参与者的数据机密性问题和学习公平性问题.区别于此前的研究工作,还提出了一种基于区块链的联邦学习的生产–消费模型,用于在模型安全聚合过程中审查参与者的本地行为,防止出现参与者不劳而获或是虚假训练的情况,在此基础上本文提出APoS共识机制,提供一种激励与审查机制,确保参与者在联邦学习的过程中倾...     

改进的高效云存储数据去重方案

针对Chen等人提出的云存储数据去重方案BL-MLE的计算开销过大的问题,对其方案进行了改进,提出了一种更高效的数据去重方案。首先对BL-MLE方案进行了分析,指出其在计算效率等方面的不足;随后通过使用hash函数和标签决策树对BL-MLE的块标签生成过程以及块标签比较过程进行改进;最后,实验仿真了改进的方案。结果表明,改进后的方案在块标签比较所需次数更少,且块标签生成上时间开销更低,能更好地适应当前的云存储环境。     

基于动态累加器的去中心化加密搜索方案

近年来区块链技术取得广泛关注,涌现出众多基于区块链技术的新型应用,其中以 StorJ、Filecoin为代表的去中心化存储应用取得了较好的市场反响。对比传统中心化存储,去中心化存储为用户提供了全新的数据存储思路,令用户在获得更好的服务伸缩性的同时,有效降低数据存储的成本。但在现有的去中心化存储方案中,用户的隐私不能得到有效保护。基于此,介绍了一种利用加密搜索技术对去中心化存储方案进行加强的方法。新方法将动态累加器算法引入加密搜索过程中,保障用户存储内容隐私并提供了更好的加密搜索性能。     

边缘网络中去中心化的内容扩散系统设计

网络边缘的终端设备构建的边缘覆盖网络是距离用户最近的网络。作为骨干网络的补充,边缘网络中的终端设备有高度的自治性,并且拥有大量空闲的资源。如何利用边缘网络的特性来缓解骨干网络在用户请求高峰期的负载压力具有重要的研究意义。为边缘网络设计一种去中心化的内容扩散系统,通过边缘设备之间的通信将热门内容的副本自适应地扩散到每个边缘设备的邻域内。通过仿真实验可知,去中心化的扩散算法可以实现快速的内容扩散。同时,边缘设备在扩散过程中会均衡邻居设备间的存储负载。内容扩散系统极大地改善了边缘网络中的用户访问效率。针对已完成扩散的内容的请求,用户以约98.1%的概率直接在边缘网络中的一跳邻域内获取高效的内容服务。     

一种云存储服务客户端增量同步算法

随着云计算技术的飞速发展,越来越多的用户选择使用云存储服务来保存个人文件。云存储共享与协作技术允许用户之间共享云端文件,支持其他用户通过各种智能终端上的客户端对文件进行读写操作。云存储共享与协作技术带来了文件历史版本大规模共享场景的需求,这对云存储系统的并发I/O性能是极大的考验。针对云存储服务共享场景的特点,挖掘文件历史版本之间的关系,采用基于增量传输的优化技术来提升云存储系统的传输性能。在此基础上,优化算法中强弱校验过程的内存占用和磁盘读写,利用文件历史版本数据优化同步流程,有效的减少数据传输量,并且提高系统的存储性能,适用于带宽有限和网络不稳定和大规模共享同步等极端场景。     

面向SoC任务分配的应用程序存储分析方法

存储设计是影响SoC系统性能和功耗的重要因素,分析、估计应用程序的存储需求量有助于SoC设计与优化。本文着重研究面向SoC任务分配时的应用程序存储需求量分析方法。首先介绍了面向任务分配的应用程序存储分析框架,然后较具体地论述了所提出的面向SoC任务分配的多粒度应用程序存储分析方法的原理和算法,最后通过一个应用实例论证了方法的有效性。     

基于区块链的去中心化电力交易与访问控制系统

随着信息化的大力发展及广泛应用,传统中心化电力交易与数据存储方式的缺点逐渐显现出来。基于去中心化的区块链技术,提出分布式电力交易方法。此外,为了实现电力数据的安全存储与访问控制,设计了一个多中心属性加密方案,各联盟节点分别管理不同属性,同时联合对用户进行密钥生成及授权,从而达到去中心环境下的电力数据细粒度访问控制机制。     

Ceph云存储中基于强化学习的QoS优化

针对Ceph云存储的数据分布算法CRUSH存在数据在各存储节点上分布不均衡而影响读写QoS性能问题,提出一种基于强化学习的数据分布方法.从算法本身的数据分布过程分析得出PG在OSD间分布不够均衡是造成数据分布不均的原因;在此基础上建立强化学习模型,训练调整PG在分布过程中的OSD权重,使PG更加均衡分布到各个OSD节点...     

基于Bloom Filter的混合云存储安全去重方案

针对现有云存储系统中数据去重采用的收敛加密算法容易遭到暴力破解以及猜测攻击等不足,提出一种基于布隆过滤器的混合云存储安全去重方案BFHDedup,改进现有混合云存储系统模型,私有云部署密钥服务器Key Server支持布隆过滤器认证用户的权限身份,实现了用户的细粒度访问控制。同时使用双层加密机制,在传统收敛加密算法基础上增加额外的加密算法并且将文件级别去重和块级别去重相结合实现细粒度去重。此外,BFHDedup采用密钥加密链机制应对去重带来的密钥管理难题。安全性分析及仿真实验结果表明,该方案在可容忍的时间开销代价下实现了较高的数据机密性,有效抵抗暴力破解以及猜测攻击,提高了去重比率并且减少了存储空间。     

变异系数来度量区块链网络去中心化程度

区块链网络的最主要优点是去中心化,但大多数关于这个问题的研究缺乏量化,而且都没有针对区块链在实践中的去中心化程度进行度量.提出了一种基于统计学中变异系数来量化区块链网络去中心化程度的方法.利用变异系数,计算了出块数量和地址余额的数据离散程度,从而来量化区块链网络(以比特币和以太坊为例)的去中心化程度.计算结果表明,基于...     

基于动态bloom filter的云存储安全去重方案

现有的所有权证明去重方案容易遭受诚实但好奇服务器的威胁影响,借助可信第三方解决该问题将导致开销过大。基于动态bloom filter提出一种改进的、无须可信第三方的所有权证明安全去重方案,采用收敛加密算法抵抗诚实但好奇的服务器,并通过服务器检查数据块密文和标签的一致性来防止数据污染攻击。此外,采用密钥链机制对收敛密钥进行管理,解决了现有方案中收敛密钥占用过多存储空间的问题。分析与比较表明,该方案具有较小的密钥存储开销和传输开销。     

基于Merkle哈希树的云存储加密数据去重复研究

收敛加密可以有效地解决数据加密和去重的矛盾,实现安全去重复,但是收敛加密仍然面临许多安全问题。针对传统的收敛加密容易遭受字典攻击的问题,提出基于Merkle哈希树的收敛加密方案实现数据去重复,通过执行额外的加密操作,加强数据的机密性,有效地避免字典攻击。为了克服传统的收敛加密方案的收敛密钥随着用户数量线性增长的问题,设计收敛密钥共享机制,进一步节省了收敛密钥的存储空间。     

Linux群集任务分配算法的探讨

在介绍群集技术和Linux Virtual Server群集的基础上，详细分析了LVS群集目前实现的4种任务分配算法及其不足之处，并给出改进的任务分配算法，最后通过测试实例对改进算法进行了验证。     

一种去中心化的域名服务本地化模型

域名系统(Domain Name System,DNS)作为管理网络空间资源名称与IP对应关系的网络基础设施,在提供广泛的域名解析服务的同时,也存在性能和安全隐患。针对传统DNS系统的中心化树状层次结构引起的对根域名服务器的严重依赖以及可能导致的系统脆弱性,设计了一种去中心化的域名服务本地模型,通过在去中心化互联模型中整合多源数据,重构域名信息解析优先级记录和相应存活时间,以保证域名数据的唯一性及高优先级;同时基于本地数据记录重构模型实现域名解析的快速响应,形成本地DNS数据记录重构模型和域名解析服务模型,实现快速、准确、可靠的域名解析服务。     

基于动态副本技术的云存储负载均衡研究

以系统总响应时间最小化为目标,以文件热度为依据,提出了一种多时间窗负载均衡策略。在计算文件热度时,不仅考虑了访问的次数和大小,还将I/O访问时序引入到文件热度统计中,该方法能有效控制短时间突发性数据访问导致的不必要副本创建。在多时间窗负载均衡策略中,设置了三种不同大小的时间窗口,分别实现了存储节点负载均衡、文件副本的负载均衡以及低热度文件多余副本的删除工作。实验数据表明,多时间窗负载均衡策略能显著降低I/O访问响应时间。