分布式存储系统读写一致性算法性能优化研究综述

读写一致性算法被广泛部署到分布式存储系统,以保证读写数据的正确性。然而,读写一致性算法通常需要使用一个复杂的通信协议来保证多个节点读写数据的正确性,会带来较大网络传输开销和读写时延。由于各种读写一致性算法实现机制存在较大差异,特定的读写一致性算法往往需要部署到特定的存储应用场景,才能高效地执行数据读写操作,保障对其上应用的服务质量。因此,实际的存储系统开发过程中,开发人员往往需要根据存储应用场景选择读写一致性算法,从而减少数据读写操作带来的系统开销。为了明确各种读写一致性算法适合的应用场景,介绍了分布式存储系统中存在的读写一致性问题,并综述了当前读写一致性算法的实现机制。总结了在副本和纠删码2种存储机制下主流的读写一致性算法,比较了这些读写一致性算法在实现机制、网络开销和数据存储开销等方面的特性。在此基础上,结合了单数据中心分布式存储系统和跨数据中心云际存储系统2种经典的应用场景,总结了开发人员在实际存储系统中部署读写一致性算法过程中需要注意的要点,分析了亟需解决的问题和提升数据读写操作性能的可能途径,展望了读写一致性算法未来的发展方向。     

基于光盘库的云存储系统架构设计

云存储的高效、可扩展性、廉价等优点成为存储服务的发展趋势,但是其存储节点的不确定性以及网络传输,使得其安全性受到质疑。本文将纠删码技术和光盘库引入到云存储中,实现存储数据在系统中的安全存储管理和传输,为提高云存储系统安全性提供一个解决方案。     

一种支持数据去冗和扩容的多媒体文件云存储系统实现

随着互联网的发展,存储多媒体文件的场景日益增多,云存储系统成为了业界焦点,很多云存储系统为应用程序提供数据存储、查询和计算服务.许多应用程序拥有大量重复的体积较小的多媒体文件,传统的分布式文件系统已不能满足多媒体文件对存储性能的需求,它们通常会把多媒体文件分块存储在不同的存储服务器上,每次获取文件内容都需要从多个块结点把数据获取到,然后重构文件内容给应用程序,导致访问这类体积较小的多媒体文件会消耗更多的资源.为了解决数据冗余度高的应用程序在低存储成本条件下对多媒体文件进行分布式存储的问题,同时为了提高这类应用程序的运行效率,首先提出一种分布式存储目录建模方案,可以用来描述数据中心的存储目录逻辑结构;然后实现了一个多媒体文件云存储系统MFCSS,支持数据去冗和存储目录逻辑扩容.分析和实验结果表明：MFCSS系统在保存数据冗余度较高的多媒体文件时具有良好的性能,可以有效提高磁盘的存储效率,同时具备良好的扩展性,可以简化应用程序管理分布式存储环境中多媒体文件的过程.     

企业级私有云中的虚拟化实现

在云存储的概念被提出之后,虚拟化技术在云存储系统中得到了广泛的应用,出现了全新的数据中心部署和管理方式。实现了一个企业级私有云存储系统WFS,在WFS云存储系统的四层架构中,分别采用了统一存储管理、虚拟路径、数据与元数据分离、云存储接口、多路径访问等虚拟化技术。通过对该系统进行分析,说明了虚拟化技术在云存储系统中的应用方式、特点以及在提高资源利用率、增强系统安全性、易用性等方面的重要作用。     

云存储性能评测研究

大数据时代的到来,使得对云存储产生了强烈的需求。云存储性能评测一直是云存储系统研究的热点与难点。通过分析典型云存储平台数据访问的过程,建立云存储数据读写的模型,利用网络分析工具iptools获得云存储系统在处理用户访问请求的各个阶段的时间开销,从中排除网络干扰,反映真正云存储系统数据读写性能。实验结果表明,这种云存储系统数据读写模型是科学合理的,按照模型设计的云存储系统性能评测方法能够有效排除网络干扰,获取反映云存储系统真正读写性能的数据。     

一种云存储服务客户端增量同步算法

随着云计算技术的飞速发展,越来越多的用户选择使用云存储服务来保存个人文件。云存储共享与协作技术允许用户之间共享云端文件,支持其他用户通过各种智能终端上的客户端对文件进行读写操作。云存储共享与协作技术带来了文件历史版本大规模共享场景的需求,这对云存储系统的并发I/O性能是极大的考验。针对云存储服务共享场景的特点,挖掘文件历史版本之间的关系,采用基于增量传输的优化技术来提升云存储系统的传输性能。在此基础上,优化算法中强弱校验过程的内存占用和磁盘读写,利用文件历史版本数据优化同步流程,有效的减少数据传输量,并且提高系统的存储性能,适用于带宽有限和网络不稳定和大规模共享同步等极端场景。     

云存储性能评测技术研究

随着网络和存储技术的发展, 提供可共享和便捷使用云存储服务已成为互联网的一种重大新型应用模式和发展趋势。但由于系统规模巨大且存储内容多变, 传统的性能评价及测试方法已不适用于云存储平台。提供云存储系统性能评测的思路, 建立面向不同用户、适用于不同阶段的多指标三维评测体系, 采用云测试云的方案测试不同物理位置上的节点访问性能。     

基于Fstor的校园云存储方案

针对传统校园存储中能耗高、计算能力及存储效率低下、数据的存储安全性、可靠性及稳定性较低的现状,提出基于Fstor的校园云存储解决方案,采用云计算结构,实现对分布式数据存储功能的自主定制和管理,应用部署快速简单,实现专业服务集成化应用平台与编程接口(API)的完美对接,最终达到校园云存储系统的安全可靠及高效运行。     

网络存储系统的设计与实现

文章介绍了当前网络存储系统的几种流行模式，并着重描述了具有发展前景的SAN存储系统的管理、控制及实现的原理。结合实际应用阐述了设计构造SAN存储系统的有效方法及采用该技术的优越性。     

面向云存储的非结构化数据存取

非结构化数据呈爆炸态势增长,现有存储技术在I/O吞吐能力、可扩展性及易管理性等方面亟待改进。存储系统以云存储和可靠性理论为基础,建立了非结构化数据的分布式存储模型,并设计了可靠度函数。采用分布式关系数据库管理系统(RDBMS)作为存储底层,将非结构化数据直接存储于数据表中,实现了非结构化数据和元数据的分离式存储和统一管理,进而提升了存储系统性能。相对于集中式存储,新系统具有较高的可用性。仿真结果显示,存储系统可靠度高且易于扩展。该分布式存储系统可应用于动态开放计算环境,提供效能较高的云存储服务。     

一种基于重复数据删除技术的云中云存储系统

随着云存储技术的快速发展和应用,越来越多的企业和用户都开始将数据从本地转移到云存储服务提供商进行存储.但是,在享受云存储高质量服务的同时,将数据仅仅存储于单个云存储服务商中会带来一定的风险,例如云存储服务提供商的垄断、数据可用性和安全性等问题.为了解决这个问题,提出了一种基于重复数据删除技术的云中云存储系统架构,首先消除云存储系统中的冗余数据量,然后基于重复数据删除集中的数据块引用率将数据块以复制和纠删码2种数据布局方式存储在多个云存储服务提供商中.基于复制的数据布局方式易于实现部署,但是存储开销大;基于纠删码的数据布局方式存储开销小,但是需要编码和解码,计算开销大.为了充分挖掘复制和纠删码数据布局的优点并结合重复数据删除技术中数据引用的特点,新方法用复制方式存储高引用数据块,用纠删码方式存储其他数据块,从而使系统整体性能和成本达到较优.通过原型系统的实现和测试验证了相比现有云中云存储策略,新方法在性能和成本上都有大幅度提高.     

一种基于区块链的存储资源可信分配方法

为了摆脱目前大多传统云存储几乎唯一依赖于第三方信任机构的现状,可以采用一种去中心化的模式实现对网络上闲散存储资源的有效整合与优化.区块链具有去中心化、不可篡改、基于多方共识的信任等技术特征,为实现在去中心化模式下的存储资源可信共享方案提供了设计思路.针对目前传统云存储行业的中心化信任模式可能存在的问题,提出一种基于区块...     

面向SaaS应用的SMTDM可伸缩多租户数据管理框架

云计算是一种可以弹性并按需提供资源的技术.在多租户共享数据存储模式下,如何实现数据的动态伸缩存储是云数据管理的关键.针对SaaS应用如何随着租户数量及请求规模的变化而进行自适应伸缩的问题,在分析数据存储层的伸缩性需求的基础上,基于Walraven等人提出的多租户架构思想,扩展典型的云应用架构,设计了一个多租户数据管理框架,实现存储资源的弹性.基于该框架,开发了一个面向网络管理领域的SaaS原型系统,验证了其有效性和可用性.     

虚拟机可瞬时开启的私有桌面云架构

私有桌面云被广泛应用在集中计算、集中管理、远程办公等场景中.现有的私有桌面云多基于OpenStack云操作系统搭建,然而,该操作系统在使用时会出现虚拟机开启时间过长导致用户等待的问题,无法满足某些应用的高实时性要求.对此,使用模板镜像策略和网络连接存储策略作为云存储层解决方案,提出一种虚拟机可瞬时开启(ISVM)的私有桌面云架构.ISVM桌面云架构包括云管理层、云存储层、云服务层.经过测试和分析发现,ISVM私有桌面云架构的虚拟机开启时间约为OpenStack云平台虚拟机开启时间的1/100,达到了毫秒数量级,能够满足应用的实时性要求.     

安全云存储系统与关键技术综述

随着云存储的迅猛发展,越来越多的用户选择使用云存储存放自己的资料.云存储的最大特点在于存储即服务,用户可以通过公有API将自己的数据上传到云端保存.但由于用户丧失了对数据的绝对控制权,一些数据安全的隐患也由此产生.为了消除安全隐患,并在保证安全性的同时尽可能地提高系统的服务质量,近年来国内外机构作了大量研究,从而开启了云存储中的一个研究方向——安全云存储系统.首先介绍了云存储系统的安全需求,然后阐述了安全云存储系统的研究现状,并总结了现有安全云存储系统中的一些关键技术的现状与不足之处,其中包括密钥分发与管理、基于属性的加密机制、基于数据密文的搜索机制与删冗机制、数据的持有性证明与恢复以及数据的可信删除等;最后指出了安全云存储系统未来的研究方向.     

基于云计算的开放性教学资源平台建设研究

针对当前高等教育信息化资源平台建设零散分布、重复投资等突出问题,提出了基于云计算的开放性教学资源平台建设方案。以期建立一个基于云计算的集中管理、分散存储的资源开发、管理、应用系统平台,形成高等教育信息化资源共建共享的机制。首先分析了基于云计算的开放性教学资源平台建设的可行性,然后提出了基于云计算的开放性教学资源平台的设计思想、系统设计、系统架构、资源库建设内容,并对主要应用功能进行了概述,有助于推进基于云计算的高校信息化资源平台建设进程。     

云计算技术综述

介绍云计算的工作原理、与网格计算的区别、云计算的特点及应用模式,简述云计算的关键技术,包括虚拟化技术、数据存储技术、数据管理技术、编程模型技术和资源监控技术,指出云计算应用存在的主要问题。     

基于 OpenStack 的中国散裂中子源计算环境概述

高能物理实验规模不断扩大,计算和存储需求不断增长,即将建成的中国散裂中子源 (Chinese Spallation Neutron Source,CSNS) 对物理实验计算环境同样有较高要求。进入云计算时代,资源的灵活配置和集中管理不仅降低了硬件成本还大大提高了资源利用率。本文首先介绍了云计算技术的在高能物理实验中的应用现状,然后介绍中国科学院高能物理研究所东莞分部目前所建设的中国散裂中子源对于计算环境的的具体需求,接下来从基础运维、统一认证、存储系统、OpenStack、资源监控五个方面详细阐述了基于 OpenStack 的云计算环境的设计和实践,以及如何利用其实现对 CSNS 计算资源的弹性管理,最后对 CSNS 云计算环境的现状进行了总结并提出了对未来的展望。     

基于Swift的可去重校园云存储系统的设计与实现

随着高校信息化的发展以及教学、科研和管理应用系统的广泛应用,数据资源如:图片、文档、视频等非结构化资源增长十分迅速。如何应对校园网络环境中不断增大的存储需求,提高存储资源的利用效率,是校园数据中心运维中一个比较重要的问题。本文介绍了基于开源软件 Swift 的云存储平台的搭建,以及带有重复数据删除功能的校园云存储系统(Dedupe_swift) 的设计与实现。通过重复数据删除功能的引入,提高了底层存储空间利用率;采用源端去重机制,为用户缩短了重复文件的上传时间;通过 Web 服务将存储作为服务提供给用户,为用户提供良好的云存储访问体验。