基于Reed—Solomon编码的容灾存储系统性能分析

容灾备份指自然或人为灾害后,重新启用信息系统恢复数据的硬件及软件设备,恢复正常商业运作的过程。分布式存储系统是一种近年来随着因特网的不断发展而发展的存储技术。系统中无数质量参差不齐的存储设备以及存储节点所面对的各种不同环境增加了系统的不可靠性,对于系统的可用性造成巨大的安全隐患,Reed—Solomon纠删码技术可用于分布式存储系统中提供高容错性。文中从分布式存储系统的基础特征概念入手,阐述了Reed—S010mon编码算法在分布式容灾存储系统中的作用,随后通过对实测数据的研究来说明该算法的不同参数对系统性能的影响。     

一种云存储目录元数据管理系统

目前在云存储系统的实现中,一致性哈希算法及其改进算法是常用的技术之一。但是,基于一致性哈希算法实现的云存储往往表现为键值对系统,本身不具备层次的树形目录结构,因此不适用于传统的文件系统应用。针对上述技术缺陷,本文提出一种云存储目录元数据管理方案,在一致性哈希数据分布基础上构建层次目录,不需要专门的元数据服务器即可实现键值对和分布式存储系统相结合的层次目录管理。基于该方案实现的云存储系统已经大规模部署,很好的兼容了传统的文件系统应用,具有较好的可扩展性和灵活性。     

基于Android手机的可靠云存储系统的架构设计

本系统研究一种基于Android手机的可靠云存储服务器架构。文件在内部存储机制上采用分布式存储,文件采用冗余切片,数据加密,数据校验,分布式类文件系统等方法,分散存储到云存储服务器中,保证数据的高可靠性。     

基于星际文件系统的分布式存储系统设计

为了构建更为安全和高效的分布式存储系统，本文结合了分布式存储技术和星际文件系统(IPFS)。加密后的数据被存储在IPFS中，使用Merkle DAG构建数据之间的逻辑结构。单一的IPFS文件存储系统安全性并不高，用户存储的数据信息有可能会受到IPFS本地节点管理者的修改，利用分布式存储的一致性原则使该系统实现了数据可溯源、防篡改等功能，并有效保护了用户的数据安全。同时，结合负载均衡技术使本系统拥有处理大用户访问量的能力，可以更好地分配数据请求和存储，从而提高了系统的读写文件速度，增加了系统的稳定性和可靠性。采用分布式存储技术与IPFS构建的新型分布式存储系统，可以实现数据的安全存储和高效读取。未来，IPFS有望超越HTTP协议，为构建更好的互联网生态提供支持。     

移动网管系统云存储解决方案分析

文章提出了应用云存储技术解决目前移动网管系统所存在问题的方案,包括云存储的分步式文件系统架构、对象存储系统设计原则;同时针对网络持续发展的问题,阐述了网络扩展方案的设计。     

面向大数据云存储系统的关键技术研究

该文介绍面向大数据的云存储系统的关键技术,依据定向随机游走规则对分布式云存储技术进行分析。为了保证数据安全,通过RAS加密算法对数据进行加密,利用公钥或密钥针对所需存储的数据进行加密,将另一个作为对应的解密密钥对数据进行解密。为了保证系统的可靠性和数据的访问效率,详细分析数据的检索技术。通过云存储技术、数据加密技术和数据检索技术的组合方式达到高效整合、管理网络存储资源的目的,对外提供友好的连接窗口,使云计算网络数据的发布方式更加快速,为使用者提供便捷的存储服务。仿真实验结果表明,采用所提关键技术的云存储系统不仅运行时间和整体耗能低,而且可用性极高。     

一种分布式编码算法在云存储中的应用

在云存储中为保证数据的完整可靠,必须采用冗余备份的方式存储数据.为了更好的发挥存储节点的作用,在分析现有的冗余方式基础上提出了一种分布式编码算法.在新的冗余方案中编解码操作在各存储节点并行完成,而不需要将整个数据文件集中进行编解码,充分发挥了分布式系统优势.通过实验仿真验证了方法的可行性,大大提高了数据存储速率,提高了数据可用性,改善了系统性能.     

面向海量数据的分布式用户态文件系统研究与设计

云计算、物联网、互联网技术的迅猛发展,使社会进入了大数据时代。随着数据量的指数增长,面对海量数据的高效存储与访问成为目前人们面临的主要问题。使用分布式存储作为底层数据存储系统,基于用户空间文件系统fuse,结合MongoDB数据库管理元数据,研究设计出一种面向分布式存储的用户态文件系统。相对于传统分布式对象存储系统的数据访问,设计的文件系统具有很高的灵活性和可扩展性,同时对于用户有着可操作性强、易于管理等优点,使其更适用于现代海量数据的访问与管理。     

分布式存储系统在通信运营商云计算资源池的应用研究

本文研究的主要内容是基于云计算的分布式存储技术,即云存储技术.本文结合作者工程实践,总结分析了分布式存储系统的特性以及在运营商云计算资源池的组网架构,介绍了分布式存储相关功能,并提出了部署建议和展望.     

面向云计算的键值型分布式存储系统研究

 对于数据密集型的云计算应用,基于磁盘的存储系统很难同时满足它们对性能与可用性的需求.本文提出了一种以内存为主设备、以磁盘为辅助设备的键值型分布式存储系统M-Cloud,能提供大数据读写、备份及恢复等存储服务功能.M-Cloud通过将数据全部装入服务器集群内存中的方式提高系统整体性能,并设计了分区线性哈希算法以实现负载均衡和高扩展性,设计了相应的数据备份与故障快速恢复策略以保证系统可靠性.仿真实验结果表明,M-Cloud具有较高的性能与可用性,对系统进一步改进和优化后具有应用于实际生产环境中的潜力,可为用户提供高质量的存储服务.     

一种对等结构的云存储系统研究

相对于当前各种主从(Master/Slave)结构的GFS,HDFS,Sector等云存储系统,提出了一种对等结构的云存储系统MingCloud,并采用Kademlia算法构建了原型系统.MingCloud能提供数据存储、读取、删除、搜索等云存储服务功能,并能保证系统中数据的安全性与可靠性.仿真实验结果表明,MingC...     

虚拟主机云存储系统VCloudStorage及文件传输协议VCFTP

对于广域网下的文件传输和管理,云存储系统提供Web Service API、基于文件的API、基于Block的API和其他的API,通常需要在客户端安装特定程序调用这些API实现云存储功能,测试发现如果多人同时访问,传输文件失败率较高。设计了基于Web Service、HTTP和Flash技术的文件传输协议VCFTP,开发了基于虚拟主机集群的云存储系统VCloudStorage。首先建立SaaS服务模型,利用HTTP数据流存储技术,建立虚拟主机存储接口;接着建立虚拟主机传输能力、存储能力和价格能力数学模型,结合用户的传输请求建立文件传输整数规划数学模型及最优化算法,最终以此为基础设计了文件传输控制协议VCFTP。VCFTP利用Flash跨平台和富客户端技术特点,无需在客户端部署其他程序;授权的用户根据传输请求、存储要求、服务水平和当前虚拟主机状态等条件,以传输能力最优化的方式进行文件传输。实验结果表明VCFTP具有较高的性能和稳定性,VCloudStorage总吞吐量、平均传输率和文件传输成功率均优于微软SkyDrive存储、腾讯QQ邮箱存储和单虚拟主机存储。本文提出的VCFTP增强了文件传输性能和稳定性,是提高广域网网络存储系统性能的一条有效途径。     

Hadoop云平台下的并行化图像处理实现

近年来,云计算在IT行业掀起了新一轮技术革新浪潮。云计算是一种新兴的计算模型,它是并行计算、分布式计算、网格计算的综合发展,以简单、透明服务的形式提供无限制的计算资源。Hadoop实现的开源云平台提供了并行计算模型MapReduce、分布式文件系统HDFS和分布式数据库HBase等。随着数字图像数据量不断增长,单机模式的图像处理已逐渐不能满足用户需求。文中提出了利用Hadoop云平台实现海量图像的并行     

一种无中心的云存储架构分析

云存储是云计算的基础和支撑,它通过多种技术将存储设备抽象为虚拟的存储资源池,相对于传统存储而言具有高可靠、高可用、高扩展、低成本等优势。云存储系统基于不同的技术架构有着不同的特点,从是否存在元数据节点的角度,对有中心和无中心的典型云存储系统做了简要介绍,并对一种开源的无中心系统Gluster从系统组成、体系架构、工作原理、系统特点等几方面做了重点分析,并认为这是一种很有发展前景的云存储系统。     

云计算技术分析及其展望

云计算是在传统的数据存储、分布式计算和网络技术等计算机技术的基础之上发展而来的,它旨在分布式存储和处理海量数据,以方便人们按需及时获取相应服务。在当今这个数据信息"大爆炸"的时代,云计算的实现和发展日益显现出了它的强大存储计算能力和广泛应用前景。比较了现有的云计算的概念并给出新的理解,分析了云计算的服务模式和系统结构,总结了云计算的关键技术,阐述了云计算技术面临的问题,介绍并展望了云计算的国内外发展应用及其广阔前景。     

面向企业文档安全存储的分布式文件系统

业界普遍认为解决企业文档安全存储问题应包括集中存储、权限控制以及流程管控3个方面。集中存储是基础,在实现数据统一管理的同时,也带来了新的安全风险和需求,如容量扩充、灾难恢复、访问受控等。采用私有云存储解决企业文档的安全存储已为业界普遍看好,但是目前建立私有云存储方案的高昂成本以及由此而导致现有IT设施的浪费却难以为众多企业所承受。文中描述了广州国迈科技的魅云分布式文件系统的设计原理,它结合了目前商用云存储系统的核心技术思想,强化了面向企业文件操作和管理的安全性特征,在企业现有的IT设施基础上实现了文件存储的海量支持、弹性扩容、冗余备份、故障恢复、异地备份、透明使用、安全可靠等重要功能。     

云计算技术及其应用

云计算主要基于资源虚拟和分布式并行架构两大核心技术。在虚拟化技术方面,文章探讨了物理资源的池化、资源池的管理与使用、集群的故障定位与维护、资源池的分组与异构等技术,以及异构的虚拟化云计算平台的建设和应用。在分布式技术方面,文章探讨了分布式文件系统和Key/Value存储引擎技术。对于分布式文件系统,提出主机＂瓶颈＂解决方案及存储接口标准化的想法;对于Key/Value存储引擎,提出目录化存储的解决方案。     

Cloud Computing Technology and Its Applications

Virtualization and distributed parallel architecture are typical cloud computing technologies. In the area of virtualization technology, this article discusses physical resource pooling, resource pool management and use. cluster fault location and maintenance, resource pool grouping, and construction and application of heterogeneous virtualization platforms. In the area of distributed technology, distributed file system and Key/Value storage engine are discussed. A solution is proposed for the host bottleneck problem, and a standard storage interface is proposed for the distributed file system. A directory-based storage scheme for Key/Value storage engine is also proposed.     

一种基于 DHT 的分布式云灾备模型研究

云存储服务,作为云计算的衍生产物,目的是为网络海量数据的存储提供有效的解决方案,节约存储成本和系统资源,提供一个完善的备份、容灾的数据中心,并能够保证数据安全性、容错性。现阶段云灾备模型局限于有限的网络位置,使用虚拟化技术,依托本地服务器实现,与传统云灾备模型不同,介绍了一种基于DHT的云灾备模型,可适用于广域网的、普适的数据级灾备解决方案。