基于Hadoop的云存储的研究及实现

首先描述了云计算、云存储的概念、云计算的体系结构及云存储的架构模式;然后介绍了Hadoop工作原理及其文件存储的方法;最后基于eyeOS的Web操作系统,对传统的文件存储方法进行改进,采用Hadoop的HDFS技术实现文件的分布式存储及容错控制。     

基于Hadoop分布式架构的云存储系统、文件存储实现研究

随着局域网内数据信息量的日益增多,如何对不断增加的海量数据作出筛选分类、分析与存储,成为企业数据管理、业务开展关注的重要问题,而依托于Hadoop分布式架构的云存储技术,构建起分布式文件管理的云服务系统,可保证数据存储与管理的合理数据块分布、功能可拓展性。基于此,通过围绕MapReduce集群、HDFS文件存储、HBase数据库,以及PC主机、VMWare虚拟机等软硬件,建立起云存储服务管理系统,可针对大文件、小文件存储的问题,设置文件索引、读写、合并、缓存等的功能服务模块,提供一种按需服务的应用方式,实现对特定数据的预读取、检索、合并与存储,提高Hadoop分布式集群系统的数据读取、索引与存储效率。     

基于Rsync的远程文件同步优化模型

针对云存储中无法较细粒度地控制网络数据的传输而导致网络带宽利用低的问题,本文基于Rsync文件同步算法,以Hadoop分布式文件系统(HDFS)为研究目标,提出计算分离出云,本地数据表与云服务端分布式缓存表共享部分校验值的远程文件同步优化模型.实验结果表明,该模型可有效提高云存储文件同步系统的I/O性能,减小同步的成本.     

面向读密集型应用的事务内存云研究

对于读密集型的云计算应用,现有系统很难同时满足它们对性能、一致性与可用性的需求。因此提出了一种基于事务内存和云存储技术的编程与存储模型TMC,能为云应用提供可配置的事务特性与数据存储服务。TMC包括事务与存储两个组件,事务组件允许所有只读事务无需远程验证即可顺利提交,其他事务则采用2PC算法提交;存储组件负责实现系统的可扩展性与可用性。仿真实验结果表明,TMC具有较高的性能与可用性。系统若经进一步改进和优化,将具有应用于实际生产环境中的潜力,可为用户提供高质量的云计算服务。     

基于HDFS的云存储安全技术分析

现阶段云存储技术普遍出现数据丢失与数据窃取等各种安全问题,结合HDFS数据完整性校验体系的技术特点,研究一种在HDFS基础上的数据传输存储技术的实现方案。对系统用户上传到HDFS中的数据文件进行AES加密处理,文件通过密文的方式实现存储目的,同时使用RSA算法确保AES密钥的安全性能,能够有效地避免在数据的传输与存储过程中丢失与被盗。HDFS的存储格式主要分为文件密文与文件明文两种类型,用户能够根据实际需求自主选择是否需要加密处理。     

一种基于Hadoop的Scool云存储平台

针对海量数据的指数级增长,现有的文件存储系统很难满足现有系统需求,提出基于Hadoop的Scool云存储平台,系统通过采用Linux集群技术、分布式文件系统和云计算框架等技术,来实现海量数据存储和高速数据处理。通过比较云存储和传统存储模式的区别,分析了云存储技术优势和可行性,介绍了云存储架构模型,设计了基于Hadoop的Scool云存储文件管理系统,为今后深入研究云计算和云存储提供了一定的基础。     

云存储中多类型文件存储及访问优化机制的研究

当前云存储已经成为存储界的研究热点,Linux也已经成为当前云存储中所采用的主流操作系统之一。但是当前的云存储是面向通用文件存取服务,并未考虑其存储的文件的类型、大小、安全级别等等需求,因此也不可能提供针对不同存储内容的优化机制。面向云存储的应用环境,提出了Linux操作系统下的一种智能自适应文件系统,作为云存储优化项目的子项目,目标是保持原有文件系统的完整性和透明性的基础之上,对Linux文件系统机制进行改进。通过采用可堆叠文件系统技术,实现对不同特征的文件(小文件、超大文件、流媒体文件、加密文件等等)的自动适应和优化,从而提高基于Linux的云存储的文件服务性能。     

分布式云存储高可用框架研究

近年来,分布式云存储为非结构化数据的存储、处理提供了高效、廉价的解决方案,但随着业务系统对系统可用性要求的不断提高,对分布式云存储高可用框架的研究具有重要的理论价值和广阔的应用前景.论文综合分析了分布式云存储的基本理论,提出了针对智能电网设计的分布式云存储高可用框架,该框架采用双活主节点以及多服务心跳监测算法,保障在高并发读写文件操作下分布式云存储的高可用性.实验结果表明,该框架能够有效应对任意节点失效产生的系统故障.     

基于多属性的海量Web数据关联存储及检索系统

传统的Web数据检索一般采用全文检索方法,该方法具有很好的灵活性,但舆情分析往往需要获得相关的网页属性及统计信息。针对传统的Web检索方法无法满足上述需求,基于Hadoop平台设计并实现了一种基于多属性的海量Web数据的关联存储及检索系统,为舆情分析提供基础检索与统计服务。主要实现HDFS上基于属性的网页数据的分类和聚类存储,解决小文件存储同时提高数据访问吞吐量;建立原始网页数据与属性数据之间的关联映射;基于HBase的已有索引机制,结合分布式本地索引机制解决基于HBase的动态属性多条件选择查询的辅助索引问题。     

SFFS：低延迟的面向小文件的分布式文件系统

社交网站和电子商务等网络服务发展迅速,这类服务需要存储大量图片、音乐、微博文本等小文件。传统的分布式存储系统,如HDFS（Hadoop distributed file system）,是面向大文件而设计的,在存储小文件时会产生元数据开销过大,访问延迟较高等问题,不能适应存储海量小文件的应用环境。分析了TFS（Taobao file system）的系统架构和读写流程,发现TFS在每次读/写过程中至少要建立3次网络连接,增大了读写延迟。针对海量小文件存储带来的挑战和TFS存在的问题,提出了一种新的低延迟、高可用的面向海量小文件的分布式存储方案,并实现了分布式文件系统SFFS（small-file file system）。性能测试表明,SFFS和TFS相比,写延迟降低了76.6%,读延迟降低了约10%。通过对系统结构的分析,相比于TFS,SFFS在中心节点的负载更轻,失效恢复更快,在可用性方面更有优势。