基于Hadoop分布式架构的云存储系统、文件存储实现研究

随着局域网内数据信息量的日益增多，如何对不断增加的海量数据作出筛选分类、分析与存储，成为企业数据管理、业务开展关注的重要问题，而依托于Hadoop分布式架构的云存储技术，构建起分布式文件管理的云服务系统，可保证数据存储与管理的合理数据块分布、功能可拓展性。基于此，通过围绕MapReduce集群、HDFS文件存储、HBase数据库，以及PC主机、VMWare虚拟机等软硬件，建立起云存储服务管理系统，可针对大文件、小文件存储的问题，设置文件索引、读写、合并、缓存等的功能服务模块，提供一种按需服务的应用方式，实现对特定数据的预读取、检索、合并与存储，提高Hadoop分布式集群系统的数据读取、索引与存储效率。