CSFS:云存储服务支撑的文件系统设计与实现

云存储服务性能开发是云端数据技术的重要课题.提出了一种基于云存储服务的文件系统数据存储架构,描述了一个基于该架构的云存储文件系统(CSFS)设计及实现.通过利用免费邮件服务降低了开发和部署成本,通过数据与元数据分离管理、分布式存储、云端数据预取等技术提高了系统的高效性和可扩展性.测试结果表明:相关优化技术有效提高了系统的读写性能.     

CSFS：云存储服务支撑的文件系统设计与实现

云存储服务性能开发是云端数据技术的重要课题。提出了一种基于云存储服务的文件系统数据存储架构,描述了一个基于该架构的云存储文件系统( CSFS)设计及实现。通过利用免费邮件服务降低了开发和部署成本,通过数据与元数据分离管理、分布式存储、云端数据预取等技术提高了系统的高效性和可扩展性。测试结果表明：相关优化技术有效提高了系统的读写性能。     

基于TEZ引擎和LLAP技术的Hive数据查询能力研究

分布式计算框架（HadoopMapReduce）解决了大数据分布式计算和并发计算问题,具有良好的扩展性和容错性,非常适合超大规模数据处理和分析。Hive基于HadoopMapReduce构建数据仓库分析系统,提供丰富的结构化查询语言（Structured Query Language,SQL）查询能力,可将SQL语句转变成MapReduce任务执行分析数据。但是,MapReduce本身的特点（Map阶段和Reduce阶段）使得其在多表关联和复杂SQL场景时运行较慢。因此,基于真实场景打造了一套通过TEZ引擎和LLAP(Live Long and Process)技术结合来提升Hive查询能力的系统,面对复杂的多表关联查询、使用频率较高的复杂查询时能够快速高效率执行,缩短了用户等待时间。