一种通用的工业大数据应用中海量对象存储方法实现

随着工业大数据的蓬勃发展,海量产生的各类数据同时也推动了数据存储需求的不断变化,以往只能短期存储的数据存储方式逐步向长期存储的方式转变,存储数据的类型也变得更加多样化。Hadoop大数据生态软件以其低廉的硬件需求在工业大数据领域中拥有巨大的先天优势,然而其原本的HDFS分布式文件系统并不适用于海量小文件的存储需求,相反Hbase以其支持随机读写的低延时访问优势弥补了HDFS的不足。因此本文将两者的优点进行有效结合,设计并实现了一种通用的适用于工业大数据场景下的海量对象存储方案。