一种基于Hadoop的纺织海量生产数据存储设计

随着传统的纺织工艺进行知识融合与知识重用,生产制造系统每天获取的数据呈几何级递增,因此在如何分发、存储、管理和共享这些海量数据已成为亟待解决的问题。本文在研究Hadoop框架的基础上,提出一种基于Hadoop的海量纺织生产数据的存储管理体系。通过HDFS实现了数据的一次写入,多次读取;通过MapReduce实现了充分的并行性,将作业有效分布到数据上;通过HBase实现了随着表空间增长的自动分区、区域自动平衡、访问数据在毫秒范围内的应用。运行表明,系统安全可靠、易维护、具有良好的可扩展性。