基于Chukwa的大规模日志智能监测收集方法

针对传统分布式计算模型和日志监控收集在编程实现上的困难、实际应用扩展性低和数据处理阶段耦合度高的问题,提出基于Chukwa的大规模日志智能监测和收集方法.在利用MapReduce并行计算模型以提高日志采集效率的基础上,提出数据监测收集阶段的细分方法和解耦过程,弥补MapReduce只能处理大文件数据的缺陷,进一步提高日志处理的灵活性和扩展性.该方法主要包括日志监测、日志收集、数据转存、数据应用几个步骤.实验验证了该方法能提高日志监测采集的效率,具备良好的实际使用价值.     

一个物联网异构数据接入系统ChukwaX

针对物联网感知层异构数据的接入问题,提出一个接入系统ChukwaX。该系统采用层次化系统结构以分散系统压力,利用适配器模型解决异构协议的适配问题,支持传感网络的动态接入,从而满足本地自治与随意接入的需求。实验结果表明,ChukwaX能达到预期的设计要求,并且具有较好的系统可扩展性。     

Chukwa在日志数据监控方面的运用

Chukwa是Hadoop软件家族成员的一员,是一个分布式系统,应用于大规模集群的数据收集上,构建在Hadoop的HDFS和MapReduce框架之上。文章通过对数据日志的采集、存储、分析和展示,为用户提供全面、灵活、可视化的服务,弥补了MapReduce对大量日志文件处理能力不足的弱点。