基于Docker的Hadoop完全分布式集群快速部署

Docker是Paas提供商dotcloud公司研发的一个基于LXC的高级容器引擎,具有一次构建,到处运行优势。当前在Hadoop技术的发展中,如何把Docker技术应用于Hadoop平台的建立,尤其是对于Hadoop on Docker规模部署问题的解决,一直是一个备受关注的技术难点。针对以上问题,文章提出基于Docker的一键部署Hadoop7层解决方案,首先从Docker环境部署入手,简要介绍了镜像部署以及容器部署的过程,重点分析并实现了Hadoop集群(HDFS+YARN)的一键部署方法,并通过bind mounts(绑定挂载)方式解决了集群数据存储问题,给出关键脚本代码的实现过程。实践表明,Hadoop on Docker规模一键快速部署具有灵活方便、开销小、效率高、可扩展性强等优势,提高了Hadoop大数据技术学习和生产环境部署效率。     

基于Hadoop的智慧社区大数仓库系统设计与开发

传统社区管理主要通过人工信息登记打电话、登门、拜访等管理方式，不仅效率不高，还重复劳动，更无法满足超大社区的治理需求。Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式计算架构。针对智慧社区后端数据分析仍需加强的问题，基于Hadoop设计了一款智慧社区大数据仓库系统，构建业务数据采集平台，数据仓库维度建模。为智慧社区运营驾驶舱（车辆进出、门禁刷卡、社交电商等）提供数据支持，提高智慧社区的数据处理能力。