基于Spark离线和实时的电商用户行为分析系统

随着电商规模的逐渐扩大，传统的Hadoop资源利用率和计算速度都无法全面满足发展需求，因此提出将低延时、基于内存计算的Spark作为计算引擎。利用SparkCore、SparkSQL做离线分析、利用SparkStreaming做实时分析，将Hadoop分布式文件系统（HDFS）作为分布式文件存储，利用YARN做资源管理与程序调度，从而完成了一个电商的行为数据分析系统，通过Flume、Kafka等技术对数据进行采集及存储，利用Spark进行数据处理。经过测试，电商用户行为分析系统表现突出，具有良好的应用价值。