| 基于Spark Streaming的海量日志实时处理系统的设计 |
| |
| 引用本文： | 陆世鹏.基于Spark Streaming的海量日志实时处理系统的设计[J].电子产品可靠性与环境试验,2017,35(5). |
| |
| 作者姓名： | 陆世鹏 |
| |
| 作者单位： | 工业和信息化部电子第五研究所,广东 广州,510610 |
| |
| 摘 要： | 在网络系统日志信息规模不断增长的情况下,结合运维中的实际需求,通过大数据技术,提出了一种基于Spark Streaming的海量日志实时处理系统,并详细地介绍了系统的底层日志数据收集、 传输、 计算、存储、 查询存储等一系列功能的设计与实现.该系统不仅能够准确、 实时地解析日志信息,对数据进行统计分析,而且能对历史日志数据进行实时存储和离线计算处理.
|
| 关 键 词： | 大数据 SparkStreaming 日志分析 分布式计算 |
The Design of the Massive Log Real-time Processing System Based on Spark Streaming |
| |
| LU Shipeng.The Design of the Massive Log Real-time Processing System Based on Spark Streaming[J].Electronic Product Reliability and Environmental Testing,2017,35(5). |
| |
| Authors: | LU Shipeng |
| |
| Abstract: | |
| |
| Keywords: | |
| 本文献已被 万方数据 等数据库收录！ |
|
