| 基于HBase的高能物理数据存储及分析平台 |
| |
| 引用本文： | 雷晓凤,李强,孙功星. 基于HBase的高能物理数据存储及分析平台[J]. 计算机工程, 2015, 0(6) |
| |
| 作者姓名： | 雷晓凤 李强 孙功星 |
| |
| 作者单位： | 1. 中国科学院高能物理研究所，北京100049; 中国科学院大学，北京100049
2. 中国科学院高能物理研究所,北京,100049 |
| |
| 基金项目： | 国家自然科学基金资助项目，国家自然科学基金A3前瞻计划基金资助项目，国家自然科学基金委员会-中国科学院大科学装置联合基金资助项目(11179020)。 |
| |
| 摘 要： | 高能物理对撞机产生数百亿计的物理事例,而物理分析则是从中选取几千个有意义的事例,该分析过程是一个典型的大数据处理及数据挖掘应用。由此,设计高效的数据结构、存储及访问机制,快速挑选出有意义的物理事例十分重要。介绍事例的数据结构、存储和处理技术,分析高能物理数据的特点,提出一种以HBase,ROOT,BEAN及MapReduce为基础的新型高能物理数据存储及处理技术系统。利用HBase存储数据、MapReduce实现并行处理,选择ROOT和BEAN作为高能物理分析框架,并给出具体设计与实现方案。测试结果表明,与传统高能物理数据存储系统相比,该系统具有更快的数据处理速度,当预筛选服务生效时能够更加有效地利用I/O和CPU资源。
|
| 关 键 词： | 高能物理数据 大数据 HBase数据库 ROOT框架 BEAN框架 MapReduce框架 |
HBase-based Storage and Analysis Platform for High Energy Physics Data |
| |
| LEI Xiaofeng,LI Qiang,SUN Gongxing. HBase-based Storage and Analysis Platform for High Energy Physics Data[J]. Computer Engineering, 2015, 0(6) |
| |
| Authors: | LEI Xiaofeng LI Qiang SUN Gongxing |
| |
| Abstract: | |
| |
| Keywords: | high energy physics data big data HBase database ROOT frame BEAN framework MapReduce frame-work |
| 本文献已被 万方数据 等数据库收录！ |
|
