| 大数据分析与高速数据更新 |
| |
| 引用本文： | 陈世敏.大数据分析与高速数据更新[J].计算机研究与发展,2015,52(2):333-342. |
| |
| 作者姓名： | 陈世敏 |
| |
| 作者单位： | 计算机体系结构国家重点实验室(中国科学院计算技术研究所) 北京 100190 |
| |
| 基金项目： | 中国科学院“百人计划”，国家自然科学基金创新研究群体项目 |
| |
| 摘 要： | 大数据对于数据管理系统平台的主要挑战可以归纳为volume(数据量大)、velocity(数据的产生、获取和更新速度快)和variety(数据种类繁多)3个方面.针对大数据分析系统,尝试解读velocity的重要性和探讨如何应对velocity的挑战.首先比较事物处理、数据流、与数据分析系统对velocity的不同要求.然后从数据更新与大数据分析系统相互关系的角度出发,讨论两项近期的研究工作:1)MaSM,在数据仓库系统中支持在线数据更新;2)LogKV,在日志处理系统中支持高速流入的日志数据和高效的基于时间窗口的连接操作.通过分析比较发现,存储数据更新只是最基本的要求,更重要的是应该把大数据的从更新到分析作为数据的整个生命周期,进行综合考虑和优化,根据大数据分析的特点,优化高速数据更新的数据组织和数据分布方式,从而保证甚至提高数据分析运算的效率.
|
| 关 键 词： | 数据更新 大数据分析 数据仓库 日志处理系统 数据组织与分布算法 |
Big Data Analysis and Data Velocity |
| |
| Chen Shimin.Big Data Analysis and Data Velocity[J].Journal of Computer Research and Development,2015,52(2):333-342. |
| |
| Authors: | Chen Shimin |
| |
| Affiliation: | Chen Shimin;State Key Laboratory of Computer Architecture(Institute of Computing Technology,Chinese Academy of Sciences); |
| |
| Abstract: | |
| |
| Keywords: | data updates big data analysis data warehouse event log processing system data organization and distribution |
| 本文献已被 CNKI 万方数据 等数据库收录！ |
