| 大数据环境下数据读取关键技术研究 |
| |
| 引用本文： | 谢怡,王航,刘新瀚,陈梓洋,孙知信. 大数据环境下数据读取关键技术研究[J]. 计算机技术与发展, 2015, 0(2) |
| |
| 作者姓名： | 谢怡 王航 刘新瀚 陈梓洋 孙知信 |
| |
| 作者单位： | 南京邮电大学 宽带无线通信与传感网技术教育部重点实验室,江苏 南京,210003 |
| |
| 基金项目： | 国家自然科学基金资助项目，江苏省产学研项目，江苏省科技型企业创新基金项目，江苏省高校自然科学研究重大项目 |
| |
| 摘 要： | ![]()
针对大数据环境下数据读取面临的主要挑战，文中重点研究了分布式文件系统中数据读取关键技术。根据数据存放结构的不同，从数据加载、查询处理和存储空间利用三个方面分析比较行存储、列存储和行列混合存储的优缺点和面临的挑战，重点介绍列存储中涉及到的压缩和物化技术，具体分析了存储压缩中经常运用的行程编码算法、词典编码算法、位向量编码算法和元组重构中运用的延迟物化技术。通过分析现有技术存在的问题，探讨相关的解决方案，并展望了未来研究的发展方向。
|
| 关 键 词： | 大数据 列存储 压缩 物化技术 |
Research on Data Reading Techniques Based on Big Data Environment |
| |
| XIE Yi,WANG Hang,LIU Xin-han,CHEN Zi-yang,SUN Zhi-xin. Research on Data Reading Techniques Based on Big Data Environment[J]. Computer Technology and Development, 2015, 0(2) |
| |
| Authors: | XIE Yi WANG Hang LIU Xin-han CHEN Zi-yang SUN Zhi-xin |
| |
| Abstract: | ![]()
|
| |
| Keywords: | big data column-storage compression materialization techniques |
| 本文献已被 万方数据 等数据库收录！ |
|
