| 分布式系统下大数据存储结构优化研究 |
| |
| 引用本文： | 冯汉超,周凯东. 分布式系统下大数据存储结构优化研究[J]. 河北工程大学学报(自然科学版), 2014, 31(4): 69-73 |
| |
| 作者姓名： | 冯汉超 周凯东 |
| |
| 作者单位： | 河北工程大学信息与电气工程学院,河北邯郸,056038 |
| |
| 摘 要： | 在分布式系统中,数据的存储结构直接影响了大数据的存储效率和处理性能。在行式存储结构下,数据从本地读取,加载速度快,但压缩效率低且存在数据冗余;在列式存储结构下,数据压缩效率高,但数据的跨节点访问增加了网络传输消耗。针对行式存储结构和列式存储结构的缺点,提出一种以行列结合的存储方式,对数据存储结构进行改进。实验结果表明,改进的数据存储结构在加载速度上略低于行式存储;在数据压缩上,比行式存储和列式存储的效率都高。行列结合的存储结构不仅避免行式存储的额外磁盘I/O开销,同时也减少了列式存储不必要的网络传输,极大地提高分布式系统对大数据存储效率及处理性能。
|
| 关 键 词： | 大数据 分布式 行列存储 |
| 收稿时间： | 2014-06-10 |
Research on optimizing big data storage structure in distributed system |
| |
| FENG Han-chao and ZHOU Kai-dong. Research on optimizing big data storage structure in distributed system[J]. Journal of Hebei University of Engineering(Natural Science Edition), 2014, 31(4): 69-73 |
| |
| Authors: | FENG Han-chao and ZHOU Kai-dong |
| |
| Abstract: | |
| |
| Keywords: | big data distributed system row-column store |
| 本文献已被 CNKI 万方数据 等数据库收录！ |
| 点击此处可从《河北工程大学学报(自然科学版)》浏览原始摘要信息 |
|
点击此处可从《河北工程大学学报(自然科学版)》下载全文 |
|
