配用电大数据多源集成及存储优化方法 |
| |
引用本文: | 王林童,赵腾,张焰,苏运,田世明.配用电大数据多源集成及存储优化方法[J].高电压技术,2018(4). |
| |
作者姓名: | 王林童 赵腾 张焰 苏运 田世明 |
| |
作者单位: | 上海交通大学电气工程系;国网上海市电力公司电力科学研究院;中国电力科学研究院有限公司 |
| |
摘 要: | 面对体量大、类型多、增长快的配用电大数据,如何利用大数据技术提升配用电相关业务的广度、深度和精度成为电力行业新的机遇和挑战。为解决配用电大数据多源集成和高效存储两方面核心问题,根据配用电大数据的组成及特征,通过生成标准化元数据并构建相应数据字典的方法,实现了多源配用电数据规范化集成;在数据集成的基础上,基于Hadoop平台进行大数据存储优化方法研究,提出考虑配用电数据关联性的哈希分桶存储算法,实现了相关联数据的集中存储,从而提升后期数据查询及处理的效率并在数据存储优化的基础上,实现基于Map Reduce的多源配用电大数据并行关联查询。通过在Hadoop集群平台上进行测试表明,经过哈希分桶存储优化后的多源数据并行关联查询相比传统Hadoop方法查询时间显著缩短。
|
本文献已被 CNKI 等数据库收录! |
|