| 基于分布式并行计算框架的海量数据增量处理方法研究 |
| |
| 引用本文： | 杨世旺,钟雨星,杨春晨,孙明铎,施焕健. 基于分布式并行计算框架的海量数据增量处理方法研究[J]. 电力需求侧管理, 2019, 21(S1): 04-06 |
| |
| 作者姓名： | 杨世旺 钟雨星 杨春晨 孙明铎 施焕健 |
| |
| 作者单位： | 国网浙江省电力有限公司 丽水供电公司，浙江 丽水 323000;国网浙江电力有限公司 平湖市供电公司，浙江 平湖 315300;浙江华云信息科技有限公司，杭州 310000;国网浙江电力有限公司 慈溪市供电公司，浙江 慈溪 315300 |
| |
| 摘 要： | 随着大数据时代的到来，各大企业已经陆续建设数据仓库，如何提升海量数据处理的效率逐渐成为数仓应用中的重要问题。分析了企业大数据平台现状，提出了基于分布式并行计算框架的数据增量处理方法，并基于此方法对海量增量数据处理进行了实践，验证结果表明，该方法提升了数据处理效率，增强了企业数据仓库数据处理的准确性。
|
| 关 键 词： | 数据仓库；分布式并行计算框架；增量数据处理 |
| 收稿时间： | 2019-07-24 |
| 修稿时间： | 2019-08-15 |
Study on massive data incremental processing method based on distributed parallel computing framework |
| |
| YANG Shiwang,ZHONG Yuxing,YANG Chunchen,SUN Mingduo,SHI Huanjian. Study on massive data incremental processing method based on distributed parallel computing framework[J]. Power Demand Side Management, 2019, 21(S1): 04-06 |
| |
| Authors: | YANG Shiwang ZHONG Yuxing YANG Chunchen SUN Mingduo SHI Huanjian |
| |
| Affiliation: | Lishui Power Supply Company, State Grid Zhejiang Electric Power Co., Ltd., Lishui 323000, China;Pinghu Power Supply Company, State Grid Zhejiang Electric Power Co., Ltd., Pinghu 315300, China;Zhejiang Huayun Information Technology Co., Ltd,. Hangzhou 310000, China; Cixi Power Supply Company, State Grid Zhejiang Electric Power Co., Ltd., Cixi 315300, China |
| |
| Abstract: | With the arrival of the era of big data, how to improve the efficiency of mass data processing is more important in the application of enterprise data warehouse. Based on the analysis of the current situation of data sharing application platform of electric, a data incremental processing method based on a distributed parallel computing framework is proposed, and the practice of massive incremental data processing is carried out based on this method. Verification results show that the problem of low data processing efficiency is solved, and the accuracy of data processing in enterprise data warehouse is enhanced. |
| |
| Keywords: | |
|
| 点击此处可从《电力需求侧管理》浏览原始摘要信息 |
|
点击此处可从《电力需求侧管理》下载全文 |
|
