| 基于Hadoop的广域测量系统数据处理 |
| |
| 引用本文： | 曲朝阳,朱莉,张士林.基于Hadoop的广域测量系统数据处理[J].电力系统自动化,2013,37(4):92-97. |
| |
| 作者姓名： | 曲朝阳 朱莉 张士林 |
| |
| 作者单位： | 东北电力大学信息工程学院,吉林省吉林市,132012 |
| |
| 基金项目： | 国家自然科学基金资助项目(51077010);吉林省自然科学基金资助项目(20101517)~~ |
| |
| 摘 要： | 为解决目前广域测量系统(WAMS)海量数据处理中存在的数据冗余、处理效率低等问题,设计并实现了一个基于Hadoop的WAMS数据处理云计算平台。首先,给出了平台的体系结构。其次,设计了基于Hadoop分布式文件系统(HDFS)存储的WAMS海量数据加载方法和利用MapReduce模型实现多个文件数据的并行抽取、转换和加载(ETL)操作流程。提出了结合MapReduce的MPApriori数据挖掘算法,用于高效地挖掘出连锁故障时各站点之间的相互影响。最后,通过对区域电网WAMS实际数据进行处理,验证了Hadoop处理海量数据的高效性。所述平台适用于高性能局域网络连接的计算机集群对海量电网数据进行文件数据处理。
|
| 关 键 词： | 云计算 数据处理 广域测量系统 MapReduce |
Data Processing of Hadoop-based Wide Area Measurement System |
| |
| QU Zhaoyang,ZHU Li,ZHANG Shilin.Data Processing of Hadoop-based Wide Area Measurement System[J].Automation of Electric Power Systems,2013,37(4):92-97. |
| |
| Authors: | QU Zhaoyang ZHU Li ZHANG Shilin |
| |
| Affiliation: | (School of Information Engineering,Northeast Dianli University,Jilin 132012,China) |
| |
| Abstract: | |
| |
| Keywords: | |
| 本文献已被 CNKI 万方数据 等数据库收录！ |
| 点击此处可从《电力系统自动化》浏览原始摘要信息 |
|
点击此处可从《电力系统自动化》下载全文 |
|
