一种轻量级电网实时数据ETL系统的设计与实现 |
| |
引用本文: | 段成,王增平,吴克河.一种轻量级电网实时数据ETL系统的设计与实现[J].电力系统保护与控制,2010,38(18):174-177,182. |
| |
作者姓名: | 段成 王增平 吴克河 |
| |
作者单位: | 1.华北电力大学电气与电子工程学院,北京 102206; 2.北京市电力信息技术工程研究中心,北京 102206;3.华北电力大学控制与计算机工程学院,北京 102206 |
| |
摘 要: | 以某省电网实时数据监测系统的数据中心建设项目为背景,提出了一种轻量级的,适合于电网实时数据迁移与同步更新的ETL系统解决方案。系统支持多种关系型数据库和数据文件,提供全量、增量、主细表等多种自定义模式数据迁移方案。系统利用JDBC数据库访问技术、JSR-166的Util.Concurrent并发线程包以及SWT技术,结合元数据的管理,解决了异构数据的快速抽取、清洗转换与加载、任务的调度和跨平台运行的问题,并在实际应用中表现出了实用性和稳定性。
|
关 键 词: | ETL系统 异构数据 增量 任务调度 跨平台 |
|
| 点击此处可从《电力系统保护与控制》浏览原始摘要信息 |
|
点击此处可从《电力系统保护与控制》下载全文 |
|