基于风电数据仓库的ETL技术研究

作为数据仓库的关键部件,支持数据抽取、转换和装载的ETL工具是一个必不可少的成功因素。以风电数据仓库为背景,介绍了数据仓库ETL的必要性、ETL流程,重点提出了一种ETL工具与自行编码相结合的ETL实现方法。针对风电海量数据的特点,通过优化过的ETL技术,大大提高了风电信息系统的运行效率。     

ETL在青海省电力公司数据中心系统中的应用

依据国家电网公司"SG186"工程的总体规划,青海省电力公司于2006年11月开始实施青海电力公司数据中心项目.ETL作为数据中心系统的关键部件,主要完成数据抽取、清洗、转换和装载工作,它是构建数据中心的重要环节,同时也是构建数据中心过程中出现问题最多的环节.文章通过ETL技术在青海电力公司数据中心项目中的应用,介绍了ETL的功能及作用,同时对ETL的数据处理过程做了详细的论述.     

数据预处理在电力远程智能监测系统的应用

介绍电力远程智能监测系统的基本组成及工作原理后提出了基于数据仓库ETL技术的电力数据预处理技术并以疏失误差剔除的过程为例描述了ETL过程。与传统方法比较,应用数据预处理和数据挖掘技术的智能监测系统操作方便,结果正确,使用性强。     

企业数据仓库的ETL技术

介绍数据仓库ETL技术及其在企业数据仓库整个项目实施中的作用,分析了ETL体系结构与功能。ETL是实现数据集成的主要技术,ETL中3个字母分别代表的是Extract．Transform、Load,即数据的抽取、转换,加载。ETL作为构建数据仓库的一个环节,负责从分布的,异构数据源中的数据如关系数据．平面数据文件等抽取到临时中间层后进行清洗、转换．集成,最后加载到数据仓库中,成为联机分析处理,数据挖掘的基础。举例介绍SAPBW的ETL工具。     

基于数据仓库ETL技术的电力技改大修项目数据清洗方法

由于重复数据和空缺数据数量多,电力技改大修项目数据清洗方法不能实现脏数据的有效清洗,为此研究 基于数据仓库ETL技术的电力技改大修项目数据清洗方法.通过对多数据源的电力技改大修项目脏数据质量的评估, 判断符合预期标准后进行数据挖掘;结合数据仓库ETL技术对重复数据记录进行清洗;运用切比雪夫定理处理电力 技改大修项目数据空缺值来完成对电力技改大修项目数据的有效清洗.实验结果表明,运用该方法清洗数据有效率最 高,有效提高了数据的质量,实现了对数据的高质量清洗.     

跨平台信息系统数据迁移技术研究与实现

河北公司营销分析与辅助决策系统运行所依托的小型机设备已运行多年,近年来IBM9116-561型号设备稳压模块存在家族缺陷,存在因设备故障导致营销类数据报表无法正常报送的风险,影响系统的安全稳定运行。基于以上因素的考虑,本文主要讲述ETL、Sybase数据库从现有小型机环境迁移至PC服务器设备过程中涉及的关键技术,主要包括:①Informatica及工作流导出和导入;②Sybase和ETL抽取工具的衔接;③新环境数据抽取。通过以上方面的技术研究,不仅有效解决了系统运行过程中存在的问题,为后续更好地开展运维工作打下基础,也为其他系统跨平台迁移提供了经验,具有很好的借鉴意义和价值。     

Intertek的ETL能效测试业务正式进入中国

Intertek的ETL能效检测业务近日正式进入中国,Intertek杭州分公司已经建立了ETL家用/商用冷藏冷冻箱能效测试实验室。据介绍,目前Intertek的ETL能效检测业务包     

分相式高频纵联保护与ETL500系列载波机的配合

通过对一次500 kV系统中保护误动的原因分析,指出了分相式高频纵联保护与ABB公司生产的ETL500载波机配合使用中必须注意的问题。澄清了对分相式高频纵联保护与ETL500载波机配合关系在认识上存在的误区。在分析ETL500载波机命令优先原则的基础上,提出了正确的保护与ETL500载波机接口方案。     

基于ETL技术的电网运行全景建模*

在南方电网开展的一体化电网运行智能系统研究和建设中,针对电力二次系统数据的多样性和孤立性现状,提出了利用ETL技术处理信息共享的方案。该方案将多系统模型数据抽取、转换并集成到统一的电网全景模型中为多系统所共用,其正确性和有效性在实践中得到了验证。     

信息资源整合集成平台的设计与实现

采用B/S J2EE的结构和面向对象的设计思想,建设包含基于ETL的数据交换、基于BI的数据展现、基于BEA Portal的应用数据集成和统一目录服务的信息资源整合集成平台,实现生产、营销、电量采集、人事劳资等主要专业的关键指标展现和重要数据共享,整合原有的办公自动化、短信平台、内容管理等应用系统,达到国家电网公司"SG186"工程关于建设企业级一体化平台的要求。     

用ETL500系列组网实现远程维护

介绍了目前在500kV变电站里广泛应用的ETL系列载波设备与用户接口程序MM1500的通信方式，以及利用RS-232接口对系统进行组网，实现远程维护的方案。     

基于CEP引擎的配电网运行监控信号大数据ETL方法

电力系统规模在不断扩大,配电网电气设备数量急剧增长且趋于精细化。大量且散乱的运行监控数据使得主动配电网各应用无法快速有效地提取有用信息以形成决策支持。本文利用复杂事件处理(CEP)引擎作为运行监控信号处理核心,通过Apriori机器学习算法定义和完善规则库,通过核心算法库对信号数据流进行规范化处理。整体采用ETL(Extract-Transform-Load)框架,将主动配电网中分散、零乱、标准不统一的信号数据整合、清洗后加载到数据仓库,并以多种数据接口输出至不同介质,供不同应用调用。基于CEP引擎的大数据ETL方法,可对运行监控信号进行快速、精确、有效的规范化处理,实现多数据源集成与输出,为主动配电网设备仿真、故障分析、状态估计等多种重要应用提供数据准备。     

省级电力营销数据仓库应用系统架构设计及其关键问题分析

针对当前很多省电力公司营销中面临的一些问题,提出了建立省级电力营销数据仓库应用系统的解决方案.着重以安徽省电力公司为背景,详细介绍省级电力营销数据仓库应用系统架构设计,分析了其关键问题,包括ETL数据质量,元数据管理等.     

一种轻量级电网实时数据ETL系统的设计与实现

以某省电网实时数据监测系统的数据中心建设项目为背景,提出了一种轻量级的,适合于电网实时数据迁移与同步更新的ETL系统解决方案。系统支持多种关系型数据库和数据文件,提供全量、增量、主细表等多种自定义模式数据迁移方案。系统利用JDBC数据库访问技术、JSR-166的Util.Concurrent并发线程包以及SWT技术,结合元数据的管理,解决了异构数据的快速抽取、清洗转换与加载、任务的调度和跨平台运行的问题,并在实际应用中表现出了实用性和稳定性。     

一种轻量级电网实时数据ETL系统的设计与实现

以某省电网实时数据监测系统的数据中心建设项目为背景,提出了一种轻量级的,适合于电网实时数据迁移与同步更新的ETL系统解决方案.系统支持多种关系型数据库和数据文件,提供全量、增量、主细表等多种自定义模式数据迁移方案.系统利用JDBC数据库访问技术、JSR-166的Util.Concurrent并发线程包以及SWT技术,结合元数据的管理,解决了异构数据的快速抽取、清洗转换与加载、任务的调度和跨平台运行的问题,并在实际应用中表现出了实用性和稳定性.     

阳光电源:架起通往绿色新能源之桥

逆变器取得ETL加拿大认证日前,阳光电源股份有限公司加拿大合资公司——加拿大阳光电源有限公司的光伏逆变器顺利获得ETL(加拿大)认证,取得了加拿大市场的准入证。加拿大是北美光伏市场重地,地域广阔、光照条件好,具有得天独厚的光伏发电条件。阳光电源研发人员针对当地市场     

基于多源数据集成的电网规划综合数据平台

针对规划系统的各环节间数据难以有效共享等不足,以及规划业务系统与其他各专业系统的数据集成缺乏统一规划和设计等问题,通过有效集成PMS、GIS、EMS、智能配网监控、用电信息采集等多个业务系统,采用数据仓库(ETL)、K-means聚簇算法等大数据技术手段,实现了结构化、非结构化、海量历史/准实时、电网空间数据等信息的高效接入以及电网设备、运行水平、图形管理、规划方案等数据的深度融合,形成了集数据融合、存储、计算、建模、挖掘、分析及智能感知于一体的电网规划综合数据平台,首次实现了省域电网发展专业数据资产的集中管理与高度共享。山东省、市、县三级电网的全面推广应用表明了所提平台的有效性和工程效益。     

新型太阳能电池关键材料研究取得新进展

<正>钙钛矿太阳能电池(PSCs)由于其能量转换效率高、成本低廉和制备工艺简单等优点,引起了科研工作者的广泛关注。电子传输层(ETL)作为钙钛矿太阳能电池的重要组件之一,可以选择性传输光生电子,抑制载流子复合,对电池能量转换效率的提高具有重要意义。针对目前传统ETL材料与钙钛矿层本征电子迁移率不匹配这一关键问题,该工作采用低温化学浴沉积方法制备了排列规整的In2S3纳米片阵列,并将其首次应用于钙钛矿太阳电池ETL的结构设计中。     

基于J2EE组件技术的信息发布系统

提出了基于J2EE组件技术和ETL技术的信息发布系统方案,分析了系统架构、流程、功能和技术特点,阐述了系统的理论价值和应用前景.     

进入美国市场大提速海尔建成“ETL”空调试验室

日前，由中美两国空调专家联合建立的“海尔ITS－ETL试验室”正式建成挂牌（ETL试验室是由美国发明家爱迪生一手创立的，在美国及世界范围内享有极高的声誉）。来自ITS（IntertekTestingServices）北美公司设备工程总经理斯通和海尔集团空调产品本部本部长王召兴为该试验室举行