企业数据仓库的ETL技术

介绍数据仓库ETL技术及其在企业数据仓库整个项目实施中的作用,分析了ETL体系结构与功能。ETL是实现数据集成的主要技术,ETL中3个字母分别代表的是Extract．Transform、Load,即数据的抽取、转换,加载。ETL作为构建数据仓库的一个环节,负责从分布的,异构数据源中的数据如关系数据．平面数据文件等抽取到临时中间层后进行清洗、转换．集成,最后加载到数据仓库中,成为联机分析处理,数据挖掘的基础。举例介绍SAPBW的ETL工具。     

地区电力调度数据仓库建模与数据处理

分析电力调度中心各业务系统中的数据,将系统数据分为设备台帐、周期采样和事件动作3种类型,后2种数据中大部分为事实数据,其数据量占数据仓库的90%以上。提出其共享维度建立数据模型的建模思路,数据仓库的数据来源是任何与需要分析主题有关的地区电力调度数据,在数据抽取、转换、清洗、装载(ETL)的过程进行数据过滤、重新选择粒度、统一编码等清洗与转换后存入数据仓库中,形成按照主题定义的数据子集或数据子立方体结构。数据仓库维度建模有第三范式(3NF)和星型2种模式,3NF模型适用于地调数据仓库中心建模;星型模型适用于数据集市中建模,利于信息检索。论述了数据仓库维度模型中的基本表——事实表和维度表,并对地区电力调度中心数据仓库的测点、日期与时间维度表进行了设计,说明了ETL数据仓库中的相关数据是操作环境对应数据,首先将逻辑数据模型转换为物理数据模型后,进行扩展性标识语言(XML)描述实现异构系统的数据共享。提出要考虑故障发生与天气、温度、湿度等气象条件和负荷变化之间的联系,给出了通过人工神经网络等特定数据挖掘方法的基本流程。     

ETL在青海省电力公司数据中心系统中的应用

依据国家电网公司"SG186"工程的总体规划,青海省电力公司于2006年11月开始实施青海电力公司数据中心项目.ETL作为数据中心系统的关键部件,主要完成数据抽取、清洗、转换和装载工作,它是构建数据中心的重要环节,同时也是构建数据中心过程中出现问题最多的环节.文章通过ETL技术在青海电力公司数据中心项目中的应用,介绍了ETL的功能及作用,同时对ETL的数据处理过程做了详细的论述.     

基于风电数据仓库的ETL技术研究

作为数据仓库的关键部件,支持数据抽取、转换和装载的ETL工具是一个必不可少的成功因素。以风电数据仓库为背景,介绍了数据仓库ETL的必要性、ETL流程,重点提出了一种ETL工具与自行编码相结合的ETL实现方法。针对风电海量数据的特点,通过优化过的ETL技术,大大提高了风电信息系统的运行效率。     

数据预处理在电力远程智能监测系统的应用

介绍电力远程智能监测系统的基本组成及工作原理后提出了基于数据仓库ETL技术的电力数据预处理技术并以疏失误差剔除的过程为例描述了ETL过程。与传统方法比较,应用数据预处理和数据挖掘技术的智能监测系统操作方便,结果正确,使用性强。     

基于Spark框架的电网技改大修项目后评价系统设计与实现

项目后评价是项目管理过程的重要环节,目前电网技改大修项目只选取部分重点项目开展后评价试点,无法反映项目整体执行效果.本文介绍基于Spark框架开发技改大修项目后评价系统的过程,该系统利用大数据技术处理后评价基础数据,采用多层次模糊综合评价法对项目执行效果进行打分,为技改大修项目的常态化开展提供了技术保障.     

基于云技术的电网技改大修项目管理数据可视化平台构建

电网技改大修项目管理数据库对视频图像以及文件的存储量低,存储平台无法承受大量访问,为此研究基 于云技术的电网技改大修项目管理数据可视化平台构建.在硬件设计方面,多层次并行处理不同粒度大小的数据,实 现多流数据传输和GPU 运算.在软件设计方面,建立电网技改大修项目管理数据可视化演示模块,来更新和保存用 户数据;建立电网技改大修项目管理数据平台的云技术分析模块,分析数据存储价值,节约费用成本.实验测试分成 ２个阶段,在数据采集通信测试中,用户从MapReduce模式处理时间快,CPU 占用率低,运行稳定;在分布式数据 存储性能测试中,在相同条件下,用户从MapReduce模型处理线程的写入能力和读取能力性能最好.     

省级电力营销数据仓库应用系统架构设计及其关键问题分析

针对当前很多省电力公司营销中面临的一些问题,提出了建立省级电力营销数据仓库应用系统的解决方案.着重以安徽省电力公司为背景,详细介绍省级电力营销数据仓库应用系统架构设计,分析了其关键问题,包括ETL数据质量,元数据管理等.     

基于设备技术寿命评价的项目管理研究

本文基于资产全寿命周期管理理念,将设备运行履历、检测试验和状态评价信息定量转化为技术寿命结果,科学确定技改大修项目排序,以减少设备短期改造、零星改造、重复检修,以延长设备使用寿命为核心,提升技改大修项目科学性与统筹性。以此为基础指导技改大修立项决策,以整站整线改造为目标整体提高设备健康水平,提升了项目管理效益和安全质量水平。     

基于数据仓库的ETL技术研究

该文简单介绍了ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位,然后重点介绍了ETL的具体设计和实现方法。     

关于电网技改大修项目成本的管理决策方法

为提高电网技改大修项目的成本管理工作质量,以生命周期成本管理理念为基础,构建适用于电网技改大修的全维度成本管理模型.在设备投入使用的前8年采用维修方式可实现最低成本的投入,8年后采用技改方式可控制项目成本的支出.所提管理方法具有较高的实用性和可行性,能够有效区分技改与大修带来的经济支出,可为相关工程提供参考帮助.     

数据仓库技术在电力营销中的应用研究

本文在对原有的数据源进行分析和重新组织的基础上,构建电力营销数据仓库,并建立多维星型模式的数据立方体。运用OLAP和数据挖掘技术,从多角度、多层次快速地分析和查询数据仓库的数据,实现营销管理和预测的科学化,并说明电力营销决策支持系统能够为电力系统管理人员提供有效的决策信息。     

基于CEP引擎的配电网运行监控信号大数据ETL方法

电力系统规模在不断扩大,配电网电气设备数量急剧增长且趋于精细化。大量且散乱的运行监控数据使得主动配电网各应用无法快速有效地提取有用信息以形成决策支持。本文利用复杂事件处理(CEP)引擎作为运行监控信号处理核心,通过Apriori机器学习算法定义和完善规则库,通过核心算法库对信号数据流进行规范化处理。整体采用ETL(Extract-Transform-Load)框架,将主动配电网中分散、零乱、标准不统一的信号数据整合、清洗后加载到数据仓库,并以多种数据接口输出至不同介质,供不同应用调用。基于CEP引擎的大数据ETL方法,可对运行监控信号进行快速、精确、有效的规范化处理,实现多数据源集成与输出,为主动配电网设备仿真、故障分析、状态估计等多种重要应用提供数据准备。     

多源异构数据治理技术在跨境电力运营监管过程中的应用与实践

针对传统跨境电力运营监管过程中存在的监管延迟时间过长和监管效率不高的问题,本文提出在跨境电力运营监管过程中采用多源异构数据治理技术对监管数据进行高效收集、处理、传输和应用,以提高跨境电力运营监管效率的方案。首先,通过收集和处理跨境电力运营过程中的监管数据,并对两种级别的元数据同时进行有效的特征提取和元数据特征加权融合;随后基于多源异构数据治理技术对上述元数据进行清洗处理,提取出有效的运营监管信息;最后通过提高跨境电力运营过程监管数据的质量,实现高质量监管跨境电力运营过程。设计实验的结果显示,实验组通过采用多源异构数据治理技术,能够达到缩短监管延迟时间的目的,可以实现对跨境电力运营过程的高效监管。     

SAP电力专栏(二十三)大修技改项目管理

电力企业的大修技改项目的整个过程包括了立项、计划、执行和结束4个阶段,但是在项目的具体流程上与基建项目相比,相对比较简单。S A P提供的强大的项目管理完全可以满足大修技改项目在项目各个阶段的管理,但是大修技改项目也有其独特的一面。由于大修技改项目都是针对设备的运行和维护的,所以SAP生产管理系统的大修技改项目管理,结合了项目管理和设备维护的功能,使得对大修技改项目的管理非常有针对性。1项目立项阶段首先由各部门汇报大修技改的年度计划,由大修技改项目的主管部门进行汇总和批复,然后根据批复的大修技改计划在系统中建…     

基于电网数字化转型的技改大修项目管理方法研究

技改、大修作为电网设备更新,改造,整治的最直接途径,在电网设备装备水平的提高、电网网架的优化,发挥着重要的作用。通过开展技改大修,有效提高电力系统设备运行的可靠性、电网运行的经济性以及电网供电质量,为用户提供可靠、安全、稳定的电能,最终为企业创造更合理的经济效益和社会效益。随着现代化信息技术提升及项目管理软件工具不断升级,技改大修项目数字化转型也将在电网设备技术改造和设备大修中发挥重要作用。基于此,分析了电网设备技术改造与生产大修管理中存在的问题;提出技术改造与生产大修管理数字化方法,包括构建储备一体化体系、优化停电检修计划管理模式、优化项目进度管控模式、打通业财链路;结合电网企业数字化转型要求,开展新一代数字技术应用和场景构建,通过“建机制、搭平台、促提升”,对加强资产全寿命周期管理,提高经营效率效益和发展质量,实现国网公司“一体四翼”发展布局、加速建成现代设备管理体系有着重要意义。     

资产全寿命周期管理通用技术方法在技改大修项目中的应用研究

技改大修工作对电网设备升级、恢复健康水平意义重大。通过应用资产全寿命周期管理通用技术方法制定生产技术改造、大修策略,达到优化项目管理流程,提高技改大修资金完成率和项目完成率的目的。     

大型水轮发电机组大修期间运行操作风险管控

针对水轮发电机组大修期间操作项目多、交叉上电设备试运多、设备技改首次投运操作多等运行操作特点,梳理了大修期间运行操作风险点,提出了运行操作风险管控措施,以期杜绝误操作,实现零违章,保障大修顺利进行.     

基于PMS-ERP流程管理的大修技改项目精益化提升研究

大修技改工程具有规模差异大、周期长短不一、涉及环节和专业多等特点,由于外在影响因素不断变化,若过程管控不到位,容易产生项目工期延长、计划资金无法完成、精益化管控指标不达标等问题。基于此,借助PMS-ERP项目管理实施平台,以生产大修技改精益化管理评价指标为基础,以梳理大修技改项目的管理流程短板为目标,从生产大修技改项目管理中潜在的衔接漏洞、职责不清、PMS-ERP应用不足等问题进行深入研究,从问题表现、影响因素、解决方案和实施细则等方面进行深度分析和挖掘,进行流程优化、弥补短板,加强PMS、ERP等信息系统的有效应用,着力提升大修技改项目全过程管理的精益化水平。     

基于综合技术寿命评价的电网设备技改大修管理流程的构建研究

本文分析了目前电网设备技改大修决策中所遇到的问题,结合全寿命周期管理体系要求,采用综合技术寿命评价标准来指导技改大修决策,形成了规范管理流程,有效地发挥了综合技术寿命分析对技改大修项目决策的指导性作用。