基于云计算的电力大数据分析技术与应用

为解决电力数据分析系统在大数据时代面临的严重的性能与可伸缩性瓶颈,更好地满足生产、营销等系统的需求,分析了云计算技术的优势,提出了基于云计算的电力大数据分析系统体系结构及关键技术。基于分布式并行计算框架Hadoop和Hive,面向电力大数据特征,设计了多维索引、SQL自动翻译工具和支持数据更新的混合存储模型3项性能提升技术,实现对传统电力数据分析系统的升级优化。在浙江电力用电信息采集系统的实际部署经验表明,和传统电力数据分析系统相比,该系统以1/8的硬件成本,获得平均5倍的性能优势。证明了云计算技术能够显著提升电力大数据查询与分析性能并有效降低成本。     

能源互联网形势下的电力大数据发展趋势

提出了在能源互联网形势下,针对电力行业大数据应用的发展方向,提出了一种电力大数据技术框架和关键技术体系,并定义了其适用的场景和应用模式,助力电力大数据的发展研究,提出适用于能源互联网环境的能源公共数据服务平台,作为未来能源互联网的"分析应用中枢",为整个能源网的运行提供必要的基础数据支撑和决策支持。     

基于大数据架构的综合能源监控系统平台技术研究

为供能服务商、企业用户以及政府机构提供更好的综合能源信息服务至关重要,因此越来越多的能源大数据中心已启动建设和运营,以促进广泛的数据汇聚融通、共享交换和大数据分析。给出了一种基于大数据架构的综合能源监控系统平台设计方案。首先,梳理了综合能源监控系统平台的需求及架构设计;其次,分析了综合能源监控系统平台设计的关键技术,包括数据的采集和传输、海量数据的建模和存储、数据监测和质量提升、数据共享交换流程机制等,实现大数据情况下的高效应用;最后,通过综合能源监控系统平台的核心功能的开发,以及在我国多个省市的实际应用效果分析,验证了所提技术的有效性。     

基于调度云平台通用分布式架构实践

针对传统调度云数据集成架构微服务拆分不合理、可靠性差及大规模数据处理出现瓶颈等问题,提出基于调度云平台通用分布式架构解决方案。首先构建了云平台系统典型架构,基于云计算理念将云平台组件与实际业务系统高效整合。其次探索研究了分布式关键技术,包括基于元数据的文件分布式存储、多执行器的分布式任务处理中心、基于数据代理的分布式数据库存储、业务模块分布式部署等架构,并提出了基于异常任务回收机制的综合负载调度算法。最后通过真实场景验证所提出的分布式架构提升了海量数据加工、处理及存取效率,增强了系统在高并发情形下的性能表现。     

云计算在电力用户用电信息采集系统中的应用研究*

随着国家电网公司确立的电力用户用电信息采集系统"全覆盖、全采集、全费控"目标的逐步实现,电力系统中运行的采集终端数量大幅激增,从而使采集的电力系统数据信息量呈几何级数增长。面对海量的用电数据,当前用电信息采集系统在多个方面出现瓶颈。文中通过分析当前作为解决大数据存储、分析、计算、管理有效手段的云计算技术,结合当前用电信息采集系统所遇问题,研究了云计算在电力用户用电信息采集系统中的应用前景及面对的挑战,对未来电力用户用电信息采集系统的建设和发展有指导意义。     

电力大数据关键技术在电力传输预测与规划中的应用

介绍了电力大数据技术的研究背景与价值,解析了电力大数据系统的常见架构,说明现代电力系统应用背景下电力大数据系统的主要组成模块.大数据系统用于电力系统时,需要考虑云计算、数据存储、数据集成、数据计算、数据应用等5个关键技术.通过对关键技术与系统组成的分析,提出了可用于预测规划的应用方法,并对未来应用做了展望.     

能源互联网背景下电力市场大数据应用探讨

能源互联网是能源发展的必然趋势.文中从电力市场交易运营数字化转型升级的愿景出发,结合电力市场的数据形态,探讨了大数据采集存储、分析处理以及数据展现等方面的关键技术.提出以"云计算+大中台"的技术路径实现电力市场业务中台、大数据中台、人工智能中台的整合架构体系,并基于能源互联网背景下的电力市场交易业务分析,阐述了电力市场...     

基于电力大数据平台的三层数据过滤机制研究及应用

大数据技术是城市电网数字化规划中的重要工作内容,具有重要的理论和实践价值。但是这些数据体积大、类型多、更新速度快,为防止海量数据带来的分析干扰,提出了基于电力大数据平台的三层数据过滤机制,对过滤数据构建分段式小样本回归模型。该模型在上海某风力发电厂风机发电功率预测中进行应用,算例结果表明三层数据过滤机制有效地解决了庞大数据量的无序、可用性较低等问题,对整体数据具有良好的表征性,提升了预测精度,促进了电网信息价值密度的高质量提升。     

基于大数据的煤矿综合业务管控平台开发

工矿企业智能化发展是信息技术和工业制造业发展的必然趋势。本文以伊敏露天矿煤电联营企业综合业务管控平台开发为实例,详细分析智能煤电企业业务系统总体技术架构和功能架构,结合该矿现有业务的实际情况,采用云计算、大数据技术及开源工具Docker等,建立了综合业务管控系统的工业云平台,主要包括容器平台、仓库管理、持续集成、云原生开发平台、大数据平台等功能,实现了露天矿数据统一管理、业务系统持续开发与部署、应用资源管理与运维监控功能。该平台已在现场实际应用,应用效果良好,可为同行业综合业务管控平台开发提供借鉴。     

能源大数据信息服务定价及其在电力市场中的应用

随着能源技术发展和能源网络的复杂化,能源大数据信息化成为趋势。在市场经济条件下,能源市场化的形成,使数据信息成为一种极其重要的商品。鉴于此,该文紧密联系能源互联网与信息服务,研究能源大数据的信息服务定价,梳理了能源大数据信息服务定价流程,提出了信息服务产品内容和应用模式,并给出了在电力市场中的应用,为将来能源互联网中信息服务应用体系的规划和建立,实现数据流的价值创造提供有益的参考。     

基于大数据平台的电压质量诊断与应用分析

针对传统电压质量异常识别方法效率低下,难以做到全面的识别与监控的问题。文中搭建了电压质量诊断与分析平台模型,通过主成分分析得到影响端用户电压监测分析、配网低压台区运行状态分析等应用的主成分,对数据进行降维,实现数据的简化处理。聚类分析筛选出符合异常特征的电压异常数据,利用电压异常模型确定异常数据,生成电压异常识别结果。基于J2EE技术框架在末端用户电压监测分析、配网低压台区运行状态分析、配网线路故障判断分析等方面进行可视化展示。     

基于云平台的通信电源控制系统

利用云平台进行大数据处理与系统控制是分布式监控系统的未来发展方向。通过对通信电源系统工作原理以及云平台技术的研究,提出了基于云平台的通信电源控制系统。研究了通信电源控制系统以及基于Hadoop云平台的分布式数据存储技术,并做出了基于Linux HA的数据完整性分析。通过该平台的搭建,大大提高了通信电源系统的控制水平与控制效率。     

基于大数据技术的电网历史数据管理设计实现

随着电网调控业务的不断发展,原先采用关系型数据库管理历史数据的方式面临着越来越严峻的挑战。对电网调控历史数据存储管理关键技术如分布式列存储、数据汇集、以及广域历史数据服务进行了讨论,突破了现有基于关系型数据库历史数据管理方式的瓶颈,使原本局限于本地调控系统的历史数据实现全网统一存储与共享,提升多级调控系统协同处置能力、信息化支撑能力及全局资源共享能力,全面保障电网安全优质运行和调度管理精益高效运转。     

云存储平台助力电力企业信息化

通过系统技术和推广应用的论述,介绍了贵阳供电局云存储平台在电力系统中的建设及应用过程。     

云平台下全维度电力设备状态数据并行化处理技术

数据集成和信息共享是建立智能电网的必然趋势,设备状态数据越来越多地被发送到控制中心,如何快速处理大量的历史数据和实时在线监测数据成为亟待解决的问题。结合开源云平台和大型数据处理技术,对电力设备运行状态监控数据进行并行计算和诊断研究,提出基于Spark内存技术的集合经验模型的分解并行算法EEMD,以补偿复杂场景处理中HDoop Map Reduce的不足,设计实现了两种不同结构的并行EEMD算法,并通过对比实验分析算法的性能,研究工作可为我国电力设备状态数据并行处理技术的发展提供一定的参考和借鉴。     

基于云平台的计量运行数据深化应用与故障智能识别研究

针对计量自动化系统普遍存在的档案一致性差、实时监控效果不佳以及数据价值尚未深入发掘等问题,结合电网电能量数据上传要求,主要针对计量运行数据深化应用与故障智能识别开展应用研究。以云平台作为基础平台支撑,构建了计量数据智能分析平台,能够对计量档案完成质量分析,并对异常数据进行提取和处理,有效解决档案一致性问题。该平台可依据典型计量故障数据,智能化构建计量故障池,对海量计量数据进行分析,并识别出疑似的计量故障数据,辅助运维人员开展计量设备的运维工作。该平台还可基于计量海量数据的分析与挖掘,实现客户日用电情况、异常数据监控等数据高级分析应用。文中研究对于我国泛在电力物联网在计量自动化领域的实践提供了可靠借鉴。     

基于大数据分析的县公司综合评价策略

提出一种基于大数据分析的县公司综合评价策略。以1780家县公司数据为基础,建立考虑统计分析、决策树分析、数据包络分析等大数据技术的指标挖掘策略;通过信息挖掘构建一套适用于县公司综合评价的指标体系。以经济因素和企业因素为规则,建立基于县公司聚类的差异化权重计算方法,实现对县公司差异化发展内生和外生因素的联合判别,克服综合评价结果解释的单一化。通过浙江省的实证化应用,验证了所提策略的有效性和实用性。     

基于大数据平台的电网线损与窃电预警分析关键技术

提出了一种基于营配调贯通的海量数据分析技术,采用电力大数据平台关键技术构建电网线损与窃电预警分析系统,实现线损的一体化计算、分析与展示。在线损计算结果的基础上,综合利用电网企业现有海量数据,通过采用Hadoop离线分布式计算、Spark内存计算等大数据技术对线损率异常线路或台区进行深度挖掘,识别出可能存在的窃电行为,为供电企业反窃电稽查提供窃电预警和数据支持服务,进一步提升供电企业的经营效益。本系统的构建为大数据技术在电力行业的应用进行了验证和实践。     

基于Neo4j的电力大数据建模及分析

电力大数据的处理离不开大数据技术的支持,如何存储电力大数据并从中挖掘出有价值的信息来促进电网的发展是当前的研究热点。本文首先从数据存储方式和数据检索功能两方面对图数据库Neo4j进行详细介绍;然后提出基于Neo4j构建电网的全景数据库,根据电力网络拓扑建立设备映射表,将目前电网中分散、隔离的海量数据有序地整合起来,同时利用Neo4j自身封装的图论算法提出基于图论的电力数据聚类分析方法;最后基于Neo4j数据库分析了两个具体的算例,对Neo4j数据库的信息检索性能和数据聚类分析功能进行了测试。