面向电力大数据分布式云存储的性能分析与优化

<正>在电力调度系统中,电力数据以大数据散布的形式分布在云存储系统中,由于云存储节点和数据分布在城市电力调度环境具有非均匀自组织特性,制约电力大数据的调度效率,造成云存储冗余,需要进行性能优化。传统的电力大数据分布式云存储和数据调度算法采用能量谱密度函数特征提取算法,由于能量谱密度函数多模盲均衡特性,造成云存储系统中的干扰数据较多,电力数据调度效率不好。提出一种基于宽频带数据特征压缩的电力系统大数据分布式云存储算     

国家电网公司“电力大数据平台关键技术研发与示范应用工程”项目通过鉴定

近日,由中国行业软件协会组织的"电力大数据平台关键技术研发与示范应用工程"项目鉴定会在北京举行。由中国科学院院士徐宗本任组长、中国工程院院士沈昌祥任副组长的鉴定委员会对该项目给予高度评价,认为项目所研发的平台技术是在国际上首次提出并实现集中式和分布式混合架构的电力大数据存储与计算服务、多源异构电力大数据融合模型与统一数据网关等技术;平台结合电力生产服务特点,开展了卓有成效的示范应用,形成了分     

基于分布式技术的用电信息采集主站系统设计与应用

随着用户侧数据采集设备的发展及电网业务对用户侧采集数据的深化应用,当前电力用户用电信息采集主站系统在数据采集、计算、入库等方面出现瓶颈,无法满足业务快速发展的需求.针对营销数字化转型发展的需要,基于分布式架构、异步网络、并行计算与分布式存储等技术,文中提出一种具有高频实时采集特征的主站系统技术方案,在采集通信层、任务调度层、分布式存储层及并行计算层4个层面全面解决高频并发交互、复杂任务调度、海量数据存储及实时计算的效率问题.通过中国某省级工程应用表明,所提出的方案可显著提升用电信息采集主站的采集能力,改善集中式采集主站性能.     

基于云计算技术的电力大数据分布式检索系统

为了提高电力大数据定位识别和信息融合能力,进行电力大数据检索优化设计,提出一种基于云计算技术的电力大数据检索系统设计方法,采用多元回归分析方法构建电力大数据库存储结构模型,进行电力大数据的分布式存储数据结构特征分析,对混合型的电力大数据在云计算环境下进行信息聚类融合处理,采用模糊特征分组聚类方法对不同属性的电力大数据进行分组检测,提取电力大数据的关联规则特征量,采用云计算技术实现电力大数据分布式检索。在嵌入式环境下进行电力大数据分布式检索系统软件设计。仿真结果表明,采用该方法进行电力大数据检索的特征指向性较好,数据检索的数据召回率较高。     

ODPS平台下的电力设备监测大数据存储与并行处理方法

计算性能是制约电力大数据应用(基于大数据的故障诊断、预测等)的关键问题。利用分布式存储、并行计算加速此类数据密集型应用是目前较有效的手段。尝试利用阿里云开放数据处理服务(ODPS)存储并加速电力设备监测大数据分析过程。以变压器局部放电(PD)数据相位图谱分析(PRPD)为例,提出了适合高采样率、时序性强的局部放电信号数据存储方法。采用ODPS扩展MapReduce模型(MR2)设计了"Map-Reduce-Reduce"方式的PD信号宏观特征提取方法,提出了并行化PRPD分析算法(ODPS-PRPD),实现了大量PD信号的并行基本参数提取、统计特征计算与放电类型识别。在实验室中构造了4种放电模型并采集了大量PD信号,分别在ODPS平台上和实验室自建的Hadoop平台上进行了性能评估和成本分析。实验分析和结果表明,ODPS-PRPD将大量的中间过程数据(PD谱图数据等)一直保存在内存中,相比自建Hadoop MapReduce平台性能明显提升,并在数据可靠性、服务可用性以及成本方面具有明显优势。     

区块链技术在电网业务数据分布式存储管理中的应用

当前电力企业中电网业务数据存储存在数据吞吐量较少,导致存储率低的问题,因此,需要研究区块链技术在电网业务数据分布式存储管理中的应用.通过分析智能电网数据信息与区块链技术特征,对智能电网数据管理平台进行架构上的重塑,尝试将区块联盟链技术内嵌在电网数据管理框架中,并利用区块链技术的分布式存储,非对称加密、共识机制、智能合约等特点解决电网数据存储问题,打造智能电网数据优化的新型生态模式.构建电网业务数据分布式存储管理整体架构,建立基于区块链技术的管理机制,确定分布式存储管理安全策略,完成数据分布式存储管理.实验证明,该方法与传统管理方法相比可以有效提高数据存储的吞吐量,对电力企业而言具有更高的应用价值.     

基于大数据平台的配电网负荷预测关键技术

大规模配电网负荷预测需重点关注预测准确率及计算效率,由于规模大、关联因素复杂,采用传统集中式或简单分布式平台环境难以满足应用要求。提出了基于大数据平台的解决方案,方案结合大规模配电网负荷预测应用场景特点,提出了数据存储、数据预处理、特性分析、预测算法等关键环节的技术路线。应用多元化分布式存储方式,实现了多类型数据的分类存储;应用机器学习技术,实现了数据预处理、负荷特性分析等;应用Spark流计算技术,实现了基于滑动窗口操作的滚动短期预测和基于无状态操作的中长期预测。在某省的实际应用结果证明了解决方案在预测准确率和计算效率提升方面效果明显。     

区块链技术在电网业务数据分布式存储管理中的应用

当前电力企业中电网业务数据存储存在数据吞吐量较少,导致存储率低的问题,因此,研究区块链技术在电网业务数据分布式存储管理中的应用。通过分析智能电网数据信息与区块链技术特征,对智能电网数据管理平台进行了架构上的重塑,尝试将区块联盟链技术内嵌在电网数据管理框架中,并利用区块链技术的分布式存储,非对称加密、共识机制、智能合约等特点解决电网数据存储问题,打造智能电网数据优化的新型生态模式。构建电网业务数据分布式存储管理整体架构,建立基于区块链技术的管理机制,确定分布式存储管理安全策略,完成据分布式存储管理。通过实验证明,该方法与传统管理方法相比可以有效提高数据存储的吞吐量,对电力企业而言具有更高的应用价值。     

依托Hadoop架构的海量变压器实时监测与存储方案构建

随着智能电网的建设以及电力变压器在线监测技术的成熟,电力变压器在线监测数据呈现出体量大、类型多等特点。使用传统存储技术存储变压器在线监测数据,已不能满足实时、快速的需求。为此,设计基于Hadoop集群的变压器在线监测数据存储方案。该方案利用HBase(分布式列式数据库)具有快速实时读写数据的优势,将变压器在线监测系统采集的海量数据实时快速地存储。为能自动快速实时收集数据和避免因数据流过大造成系统崩溃,分别采用Flume(日志收集工具)和Kafka(分布式流处理平台)收集和缓存数据。以电力变压器在线监测的油色谱数据为例,验证了所提存储方案的可行性和有效性。     

基于区块链与数据湖的电力数据存储与共享方法

针对电力物联网边设备之间、云主站平台营配调各系统之间的数据存储和共享的需求,提出了一种基于区块链与数据湖的电力数据存储与共享方法。首先,设计边缘层分布式电力数据存储架构,通过环签名和CryptoNote协议对边设备存储节点间的数据交互进行加密,实现双方身份认证,并基于区块链智能合约实现电力数据安全存储系统中节点间的数据共享。然后,基于数据湖与智能合约构建营配调平台间的数据共享和访问控制模型,其中在区块链中存储数据的哈希值,并在可信执行环境下将加密后的原始数据存储在数据湖中,以实现数据跨平台跨域安全共享和访问。最后,搭建实验平台对所提方法进行论证,结果表明,所提方法的最高存储延迟时间不高于25ms、并且吞吐量和安全性也较高。     

电力大数据智能化高效分析挖掘技术框架

随着智能电网的不断建设,各类生产经营管理活动中产生的海量、高频数据,具有实时性、易失性、突发性、无序性、无限性等特征,如何充分利用和分析这些数据,快速获取有价值的信息是当前电力大数据处理急需突破的难点。在分析目前电力大数据应用现状的基础上,构建了电力大数据智能化高效分析挖掘技术框架,同时从面向计算密集型电力大数据的特征分析技术、基于内存计算的高性能数据分析技术、电力大数据并行化分析框架及服务体系以及基于数据挖掘的母线超短期负荷预测技术4个方面详细描述了电力大数据智能化高效分析挖掘的关键技术,从而为电力业务数据的高效价值挖掘及在线决策分析提供理论依据及基础技术支撑。     

基于Hadoop架构的电能质量监测云模型研究

随着智能电网建设进程的加快。电能质量监测点不断增多,系统逐步完善。各种类型的监测和计算数据量急剧增加,呈大数据趋势。对于大数据的计算处理。云计算平台具有先天性优势。文章提出并初步实现了一种基于Hadoop架构的电能质量云模型,旨在整合传统计算存储资源,解决电能质量大数据的存储和计算问题。模型采用分层结构,以电网自然分层为基础,搭建分层电能质量云计算平台。整体采用面向服务的架构,各层以Hadoop架构搭建子云,并向上层主云提供服务。基于Hadoop架构的电能质量云模型不仅可以解决电能质量监测大数据的存储和计算问题,对解决智能电网中其他信息系统的大数据问题也具有参考意义。     

基于云计算的电力大数据分析技术与应用

为解决电力数据分析系统在大数据时代面临的严重的性能与可伸缩性瓶颈,更好地满足生产、营销等系统的需求,分析了云计算技术的优势,提出了基于云计算的电力大数据分析系统体系结构及关键技术。基于分布式并行计算框架Hadoop和Hive,面向电力大数据特征,设计了多维索引、SQL自动翻译工具和支持数据更新的混合存储模型3项性能提升技术,实现对传统电力数据分析系统的升级优化。在浙江电力用电信息采集系统的实际部署经验表明,和传统电力数据分析系统相比,该系统以1/8的硬件成本,获得平均5倍的性能优势。证明了云计算技术能够显著提升电力大数据查询与分析性能并有效降低成本。     

基于云-边-端协同的电力物联网用户侧数据应用框架

物联网技术渗透到电力系统所形成的电力物联网承载着海量数据流,通过电力业务数据化和电力网络信息化,促进电力数据业务化目标的实现。目前电网基于云计算的集中式数据存储与处理,使得海量细粒度的用户侧数据无法得到有效应用。基于此,文章提出了基于云-边-端协同的用户侧数据应用框架,以打破由于计算资源有限而导致用户侧与电力系统的交互壁垒。利用边缘计算与云计算的互补性,以预测预警、分类聚类和需求响应3类用户侧基础数据应用为例,设计了用户侧数据应用框架,以期实现自下而上和自上而下的双向数据流、业务流的协同循环,从而达到对用户侧数据进行广而深的价值挖掘的目标。最后,从物理层、平台层和业务层3个维度对实现该框架的关键技术进行了分析与总结。     

电网调控集群分布式实时数据库的设计与关键技术

为解决电网调度控制系统大规模实时数据的处理性能问题,设计了一种集群分布式实时数据库,通过分布式技术实现海量数据存储,并使用集群技术实现数据的统一访问和管理。对集群分布式实时库架构及所使用的分布式存储技术、分布式数据定位技术和分布式访问技术进行了讨论,解决了调度控制系统实时数据的灵活分片、分布式存储和快速定位问题。最后通过测试和现场运行验证了集群分布式实时数据库能在确保系统高可靠性的条件下,实现实时数据的高性能访问。     

调控云运行数据平台分布式缓存关键技术及应用

随着调控云运行数据平台历史数据存储规模持续增长,对历史数据访问的高性能、高可靠性、易扩展需求日益增加.结合业务需求,在分析缓存应用技术的基础上,提出了基于Redis的运行数据平台分布式缓存框架,研究了运行数据缓存的高效存储模型、高速访问、高可用管理等关键技术.实验结果表明,在读写性能、可靠性、可扩展性等多个方面,可满足各类业务应用对运行数据平台历史数据管理与访问的要求.     

电力云GIS平台及应用建设规划展望

云计算技术为电网GIS平台提供可弹性扩展的存储空间和高并发访问处理能力,文章以电网GIS平台为基础,研究了电力云GIS平台的体系架构,分析了电力云GIS平台及应用建设的关键点,包括电力空间数据引擎、基于云计算的空间数据处理、高性能电网分析及应用、基于云计算的电网统一地图服务以及云计算在全息三维可视化中的应用,提出了电力云GIS平台建设的规划。     

电力大数据面临的机遇与挑战

电力行业信息化和工业化融合发展促使电力数据迅速增长和不断融合,电力大数据时代已经到来。电力大数据源自电力行业,与智能电网、智慧城市紧密相连,是未来电力发展的重要资源。面临电力大数据的机遇与挑战,研究多数据融合、数据模型、数据可视化、内存计算、分布式计算等关键技术,促进电力大数据在电力生产和企业经营管理中的应用,对更好地服务节能减排、服务经济社会发展、服务资源节约型和环境友好型企业建设意义重大。