基于Hadoop的风力发电监测大数据存储优化及并行查询方法

随着风力发电的广泛发展以及智能化监测技术的推广应用,风力发电监测数据呈现出体量大、类型多、增长快的大数据特征.针对风力发电监测大数据高效存储和快速查询两方面核心问题,基于Hadoop平台进行大数据存储优化方法研究,提出考虑风力发电监测数据关联性的哈希分桶存储算法,实现了相关联数据的集中存储,从而提升后期数据查询及处理的效率.在数据存储优化的基础上,实现基于MapReduce的多源风力发电监测大数据并行关联查询.通过在Hadoop平台上进行测试表明,经过哈希分桶存储优化后的多源数据并行关联查询相比传统Hadoop方法查询时间显著缩短.     

配用电大数据多源集成及存储优化方法

面对体量大、类型多、增长快的配用电大数据,如何利用大数据技术提升配用电相关业务的广度、深度和精度成为电力行业新的机遇和挑战。为解决配用电大数据多源集成和高效存储两方面核心问题,根据配用电大数据的组成及特征,通过生成标准化元数据并构建相应数据字典的方法,实现了多源配用电数据规范化集成;在数据集成的基础上,基于Hadoop平台进行大数据存储优化方法研究,提出考虑配用电数据关联性的哈希分桶存储算法,实现了相关联数据的集中存储,从而提升后期数据查询及处理的效率并在数据存储优化的基础上,实现基于Map Reduce的多源配用电大数据并行关联查询。通过在Hadoop集群平台上进行测试表明,经过哈希分桶存储优化后的多源数据并行关联查询相比传统Hadoop方法查询时间显著缩短。     

基于大数据的输变电设备缺陷评估示范平台设计

针对当前电网可靠性问题,结合输变电运行特点,在输变电设备缺陷分析平台需求基础上,提出一种基于Hadoop的输变电设备缺陷分析平台。首先分析该平台的需求,并给出系统整体架构;其次从数据存储和查询效率入手,采用Hadoop架构对数据进行存储,采用CMCH算法提高数据查询效率。再次构建设备缺陷评估模块,通过加权分值计算方式,实现设备缺陷等级的划分;最后通过搭建Hadoop平台对该方案进行验证,结果表明,该方案可有效提高数据查询能力,实现对输变电设备缺陷数据的处理。     

基于大数据技术风电机组容量可信度计算

在大规模风电并网的前提下,风电容量可信度计算对电力系统可靠运行具有重要意义。论文基于电量不足期望(LOEE)可靠性指标,考虑风电场间时空相关性的影响因素,采用非序贯蒙特卡洛法对风电容量可信度进行计算。风电容量可信度的计算需要的数据有风速、风电出力、风电机组地理位置信息等数据,由于计算所需的数据量大、类型多、来源广等特点,提出基于Hadoop架构的大数据技术计算风电容量可信度,针对Hadoop架构存在的机架感知不平衡及存储数据间缺乏相关性问题,引入机架感知配置法和哈希桶存储算法对其进行改进,提高了数据存储及数据处理的效率,减少计算时间,通过实例验证文中所提方法的有效性。     

电力设备状态高速采样数据的云存储技术研究

提出基于Hadoop和HBase的电力设备状态高速采样数据的存储方案,基于MapReduce设计实现了设备状态高速采样数据的并行查询方法。创建了1个包含20个节点（每个节点配置4核CPU）的Hadoop集群,并对集群进行了基准测试,测试结果表明所建集群适合进行大量数据的读写。以绝缘子泄漏电流数据为例,使用YCSB对所建存储系统进行了性能测试,测试结果表明,Hadoop和Hbase在存储容量、吞吐量以及查询延迟上提供了足够高的性能,能够满足智能电网状态监测数据可靠性及实时性要求。     

云平台下时间序列数据并行化排列熵特征提取方法

随着高级量测体系和各类监控系统的大规模建设发展,时间序列数据的规模呈指数级增长,在智能电网大数据中占有较大的比重。时间序列数据的特征提取是影响数据挖掘质量的关键步骤,在大数据背景下,传统的特征提取算法已无法满足海量数据处理的需求。结合云计算平台和MaxCompute大数据处理技术,设计实现了时间序列数据的表存储方法和并行化的时间序列数据排列熵特征提取算法。在云计算平台上采用不同规模的数据集对并行化算法进行测试,验证了并行化排列熵算法的正确性和高性能。     

大数据发展历程大事件汇总(2005-2016)

正①2005年2005年Hadoop项目诞生。Hadoop本身不是一个产品,而是由多个软件产品组成的一个生态系统,这些软件产品共同实现全面功能和灵活的大数据分析。从技术上看,Hadoop由两项关键服务构成:采用Hadoop分布式文件系统(HDFS)的可靠数据存储服务,以及利用一种叫做MapReduce技术的高性能并行数据处理服务。②2008年2008年末,"大数据"得到部     

智能电网大数据处理技术现状与挑战

智能电网需要全景的状态数据。电网运行、检修和管理过程中会产生海量异构、多态的数据,也即大数据。如何对它们进行高效、可靠、低廉地存储,并快速访问和分析,是当前重要的研究课题。文章首先分析了发电、输变电以及用电各个环节中大数据的产生来源和特点;其后,综述了目前在商业、互联网和工业监测领域已有的大数据处理技术,并详细分析这些技术在应对智能电网建设和大数据处理方面的优势和不足。最后,从大数据存储、实时数据处理、异构多数据源融合以及大数据可视化4个方面论述了智能电网大数据带来的机遇和挑战。     

基于Hadoop的广域测量系统数据处理

为解决目前广域测量系统(WAMS)海量数据处理中存在的数据冗余、处理效率低等问题,设计并实现了一个基于Hadoop的WAMS数据处理云计算平台。首先,给出了平台的体系结构。其次,设计了基于Hadoop分布式文件系统(HDFS)存储的WAMS海量数据加载方法和利用MapReduce模型实现多个文件数据的并行抽取、转换和加载(ETL)操作流程。提出了结合MapReduce的MPApriori数据挖掘算法,用于高效地挖掘出连锁故障时各站点之间的相互影响。最后,通过对区域电网WAMS实际数据进行处理,验证了Hadoop处理海量数据的高效性。所述平台适用于高性能局域网络连接的计算机集群对海量电网数据进行文件数据处理。     

ODPS平台下的电力设备监测大数据存储与并行处理方法

计算性能是制约电力大数据应用(基于大数据的故障诊断、预测等)的关键问题。利用分布式存储、并行计算加速此类数据密集型应用是目前较有效的手段。尝试利用阿里云开放数据处理服务(ODPS)存储并加速电力设备监测大数据分析过程。以变压器局部放电(PD)数据相位图谱分析(PRPD)为例,提出了适合高采样率、时序性强的局部放电信号数据存储方法。采用ODPS扩展MapReduce模型(MR2)设计了"Map-Reduce-Reduce"方式的PD信号宏观特征提取方法,提出了并行化PRPD分析算法(ODPS-PRPD),实现了大量PD信号的并行基本参数提取、统计特征计算与放电类型识别。在实验室中构造了4种放电模型并采集了大量PD信号,分别在ODPS平台上和实验室自建的Hadoop平台上进行了性能评估和成本分析。实验分析和结果表明,ODPS-PRPD将大量的中间过程数据(PD谱图数据等)一直保存在内存中,相比自建Hadoop MapReduce平台性能明显提升,并在数据可靠性、服务可用性以及成本方面具有明显优势。     

多源异构的智能配用电数据存储处理技术

针对智能配用电数据具有海量、多源异构等特点,提出一种基于Hadoop的智能配用电数据存储处理的框架设计方案。在对智能配用电数据组成进行梳理的基础上,提出了智能配用电的资源、存储和查询三层数据存储框架。其中,资源层采用Hadoop集群架构,结合电力系统的行业特色,完成IT存储资源管理;存储层则先采用XML技术进行数据预处理,使非结构化数据归一化,然后利用No SQL数据库通过Map和Reduce的有效结合,完成海量数据的快速存储;查询层利用Top-k检索技术,实现海量数据的快速查寻。该设计方案能够对结构化和非结构化数据进行统一存储,可为智能配用电大数据技术的应用提供基础支撑。     

基于Hadoop和HBase的输变电设备数据聚合平台

输变电设备在运行中将产生大量的多态、异构数据,导致在数据集成和利用过程中出现信息孤岛问题,无法实现不同数据源内的数据信息共享互换。如何可靠获取、同步处理并对这些数据信息充分挖掘给电力系统中信息系统的建设及运行维护带来巨大压力。利用本体技术对这些多源、异构、海量信息进行聚合,可以向用户提供更具针对性的信息。针对电网中输变电设备全景数据信息的多源性、多态性、异构性,本文提出了基于Hadoop和HBase的输变电设备大数据聚合平台方案,搭载改进混合本体聚合方法,并设计了Map/Reduce分布式查询和推理流程。该平台运用标准化和开放性建模语言,屏蔽底层异构数据源,具有良好的可扩展性,可用于解决输变电设备数据信息的非结构化、共享性差、难以处理等问题。     

基于Hadoop生态环境的大数据平台在电网公司海量数据准实时处理中的应用

随着智能电网的发展,电网公司的各类业务应用产生了海量的数据,传统信息技术的解决方案在数据存储和分析技术方面存在一定的瓶颈,其架构难以满足对数据海量准实时处理的需求。基于Hadoop生态环境的大数据技术是以分布式文件系统为基础的大规模并行数据处理平台,它能充分利用硬件集群的资源,进行并行计算和内存流计算,大大提高了数据运算分析的效率,全面支撑电网公司如准实时线损运算、设备准实时在线故障研判预警等对海量准实时数据处理分析的需求,有望大大提高数据管理的效率。     

基于Hadoop的输电线路在线监测数据模型及技术研究

输电线路是电力系统中关键的组成部分,输电线路在线监测技术的应用产生了海量线路运行数据,对数据的深入挖掘成为现阶段电力大数据研究的热点。随着智能电网数据应用的深入,为保证电力系统可靠运行提供了新的解决方案。在研究输电线路在线监测数据类型、数据特征、数据需求的基础上,提出了符合智能电网电力大数据结构特征的Hadoop监测数据模型设计,包含了多维度数据信息输入、分布式数据存储、分布式数据处理的三个层次。通过搭建基于Hadoop集群的大数据处理环境,在MapReduce并行运算模式下实现PCA-SVM聚类算法,以输电线路故障类型识别为例,实现了基于数据分析的输电线路故障辨识,验证该模型实现输电线路在线监测的可行性。     

基于大数据的数字化电能计量误差分析

数字化电能计量系统仍存在着可靠性、稳定性等问题,具有大数据特点.因此,文中分析了数字化电能计量误差的主要来源及其数学模型,结合大数据的分布式存储和计算技术,构建了基于Hadoop构架、Spark内存计算框架的电能计量误差多维分析与诊断平台.平台根据计量数据提取误差信号,计算误差特征值,对其进行多维分析,采用朴素贝叶斯算法进行误差类型诊断.试验结果表明,本方案具有算法并行化可行性高、分布式数据处理能力强的优点.     

面向多源异构数据源的实际范围索引树索引方法

在发电、输配电、新能源接入及新型能源消费等各个环节产生的大数据需要高效、可靠的数据存储和管理。文中以能源互联网作为虚拟应用场景,提出了集群式多源异构数据存储方案。为满足集群存储中高效查询需求,构建了实际范围索引树(AR-tree)分层索引模型,并提出了面向多源异构数据源的AR-tree索引方法,该方法针对在双层索引模型的基础上,以局部数据索引的实际索引范围为对象,建立全局索引。同时,对所提AR-tree索引方法操作开销进行了综合分析。最后,仿真结果表明AR-tree索引方法能提高查询命中率并提升查询等操作效率。     

智能变电站海量在线监测数据处理方法

通过对智能变电站状态监测数据的特点以及Hadoop云计算技术的分析,研究数据检测机制以及索引构建方法,提出一种基于Hadoop的智能变电站在线监测数据可靠存储及快速查询方法.该方法将变电站在线监测所收集的海量变电设备在线监测数据冗余存储在Hadoop分布式文件系统(HDFS)中,对在线监测数据的索引表结构进行优化,并存储在分布式结构化数据库(HBase)中,实现海量在线监测数据的快速查询.搭建基于Hadoop的在线监测数据处理实验平台,进行了基准测试、排序测试以及在线监测数据读写性能测试等.测试结果表明,上述方法及平台在查询时间、读写效率及吞吐量等方面具有良好的性能,能够满足智能变电站大规模在线监测数据的可靠存储及高效处理的需要.     

基于Hadoop的电动车动力电池大数据存储与分析

在电动汽车示范应用和推广过程中,其动力电池的状态一直是政府部门和消费者关注的焦点之一。针对上海市部分电动汽车实际使用过程中的大量数据,首先通过建立Hadoop分布式集群进行数据存储。在此基础上,运用大数据处理工具,分析充电和放电两个方面数据,重点探究了温度对于动力电池荷电量、能量消耗的影响。     

面向电力大数据分布式云存储的性能分析与优化

<正>在电力调度系统中,电力数据以大数据散布的形式分布在云存储系统中,由于云存储节点和数据分布在城市电力调度环境具有非均匀自组织特性,制约电力大数据的调度效率,造成云存储冗余,需要进行性能优化。传统的电力大数据分布式云存储和数据调度算法采用能量谱密度函数特征提取算法,由于能量谱密度函数多模盲均衡特性,造成云存储系统中的干扰数据较多,电力数据调度效率不好。提出一种基于宽频带数据特征压缩的电力系统大数据分布式云存储算     

面向设备状态评估的大数据底层平台设计

电力大数据环境形成已经是业内共识。Hadoop作为大数据处理工具事实上的标准,是构建可行的设备状态评估大数据平台的基础技术。面向输变电设备状态评估的大数据平台与其他平台最大的不同是,其具体应用是多样的、变化的、后续不断增加的。这对任何平台都是极大的挑战。分析输变电设备状态评估应用特征,提出基于Hadoop的大数据底层平台体系架构,并分别针对不同响应时间的业务处理特征提出解决方案,以有效解决一个平台适配多种业务应用特征的难题。