配用电大数据多源集成及存储优化方法

面对体量大、类型多、增长快的配用电大数据,如何利用大数据技术提升配用电相关业务的广度、深度和精度成为电力行业新的机遇和挑战。为解决配用电大数据多源集成和高效存储两方面核心问题,根据配用电大数据的组成及特征,通过生成标准化元数据并构建相应数据字典的方法,实现了多源配用电数据规范化集成;在数据集成的基础上,基于Hadoop平台进行大数据存储优化方法研究,提出考虑配用电数据关联性的哈希分桶存储算法,实现了相关联数据的集中存储,从而提升后期数据查询及处理的效率并在数据存储优化的基础上,实现基于Map Reduce的多源配用电大数据并行关联查询。通过在Hadoop集群平台上进行测试表明,经过哈希分桶存储优化后的多源数据并行关联查询相比传统Hadoop方法查询时间显著缩短。     

智能变电站海量在线监测数据处理方法

通过对智能变电站状态监测数据的特点以及Hadoop云计算技术的分析,研究数据检测机制以及索引构建方法,提出一种基于Hadoop的智能变电站在线监测数据可靠存储及快速查询方法.该方法将变电站在线监测所收集的海量变电设备在线监测数据冗余存储在Hadoop分布式文件系统(HDFS)中,对在线监测数据的索引表结构进行优化,并存储在分布式结构化数据库(HBase)中,实现海量在线监测数据的快速查询.搭建基于Hadoop的在线监测数据处理实验平台,进行了基准测试、排序测试以及在线监测数据读写性能测试等.测试结果表明,上述方法及平台在查询时间、读写效率及吞吐量等方面具有良好的性能,能够满足智能变电站大规模在线监测数据的可靠存储及高效处理的需要.     

云平台下输变电设备状态监测大数据存储优化与并行处理

结合大数据技术提升输变电设备状态评价的广度和深度,并解决实际应用问题成为目前电力行业新的挑战。针对输变电设备状态监测大数据可靠存储和快速访问两方面大数据处理核心问题,基于开源的Hadoop云计算实验平台进行了数据分布策略、数据块尺寸调优、集群网络拓扑规划三方面的存储优化研究和大数据并行分析的研究。提出计及数据相关性的多副本一致哈希数据存储算法,能将具有相关性的数据在集群中聚集,提升数据处理执行效率。基于数据相关性多副本一致哈希数据分布,应用Map Reduce并行编程模型设计实现了多数据源并行连接查询算法和多通道数据融合并行特征提取算法。将两种算法在实验室搭建的集群上测试运行,结果表明,多数据源并行连接查询的执行时间仅为标准Hadoop方案的32%,多通道数据融合并行特征提取算法执行时间仅为标准Hadoop方案的35%。     

电力设备状态高速采样数据的云存储技术研究

提出基于Hadoop和HBase的电力设备状态高速采样数据的存储方案,基于MapReduce设计实现了设备状态高速采样数据的并行查询方法。创建了1个包含20个节点（每个节点配置4核CPU）的Hadoop集群,并对集群进行了基准测试,测试结果表明所建集群适合进行大量数据的读写。以绝缘子泄漏电流数据为例,使用YCSB对所建存储系统进行了性能测试,测试结果表明,Hadoop和Hbase在存储容量、吞吐量以及查询延迟上提供了足够高的性能,能够满足智能电网状态监测数据可靠性及实时性要求。     

基于大数据的输变电设备缺陷评估示范平台设计

针对当前电网可靠性问题,结合输变电运行特点,在输变电设备缺陷分析平台需求基础上,提出一种基于Hadoop的输变电设备缺陷分析平台。首先分析该平台的需求,并给出系统整体架构;其次从数据存储和查询效率入手,采用Hadoop架构对数据进行存储,采用CMCH算法提高数据查询效率。再次构建设备缺陷评估模块,通过加权分值计算方式,实现设备缺陷等级的划分;最后通过搭建Hadoop平台对该方案进行验证,结果表明,该方案可有效提高数据查询能力,实现对输变电设备缺陷数据的处理。     

基于大数据技术风电机组容量可信度计算

在大规模风电并网的前提下,风电容量可信度计算对电力系统可靠运行具有重要意义。论文基于电量不足期望(LOEE)可靠性指标,考虑风电场间时空相关性的影响因素,采用非序贯蒙特卡洛法对风电容量可信度进行计算。风电容量可信度的计算需要的数据有风速、风电出力、风电机组地理位置信息等数据,由于计算所需的数据量大、类型多、来源广等特点,提出基于Hadoop架构的大数据技术计算风电容量可信度,针对Hadoop架构存在的机架感知不平衡及存储数据间缺乏相关性问题,引入机架感知配置法和哈希桶存储算法对其进行改进,提高了数据存储及数据处理的效率,减少计算时间,通过实例验证文中所提方法的有效性。     

依托Hadoop架构的海量变压器实时监测与存储方案构建

随着智能电网的建设以及电力变压器在线监测技术的成熟,电力变压器在线监测数据呈现出体量大、类型多等特点。使用传统存储技术存储变压器在线监测数据,已不能满足实时、快速的需求。为此,设计基于Hadoop集群的变压器在线监测数据存储方案。该方案利用HBase(分布式列式数据库)具有快速实时读写数据的优势,将变压器在线监测系统采集的海量数据实时快速地存储。为能自动快速实时收集数据和避免因数据流过大造成系统崩溃,分别采用Flume(日志收集工具)和Kafka(分布式流处理平台)收集和缓存数据。以电力变压器在线监测的油色谱数据为例,验证了所提存储方案的可行性和有效性。     

基于Hadoop架构的电能质量监测云模型研究

随着智能电网建设进程的加快。电能质量监测点不断增多,系统逐步完善。各种类型的监测和计算数据量急剧增加,呈大数据趋势。对于大数据的计算处理。云计算平台具有先天性优势。文章提出并初步实现了一种基于Hadoop架构的电能质量云模型,旨在整合传统计算存储资源,解决电能质量大数据的存储和计算问题。模型采用分层结构,以电网自然分层为基础,搭建分层电能质量云计算平台。整体采用面向服务的架构,各层以Hadoop架构搭建子云,并向上层主云提供服务。基于Hadoop架构的电能质量云模型不仅可以解决电能质量监测大数据的存储和计算问题,对解决智能电网中其他信息系统的大数据问题也具有参考意义。     

基于大数据的数字化电能计量误差分析

数字化电能计量系统仍存在着可靠性、稳定性等问题,具有大数据特点.因此,文中分析了数字化电能计量误差的主要来源及其数学模型,结合大数据的分布式存储和计算技术,构建了基于Hadoop构架、Spark内存计算框架的电能计量误差多维分析与诊断平台.平台根据计量数据提取误差信号,计算误差特征值,对其进行多维分析,采用朴素贝叶斯算法进行误差类型诊断.试验结果表明,本方案具有算法并行化可行性高、分布式数据处理能力强的优点.     

基于大数据的带电设备红外图像存储与预处理

随着红外设备在电力设备在线监测中的广泛应用,各类红外图像数据不断激增.传统基于文件系统的存储方式已经无法满足快速检索以及高效处理的需求.基于Hadoop大数据平台结合HBase非关系型数据库创建了一套高效的存储、检索以及预处理框架.介绍了对提高红外图像的存储、检索和图像预处理效率,以及为红外图像的模式自动识别和红外图像设备故障自动诊断提供了必要的技术支撑.     

分布式技术在电力大数据高性能处理中的应用

随着中国电力工业步入"大数据时代",大数据在电力生产运行和经营管理中的应用需求日益凸显。为解决当前电力大数据在存储和计算方面存在的性能瓶颈,提升电力业务系统应对大数据的支撑能力,提出基于分布式技术的电力大数据存储和计算解决方案。利用基于Hadoop架构的分布式并行计算平台,完成对传统关系数据库平台的优化改造,在电网典型业务场景中的性能测试结果证明了方案的可行性和性能优势。     

基于Hive的电力设备状态信息数据仓库

随着智能变电站的建设及其状态监测系统的发展,电力设备状态信息数据规模逐渐增大。针对现有电力数据仓库在海量状态数据存储查询和分析处理方面的不足,提出基于Hive的电力设备状态信息数据仓库及其多维数据快速查询与分析方法。通过对状态监测系统与生产管理系统（PMS）的分析,将电力设备静态信息与状态监测信息存储到Hive数据仓库中。设计了基于Hive的电力设备状态信息数据仓库的系统架构和海量状态数据存储结构,采用Hadoop 分布式文件系统（HDFS）对数据进行分布式存储管理,MapReduce作为海量数据查询分析     

基于Spark的大电网广域时空序列分析平台构建

为了适应能源互联网发展趋势及日益复杂的运行环境,亟需依托大数据技术,提升能源互联网多源大数据的挖掘深度及应用效率。首先,针对大电网广域时空序列数据,阐述了Spark在分布式计算中的优势,阐明大数据平台建设目标,设计了基于Spark的电力大数据平台架构,并对平台各个层次进行详细的论述。其次,描述了Spark针对电网时空序列数据的处理过程。最后,在搭建的Spark和Hadoop实验环境基础上,对典型聚类算法进行性能对比测试,验证了Spark相对于Hadoop的MapReduce计算模型数据处理的优势,为下一步研究工作奠定了基础。     

基于云计算技术的电力大数据预处理属性约简方法

针对大数据时代下电网数据体量大、类型多、速度快的特点,传统的属性约简方法已经无法完成对电力大数据的预处理,为此提出一种基于云计算技术的电力大数据预处理属性约简方法。该方法剖析了粗糙集中相对正域理论的特性,利用MapReduce模型设计了可以并行计算正域中元素个数的属性约简算法MP_POSRS。最后,在Hadoop平台上对电网故障诊断表和风电实测数据进行属性约简,实验结果表明,该方法有效可行,并具有较好的加速比和可扩展性,适用于电力大数据预处理属性约简。     

一种基于Hadoop的电力大数据属性实体识别算法

随着大数据时代的来临,传统的实体识别技术由于电网数据体积大以及类型复杂等特性已经无法有效地进行数据预处理。近年来兴起的Hadoop技术能够对大数据进行较好的处理。因此提出一种基于Hadoop的电力大数据属性实体识别算法。该算法利用改进离散化算法选取出信息准确率较高的离散点,并提出了一种离散化评价指标。最后,在Hadoop平台上对某风电机组的监测数据进行了属性实体识别。实验证明,该算法在实验正确性和断点数目方面表现良好,并且具有较好的加速比,适用于电力大数据的属性实体识别处理。     

面向多源异构数据源的实际范围索引树索引方法

在发电、输配电、新能源接入及新型能源消费等各个环节产生的大数据需要高效、可靠的数据存储和管理。文中以能源互联网作为虚拟应用场景,提出了集群式多源异构数据存储方案。为满足集群存储中高效查询需求,构建了实际范围索引树(AR-tree)分层索引模型,并提出了面向多源异构数据源的AR-tree索引方法,该方法针对在双层索引模型的基础上,以局部数据索引的实际索引范围为对象,建立全局索引。同时,对所提AR-tree索引方法操作开销进行了综合分析。最后,仿真结果表明AR-tree索引方法能提高查询命中率并提升查询等操作效率。     

多方数据融合的山洪灾害模型应用研究

山洪灾害预测是应急管理工作中的一个重要部分,如何实时、准确得到灾害数据并进行关联分析,是灾害调查中的一个难点.研究了洪涝与地质灾害多方数据的感知与融合,通过结合多方数据融合组件、天-空-地的立体网格体系、数据分析引擎与算法模型、数据同化技术、核心专业模型以及人工智能分析等关键技术,搭建出轻量版山洪、泥石流、山体滑坡大数...     

实现影响因素多源异构融合的短期负荷预测支持向量机算法

针对智能电网大数据环境下,导致电力系统负荷波动的诸多因素存在多源异构性的问题,利用多核函数来对其多源异构特性进行差异化处理和融合,能够描述影响因素的内在分布特性并应对其变化,提高负荷预测精度。选取历史负荷、气温、气压、相对湿度、降雨量、风向、风速、节假日及电价9个属性作为多源异构影响因素,利用样本特征分布法、单变量法及核矩阵秩空间差异法来选择多核函数的构成,采用双层多核学习算法,建立了并行化多核支持向量机(SVM)负荷预测算法流程,并在Hadoop集群上进行了仿真验证。仿真结果表明,多核SVM比单核SVM预测平均相对误差小,双层多核学习、基于lp范数的多核SVM模型预测精度最高。因此,多核SVM能有效处理负荷预测中的多源异构数据,经并行化处理后,能提高负荷预测的速度与精度。