基于Hadoop的风力发电监测大数据存储优化及并行查询方法

随着风力发电的广泛发展以及智能化监测技术的推广应用,风力发电监测数据呈现出体量大、类型多、增长快的大数据特征.针对风力发电监测大数据高效存储和快速查询两方面核心问题,基于Hadoop平台进行大数据存储优化方法研究,提出考虑风力发电监测数据关联性的哈希分桶存储算法,实现了相关联数据的集中存储,从而提升后期数据查询及处理的效率.在数据存储优化的基础上,实现基于MapReduce的多源风力发电监测大数据并行关联查询.通过在Hadoop平台上进行测试表明,经过哈希分桶存储优化后的多源数据并行关联查询相比传统Hadoop方法查询时间显著缩短.     

云平台下输变电设备状态监测大数据存储优化与并行处理

结合大数据技术提升输变电设备状态评价的广度和深度,并解决实际应用问题成为目前电力行业新的挑战。针对输变电设备状态监测大数据可靠存储和快速访问两方面大数据处理核心问题,基于开源的Hadoop云计算实验平台进行了数据分布策略、数据块尺寸调优、集群网络拓扑规划三方面的存储优化研究和大数据并行分析的研究。提出计及数据相关性的多副本一致哈希数据存储算法,能将具有相关性的数据在集群中聚集,提升数据处理执行效率。基于数据相关性多副本一致哈希数据分布,应用Map Reduce并行编程模型设计实现了多数据源并行连接查询算法和多通道数据融合并行特征提取算法。将两种算法在实验室搭建的集群上测试运行,结果表明,多数据源并行连接查询的执行时间仅为标准Hadoop方案的32%,多通道数据融合并行特征提取算法执行时间仅为标准Hadoop方案的35%。     

多源异构的智能配用电数据存储处理技术

针对智能配用电数据具有海量、多源异构等特点,提出一种基于Hadoop的智能配用电数据存储处理的框架设计方案。在对智能配用电数据组成进行梳理的基础上,提出了智能配用电的资源、存储和查询三层数据存储框架。其中,资源层采用Hadoop集群架构,结合电力系统的行业特色,完成IT存储资源管理;存储层则先采用XML技术进行数据预处理,使非结构化数据归一化,然后利用No SQL数据库通过Map和Reduce的有效结合,完成海量数据的快速存储;查询层利用Top-k检索技术,实现海量数据的快速查寻。该设计方案能够对结构化和非结构化数据进行统一存储,可为智能配用电大数据技术的应用提供基础支撑。     

能源互联网多源数据融合技术研究

随着我国能源互联网战略的推进,边缘计算成为解决能源互联网数据处理的有效模式,针对能源互联网的电力异构配用电数据的存储混乱与融合性差的问题,提出能源互联网多源数据处理与融合技术。首先,在边缘计算的基础上设计能源互联网多源数据处理与融合架构;其次,提出了智能配用电数据存储资源层负载均衡优化调度策略,利用Hadoop平台实现了多源数据存储和处理;然后,通过主成分分析方法得到能源互联网异构数据的主要特征,构建基于矛盾优化DS证据推理的多源数据融合模型,在边缘计算框架的基础上对多源异构数据进行分组聚合;最后,在某配电网模拟系统进行实验分析,分析结果验证了所提方法的有效性。     

用户节电的大数据分析及应用

为解决用户在开展节电工作时面临的用电数据不透明、缺少节电指导依据等问题,提出大数据背景下基于数据挖掘的用户节电通用分析方法,并在大数据平台上予以并行化实现,设计了直观的可视化展示形式。首先依据用户用电特性通过高维聚类实现了用电群体细分,然后融合电力、气象、经济等多维度数据开展节电分析,基于用户能效综合评估确定群体内节电标杆并量化用户节电潜力,接着通过多源数据关联分析获得用户节电策略,最后,通过SparkR在大数据平台上实现了节电算法业务的并行化,基于JavaWeb MVC框架实现了分析结果的可视化展示。实际应用效果表明,所提出的节电大数据分析方法,能有效关联多源数据,实现对海量用户数据的高效分析。     

基于大数据的输变电设备缺陷评估示范平台设计

针对当前电网可靠性问题,结合输变电运行特点,在输变电设备缺陷分析平台需求基础上,提出一种基于Hadoop的输变电设备缺陷分析平台。首先分析该平台的需求,并给出系统整体架构;其次从数据存储和查询效率入手,采用Hadoop架构对数据进行存储,采用CMCH算法提高数据查询效率。再次构建设备缺陷评估模块,通过加权分值计算方式,实现设备缺陷等级的划分;最后通过搭建Hadoop平台对该方案进行验证,结果表明,该方案可有效提高数据查询能力,实现对输变电设备缺陷数据的处理。     

智能变电站海量在线监测数据处理方法

通过对智能变电站状态监测数据的特点以及Hadoop云计算技术的分析,研究数据检测机制以及索引构建方法,提出一种基于Hadoop的智能变电站在线监测数据可靠存储及快速查询方法.该方法将变电站在线监测所收集的海量变电设备在线监测数据冗余存储在Hadoop分布式文件系统(HDFS)中,对在线监测数据的索引表结构进行优化,并存储在分布式结构化数据库(HBase)中,实现海量在线监测数据的快速查询.搭建基于Hadoop的在线监测数据处理实验平台,进行了基准测试、排序测试以及在线监测数据读写性能测试等.测试结果表明,上述方法及平台在查询时间、读写效率及吞吐量等方面具有良好的性能,能够满足智能变电站大规模在线监测数据的可靠存储及高效处理的需要.     

基于大数据技术风电机组容量可信度计算

在大规模风电并网的前提下,风电容量可信度计算对电力系统可靠运行具有重要意义。论文基于电量不足期望(LOEE)可靠性指标,考虑风电场间时空相关性的影响因素,采用非序贯蒙特卡洛法对风电容量可信度进行计算。风电容量可信度的计算需要的数据有风速、风电出力、风电机组地理位置信息等数据,由于计算所需的数据量大、类型多、来源广等特点,提出基于Hadoop架构的大数据技术计算风电容量可信度,针对Hadoop架构存在的机架感知不平衡及存储数据间缺乏相关性问题,引入机架感知配置法和哈希桶存储算法对其进行改进,提高了数据存储及数据处理的效率,减少计算时间,通过实例验证文中所提方法的有效性。     

基于统一数据模型的广西配用电大数据分析平台的设计与实现

针对目前配电网数据结构多样、数据源不唯一等问题,提出了基于多源数据融合的配用电统一数据模型,并在此基础上构建了广西配用电大数据分析平台。该平台打通了配网不同业务系统间的数据壁垒,实现了配网生产管理、营销、运行、GIS等数据的融合,并形成了高效、有序的信息共享模式,为配电网规划建设、运行维护、客户服务等提供了高效的数据辅助决策服务。     

基于Hadoop的广域测量系统数据处理

为解决目前广域测量系统(WAMS)海量数据处理中存在的数据冗余、处理效率低等问题,设计并实现了一个基于Hadoop的WAMS数据处理云计算平台。首先,给出了平台的体系结构。其次,设计了基于Hadoop分布式文件系统(HDFS)存储的WAMS海量数据加载方法和利用MapReduce模型实现多个文件数据的并行抽取、转换和加载(ETL)操作流程。提出了结合MapReduce的MPApriori数据挖掘算法,用于高效地挖掘出连锁故障时各站点之间的相互影响。最后,通过对区域电网WAMS实际数据进行处理,验证了Hadoop处理海量数据的高效性。所述平台适用于高性能局域网络连接的计算机集群对海量电网数据进行文件数据处理。     

电力设备状态高速采样数据的云存储技术研究

提出基于Hadoop和HBase的电力设备状态高速采样数据的存储方案,基于MapReduce设计实现了设备状态高速采样数据的并行查询方法。创建了1个包含20个节点（每个节点配置4核CPU）的Hadoop集群,并对集群进行了基准测试,测试结果表明所建集群适合进行大量数据的读写。以绝缘子泄漏电流数据为例,使用YCSB对所建存储系统进行了性能测试,测试结果表明,Hadoop和Hbase在存储容量、吞吐量以及查询延迟上提供了足够高的性能,能够满足智能电网状态监测数据可靠性及实时性要求。     

采用可拓展交互式设计的负荷特性综合分析平台

基于多源数据的负荷特性分析可以提高配用电的智能化水平,为开展用户属性辨识、负荷监测、需求响应分析等提供指导。为了增加上述功能开发的便捷性,提高配用电综合分析能力,搭建了以负荷特性分析功能为核心,能够拓展高级功能的交互式负荷特性综合分析平台。该平台采用Brower/Server架构,能够跨平台、适配多类终端,实现“一次设计,全局使用”;利用Django框架实现可拓展设计,并集成多种算法与数据,为负荷特性分析提供便利;基于HTML5技术实现交互式设计,并通过Canvas渲染方案提升大数据背景下平台的可视化效果。通过日前负荷预测实例验证了所提负荷特性综合分析平台的有效性和优越性。     

配电自动化终端运行状态大数据在线评价研究

配电自动化终端的安全稳定运行,对配电网的可靠性有重要影响。为实现对配电自动化终端运行状态在线评价,提出一种基于大数据平台的在线评价方法。首先,建立了配电网大数据平台框架,介绍了基于IEC 61970的公共信息模型的配电网数据统一建模方法,实现了基于Hadoop云平台及关系型数据库Oracle的大数据存储,并利用关联规则算法及层次分析法建立了配电自动化终端状态评价体系;然后,利用数据可视化技术实现了配电自动化终端在线评价;最后,应用某工程实例验证了该大数据评价平台的可行性。     

基于云计算的电力大数据分析技术与应用

为解决电力数据分析系统在大数据时代面临的严重的性能与可伸缩性瓶颈,更好地满足生产、营销等系统的需求,分析了云计算技术的优势,提出了基于云计算的电力大数据分析系统体系结构及关键技术。基于分布式并行计算框架Hadoop和Hive,面向电力大数据特征,设计了多维索引、SQL自动翻译工具和支持数据更新的混合存储模型3项性能提升技术,实现对传统电力数据分析系统的升级优化。在浙江电力用电信息采集系统的实际部署经验表明,和传统电力数据分析系统相比,该系统以1/8的硬件成本,获得平均5倍的性能优势。证明了云计算技术能够显著提升电力大数据查询与分析性能并有效降低成本。     

ODPS平台下的电力设备监测大数据存储与并行处理方法

计算性能是制约电力大数据应用(基于大数据的故障诊断、预测等)的关键问题。利用分布式存储、并行计算加速此类数据密集型应用是目前较有效的手段。尝试利用阿里云开放数据处理服务(ODPS)存储并加速电力设备监测大数据分析过程。以变压器局部放电(PD)数据相位图谱分析(PRPD)为例,提出了适合高采样率、时序性强的局部放电信号数据存储方法。采用ODPS扩展MapReduce模型(MR2)设计了"Map-Reduce-Reduce"方式的PD信号宏观特征提取方法,提出了并行化PRPD分析算法(ODPS-PRPD),实现了大量PD信号的并行基本参数提取、统计特征计算与放电类型识别。在实验室中构造了4种放电模型并采集了大量PD信号,分别在ODPS平台上和实验室自建的Hadoop平台上进行了性能评估和成本分析。实验分析和结果表明,ODPS-PRPD将大量的中间过程数据(PD谱图数据等)一直保存在内存中,相比自建Hadoop MapReduce平台性能明显提升,并在数据可靠性、服务可用性以及成本方面具有明显优势。     

分布式技术在电力大数据高性能处理中的应用

随着中国电力工业步入"大数据时代",大数据在电力生产运行和经营管理中的应用需求日益凸显。为解决当前电力大数据在存储和计算方面存在的性能瓶颈,提升电力业务系统应对大数据的支撑能力,提出基于分布式技术的电力大数据存储和计算解决方案。利用基于Hadoop架构的分布式并行计算平台,完成对传统关系数据库平台的优化改造,在电网典型业务场景中的性能测试结果证明了方案的可行性和性能优势。     

一种基于Hash-B-树索引的海量用电数据快速检索算法

针对智能用电双向交互平台中海量电力用户用电信息的分析处理、存储及快速检索需求,基于Hadoop平台建立了海量用电信息的并行处理及云存储体系,并针对海量用电信息的特点,提出了一种基于Hash-B-树索引的海量用电数据快速检索算法,介绍了Hash-B-树索引查找算法及实现方式,通过建立索引缩小查找范围,在保证不浪费存储空间的前提下提高检索速度。实验证明,该算法能够从海量数据中高效、快速地检索到所需的用电信息。     

基于Hadoop平台的并行线损分析系统研究与实现

大数据是当今IT重要的发展趋势。其发展将对电力企业的信息化建设产生深远的影响,而Hadoop作为大数据领域最有影响力的开源产品,被国内外各厂商广泛使用。随着电力用电信息采集系统建设的进展。不断增加的数据量使得传统的线损分析方法已经无法满足业务要求。文章通过并行计算技术,采用Hadoop平台实现台区线损分析系统的并行化改造,用以提升台区线损应用的计算效率。通过选取某省电力公司线损分析系统实际数据进行对比,实验证实新的并行线损分析系统性能远远超出传统0racle架构的线损系统,为未来并行计算技术在电量与线损管理系统的应用提供依据。     

融合多源数据的智能配用电多时间尺度数据分析技术

随着分布式发电、储能和需求侧响应负荷的不断发展,传统的被动型用电网正在逐步演变为具有主动调节能力的主动配电网。为了充分发挥主动配电网的主动调节能力,需要在配用电网中安装智能电表、远程测控终端和配电网同步测量等数据采集装置,建设配电、用电、客服、营销等信息管理系统。这些数据采集装置和系统的建设,在配用电领域产生了大量的数据。文章在讨论智能配用电大数据来源、生命周期及数据特征的基础上,从数据集成平台、智能电网统一数据模型、多源数据在线、数据分析算法库、用户画像、机器学习算法等角度分析了智能配用电大数据分析的关键技术,然后提出了智能配用电大数据分析在电网运行、社会服务和用户服务方面的典型应用。     

智能园区管控平台集成架构设计及关键技术

随着智能配用电园区规模的扩大,配电自动化、用电信息采集等应用系统的推广应用,配电网中会产生指数级增长的海量异构、多态的数据,配用电环节的管理需求也逐渐复杂起来,因此需要建立高效的管控平台。基于海量数据的运行监控、用电管理等基本功能高度融合,智能运维、能源服务、售电管理等多种智慧功能按需集成的智能园区管控平台是未来智能园区管控系统的发展方向。针对智能园区海量数据的高速采集、高效处理、高速存储与计算,以及统一服务等需求,提出了管控平台的集成架构设计方案。通过关键技术性能验证了智能园区管控平台集成架构的优势和可行性。