面向能源互联网的大数据关键技术研究

随着能源互联网的不断发展,越来越多的业务数据被采集和存储,如何从这些数据中挖掘出对能源互联网运行有用的知识至关重要。文章从数据源层、数据管理层、数据计算层以及数据应用层等4个层面构建面向能源互联网的电力大数据体系架构,在此基础上,详细描述面向能源互联网的大数据智能化高效分析挖掘技术和面向能源互联网的信息物理融合安全技术。通过对能源互联网大数据分析和安全技术的总结,为能源互联网安全、可靠、高效运行提供重要的依据。     

基于云-边-端协同的电力物联网用户侧数据应用框架

物联网技术渗透到电力系统所形成的电力物联网承载着海量数据流,通过电力业务数据化和电力网络信息化,促进电力数据业务化目标的实现。目前电网基于云计算的集中式数据存储与处理,使得海量细粒度的用户侧数据无法得到有效应用。基于此,文章提出了基于云-边-端协同的用户侧数据应用框架,以打破由于计算资源有限而导致用户侧与电力系统的交互壁垒。利用边缘计算与云计算的互补性,以预测预警、分类聚类和需求响应3类用户侧基础数据应用为例,设计了用户侧数据应用框架,以期实现自下而上和自上而下的双向数据流、业务流的协同循环,从而达到对用户侧数据进行广而深的价值挖掘的目标。最后,从物理层、平台层和业务层3个维度对实现该框架的关键技术进行了分析与总结。     

基于三维虚拟现实技术的电力数据可视化分析

计算机技术的发展产生了许多电力数据,这些电力数据有着非常显著的空间数据场特征.将空间数据场及三维虚拟现实技术结合起来,有助于电力工作人员的人机交互,能够快速识别和判定电力设备的运行状态,寻找到其中的异常并精确定位.提出了基于LOD思想及BP数据挖掘技术的融合数据可视化技术.通过仿真分析可以看出,提出的并行融合算法具有高效、快速和精度高等特点,能够提升电力生产效率,有效解决大量电力数据难以理解的问题.     

基于大数据技术的多变量短期电力需求预测研究

针对传统多变量短期电力需求预测方法没有归一化处理电力数据,导致预测性能较差、精度较低,提出基于大数据技术的多变量短期电力需求预测方法。在电网大数据框架中,连接MONGOOSE数据库引擎与短期电子服务器,完成大数据技术支持下的短期电力环境搭建。基于大数据技术,通过确定神经预测网络层数的方式,实现电力需求数据的归一化处理,根据多变量短期预测误差的计算结果,实现基于大数据技术多变量短期电力需求预测方法的应用。实验结果表明,研究方法的电力需求预测有效性更好,预测精度更高。     

基于大数据平台的电网线损与窃电预警分析关键技术

提出了一种基于营配调贯通的海量数据分析技术,采用电力大数据平台关键技术构建电网线损与窃电预警分析系统,实现线损的一体化计算、分析与展示。在线损计算结果的基础上,综合利用电网企业现有海量数据,通过采用Hadoop离线分布式计算、Spark内存计算等大数据技术对线损率异常线路或台区进行深度挖掘,识别出可能存在的窃电行为,为供电企业反窃电稽查提供窃电预警和数据支持服务,进一步提升供电企业的经营效益。本系统的构建为大数据技术在电力行业的应用进行了验证和实践。     

历史数据驱动下基于粗糙集的AVC系统关键参数挖掘方法

自动电压控制(AVC)系统中的参数设置过程繁琐且设置结果无依据,以历史大数据为基础,通过对历史数据的挖掘指导系统关键参数的设置。首先,给出一种基于强化正域的属性综合约简策略对关联属性进行约简;然后,采用基于最优分类的属性变换策略将连续属性离散化,并给出一种基于数据预处理的集合近似匹配策略,用于计算不同曲线间的相似度;最后,提出一种基于粗糙集的AVC系统关键参数辨识框架,对历史大数据进行挖掘。基于真实电网数据进行算例分析,挖掘结果表明所提辨识框架能自动给出合理的参数设置结果;实际应用结果表明,相比于传统方法,基于历史大数据的挖掘结果取得了更好的控制效果。     

基于云计算的电力大数据分析技术与应用

为解决电力数据分析系统在大数据时代面临的严重的性能与可伸缩性瓶颈,更好地满足生产、营销等系统的需求,分析了云计算技术的优势,提出了基于云计算的电力大数据分析系统体系结构及关键技术。基于分布式并行计算框架Hadoop和Hive,面向电力大数据特征,设计了多维索引、SQL自动翻译工具和支持数据更新的混合存储模型3项性能提升技术,实现对传统电力数据分析系统的升级优化。在浙江电力用电信息采集系统的实际部署经验表明,和传统电力数据分析系统相比,该系统以1/8的硬件成本,获得平均5倍的性能优势。证明了云计算技术能够显著提升电力大数据查询与分析性能并有效降低成本。     

基于关联规则挖掘的电力生产安全事故事件关键诱因筛选

随着智能电网、通信网络及电力生产安全事故事件分析水平的提高和发展,电力生产安全事故事件数据量快速增长、复杂性不断增大,逐步构成了电力生产安全事故事件大数据。为在先验事故事件大数据的基础上高效、可靠地对事故诱因进行分类和识别,基于关联规则挖掘进行电力生产安全事故事件关键诱因筛选。根据事故事件的特点,建立电力生产安全事故诱因分析体系,对不同类型的事故进行布尔离散化,并基于关联规则挖掘提出事故诱因的诱发度计算方法,运用Apriori算法进行深度关联规则挖掘,并根据强关联规则对关键诱因进行筛选和分析。以某区域近5年的事故实例分析验证了该方法的有效性。     

电力用户侧大数据分析与并行负荷预测

随着智能电网、通信网络技术和传感器技术的发展,电力用户侧数据呈指数级增长、复杂程度增大,逐步构成了用户侧大数据。传统的数据分析模式已无法满足需求,迫切需要解决电力用户侧的大数据在分析与处理方面的难题。该文分析电力用户大数据的来源,针对电力用户侧大数据的数据量大、种类繁多与速度快等特点,指出电力用户侧的大数据在数据存储、可用性、处理等方面面临的挑战。结合云计算技术提出一种电力用户侧大数据分析处理平台,将智能电表、SCADA系统和各种传感器中采集的数据整合,并利用并行化计算模型Map Reduce与内存并行化计算框架Spark对电力用户侧的大数据进行分析。提出基于随机森林算法的并行负荷预测方法,将随机森林算法进行并行化,对历史负荷、温度、风速等数据进行并行化分析,缩短负荷预测时间和提高随机森林算法对大数据的处理能力。设计并实现基于Hadoop的电力用户侧大数据并行负荷预测原型系统,包括数据集群的管理、数据管理、预测分类算法库等功能。采用不同大小的数据集对并行化随机森林算法进行负荷预测实验,实验结果表明,并行化随机森林算法的预测精度明显高于决策树的预测精度,且在不同数据集上预测精度普遍高于决策树的预测精度,能够较好的对大数据进行分析处理。     

面向全球能源互联网的电力大数据基础体系架构和标准体系研究

在充分研究调研大数据应用现状、智能电网大数据发展趋势的基础上,文章从数据源、数据管理、数据计算和数据应用等4个层面提出一套适用于全球能源互联网的电力大数据基础体系架构,并从功能、技术和部署的角度进行阐述,另外制定了电力大数据相关管理规范和应用标准体系,建立了电力大数据实时分析与离线分析场景的应用框架,支撑全球能源互联网环境下的电力大数据分析和决策。     

大数据在智能化电厂中的应用研究与展望

大数据是工业信息化的研究热点,随着智能电厂研究和应用的不断深入,大数据技术的不断进步,大数据技术在智能电厂具有广阔的应用前景。对大数据在发电领域的平台总体架构和未来的应用前景进行了探讨,对大数据技术的发展现状,大数据与云计算、智能化电厂之间的关系进行了分析和阐述,提出了面向智能电厂的大数据技术架构,并对大数据在智能电厂中的应用进行了展望。智能电厂未来将是大数据的重要应用领域。     

电力设备运行状态大数据标签体系与关键技术

随着大数据分析技术在电网中的快速发展与深度应用,数据标签技术提供了一种新的数据整合思路。电力设备大数据标签以灵活的方式从海量、离散的数据中实现对有用数据的快速识别和提取,在帮助调控人员实现对电力设备情况作出多维判断的同时,为后续电力数据挖掘建模提供了依据。围绕电力设备基础信息、运行信息和状态信息3个维度,提出了一种多维度电力设备标签体系的构建方法,并通过聚类、故障概率计算、模糊推理3个层次丰富了数据标签的内涵,为实现电网监控智能化奠定基础。     

基于高风险模式树挖掘方法的电力系统风险设备集分析

迅速积累的调度控制系统大数据为电网设备风险分析提供了充足的条件,在分析调度控制系统大数据特性的基础上,给出了具有普遍适用性的调度控制系统大数据分析的总体架构,并针对在电网风险管控中的应用,提出一种基于高风险模式树(HRT)的高风险设备集挖掘方法。通过分析电力系统中设备的风险诱发因素,定义了设备风险影响度,用于量化设备发生告警或故障后对电网运行的影响程度,并提出设备风险影响度计算指标体系,通过融合设备故障发生频次,计算设备风险值。以设备风险值为目标进行高风险设备集挖掘,通过构建HRT,保留原始事务数据库中各设备风险值及设备风险先验知识信息,根据HRT的路径信息输出满足一定风险阈值的高风险设备集。以调度控制系统的海量历史告警数据为基础进行了仿真,结果表明,HRT可以在告警数据中迅速挖掘出满足条件的高风险设备集,并且能够反映出高风险设备组合之间存在的潜在关联性。     

基于物联网技术的电力应急救援智能通信系统

电力系统应急救援信息化工作是电力应急体系的重要技术发展领域之一,基于物联网技术的电力应急救援系统是电力信息化和智能电网发展的趋势。文章将物联网技术引入到电力现场应急救援现场,利用无线传感网络、RFID、云计算与数据挖掘技术,建立了一个全新的基于物联网的电力应急通信系统解决方案,全面解决了电力应急现场信息报送、指挥调度、救援决策的信息传送问题,为电力应急救援智能化和高效率提供了坚强的技术依据。     

数据挖掘技术及其在电力系统中的应用

电力大数据下的数据挖掘技术应用贯穿于发、输、变、配、用各个环节,介绍了分类分析、关联分析、聚类分析和异常检测等智能算法在输电系统雷电预测、设备运行状态分析、配电系统运行故障预警及风险预测、用户用电行为特性聚类、电力市场行为分析、电力市场中负荷及电价预测等的应用。数据挖掘技术可显著提升电网运行效益,是未来智能电网发展的核心技术之一。     

智能电网监控运行大数据分析系统总体设计

电网监控数据具有多源、高维、先验、异构的特点,传统依靠人工经验的电网监控运行分析技术已无法满足大电网集中调控、一体化运行的发展要求,需要实现电网监控运行全过程信息的高效汇集和智能挖掘分析,以提高监控人员对电网实时运行状态的主动感知能力。文中通过分析现有业务系统在数据规范和分析手段等方面的局限性,阐明了建设智能电网监控运行大数据分析系统的必要性,提出了以监控业务需求为引领的"数据到模型,模型到应用"的技术路线,设计了涵盖数据接入至业务应用自下而上的整体架构,构建了统计分析中心、趋势预警中心、智能搜索中心及可视化展示中心的功能体系,取得了规范化数据接入、全过程数据处理及大数据因果分析建模等关键技术的突破,形成了事前异常趋势预警,事中快速处置和事后闭环分析的管理模式。根据示范工程的建设和试点运行情况,介绍监控运行大数据分析系统在数据规范处理、业务分析建模和监控业务管理方面的应用成效及未来应用展望。     

基于Hadoop的风力发电监测大数据存储优化及并行查询方法

随着风力发电的广泛发展以及智能化监测技术的推广应用,风力发电监测数据呈现出体量大、类型多、增长快的大数据特征.针对风力发电监测大数据高效存储和快速查询两方面核心问题,基于Hadoop平台进行大数据存储优化方法研究,提出考虑风力发电监测数据关联性的哈希分桶存储算法,实现了相关联数据的集中存储,从而提升后期数据查询及处理的效率.在数据存储优化的基础上,实现基于MapReduce的多源风力发电监测大数据并行关联查询.通过在Hadoop平台上进行测试表明,经过哈希分桶存储优化后的多源数据并行关联查询相比传统Hadoop方法查询时间显著缩短.     

智能电网监控运行大数据应用模型构建方法

由于电网数据具有多源、高维、先验、异构的特点,并且蕴含大量因果关系,如何从电网历史大数据中挖掘出不同应用场景的因果关系,从而构建监控运行业务应用是电网监控专业实际生产及管理的热点问题。文中根据电网大数据的因果关系特征,提出了一种新颖的基于因果关联分析和概率图模型建模的智能挖掘算法框架。结合相关性分析和格兰杰因果分析方法,该框架能够从海量多源多维生数据中提炼出因果关系变量集,进而生成监控大数据因果概率图模型。基于上述理论,提出一种两阶段的电网监控运行大数据应用模型的工程构建方法,第1阶段采用大数据分析方法从海量多源多维生数据中挖掘出存在强因果关系的变量集合,第2阶段通过人工经验与算法推荐的因果概率图模型相结合,构造出监控业务模型。基于上述模型构建的智能电网监控运行大数据分析系统,已在多个省级调控中心上线运行,其运行结果验证了所提方法的有效性。     

电网量测数据海量终端的前置中间件技术研究

针对目前智能电网状态监测与分析中面临的WAMS、SCADA、AMI等量测系统海量、多源、高速数据处理问题,提出一种海量终端的数据前置处理中间件技术,着重解决海量数据中目标信息高效挖掘与处理器负载均衡问题。在前置数据处理中间件架构中设计了基于采样的目标信息数据并行挖掘算法,同时通过基于Map-Reduce并行计算模型及轮转算法思想均衡负载,以采样挖掘方式聚合数据内联关系,设计出单机多核并行数据挖掘策略。通过广域电网中海量PMU数据进行对比测试,结果表明文中提出的中间件技术可以有效的提高挖掘速度和多处理器负载均衡度,同时极大地减轻海量数据挖掘中的内存负担。