配用电大数据多源集成及存储优化方法

面对体量大、类型多、增长快的配用电大数据,如何利用大数据技术提升配用电相关业务的广度、深度和精度成为电力行业新的机遇和挑战。为解决配用电大数据多源集成和高效存储两方面核心问题,根据配用电大数据的组成及特征,通过生成标准化元数据并构建相应数据字典的方法,实现了多源配用电数据规范化集成;在数据集成的基础上,基于Hadoop平台进行大数据存储优化方法研究,提出考虑配用电数据关联性的哈希分桶存储算法,实现了相关联数据的集中存储,从而提升后期数据查询及处理的效率并在数据存储优化的基础上,实现基于Map Reduce的多源配用电大数据并行关联查询。通过在Hadoop集群平台上进行测试表明,经过哈希分桶存储优化后的多源数据并行关联查询相比传统Hadoop方法查询时间显著缩短。     

基于Hadoop的风力发电监测大数据存储优化及并行查询方法

随着风力发电的广泛发展以及智能化监测技术的推广应用,风力发电监测数据呈现出体量大、类型多、增长快的大数据特征.针对风力发电监测大数据高效存储和快速查询两方面核心问题,基于Hadoop平台进行大数据存储优化方法研究,提出考虑风力发电监测数据关联性的哈希分桶存储算法,实现了相关联数据的集中存储,从而提升后期数据查询及处理的效率.在数据存储优化的基础上,实现基于MapReduce的多源风力发电监测大数据并行关联查询.通过在Hadoop平台上进行测试表明,经过哈希分桶存储优化后的多源数据并行关联查询相比传统Hadoop方法查询时间显著缩短.     

基于多源异构数据的配电网运行分析平台:系统架构与技术实现

大数据技术是挖掘配用电海量数据价值的有效途径,可显著提高配电网生产运行监测和管控的精益化水平。本文基于智能配用电大数据的数据源及数据类别分析,结合配电网规模评估、供电可靠性评估、运行状态评价等功能需求,提出并开发了包括业务层、应用层、数据中心层和数据底层的配电网运行分析平台总体系统架构,并进一步细化了软硬件平台设计。通过对多源异构数据的整合、分析、识别、挖掘,并运用丰富的可视化技术手段,实现了电网、设备和环境信息等基础信息的融合,以及大数据分析评估结果信息的全景信息展示,并在展示的基础上开发并实现了配电网故障分析等高级应用功能。     

配用电统一模型中心的设计与应用

为有效提升配电网的精益化管理水平,针对目前配电网数据源不唯一、存在信息孤岛,配电网综合分析能力与可视化展示水平不高的问题,提出了基于多源数据融合的配用电统一模型中心,并基于此实现了配电网供电服务指挥系统。配用电统一模型中心融合了多种信息系统的静态和实时数据,针对多源数据进行存储、清洗、分析计算和数据挖掘,以可视化技术展示配电网整体规模、运行态势、检修信息、抢修服务态势和工程进度,为配电设备智能化、运维检修智能化和生产管理智能化提供科学有效的辅助决策手段,以便更好地为用户提供电力服务。     

多变量数据聚类最优选择的用电关联分析算法

针对多源用电大数据典型性分析结果不唯一且精度不高等问题,提出了一种多变量数据聚类最优选择的用电关联分析算法。算法借助小波变换日负荷聚类实现多源用电日负荷的相似性聚类,以提高数据分析的准确性;然后在获得分组上进行单次细粒度典型相关分析;利用典型相关分析的预测性验证典型权重准确性,以实现单次分析结果的最优选择,实现分析结果的唯一性。算法在北京地区非居民用电客户的用电、用气和天气三元数据集上仿真实验,结果发现在不同用户群体上三元数据的典型性相关曲线存在基本稳定、季节性和周期性变化等三种模式。与其他8种算法对比可知,所提算法的关联挖掘最为深入和准确,其中平均相关系数至少提高了1.52%,均方差误差至少降低了2.09%。     

采用可拓展交互式设计的负荷特性综合分析平台

基于多源数据的负荷特性分析可以提高配用电的智能化水平,为开展用户属性辨识、负荷监测、需求响应分析等提供指导。为了增加上述功能开发的便捷性,提高配用电综合分析能力,搭建了以负荷特性分析功能为核心,能够拓展高级功能的交互式负荷特性综合分析平台。该平台采用Brower/Server架构,能够跨平台、适配多类终端,实现“一次设计,全局使用”;利用Django框架实现可拓展设计,并集成多种算法与数据,为负荷特性分析提供便利;基于HTML5技术实现交互式设计,并通过Canvas渲染方案提升大数据背景下平台的可视化效果。通过日前负荷预测实例验证了所提负荷特性综合分析平台的有效性和优越性。     

基于云计算的家庭智能用电策略

对智能小区的居民用电行为展开研究,基于云计算平台和并行关联规则Apriori算法,挖掘出了用户用电行为间的关联规则,根据挖掘出的关联规则使用遗传算法对家庭用电时间分布进行合理规划,达到经济用电的目标,给出了行之有效的智能用电策略。由供电局将用户的智能用电策略以短信等交互方式传递给智能用电家庭。经实例验证,文中基于云计算平台和并行Apriori算法的居民用电行为分析结果是有效的,可使居民高效智能用电,节约家庭能耗。     

电力用户侧大数据分析与并行负荷预测

随着智能电网、通信网络技术和传感器技术的发展,电力用户侧数据呈指数级增长、复杂程度增大,逐步构成了用户侧大数据。传统的数据分析模式已无法满足需求,迫切需要解决电力用户侧的大数据在分析与处理方面的难题。该文分析电力用户大数据的来源,针对电力用户侧大数据的数据量大、种类繁多与速度快等特点,指出电力用户侧的大数据在数据存储、可用性、处理等方面面临的挑战。结合云计算技术提出一种电力用户侧大数据分析处理平台,将智能电表、SCADA系统和各种传感器中采集的数据整合,并利用并行化计算模型Map Reduce与内存并行化计算框架Spark对电力用户侧的大数据进行分析。提出基于随机森林算法的并行负荷预测方法,将随机森林算法进行并行化,对历史负荷、温度、风速等数据进行并行化分析,缩短负荷预测时间和提高随机森林算法对大数据的处理能力。设计并实现基于Hadoop的电力用户侧大数据并行负荷预测原型系统,包括数据集群的管理、数据管理、预测分类算法库等功能。采用不同大小的数据集对并行化随机森林算法进行负荷预测实验,实验结果表明,并行化随机森林算法的预测精度明显高于决策树的预测精度,且在不同数据集上预测精度普遍高于决策树的预测精度,能够较好的对大数据进行分析处理。     

采用互信息与随机森林算法的用户用电关联因素辨识及用电量预测方法

随着智能电网的不断发展,电力企业积累的大量数据为用户用电量精细化预测提供了数据基础。针对与用电量预测相关的大数据种类多、体量大、维度高和生成速度快等特点,在研究用户用电特性评价指标的基础上,提出海量用户用电特性子空间聚类分析方法,挖掘用户多种用电模式。根据不同用电模式对用户进行群体划分,并利用互信息矩阵从区域及行业经济数据、气候条件,以及电力价格等方面辨识与用户群体用电量相关联的因素,进而构建基于随机森林算法的用电量大数据预测模型。该文方法可以有效识别不同用户群体的用电关联因素,规避用电模式差异性为用电量预测带来的不利影响。仿真结果表明,该方法具有较高的预测精度,且适用于大数据分析处理。     

基于多源异构数据关联规则分析的需求响应潜力居民用户辨识方法

精准辨识需求响应潜力居民用户群体，形成一定规模的聚合资源参与电网互动可以进一步发挥需求响应调节能力。针对当前辨识研究仅采用负荷数据挖掘，难以精准识别需求响应潜力居民用户的不足，提出了一种基于多源异构数据关联规则分析的潜力用户辨识方法。首先，针对负荷形态辨识中负荷类别划分精细化程度较低的问题，采用双向门控循环单元网络针对用户典型日负荷曲线进行分类，并依据各类用电负荷峰谷幅值及时段分布特征，实现需求响应潜力用户的初步选择。其次，针对用户潜力评估指标维度单一、指标权重同质化的不足，融合多源异构数据进行关联规则分析，构建多维需求响应潜力评估指标体系，并基于相关性与冗余性分析赋予指标客观权重，利用逼近理想解排序算法求解用户潜力值排序。最后，通过算例验证了所提方法的有效性。