基于spark框架的能源互联网电力能源大数据清洗模型

对能源大数据清洗可提高能源大数据质量的正确性、完整性、一致性、可靠性。针对能源大数据清洗过程中的提取统一异常检测模式困难、异常数据修正连续性及准确性低下等问题,提出了一种基于Spark框架的能源能源大数据清洗模型。首先基于改进CURE聚类算法获取正常簇;其次,实现了正常簇的边界样本获取方法,并设计了基于边界样本的异常识别算法;最后通过指数加权移动平均数实现了异常数据修正。通过对某风电场风力发电监测数据进行了数据清洗实验分析,验证了清洗模型的高效性、准确性。     

基于Spark的电力设备在线监测数据可视化方法

大数据可视化可以实现海量电力设备在线监测数据中各种属性、运行状态等电力特征信息的图形、图像化直观呈现,为设备运行状态的及时有效监控分析提供有力保障。因此,本文提出一种基于Spark的电力设备在线监测数据可视化方法,为实现大数据环境下的电力设备在线监测数据的状态信息快速提取,在Spark大数据计算平台上,建立了基于设备状态评估指标体系与模糊C均值聚类(FCM)的电力设备状态信息提取算法。针对数据的多维、时序特性,构建三维平行散点图的数据可视化展现形式,实现电力设备在线监测数据信息全貌的可视化展现。将该方法运用于吉林省某风电场的风电机组在线监测数据集,实验结果证明了该方法的有效性。     

基于Spark平台和并行随机森林回归算法的短期电力负荷预测

随着智能电网、全球能源互联网的建设与相关技术的发展,现代电力系统中电力大数据的格局已经形成,如何对高维海量数据进行深度挖掘以实现数据的充分利用,成为当前电力工作者们关心的问题。该文针对电力大数据环境下高精度和实时性的负荷预测展开了研究,提出了基于Spark平台和并行随机森林回归算法(Spark platform and parallel random forest regression,SP-RFR)的短期电力负荷预测方法,通过3次弹性分布式数据集(resilient distributed datasets,RDD)转换实现单机随机森林算法的并行化改进,并在Spark分布式集群环境下实现部署。结合某区域实际电力负荷数据设计试验,进行模型训练和回归预测,通过试验证明,对同等的数据集,基于Spark平台的并行随机森林回归算法预测精度高于单机负荷预测算法;并行随机森林算法受离群数据干扰较小,且随着数据集的增大,并行随机森林算法表现出良好的鲁棒性;与单机算法在运行时间上相比,随着数据集的增大,基于分布式集群的方法优势明显。该文提出的方法能够有效地在分布式环境中进行电力负荷预测,为负荷预测提供了一种新思路。     

电力大数据智能化高效分析挖掘技术框架

随着智能电网的不断建设,各类生产经营管理活动中产生的海量、高频数据,具有实时性、易失性、突发性、无序性、无限性等特征,如何充分利用和分析这些数据,快速获取有价值的信息是当前电力大数据处理急需突破的难点。在分析目前电力大数据应用现状的基础上,构建了电力大数据智能化高效分析挖掘技术框架,同时从面向计算密集型电力大数据的特征分析技术、基于内存计算的高性能数据分析技术、电力大数据并行化分析框架及服务体系以及基于数据挖掘的母线超短期负荷预测技术4个方面详细描述了电力大数据智能化高效分析挖掘的关键技术,从而为电力业务数据的高效价值挖掘及在线决策分析提供理论依据及基础技术支撑。     

基于电力大数据应用的故障诊断研究分析

阐述了目前电力系统中故障诊断存在的不足,针对一起变电站10kV开关柜负荷电流异常导致的故障,开发了一种电力大数据在电力系统故障诊断中的应用模块,结合电力大数据分析了导致开关柜发生故障的可能原因,并提出了相应的改进措施,为电力大数据在电力系统中的应用提供了典型案例分析。     

异常电力负荷数据的t检验辨识与修正

介绍了电力负荷异常数据的形成原因和分类．针对目前异常数据辨识方法灵敏度不高、易漏判、误判的现状．提出了基于数理统计中t检验对异常数据进行辨识和修正的算法通过山东电网的实际算例,验证了此方法具有简单、实用、灵敏度和计算效率高的特性．     

电力大数据存储方案设计

电力企业在大数据时代首先要解决的是海量电力数据的存储问题。针对电力大数据自身特征,分析了电力大数据存储的目的是为大数据挖掘提供保障。为了便于管理电力大数据,阐述了数据存储的优化方案。通过研究电力大数据的存储和管理方案,结合电力企业自身特点,设计了电力大数据的存储架构。     

基于时间序列分析的输变电设备状态大数据清洗方法

数据清洗是输变电设备状态评估数据预处理的一个关键步骤,有助于提高数据质量和数据利用率。文中将设备状态信息等效成各状态量的时间序列,提出了一种基于时间序列分析的双循环迭代检验法。首先,将时间序列中的异常数据进行了分类,并将缺失值归纳为其中一类异常值。然后,分析了不同类别异常值对时间序列模型的影响,并阐述了迭代检验法的实现步骤。最后,利用所述方法对南网某变压器和线路的监测数据进行了数据清洗,结果表明该方法能识别并修正数据中的噪声点,填补缺失值,满足数据清洗要求。     

基于电力大数据的企业复工电力指数研究与应用

疫情期间,企业复工情况不仅关系到地方税收和就业,还能深刻反映地方的经济和社会运转状况。准确掌握地区企业复工情况,既可帮助地方政府有效推动复工复产,也可辅助政府制定针对性防疫措施。通过收集浙江省内企业近3年春节期间电量相关基础数据,提出了一种基于GMM(高斯混合模型)和Knee Point算法的企业复工电力指数计算方法。首先,利用GMM对企业进行聚类分析,将其分为春节停工企业和春节不停工企业;其次,利用Knee Point算法分析企业的用电曲线,对春节停工企业是否复工进行判断;最后,基于研究得到的企业复工电力指数模型计算浙江省内各地区复工电力指数,并将计算结果用于辅助政府进行复工复产决策。     

基于大数据的电力营销管理的研究

文章探讨了如何借助大数据技术制定相应的管理制度,借此来弥补当前电力营销服务缺陷,希望为基于大数据技术下的电力营销管理工作的开展提供理论参。     

基于MapReduce的电力大数据增量式属性约简方法

针对电力大数据具有的体量大、生成快、实时更新等特点,提出了一种基于MapReduce框架的电力大数据增量式属性约简方法。该方法深入分析了决策表的特性,完成了对不相容决策表的转化和化简,求出了简化决策表正域的势。利用差别元素概念以及MapReduce的并行化特性,设计了一种能应用于大数据环境的增量式属性约简算法。最后,以Hadoop平台为基础,设计实验完成了某地区历史负荷数据的增量式属性约简计算,验证了算法的可行性和处理电力大数据的能力。     

基于云计算技术的电力大数据预处理属性约简方法

针对大数据时代下电网数据体量大、类型多、速度快的特点,传统的属性约简方法已经无法完成对电力大数据的预处理,为此提出一种基于云计算技术的电力大数据预处理属性约简方法。该方法剖析了粗糙集中相对正域理论的特性,利用MapReduce模型设计了可以并行计算正域中元素个数的属性约简算法MP_POSRS。最后,在Hadoop平台上对电网故障诊断表和风电实测数据进行属性约简,实验结果表明,该方法有效可行,并具有较好的加速比和可扩展性,适用于电力大数据预处理属性约简。     

基于多种大数据量化分析方法的世界一流电力企业集团对标模型研究与实践

本文紧密围绕南方电网公司创建具有全球竞争力的世界一流企业的愿景目标,通过综合运用内容分析法、德尔菲法、层次分析法、变异系数法、卓越绩效模式、Likert量表等多种大数据量化分析方法,系统构建了指标对标、管理能力对标相结合的世界一流电力企业集团对标模型。实践证明,该模型具有开创性强、客观量化、便于推广等创新点,在南方电网公司集团对标工作中应用效果良好,为电力企业更有效地开展对标工作探索了新方法和新模式。     

基于ELM-SVM模型与电能计量大数据的窃电识别技术研究

窃电现象破坏社会供用电秩序,严重时更会阻碍新型配电系统建设的发展。为了更精确地识别窃电行为,提出了一种基于极限学习机（ELM）与支持向量机（SVM）相结合的窃电智能识别模型。利用电能计量大数据,分析窃电用户数据状态指标,构建窃电指标评价体系;利用指标评价体系训练窃电智能识别模型,进而以ELM-SVM预测模型来识别窃电用户。该方法有效集合了ELM算法与SVM算法的优点,算例表明,识别模型的识别准确率可达97.8%,说明ELM-SVM结合方法是可行的,实现了对用户窃电行为的高精度、高效性预测识别。     

电力大数据技术与电力系统仿真计算结合问题研究

电力大数据技术的进步为电力系统各领域提供了新的发展契机。该文探讨了其与电力系统仿真计算相结合的若干基本问题。首先阐述二者已有的基础、技术联系和基本结合方式,强调利用大数据技术包中提供的资源和方法解决实际问题;而后明晰了仿真计算数据与大数据相关的特征及其独有优势。在此基础上,讨论了与开展研发工作相关的若干要点,涉及二者结合适用的问题、开展研究的重点等,同时也说明引入大数据技术可能带来的问题。该文工作为在电力系统仿真计算领域开展大数据技术研究提供了基本框架,为研发工作的全面开展奠定了基础。     

广东电网电力大数据现状及主要发展思路

对大数据的概念进行了阐述,结合广东电网有限责任公司（以下简称广东电网）在大数据方面的已开展的研究,从数据基础、资源基础和已应用领域三方面,对大数据在电力系统中的应用现状进行分析。基于大数据在电力系统应用存在的问题,总结并分析了电力大数据处理技术的三个层面：关键支撑技术、电力应用技术、标准和数据模型,在此基础上探讨了广东电网大数据的发展思路。     

基于大数据技术的电力用户行为分析及应用现状

电力行业是大数据技术应用的重要领域之一,电力大数据产生于电力生产的各个环节,蕴藏着丰富的商业和社会价值。介绍了大数据技术在电力行业的应用现状,重点对基于大数据技术的电力用户行为分析方法进行了归纳总结,最后给出了几个面向电力用户行为分析的大数据应用案例。     

OpenFlow在电力大数据平台中的应用

为解决电力大数据平台数据通信网灵活性受限问题,针对OpenFlow技术的技术体系进行了研究,给出了该技术在融合数据平台中的一种实现方法。分析了OpenFlow架构及现有标准化现状,从数据处理流程以及业务配置等方面,分析了OpenFlow在未来电力大数据平台中的应用优势,并从SDN功能单元与技术扩展性等方面进行了研究。OpenFlow已被列入国家电网公司电力大数据平台的关键技术,支持OpenFlow技术等SDN主流控制协议可以提升电力业务承载的灵活性,通过控制平面和数据平面解耦,将网络的控制功能分离开,可满足国家电网公司对数据网络高效性的要求。     

基于置信等效边界模型的风功率数据清洗方法

针对风电运行数据中存在的大量异常数据,结合风机运行过程与数据不确定性统计提出了一种基于置信等效边界模型的风功率数据清洗方法。首先,基于风机运行机理及运行策略提出了风速、风轮转速和功率三维关联性关系,依照风速对异常数据进行分段精细化剔除;在此基础上,结合Copula理论分运行区间建立了风速条件下风机输出功率的条件概率分布,进而求得功率在一定置信度水平下的等效边界模型,可直接用于异常数据识别剔除,提高有效数据占比;然后,采用分段三次Hermite插值法重构缺失数据,得到完整风速、功率有效数据;最后,定义置信度带宽比等数据清洗质量评价指标,采用k折交叉验证置信等效边界模型性能。选取某型号风机实际运行数据进行实例分析,结果显示清洗后数据具有更高的置信度带宽比、更适中的偏度及更高的峰度,进而表明有效数据占比大大增加且分布更加集中,表明了所提方法的有效性和合理性。