基于缓存的补采策略在智能用电系统中应用

针对用电采集系统中的数据补采提出了一种基于缓存的智能用电海量数据补采策略,通过预先在分布式缓存中按采集任务对需要采集的数据项进行初始化,采用数据包标记法提取元信息数据后通过哈希算法进行精确定位和快速标记,补采服务检索缓存中的标记信息生成相应的补采任务,该方法提高了智能用电采集系统的补采效率,有效提升了系统的采集成功率。     

田湾核电站基于Elasticsearch的创新型数据应用研究与实践

针对难以在海量数据中快速定位目标数据的问题,田湾核电站对Elasticsearch这一搜索引擎技术进行研究,通过微服务架构设计模式和前后端分离的开发技术建立起三项具体数据应用,解决了数据索引和数据定位的问题,提升了工作效率。IT智能客服机器人平台建立起具备自动应答功能的在线服务平台,在线提供高效的IT服务,提升IT服务质量;智能化主数据检索平台将各类主数据资源统一汇总,实现在主数据层面的快速数据查找;集中系统日志检索分析平台实现对全部Web应用的日志收集、日志存储、日志分析和展示看板,提升应用管理效率。本文通过对搜索技术的研究,实现简单便捷的数据查询利用,为更多基于搜索技术的多数据应用场景提供参考。     

基于云计算及大数据技术的电力搜索引擎技术研究

电力营销经过多年的信息化发展,企业内部已经建立大量异构型应用系统,产生了大量分散的结构化、半结构化、非结构化数据。基于云计算及大数据技术的电力"求索"搜索引擎技术,构建集中式数据中心全文检索的索引,实现对大规模不同业务功能和业务数据的统一检索,满足用户从大量异构业务系统和海量数据中进行快速检索的要求。电力"求索"搜索引擎技术基于开源的Elastic Search,利用分布式索引、分布式检索、分布式缓存技术,实现分布式全文检索平台,提供对大规模索引数据的高效管理与快速、灵活的访问能力。通过搜索引擎技术,综合利用文本挖掘、自然语言处理、信息检索等领域的技术,进一步提高全文检索的查准率、查全率。该技术的应用,可以满足大规模不同业务数据的统一检索的需求;并同时满足大规模数据检索请求的快速响应要求。     

基于XML的供电企业分布式异构信息的检索

为了实现对供电企业信息方便、任意地查询,文章提出将不同供电企业管理信息系统数据转换为XML文档格式的思路,建立基于XML文档的分布式供电企业信息检索机制,设计了一种新的XML索引结构,基于该索引结构的检索算法对用户输入的关键词和条件形成查询表达式。针对不同检索条件采用不同控制策略,可以实现对文本内容和数值内容的检索及确定信息和不确定信息的检索。应用该算法对变电站XML文档数据进行检索,结果表明该算法准确、高效,具有较高的推广价值。     

基于正态分布离群点算法的反窃电研究

为了解决一直以来供电企业所面临的窃电预防及查处问题,结合用电信息采集系统反窃电功能发展的现状,通过对现存的窃电手段和反窃电技术进行分析,提出了一种在远程集抄海量数据的基础上利用基于正态分布的离群点算法进行数据挖掘的反窃电方法。利用Matlab对电压、电流海量数据进行曲线拟合,建立数学模型并引入基于正态分布的离群点算法,依据拉依达准则对海量数据进行数据挖掘找出窃电嫌疑户。通过实际案例验证了提出的离群点算法和窃电户查找流程能够高效筛选出窃电用户,为传统反窃电研究和高效反窃电的实现提供了新的思路。     

跨平台电网规划数据融合与存储模式

随着电网规划各业务系统平台的建立以及异构业务数据的急剧增加,急需打破各系统平台之间的业务壁垒,建立完善的业务信息共享与交互体系。文章在分析现有业务系统数据格式及存储现状的基础上,深入研究异构数据融合与存储的关键技术,并提出一种跨平台电网规划数据融合与存储模式。通过建立统一业务数据信息模型,完成异构数据的融合处理;构建基于Hadoop的分布式文件存储系统,实现海量异构数据高效快速的存储与索引,为电网规划系统乃至电力行业的海量异构数据与信息共享提供理论指导与体系架构支撑。     

基于大数据云平台的电力能源大数据采集与应用研究

随着智能电网建设的不断推进,电力系统中运行的采集终端数量大幅激增。面对采集到的海量用电数据,如何快速挖掘出有价值的信息,指导企业发展并服务社会民生,显得尤为迫切。文章介绍了利用分布式架构的用电信息采集系统采集用电数据,建立大数据云平台,通过BP神经网络算法等大数据分析方法,提高线损治理成效,实现负荷的准确预测,并在光伏、车辆网等新的领域对电力能源大数据应用的研究进行了展望,对未来电力能源大数据的深化应用有重要的指导意义。     

多源异构的智能配用电数据存储处理技术

针对智能配用电数据具有海量、多源异构等特点,提出一种基于Hadoop的智能配用电数据存储处理的框架设计方案。在对智能配用电数据组成进行梳理的基础上,提出了智能配用电的资源、存储和查询三层数据存储框架。其中,资源层采用Hadoop集群架构,结合电力系统的行业特色,完成IT存储资源管理;存储层则先采用XML技术进行数据预处理,使非结构化数据归一化,然后利用No SQL数据库通过Map和Reduce的有效结合,完成海量数据的快速存储;查询层利用Top-k检索技术,实现海量数据的快速查寻。该设计方案能够对结构化和非结构化数据进行统一存储,可为智能配用电大数据技术的应用提供基础支撑。     

用电信息采集系统非结构化数据管理设计

针对用电信息采集系统的非结构化数据具有海量、接入点多而分散等特点,本文提出一种用电信息采集系统非结构化数据管理设计方案。首先,对用电信息采集系统的非结构化数据进行分类。其次,提出了数据采集、数据存储和数据挖掘等3部分的管理设计方案:数据采集主要实现非结构化数据的收集;数据存储包括数据预处理和Hadoop两部分,完成海量数据的快速存储;数据挖掘按照文本、视频、音频3种类别分类处理,实现海量数据挖掘应用。该方案对用电信息采集系统的海量非结构化数据管理,有一定的参考价值。     

基于共享内存的能量管理系统实时库非主键HASH索引

实时库是能量管理系统的核心之一,大部分实时数据的处理基于实时库.引入索引能够极大地优化实时库查找操作,提高实时库性能.文中介绍了HASH索引的查找算法和实现方式,设计了针对“父找子”型关系查找的双溢出型HASH索引,并介绍了其数据结构和查找算法.分析数据表明,双溢出索引适合于“父找子”型关系的查找,具有很高的查找效率.     

基于大数据平台的居民负荷变尺度画像技术实现与应用

传统的负荷曲线描述方法难以全面描述负荷变化特征。文章尝试采用用户画像技术进行居民负荷多尺度立体化的用电特性研究。首先,基于大数据平台中的可用数据资源,建立了表征居民负荷用电特性的标签体系。为了快速高效地获取各类典型用户特征,应用标签体系,在大数据平台支撑下,应用分布式聚类算法对海量居民用户用电数据进行聚类分析。最后,针对每类用户,文章绘制了四季的典型日和典型月负荷曲线以及年持续负荷曲线并进行了对比,同时分析了每类用户的负荷波动率和需求响应水平,以构建包含用户的用电时序规律和用电弹性特征的变时间尺度用户画像。分析结果能够可视化地描述居民负荷的时间分布特性及用户用电特性,可为合理制定电价套餐及优化用电模式提供参考。     

电动汽车充电网络云平台下一种基于Chord-R的多租户多维索引方法

面向不同运营商多租户数据的高效索引方法是构建电动汽车充电网络云平台的关键技术之一。现有多租户数据索引方法在面对海量多维信息索引时存在效率低的问题。在此背景下,提出了一种基于共享存储模式的Chord-R双层索引方法,上层采用对等结构中的Chord协议作为全局索引,使单个租户的数据聚集并有序地分布在尽量少且相邻的节点上,保证数据具有良好的隔离性和扩展性;下层引入空间索引方法R树进行本地数据的局部索引,最终实现了多租户数据多维信息的高效索引。实验结果表明,在进行多维信息索引时,与典型多租户索引方法（multi-tenant indexing mechanism based on improved Chord mapping approach,MIMC）相比,查询时间至少可以节省48%。     

基于社群特征的配电网异常用电行为分析

针对目前配电网异常用电行为精度欠佳、效率低下、人力资源耗费量大等问题,在海量用电数据中利用数据挖掘技术实现异常用电数据的精确查找与定位。通过引入社群习惯的行业季节用电水平等异常分类指标,对可能存在非技术性损耗(NTL)的配网用户进行分析和检测,利用改进粒子群LM神经网络算法建立了有效的异常用电行为的自动识别模型。实验结果表明:该模型能够有效地提取用电特征,实现对异常用户的检测,具有较强的识别能力和较高的实用性。     

基于地理信息的智能搜索在电网GIS平台中的研究和应用

随着国网北京市电力公司电网GIS平台应用的不断深入以及使用范围的不断扩大,相关业务部门纷纷对其提出了更高的应用要求。采取全文检索技术,通过开发电网资源搜索引擎,实时建立数据索引,实现基于地理信息的电网资源智能化搜索功能,能够在电网GIS平台中快速查找、定位电网资源和设备,进一步提升电网GIS平台的信息挖掘能力,大幅提高电网GIS平台数据检索的方便性、易用性和综合展示效果,在公司日常生产管理工作中得到广泛的应用。     

智能园区管控平台集成架构设计及关键技术

随着智能配用电园区规模的扩大,配电自动化、用电信息采集等应用系统的推广应用,配电网中会产生指数级增长的海量异构、多态的数据,配用电环节的管理需求也逐渐复杂起来,因此需要建立高效的管控平台。基于海量数据的运行监控、用电管理等基本功能高度融合,智能运维、能源服务、售电管理等多种智慧功能按需集成的智能园区管控平台是未来智能园区管控系统的发展方向。针对智能园区海量数据的高速采集、高效处理、高速存储与计算,以及统一服务等需求,提出了管控平台的集成架构设计方案。通过关键技术性能验证了智能园区管控平台集成架构的优势和可行性。     

基于K-means算法和用电信息采集系统的 防窃电研究

目前窃电方式呈现隐蔽性、多样性和高科技等特点,传统的人工稽核方法无法快速解决当前窃电频发问题。文章利用用电信息采集系统远程集抄的海量数据,通过对新型典型窃电案例的分析,提出基于K-means聚类算法以及用电信息采集系统所采参数,建立多维特征因子关联模型,确定窃电嫌疑用户。基于该思路的防窃电系统,在预防和打击窃电用户上起到了一定的积极作用。     

基于MapReduce的电力设备并行故障诊断方法

以智能电网中电力变压器故障诊断为例,给出了基于MapReduce的电力变压器并行故障诊断过程,其应用4个MapReduce过程执行故障诊断算法的训练阶段,并得出分类模型,应用1个MapReduce过程完成对电力设备状态信息数据的故障诊断。建立了电力设备状态信息并行故障诊断实验平台,基于海量变压器油中溶解气体分析数据进行并行故障诊断实验,实验结果表明并行故障诊断速度高于传统单机环境下的诊断速度,满足智能电网环境下对海量电力设备状态信息快速故障诊断的要求。     

一种高效的海量电力暂态数据索引方法

随着故障录波和行波装置的广泛应用和技术进步,IEEE COMTRADE 1999格式暂态数据(简称COMTRADE数据)已经呈现出海量化发展的趋势。如何对海量COMTRADE数据进行快速检索和分析也成为当前亟待解决的问题。文中研究并设计了一种高效的索引框架,该框架构建了以词对齐混合编码(WAH)为基础的位图索引,通过对COMTRADE数据构建元数据并建立相关索引,能够实现高速的电力数据检索,可以解决传统搜索技术的性能问题。该框架通过引入两阶段提交协议(2PC)来保证原始数据和元数据,元数据和索引文件的一致性。在与传统的MySQL关系数据库的比较测试中,所提方法性能更为优越,特别在对多维数据多条件和浮点数检索时,优势更为明显。该框架能够满足当前海量COMTRADE数据检索的需要,并可应用于电力行业其他大数据的存储检索和分析。     

基于改进k-means算法的海量智能用电数据分析

针对智能用电数据挖掘面临数据量大、挖掘效率低等难题,进行Map-Reduce模型下基于改进k-means的海量用电数据分析研究。以家庭用户为例,建立了家庭用户用电信息的家庭用户号、房屋面积、家庭成员数、每天用电量、峰谷电量、家用电器数等的数据维度模型,利用k-means算法简单、收敛速度快的优势,克服其容易陷入局部最优解的缺陷,综合考虑初始聚类中心的选择及聚类个数的选取2个因素,以数据对象密度的大小作为初始聚类中心的选取标准,将簇间距离及簇内对象的分散程度作为聚类数目选择的重要参考,对k-means算法进行改进;为提高数据处理效率,进行Map-Reduce处理模型下的海量家庭用户用电数据的并行挖掘。通过在Hadoop集群上进行实验,结果证明提出的算法运行稳定、高效、可行,且具有良好的加速比。     

数据驱动下窃电智能分析系统的研究

随着智能电表的推广及用电信息采集系统建设的逐步完善,电网公司积累了海量用户用电数据,为大数据技术在电力领域的应用提供了基础。基于数据挖掘思想针对行业分类及用户特征,对海量的多元计量数据进行窃电用户分析,从中挖掘出窃电用户的关联性多维度特征参量,建立神经网络构建数据驱动下的窃电预测模型。系统测试验证了预测窃电值与实际窃电值有很高的吻合度,在一定程度上反映了模型预测的准确性。