基于云计算及大数据技术的电力搜索引擎技术研究

电力营销经过多年的信息化发展,企业内部已经建立大量异构型应用系统,产生了大量分散的结构化、半结构化、非结构化数据。基于云计算及大数据技术的电力"求索"搜索引擎技术,构建集中式数据中心全文检索的索引,实现对大规模不同业务功能和业务数据的统一检索,满足用户从大量异构业务系统和海量数据中进行快速检索的要求。电力"求索"搜索引擎技术基于开源的Elastic Search,利用分布式索引、分布式检索、分布式缓存技术,实现分布式全文检索平台,提供对大规模索引数据的高效管理与快速、灵活的访问能力。通过搜索引擎技术,综合利用文本挖掘、自然语言处理、信息检索等领域的技术,进一步提高全文检索的查准率、查全率。该技术的应用,可以满足大规模不同业务数据的统一检索的需求;并同时满足大规模数据检索请求的快速响应要求。     

智能配用电大数据存储架构设计

针对智能配用电数据海量、高维度、多源异构等特点,提出一种大数据存储的三层管理框架设计方案。首先,对智能配用电数据组成进行分类划分。然后,提出智能配用电数据存储的资源层、元数据层和实际数据层的三层管理框架,在资源管理层,应用虚拟化技术、负载均衡和资源调度完成对物理资源的管理;在元数据管理层,使用数据预处理技术对智能配用电的元数据进行分类,采用中间件技术完成XML元数据仓库管理;在实际数据管理层,利用NoSQL技术,通过Map和Reduce的有效结合,完成海量数据的分层分区快速存储。最后,在实验室环境下对该设计方案进行初步的应用,验证了所设计方案能够对结构化、半结构化和非结构化数据进行统一存储,可为智能配用电大数据技术的应用提供基础支撑作用。     

一种基于Hash-B-树索引的海量用电数据快速检索算法

针对智能用电双向交互平台中海量电力用户用电信息的分析处理、存储及快速检索需求,基于Hadoop平台建立了海量用电信息的并行处理及云存储体系,并针对海量用电信息的特点,提出了一种基于Hash-B-树索引的海量用电数据快速检索算法,介绍了Hash-B-树索引查找算法及实现方式,通过建立索引缩小查找范围,在保证不浪费存储空间的前提下提高检索速度。实验证明,该算法能够从海量数据中高效、快速地检索到所需的用电信息。     

基于云计算技术的电力大数据分布式检索系统

为了提高电力大数据定位识别和信息融合能力,进行电力大数据检索优化设计,提出一种基于云计算技术的电力大数据检索系统设计方法,采用多元回归分析方法构建电力大数据库存储结构模型,进行电力大数据的分布式存储数据结构特征分析,对混合型的电力大数据在云计算环境下进行信息聚类融合处理,采用模糊特征分组聚类方法对不同属性的电力大数据进行分组检测,提取电力大数据的关联规则特征量,采用云计算技术实现电力大数据分布式检索。在嵌入式环境下进行电力大数据分布式检索系统软件设计。仿真结果表明,采用该方法进行电力大数据检索的特征指向性较好,数据检索的数据召回率较高。     

田湾核电站设备管理智能化应用的研究与实践

为了解决设备管理面临的数据检索困难和维修工作自动化程度低的问题,田湾核电站研究利用数据检索技术和工业互联网平台技术,建立智能化设备数据检索平台,汇聚设备数据并建立索引,提供设备数据服务并快速获取设备数据信息,减少用户搜索设备数据的时间.通过设计基于工业互联网技术的智能维修应用,建立起智能维修支持系统、智能化辅助管控系统、数字化工作包、大修指挥中心(OCC)管理驾驶窗、4D大修管理平台等智能化应用平台,实现更主动、智能、高效的设备管理技术平台.通过对数据检索技术与工业互联网技术的研究,可实现简单、快捷的数据查询利用和智能化设备管理应用,对于未来广泛的智能应用场景具有参考意义.     

能源互联网关联数据融合的互信息方法

信息物理融合框架下的能源互联网需要处理的数据是海量的,要从中提取知识或分析数据之间的关联特征难度很大。在此背景下,基于互信息(mutual information,MI)理论,将信息融合理论中的"数据—特征—决策"三层结构应用到能源互联网的海量监测数据中,构建了一种基于多层模式的数据融合方案。互信息方法能够度量条件属性与决策属性间的相关性、消除冗余特征,从而提取规则、形成知识。首先,采用互信息方法发现海量监测数据间的关联度,并在数据预处理过程中筛选出关联特征。接着,采用多层前馈神经网络(multiple-layer feedforward neural network,MLFNN)对海量数据进行决策融合。之后,将该方法与在大规模数据集并行计算领域中发展起来的著名的MapReduce模型相结合,构造能够处理海量数据融合的"MutualInformation-Multiple-layer Feedforward Neural Network-MapReduce"(3M)方法框架。最后,以风电场功率预测问题为例来说明所提出的方法。计算结果表明,与传统的变量筛选方法相比,所提出的方法在预测精度和计算效率方面都有明显改善。     

海量配电网调度监测信息的非主行键倒排索引查询技术

为解决配电网调度监控系统数据体量不断增大导致数据检索速度越来越慢的问题,结合数据同步技术与倒排索引机制,提出了一种二级索引架构。使用数据库的同步组件与索引器生成非主行键索引,在搜索时先获得数据主行键,再根据主行键检索到需要的数据,完成非主行键检索,再利用倒排索引技术改变数据的信息结构,缩短检索时间。以某铁路局10 kV供电调度监控信息为算例,进行非主行键检索测试。结果表明:完成非主行键检索所用时间为161 ms,满足在配电网调度监控系统中对数据进行快速检索的工程应用需求。     

基于云计算的电力大数据分析技术与应用

为解决电力数据分析系统在大数据时代面临的严重的性能与可伸缩性瓶颈,更好地满足生产、营销等系统的需求,分析了云计算技术的优势,提出了基于云计算的电力大数据分析系统体系结构及关键技术。基于分布式并行计算框架Hadoop和Hive,面向电力大数据特征,设计了多维索引、SQL自动翻译工具和支持数据更新的混合存储模型3项性能提升技术,实现对传统电力数据分析系统的升级优化。在浙江电力用电信息采集系统的实际部署经验表明,和传统电力数据分析系统相比,该系统以1/8的硬件成本,获得平均5倍的性能优势。证明了云计算技术能够显著提升电力大数据查询与分析性能并有效降低成本。     

智能变电站海量在线监测数据处理方法

通过对智能变电站状态监测数据的特点以及Hadoop云计算技术的分析,研究数据检测机制以及索引构建方法,提出一种基于Hadoop的智能变电站在线监测数据可靠存储及快速查询方法.该方法将变电站在线监测所收集的海量变电设备在线监测数据冗余存储在Hadoop分布式文件系统(HDFS)中,对在线监测数据的索引表结构进行优化,并存储在分布式结构化数据库(HBase)中,实现海量在线监测数据的快速查询.搭建基于Hadoop的在线监测数据处理实验平台,进行了基准测试、排序测试以及在线监测数据读写性能测试等.测试结果表明,上述方法及平台在查询时间、读写效率及吞吐量等方面具有良好的性能,能够满足智能变电站大规模在线监测数据的可靠存储及高效处理的需要.     

基于Neo4j的电力大数据建模及分析

电力大数据的处理离不开大数据技术的支持,如何存储电力大数据并从中挖掘出有价值的信息来促进电网的发展是当前的研究热点。本文首先从数据存储方式和数据检索功能两方面对图数据库Neo4j进行详细介绍;然后提出基于Neo4j构建电网的全景数据库,根据电力网络拓扑建立设备映射表,将目前电网中分散、隔离的海量数据有序地整合起来,同时利用Neo4j自身封装的图论算法提出基于图论的电力数据聚类分析方法;最后基于Neo4j数据库分析了两个具体的算例,对Neo4j数据库的信息检索性能和数据聚类分析功能进行了测试。     

电网企业主数据管理建设研究

文章对主数据管理的概念、特点及建设意义进行了论述,分析了国内外主数据管理的发展现状。深入研究了主数据管理建设和实施方法。在此基础上,结合我国电网企业的业务特点。对电网企业主数据管理建设思路进行了深入的探讨,形成了电网企业特有的主数据建设方法论,实现了对企业级主数据的统一管理。提高了企业数据的准确性,降低了系统信息成本,建立了完善的数据标准,提高了数据质量。     

一种数据需求分析方法及其在电力负荷管理系统中应用

本文针对数据需求分析中存在的问题,提出了一种数据需求分析方法、数据需求分析步骤,及在湖南省电力负荷管理系统中的应用。     

智能电网大数据的特点、应用场景与分析平台

为了使现代电网更加智能,在电网中广泛安装了多种数据采集装置与信息管理系统,例如智能电表、远程测控终端和同步测量装置,配电管理系统、能量管理系统、用户管理系统和电厂管理系统等。这些装置和系统产生了大量数据,构成了智能电网大数据的主要来源。研究先进的数据分析技术以使这些数据能够为电网的运行控制提供科学的决策,改善电网运行的灵活性、安全性、可靠性和有效性,已经成为智能电网发展的迫切需求。首先分析了智能电网大数据产生的原因和数据分析的重要性,讨论了大数据技术的发展趋势,然后重点分析了智能电网大数据的来源和类型,进而总结出智能电网大数据的特点,分析了智能电网大数据的应用场景,介绍了正在研发的智能电网大数据分析系统的分析平台以及主要功能。     

数据质量管理平台在内蒙古电杰公司的应用

在一体化平台数据中心系统建设过程中,为了对数据进行科学有效的管理和质量控制,为决策者提供可信的决策支持,从信息技术及管理控制2方面入手,对数据质量管理的实现方案进行深入分析,建立了一整套数据质量管理体系,形成了完整的数据质量管理平台,提升了企业数据质量,保证了数据中心系统能够提供准确、科学的数据。     

电力调度数据中心数据质量问题研究

结合调度中心数据特点和业务特点提出构建数据中心提高数据质量的一些控制方法,这些方法分别从电网数据的统计特性和业务特性(数据关联性特性)上对异常数据进行识别,并且基于这些方法给出了数据校验的模块设计,最后应用该数据校验模块到数据中心的系统架构中,提高了华东电力调度数据中心的数据质量.     

JBX－6A2电子束曝光机图形数据转换软件的开发与应用

本文简要介绍了一种矩形电子束曝光机图形转换软件的结构、工作原理和工作过程。在此前提下，根据这套软件的实际工作情况简要介绍了使用该软件的具体方法，并对使用该软件时容易遇到的困难和一些应注意的细节做了清楚的说明。此外还简略说明了作者对该软件所做的几处修改。     

电力自动化系统中的数据处理

电力自动化系统种类日趋多样,数据增多,功能复杂。系统之间强调信息共享和数据交换的同时,还必须保证系统的安全性。从数据的分类、数据的获得、数据流、数据仓库、数据安全等角度对整个系统中有关数据处理的部分进行了介绍,主要涉及通信分层、数据分流、数据仓库、数据镜像等技术。     

基础汇聚平台与数据运营平台应用研究

现阶段因不同行业之间的数据多处于分离状态,存在电网、其他能源行业、政府、气象、经济等之间的数据缺乏融通共享等状况,给政府、企业、公众等开展跨行业的分析应用、数据运营带来了一定困难。有针对性地提出数据汇聚平台及数据运营平台的建设意见,阐述了两大平台建成后可实现数据全景视图统一展示、数据链路统一监控、企业数据门户、数据应用运营、平台系统管理、数据工具、数据应用管理等功能,达到电力数据汇聚,满足数据应用的孵化,丰富数据应用,探索数据价值点和市场方向,指引电力大数据中心数据应用的研究和运营,深度释放数据资源价值。     

数据拓扑及其在电网数据处理分析中的应用

在分析信息化建设发展需求的背景下,提出数据拓扑的概念与定义,描述了其结构内容以及与电网数据关联情况的对应性。重点分析了其对于提升应用系统数据处理、信息展示、数据分析水平方面所能够发挥出的促进作用。之后给出了基于数据拓扑的应用系统数据处理分析相关功能的架构,并简述了数据拓扑在电网数据处理分析中的实际应用。     

智能电站数据中台建设与应用

在电站智能化建设过程中,为解决现有系统的数据孤岛、数据利用率低等问题,设计了数据中台产品。基于全域数据采集、数据湖底座建设、数据萃取与分析、数据服务化交付、数据可视化关键技术,建立了智能电站数据中台,实现了多源异构数据融合、共享和服务能力,有效提升电站精益化运行管理水平。最后介绍了智能电站数据中台的典型应用场景,对发电企业建设和应用数据中台具有一定的参考价值。