智能配用电大数据存储架构设计

针对智能配用电数据海量、高维度、多源异构等特点,提出一种大数据存储的三层管理框架设计方案。首先,对智能配用电数据组成进行分类划分。然后,提出智能配用电数据存储的资源层、元数据层和实际数据层的三层管理框架,在资源管理层,应用虚拟化技术、负载均衡和资源调度完成对物理资源的管理;在元数据管理层,使用数据预处理技术对智能配用电的元数据进行分类,采用中间件技术完成XML元数据仓库管理;在实际数据管理层,利用NoSQL技术,通过Map和Reduce的有效结合,完成海量数据的分层分区快速存储。最后,在实验室环境下对该设计方案进行初步的应用,验证了所设计方案能够对结构化、半结构化和非结构化数据进行统一存储,可为智能配用电大数据技术的应用提供基础支撑作用。     

用电信息采集系统非结构化数据管理设计

针对用电信息采集系统的非结构化数据具有海量、接入点多而分散等特点,本文提出一种用电信息采集系统非结构化数据管理设计方案。首先,对用电信息采集系统的非结构化数据进行分类。其次,提出了数据采集、数据存储和数据挖掘等3部分的管理设计方案:数据采集主要实现非结构化数据的收集;数据存储包括数据预处理和Hadoop两部分,完成海量数据的快速存储;数据挖掘按照文本、视频、音频3种类别分类处理,实现海量数据挖掘应用。该方案对用电信息采集系统的海量非结构化数据管理,有一定的参考价值。     

配用电大数据多源集成及存储优化方法

面对体量大、类型多、增长快的配用电大数据,如何利用大数据技术提升配用电相关业务的广度、深度和精度成为电力行业新的机遇和挑战。为解决配用电大数据多源集成和高效存储两方面核心问题,根据配用电大数据的组成及特征,通过生成标准化元数据并构建相应数据字典的方法,实现了多源配用电数据规范化集成;在数据集成的基础上,基于Hadoop平台进行大数据存储优化方法研究,提出考虑配用电数据关联性的哈希分桶存储算法,实现了相关联数据的集中存储,从而提升后期数据查询及处理的效率并在数据存储优化的基础上,实现基于Map Reduce的多源配用电大数据并行关联查询。通过在Hadoop集群平台上进行测试表明,经过哈希分桶存储优化后的多源数据并行关联查询相比传统Hadoop方法查询时间显著缩短。     

企业非结构化数据管理平台研究简

提出在Linux集群上部署Hadoop开发框架,构建分布式的数据管理平台,实现了对企业海量非结构化数据的集中存储、统一管理以及分布式处理.平台所具有的高可靠性、高扩展性以及高吞吐率等特征为海量数据提供了不怕故障的存储和管理,为企业非结构化数据的有效利用提供了良好的解决方案.     

智能变电站海量在线监测数据处理方法

通过对智能变电站状态监测数据的特点以及Hadoop云计算技术的分析,研究数据检测机制以及索引构建方法,提出一种基于Hadoop的智能变电站在线监测数据可靠存储及快速查询方法.该方法将变电站在线监测所收集的海量变电设备在线监测数据冗余存储在Hadoop分布式文件系统(HDFS)中,对在线监测数据的索引表结构进行优化,并存储在分布式结构化数据库(HBase)中,实现海量在线监测数据的快速查询.搭建基于Hadoop的在线监测数据处理实验平台,进行了基准测试、排序测试以及在线监测数据读写性能测试等.测试结果表明,上述方法及平台在查询时间、读写效率及吞吐量等方面具有良好的性能,能够满足智能变电站大规模在线监测数据的可靠存储及高效处理的需要.     

一种基于Hash-B-树索引的海量用电数据快速检索算法

针对智能用电双向交互平台中海量电力用户用电信息的分析处理、存储及快速检索需求,基于Hadoop平台建立了海量用电信息的并行处理及云存储体系,并针对海量用电信息的特点,提出了一种基于Hash-B-树索引的海量用电数据快速检索算法,介绍了Hash-B-树索引查找算法及实现方式,通过建立索引缩小查找范围,在保证不浪费存储空间的前提下提高检索速度。实验证明,该算法能够从海量数据中高效、快速地检索到所需的用电信息。     

基于Hadoop的校园智能视频分析系统应用

随着校园监控系统的发展促使监控视频数据呈现出海量增长的趋势。如何高效可靠地长期存储监控数据,以及如何对海量视频数据进行统计分析成为智能视频监控系统中必须要解决的问题。本文结合校园智能视频监控需求,针对海量数据存储和分析的问题,应用云计算和分布式计算技术,阐述了通过Hadoop框架实现海量视频数据存储、分析的系统架结构、难点和解决方法。     

能源互联网多源数据融合技术研究

随着我国能源互联网战略的推进,边缘计算成为解决能源互联网数据处理的有效模式,针对能源互联网的电力异构配用电数据的存储混乱与融合性差的问题,提出能源互联网多源数据处理与融合技术。首先,在边缘计算的基础上设计能源互联网多源数据处理与融合架构;其次,提出了智能配用电数据存储资源层负载均衡优化调度策略,利用Hadoop平台实现了多源数据存储和处理;然后,通过主成分分析方法得到能源互联网异构数据的主要特征,构建基于矛盾优化DS证据推理的多源数据融合模型,在边缘计算框架的基础上对多源异构数据进行分组聚合;最后,在某配电网模拟系统进行实验分析,分析结果验证了所提方法的有效性。     

MongoDB索引的用电信息非结构化数据存储方法

随着用电信息采集系统的健全,双向互动化功能的需求增加,系统所承载的用电信息由最初的规整结构化数据演变成结构化数据和多类型非结构化数据的混杂,且数据量也日益聚增。本文对用电信息采集系统的非结构化数据组成进行了梳理,从数据源角度出发,按照客户用电信息数据和客户数据两大类别,分别对用电信息采集系统涉及的A、B、C、D、E 5类用户进行了非结构化数据特征分析。本文提出采用MongoDB索引Hadoop分布式文件系统的新型用电信息采集系统非结构化数据存储方法,实现对系统中混杂非结构化数据的分类存储和准确实时读写,为双向互动化功能提供了良好底层泛在数据支撑。     

基于Hive的电力设备状态信息数据仓库

随着智能变电站的建设及其状态监测系统的发展,电力设备状态信息数据规模逐渐增大。针对现有电力数据仓库在海量状态数据存储查询和分析处理方面的不足,提出基于Hive的电力设备状态信息数据仓库及其多维数据快速查询与分析方法。通过对状态监测系统与生产管理系统（PMS）的分析,将电力设备静态信息与状态监测信息存储到Hive数据仓库中。设计了基于Hive的电力设备状态信息数据仓库的系统架构和海量状态数据存储结构,采用Hadoop 分布式文件系统（HDFS）对数据进行分布式存储管理,MapReduce作为海量数据查询分析     

Hadoop框架在电力大数据平台中的应用

针对大数据框架体系数据存储和计算问题,提出采用Hadoop框架对海量大规模数据进行处理,分析该框架的组成、优势和安全机制,并说明Hadoop框架在电力大数据平台中应用情况及应用效果。     

智能电网中非结构化数据可视化技术研究

非结构化数据大量存在于智能电网的大数据中,其增长速度是结构化数据的25倍。然而,非结构化数据缺乏连续性,数据信息量大,不利于系统数据的可视化处理和分析。为了有效解决此问题,文章针对智能电网的实际需求,总结非结构化数据可视化处理存在的问题,利用节点链接技术获取数据、Hbase技术存储数据、分割式技术处理数据、四面体技术进行标识、建立Map Reduce检索模型,并进行显示程序编辑,旨在对智能电网的性能进行优化,从而解决智能电网中非结构化数据可视化难的问题,以及海量数据难以进行批量化处理的问题。     

基于状态估计的海量多元异构智能电网数据压缩存储方法

海量多元异构智能电网数据未经处理就进行压缩与存储,存在压缩误差大、运行时间长的问题,影响压缩储存效果。因此,提出基于状态估计的海量多元异构智能电网数据压缩存储方法。融合海量多元异构智能电网数据,推导出准确的智能电网数据,通过Tucker分解智能电网大数据压缩方法,压缩海量多元异构智能电网数据。采用可扩展标记语言（XML）技术预处理数据,结合非关系型的数据库技术,实现海量多元异构智能电网数据的快速存储。试验结果表明,该方法的线路电阻、电抗动态参数估计准确性高,数据压缩平均绝对误差、F 范数误差低,运行时间短,具有一定的实际应用性能。     

基于HBase的输电线路综合数据存储方案设计

输电线路综合数据具有复杂性、体量巨大及多源异构等特点。针对当前关系数据库对于视频图像、图片等非结构化数据处理能力不足的问题,结合大数据的相关理论,提出基于Hadoop和HBase的输电线路综合数据的存储方案,将结构化数据和非结构化数据均转化为Bytes数组存入HBase数据库,并阐明具体的存储原理和工作方式,有效地解决了原有数据信息共享性差、非结构化数据难以存储等难题,弥补了关系数据库的不足,为大数据时代下智能电网的信息化建设提供思路。     

基于云计算的电力调度信息化研究

提出将云计算技术引入电力系统,利用系统内部广域网建立电力系统“私有云”,整合电力系统现有的计算能力和存储资源,利用开源云计算平台Hadoop和海量数据管理系统HBase开发调度中心信息平台,实现调度中心对海量数据的可靠存储和快速计算分析.     

基于Hadoop的智能电网数据安全存储设计

针对智能电网下海量数据的存储问题及数据保密性和完整性需求,分析了现有安全存储方案的特点,结合智能电网应用环境的特殊场合,设计了一种基于Hadoop的智能电网数据安全存储方案。该方案充分利用了HBase高性能优势和现代密码技术,将密钥与密文的管理分离,具有安全性好、密钥管理方便及效率高等特点。开发了基于Hadoop的原型系统,对方案的时间开销进行了分析,并通过相关实验证明了方案的有效性和可行性。     

非结构化数据特征建模关键技术研究

在智能电网大数据中,非结构化数据占据比例最大,且增速是结构化数据的10~50倍,已成为智能电网大数据处理的关键技术。针对非结构化数据存在数量巨大、模式滞后问题,基于现实数据存在的诸多特征,提出来非结构化数据特征模型建模。文中重点论述了基于智能电网大数据的非结构化数据特征建模的关键技术,包括原始数据以及特征数据的存储、查询以及数据可视化、特征空间的选取等。     

基于SOA的用电采集数据分析与智能监测系统的设计与实现

充分利用用电信息采集系统的海量数据,有效地整合智能电网中各类生产管理系统和自动化系统的数据资源和应用,采取基于面向服务的体系架构,结合数据集市技术,设计用电信息采集数据分析与智能监测系统的基础框架,通过阐明系统架构和功能,以及系统设计采用的关键技术与实现方式,通过一体化数据建模、服务组件和企业服务总线等技术,解决不同系统间的异构数据交互,并使用J2EE技术进行了系统实现。     

基于Hadoop的风力发电监测大数据存储优化及并行查询方法

随着风力发电的广泛发展以及智能化监测技术的推广应用,风力发电监测数据呈现出体量大、类型多、增长快的大数据特征.针对风力发电监测大数据高效存储和快速查询两方面核心问题,基于Hadoop平台进行大数据存储优化方法研究,提出考虑风力发电监测数据关联性的哈希分桶存储算法,实现了相关联数据的集中存储,从而提升后期数据查询及处理的效率.在数据存储优化的基础上,实现基于MapReduce的多源风力发电监测大数据并行关联查询.通过在Hadoop平台上进行测试表明,经过哈希分桶存储优化后的多源数据并行关联查询相比传统Hadoop方法查询时间显著缩短.     

基于云计算的智能电网信息平台

坚强智能电网是未来电网的发展趋势,而信息平台是支撑坚强智能电网建设的重要基础.为了充分利用计算资源,满足智能电网对全部信息的可靠存储和高效管理的需要,提出基于云计算的智能电网信息平台,给出了该平台的体系结构,并详细分析了新方法的可行性、优势及需要解决的问题.针对智能电网状态监测的特点,结合Hadoop云计算技术,提出智能电网状态监测云计算平台的解决方案.研究云计算中的虚拟化、分布式存储与并行编程模型等问题,实现智能电网海量信息的可靠存储与快速并行处理.