面向电网运行的全息时标量测数据集成与应用技术的研究

随着电网的快速发展,电网规模扩大,产生海量、实时的全息时标量测数据,动态信息数据库在电网中的集成应用使得高密度采样并全息记录电网运行过程中带有时标数据成为可能。通过全息时标量测数据与传统周期采样数据跨系统的汇聚处理与分析,能够提高电网调度和科学决策的整体水平。主要介绍全息时标量测数据与传统周期采样数据跨系统异构数据源间的无缝集成,将电网运行实时数据、全息历史数据以及电网模型数据三者融合,并在此基础上进行应用技术的研究。     

基于SOA的海量准实时数据服务平台接入/访问研究

电网数据已成为电力企业发展的重要资产,但缺乏有效的技术手段对准实时数据进行高效的接入/访问。从松耦合、可重复性、标准化等架构设计原则考虑,通过数据接入方案和数据访问方案设计并实现了基于SOA技术的海量准实时数据服务平台。平台通过设计的数据接入/访问工具将不同业务系统的准实时数据统一接入,以测点形式有序集成,并统一对外提供订阅、查询和获取所需数据访问服务来支撑业务应用。同时通过平台电网模型同步与模型树建立和高级应用支撑的关键技术,建立主网模型,并借助变电站设备模型挂接完成主网与配网模型拼接,形成电网标准的模型树,实现电网准实时数据的高效集成和访问,更好的满足电力企业准实时数据纵向贯通和横向交互的需求。     

基于PostgreSQL的海量准实时数据服务平台访问方案

大数据服务平台在电网系统中具有重要的应用价值.海量准实时数据平台作为电网重要数据中心,存储了大量有价值的数据,其存储的数据多为非结构化数据,无法直接通过SQL语句获取.为了最大限度挖掘数据价值,需要在平台中集成SQL访问实时数据的功能.为此,本文基于PostgresSQL Foreign Data Wrapper （Postgres_fdw）开发了SQL引擎.通过分析PostgresSQL的功能特点以及已有UAPI接口的不足,针对原有大数据平台框架,采用分层策略,基于Postgres_fdw开发了SQL引擎,并提出了针对海量平台中实时数据库的外部表空间估算方案和SQL解析方案,以此实现数据平台运用SQL的方式获取底层海量平台数据的功能.现场功能和性能测试,验证了该引擎的有效性.     

多源异构海量数据实时处理平台研究与应用

目前许多业务部门以多种形式记录各种海量且异构多源的业务数据,在进行高端决策时,对数据的读取及多维计算分析等方面效率较低,特别是对具有"时空"特性的数据处理。针对这类数据的多源异构性、海量性、高度时空性等特点,结合数据实时性需求,设计并实现了"多源异构海量数据实时处理平台"。该平台从多途径实时获取、处理多种海量数据文件,并实时保存到数据库,方便其他各业务系统更加直接、实时地使用各种实时数据,最终实现各业务系统间的多源异构海量数据的实时共享,同时该平台对其他领域的复杂数据处理也具有很好的参考价值。     

云计算技术在未来智能电网信息处理平台中的应用

未来的电网将会是一个高度自动化、智能化的电网,如此一个庞大、复杂的系统从发电、输电一直到变、配、用电的过程时刻都会生成海量的电能信息及设备运行状态数据,这就需要一个强有力的信息处理平台作为支撑,且这个平台应具有对海量数据的可靠存储、准确分析、实时同步更新及共享的功能,尤其是音视频等异构数据的分析与处理.云计算技术在大数据处理中具有得天独厚的优势,本文将云计算技术引入到未来智能电网的信息处理平台的建设中,针对未来智能电网信息处理平台的各项功能需求,对比目前电网信息处理平台的诸多瓶颈进行深层次的探讨,证明了将云计算技术应用到未来智能电网信息处理平台中的可行性。     

基于Storm的车联网数据实时分析系统

针对传统车联网平台在处理海量数据时存在吞吐量小, 实时性差的问题, 设计了一种基于大数据流处理技术的实时分析系统. 系统分为数据采集、 数据转发、实时分析、数据存储和可视化展示5层. 为了满足系统高并发接入以及实时性的需求, 引入Storm实时计算系统进行数据的实时分析. 同时, 利用Kafka消息队列的异步通信机制将各层之间解耦, 采用Hbase进行海量数据存储, 从而提高车联网非机构化数据存储效率. 另外, 针对访问数据库开销大的问题, 采用Redis缓存策略, 进一步提高查询效率. 实验证明, 较传统的多线程处理平台, 该系统具有低延迟, 高吞吐, 可拓展等特点, 能够满足车联网大数据流处理要求.     

电力调度大数据应用平台系统技术研究

为解决智能电网的发展中电网运行和设备检测或监测数据、电力企业管理数据、电力企业营销等数据海量的增加带来的不同业务系统之间分散地开发、运行和管理,系统数据存储结构独立,带来数据多源、格式不一致,数据准确性、实时性不强,数据质量不高,缺乏统一的数据规范等问题,本文利用Hadoop的分布式文件系统HDFS和并行处理框架MapReduce的工作原理,搭建电网调度大数据应用平台系统,解决了不同业务系统之间的数据不能及时共享、访问、管理与分析挖掘等问题。采用数据清洗数据,解决数据质量不高的问题。搭建电网调度大数据应用平台系统,既能实现跨专业、跨部门的多维度关联分析,又能满足海量的智能电网数据存储和数据处理需求,并具有强大的伸缩性,可扩展为电网实现安全、可靠、经济、高效地运行提供保障。     

基于流计算的电力调度网络流量监测平台

由于电力调度网出现任何网络故障都可能发生极度严重的事故,因此具有的极高可靠性及安全性的要求.而当前传统的网络监测系统在面对大数据量时,其实时处理能力和扩展能力都无法满足需求.因此对实时产生的大规模各类型数据的分析处理则需要一种专门的实时数据分析平台完成.本文结合电力调度信息网络的特点以及监测准确性及实时性的需求,构建出一个基于流计算的数据处理分析平台,以Apache Spark中的Spark Streaming为代表的开源流计算框架,加入如Kafka分布式消息队列、Redis内存数据库等组件,为数据分析平台提供稳定高效的数据来源和数据服务接口,从而实现适用于电力调度网的各类海量数据的实时分析处理完成流量异常监测场景.     

工业园区固废数据管理与应用平台的设计与实现

针对工业园区渣、尘、泥等典型固废资源化和污染溯源信息分析管理的需求,建立了工业园区固废数据管理与应用平台（ISWBDS）,该平台基于MVVM模式的Vue.js框架开发,采用Python开发的RESTful接口提供数据服务,实现了园区、企业和生产线三个层级的信息管理;ISWBDS平台针对固废数据多源、异构的特点,建立了固废数据分布式采集系统,采集的数据包括不同公司的报表类数据、DCS现场数据和视频数据等;为了满足多源异构数据的存储,运用实时数据库Redis、关系型数据库MySQL和分布式文件存储等多种数据存储技术,建立了固废数据混合存储系统。ISWBDS平台实现了包括园区/企业/生产线层级资源环境效率分析和生产线运行状态评估等管理功能,为园区/企业提供了方便的管理工具。     

基于大数据技术的区域煤矿监管数据服务平台设计

针对煤矿监管体系中安全风险监测预警系统联网数据多级重复上传、数据不一致现象,各级安全监管机构数据存储计算资源缺乏、关联分析和数据挖掘困难等问题,设计了基于大数据技术的区域煤矿监管数据服务平台。该平台采用Kafka分布式消息队列,将区域内煤矿监测监控数据生成标准化Kafka数据体,批量上传至云平台Kafka集群;通过发布-订阅模式提供监测监控实时数据消费服务,减轻了网络传输开销,避免了联网数据多级上传和过滤带来的不利影响;采用Spark Structured Streaming计算引擎和Spark SQL进行数据实时计算和历史数据统计分析,通过集成的各类数据分析挖掘算法,为数据挖掘和预测预警提供支持;采用HBase列存储数据库实现海量历史数据的可靠存储,通过与HBase相关联的Hive数据仓库建立各类主题数据模型库,满足数据的多维关联分析需求;通过统一安全权限认证的数据订阅服务为各级监管机构提供所需的煤矿监测监控数据、统计分析数据和数据挖掘结果,将后台数据服务中心与前端监管监察业务系统解耦,通过数据服务为各级监管机构提供数据定制和消费服务,提高了数据利用效率。应用结果表明,平台可满足区域煤矿监测监控数据的存储、分析计算和数据共享需求。     

电网业务中的海量数据存储技术

随着电网业务中海量数据的增多,其所采用的集中式数据库或大电网统一数据库的数据存储方式已难以满足电网业务与管理的需要. 本文首先着重分析了电网业务中的数据类型与特性,然后在综合考虑国家电网当前旧设备与通信网络结构的基础上,提出了一种适用于电网业务的分布式存储方案,并对其数据访问控制进行了设计;最后,进行了初步验证与对比分析.     

一种基于数据网格技术的MODIS空间数据服务模型研究

介绍了MODIS数据共享与资源服务现状,研究了一种基于3层结构的MODIS数据服务模型,详细介绍了数据服务模型的管理和分发机制。为了确保数据服务模型的可扩展性和平台无关性,设计了基于XML的可扩展性数据访问语言和数据目录服务。最后给出了在空间信息网格试验床上的示范验证,并对实验结果进行分析。     

大数据环境下多源异构数据的访问控制模型

大数据平台具有开放性和共享性，但随着数据量不断增加且用户访问上下文环境复杂多变，RBAC模型难以满足大数据环境下细粒度、灵活的访问控制。针对这一问题，提出了大数据平台下多源异构数据的访问控制模型。该模型根据属性动态地确定角色权限，并构建基于数据组的层次结构，实现数据属性的简单管理。对该模型进行了形式化定义，阐述了在 Hadoop 平台中的实现和工作流程，并通过实验验证了所提方案的性能开销相对较小。     

分布式异构数据库集成系统研究与实现

由于历史原因和数据库技术的不断发展,很多部门已经积累并且还会大量积累各种异构数据,其异构性主要表现在数据库类型和数据结构的不同。针对这一问题进行研究,以三峡库区水环境及水文分布式异构数据库为例,在分析水环境和水文数据需求的基础上,构建了水文及水环境数据交换架构和数据共享平台;采用异构多源数据库引擎中间件解决了不同种类数据库之间的数据交换问题;针对大量历史数据的交换问题提供了分批导入数据交换方式;使用数据目录注册的方式使得集成平台的管理和使用便捷通用。本研究的异构多源数据库引擎不仅可以方便地连接目前主流的各种数据库,还基于Web Services技术解决了连接Web数据接口的问题。研究成果可满足不同应用环境的异构数据集成需求。     

基于大学生精准资助的多源异构数据仓库系统研究

本文针对大学生精准资助设计多源异构数据仓库系统。首先设计系统整体框架,其次设计系统开发流程,再次详细探究多源异构数据源与仓库建模,最后进行数据ETL与数据分析。此系统可为顺利访问高校学生精准资助相关数据提供统一平台,便于转换动态业务数据,实时综合查询数据、挖掘数据、多维分析数据,提高高校学生资助管理的决策效率与水平。     

基于网格服务的带分支的实时监控复制技术及实现

数据复制在网格应用中具有非常重要的作用。OGSA-RTMR是在OGSA-DAI的基础上,集成分布式数据查询工具OGSA-DQP开发的带分支的实时监控复制系统。它不仅可以动态地生成复制方案、启动、终止复制任务,而且可以实时监控复制任务的执行状态。文章就其体系结构及工作原理进行了阐述。     

统一时空电网数据模型与访问技术

在电网的地理信息系统发展过程中,存在着多种不同的文件或空间数据库格式,也产生了大量的电网时空数据.为解决数据集中或各个系统间数据交互时,面临的异构数据问题以及时空数据应用问题,特提出统一时空电网数据模型与访问技术.本文从实际应用出发,利用元数据思想及软件插件模式,从数据及访问层面解决了异构数据和时态数据的使用.通过应用证明,采用统一空间数据模型与访问技术方式,能够有效地减少数据准备、系统开发的工作量,并且可以整合利用不同数据源各自的优点.     

网格环境下的异构空间数据库集成技术

网格建立在服务的基础之上,使得空间数据库在网格环境中面临着如何提供相应的数据库服务、异构系统间的空间数据集成、空间数据如何进行互操作等问题。该文针对网格环境下异构空间数据库之间数据集成的困难,提出将OGSA-DAI中间件技术引入到空间数据库系统应用中,对OGSA-DAI进行空间数据访问的扩展,以实现异构空间数据库的有效集成,通过一个应用实例验证该方法的可行性。