多源异构电网运行时标量测数据接入方案设计

海量准实时数据服务平台是电网运行时标量测数据集中存储的场所;为了满足电网调度自动化、计量自动化等电网运行数据的接入需求,提出一种多源异构电网运行时标量测数据接入方案;该方案综合采用关系数据库和实时数据库存储数据,结合实时数据库存储数据的测点特性定义了电网时标量测数据存储命名规范,通过配置服务实现数据接入任务的启停控制和运行状态监控,使用接入调度器调度接入插件执行接入任务并引入主备冗余技术保证调度器的高可用;方案引入组件化程序设计思想,通过可插拔、易扩展的插件设计满足多源异构数据的接入需求;方案在南方电网公司海量准实时数据服务平台建设项目中得到实际应用,很好地满足了南方电网运行时标量测数据的接入需求。     

基于工业互联网背景的大数据平台建设研究

随着信息技术和工业技术的迅猛发展,新型工业化道路应运而生,而工业大数据的平台建设对加快新型工业化道路具有十分重要的意义,本文通过对工业和互联网大数据进行对比分析,结合工业互联网与大数据的特点,阐述了二者之间的内在联系。基于此,提出了工业大数据平台架构以及相关的数据分级处理流程,最后指出了工业大数据平台的应用,包括资产管理、数据管理、数据分析和安全服务,为工业企业提供了平台支持和数据服务。     

核电企业面向开放架构的大数据平台的研究与应用

本文对核电企业建设大数据平台的背景、建设目标以及预期收益进行分析,阐述了大数据平台架构设计需要遵循的前瞻性、可扩展、开放性、高性能、稳定性、安全性、易维护、实用性、高可用、统一管理等原则。以面向开放为架构设计准则,采用分层架构,详细分析了数据产生层、数据交换层、数据计算层、数据存储层、数据服务层、数据应用层等各个层次所起到的作用以及各个层次所使用到的具体技术方案。文章以基于大数据与机器学习的信函智能分发功能以及基于实时计算的阀门缺陷分类统计这两个案例为例,阐述了大数据技术平台在核电企业实际业务中的应用场景,介绍了各自的详细技术架构和应用效果,说明了大数据技术平台的应用对核电企业所带来的变化与业务收益。     

基于PostgreSQL的海量准实时数据服务平台访问方案

大数据服务平台在电网系统中具有重要的应用价值.海量准实时数据平台作为电网重要数据中心,存储了大量有价值的数据,其存储的数据多为非结构化数据,无法直接通过SQL语句获取.为了最大限度挖掘数据价值,需要在平台中集成SQL访问实时数据的功能.为此,本文基于PostgresSQL Foreign Data Wrapper （Postgres_fdw）开发了SQL引擎.通过分析PostgresSQL的功能特点以及已有UAPI接口的不足,针对原有大数据平台框架,采用分层策略,基于Postgres_fdw开发了SQL引擎,并提出了针对海量平台中实时数据库的外部表空间估算方案和SQL解析方案,以此实现数据平台运用SQL的方式获取底层海量平台数据的功能.现场功能和性能测试,验证了该引擎的有效性.     

基于SOA的海量准实时数据服务平台接入/访问研究

电网数据已成为电力企业发展的重要资产,但缺乏有效的技术手段对准实时数据进行高效的接入/访问。从松耦合、可重复性、标准化等架构设计原则考虑,通过数据接入方案和数据访问方案设计并实现了基于SOA技术的海量准实时数据服务平台。平台通过设计的数据接入/访问工具将不同业务系统的准实时数据统一接入,以测点形式有序集成,并统一对外提供订阅、查询和获取所需数据访问服务来支撑业务应用。同时通过平台电网模型同步与模型树建立和高级应用支撑的关键技术,建立主网模型,并借助变电站设备模型挂接完成主网与配网模型拼接,形成电网标准的模型树,实现电网准实时数据的高效集成和访问,更好的满足电力企业准实时数据纵向贯通和横向交互的需求。     

面向异构协议兼容的工业互联网平台关键技术研究

该文从工业互联网数据接入和异构协议解析需求出发，分析了我国工业设备种类多、协议多样、难以实现互联的现状，提出了一套解决异构协议兼容问题的工业互联网平台关键技术研究方法，从平台的设备接入、协议解析及组态开发应用进行系统性研究，对协议兼容适配技术、App组态开发技术进行研究和开发，旨在解决我国设备种类多，工业互联网数据采集的应用难题，让工业设备数据上云无忧，为企业数字化转型提供能力支撑，为现在的工业互联网连接和智能化应用发展打下坚实基础。     

基于区块链的工业互联网平台安全管理方法

随着越来越多的设备接入工业互联网平台，发现传统中心化的组网模式导致生产设备直接面临网络攻击，存在用户数据泄露等问题，因此提出一种基于区块链的工业互联网平台安全管理方法。首先在工业互联网平台采集层中将工控系统与区块链技术融合，搭建可信边缘设备接入系统；其次在工业互联网平台平台层中利用云边链协同技术构建区块链系统；最后在工业互联网平台应用层中以区块链平台提供的加密功能为基础，建设工业设备管控系统。该方法不仅实现了设备互联关系、操作记录、联动记录等关键数据的上链，而且保证工业控制系统、边缘设备高可靠接入工业互联网平台，确保工业数据的安全传输。     

大型商业银行基于Hadoop分布式数据仓库建设初探

商业银行的数据规模随着传统业务扩展和互联网发展水平的不断提高而与日俱增,使得银行对数据的存储、管理和应用要求越来越高。通过搭建基于Hadoop技术的大数据平台,利用分布式文件系统HDFS、SQL分析引擎Inceptor、Nosql数据库工具Hyperbase、流处理工具Stream等架构,探索了大型商业银行Hadoop分布式数据仓库的构建过程,最终实现了由基于集中式存储架构的传统关系型数据仓库向分布式数据仓库的迁移工作。该分布式数据仓库实现了结构化数据和非结构化数据的存储、ETL调度管理、历史数据检索、交互式分析以及流数据处理。应用表明,相比基于集中式存储架构的传统关系型数据仓库,分布式数据仓库可大幅提高数据存储和数据服务的效率。     

大数据服务深度需求与SOA协作集成的异构系统融合机制

大数据服务需求的认知深度和服务架构的融合度直接影响多业务大数据应用的资源管理和服务质量,提出了一种基于大数据服务深度需求分析和面向服务的协作集成架构的异构系统融合机制;该机制,一方面,在分析大数据源多样化、差异化大数据组织形式及其存储方式,基于开放性大数据服务上下文,以及上下文集合的关联匹配与大数据服务分析的映射关系,结合不同类型用户的需求差异化特征,建立了大数据服务需求分析模型;另一方面,对于多态异构的移动互联网大数据服务,经过结构化和开放性处理后,给出大数据通信和服务调用描述定义,提出了SOA协作集成的异构系统融合架构;仿真实验结果表明,所提出的算法在大数据服务响应成功率、执行时间和代价比等方面具有明显优势。     

基于标识映射的工业互联网终端异构设备安全接入方法

针对工业互联网平台终端设备数据异构问题，提出一种基于标识映射的工业互联网终端异构设备安全接入方法，通过标识映射机制对不同设备异构数据统一进行编码，同时引入数据字典机制，实现设备动态数据和静态数据的分离，保障企业关键数据不出内网，在一定程度上提高数据的安全性。     

支撑日增万亿级消息的分布式系统

近几年,数据如井喷之势在增加,每天都会有更多的日增数据需要进入存储和计算平台,这就使得大数据体系还需要提供更可靠、更实时、更强拓展性、更高吞吐量的数据接入能力,由此消息传输系统愈发受到重视。本文将深入阐释某大型互联网公司的数据平台实时消息传输系统的组成及其架构演变过程。     

数字化监控系统配置数据可视化平台研究

数字化监控系统需要实时显示大量信号点。这些信号点以配置数据的形式被软件加载。为了提高数字化监控系统实时显示的正确性和可靠性,提出了二进制的结构化配置数据新模型。该模型可将数据显示提高到百毫秒以内。但二进制配置数据具有不可读性,在配置数据检查过程中面临巨大挑战。所提出的数字化监控系统配置数据可视化平台方法,可实现16种类型二进制配置数据的自动解析功能,对于数千个文件的解析时间不超1 min;能实现自动检查和比对,大幅度提升工作效率、减少人因失误。数字化监控系统配置数据可视化平台方法是新的实践。此方法已应用于核电示范工程项目,其智能化、自动化水平领先同行,并获得了相关监管机构的认可。在核电领域,该方法对于万级以上超大信号处理系统具有推广价值。     

一种移动终端远程数据访问控制方法

移动通信技术与互联网技术的飞速发展,对移动终端设备的实时接入与数据响应提出了要求.针对Android手机平台的远程数据访问进行研究,依据Socket通信机制,利用Java的多线程实现方法,设计实现一个数据访问控制容器,解决移动终端设备对后台数据访问的实时性、并发性问题,满足群组Android手机远程数据访问的需求.     

面向治污企业集团的智慧运营平台的设计与开发

根据工业互联网平台现场采集的数据以及数据的整合，通过消息推送，部署分布式微服务，结合数据库设计一个能够实时展示治污企业下辖工厂的运行数据、安全状态监测并能够实现报警消警的智慧数据平台。该智慧运营平台实现了对各类工业物联网设备的数据采集，提高污水处理厂运营生产管理的智能化、自动化水平，对工业大数据进行了有效分析及呈现。     

基于NTA的工业数据安全监测方法设计与应用研究

工业互联网安全监测平台趋于成熟.在工业互联网+大数据的环境下,工业数据如今面对日常运维泄露、传输违规、跨境数据安全等问题,工业数据安全监测成为工业互联网的核心关键,是态势感知、监测预警等重要功能的基础和前提.重点介绍了传统流量识别数据安全监测技术,基于DPI、DFI流量的工业数据监测,以及目前工业互联网数据安全监测技术...     

以SOS技术为基础的物联网实时数据管理系统开发

0引言所谓的SOS技术主要是指SOS数据服务体系的结构图,它是通过一个标准的数据传输接口,来实现对物联网的相关数据的传输工作。依照一定的标准,实时数据会被传输到SOS web服务器中,并存储到相应的数据库。[1]SOS数据服务体系,主要采用分层架构模式,它们分别是数据展示层、业务逻辑层以及数据访问层。这三者之间并不是相互孤立存在的,而是有机联系的整体。     

运城电网数据服务中心应用实践

介绍了运城电网数据服务中心的建设目标和建设原则。重点探讨了各应用系统的接入方案及数据集成技术,并展示了数据服务中心实现的应用功能。该数据服务中心的建设满足了运城电力生产对相关业务数据的需要。     

数据库与MapReduce融合的大数据管理技术探索

大数据管理是随着时代和技术发展而提出和演化的命题。随着大数据从传统的结构化数据向无结构化数据的转移,Key/value存储、NoSQL、MapReduce等技术成为数据库技术之外大数据管理的多样化手段。MapReduce以其开放性成为当前大数据的代表技术,在大数据应用中,如何让MapReduce与数据库高效协同,发挥各自的技术优势和平台优势,提供高性能、高可扩展性、高可用性的大数据服务平台成为重要的研究课题。本文讨论在大数据存储、管理与服务主题上的观点和技术路线,探索将MapReduce作为数据库新的应用与开发平台的可行性。     

支持异构数据按需集成的数据服务聚合代数

传统的数据集成方法无法应对互联网的开放、动态和异构性,对用户即时、个性化的集成需求支持有限。数据服务是互联网环境下数据集成的基本单元。提出了数据服务聚合代数,基于嵌套关系和嵌套表格提供的良好的可视化集成环境,提供了基于语义映射关系的集成理论体系,支持在异构环境下复杂数据的直接集成,能够为数据按需快速集成提供强有力的支撑。聚合代数提供了一系列的性质保障,保证集成过程中的数据完整性和正确性。通过一个案例说明了数据服务聚合代数的效果。     

面向混合数据源的企业数据库私有云设计

针对混合数据源的采集、集成和应用问题,提出一种面向混合数据源的数据库私有云设计,针对混合数据源的不同结构化程度,将数据源分成结构化、半结构化和非结构化;针对混合数据源不同的不同时序特点,数据库私有云设计定时采集和实时采集两种采集方式;为了提高混合数据源的存取效率,数据库私有云将非结构化和半结构化数据存储在分布式文件系统...