便于数据共享的电网数据湖隐私保护方法

数据湖是大数据应用最常用的数据共享方式,然而数据共享带来隐私问题仍然是数据湖设计中缺失的部分,特别是应用于电网数据保密性的要求更高。为了促进有价值数据的流通,必须完成现有数据湖缺失的数据隐私,以便数据更为安全的跨域共享。对此,提出一种数据访问与共享模型,并在此基础上对区块链中的智能合约模块进行了优化。实验结果表明,在区块链中存储数据的哈希值并使用可信执行环境将加密后的原始数据存储在数据湖中,不仅实现了数据访问控制和安全共享的目的,也降低了操作所需的gas使用量和系统吞吐量。     

基于PostgreSQL的海量准实时数据服务平台访问方案

大数据服务平台在电网系统中具有重要的应用价值.海量准实时数据平台作为电网重要数据中心,存储了大量有价值的数据,其存储的数据多为非结构化数据,无法直接通过SQL语句获取.为了最大限度挖掘数据价值,需要在平台中集成SQL访问实时数据的功能.为此,本文基于PostgresSQL Foreign Data Wrapper （Postgres_fdw）开发了SQL引擎.通过分析PostgresSQL的功能特点以及已有UAPI接口的不足,针对原有大数据平台框架,采用分层策略,基于Postgres_fdw开发了SQL引擎,并提出了针对海量平台中实时数据库的外部表空间估算方案和SQL解析方案,以此实现数据平台运用SQL的方式获取底层海量平台数据的功能.现场功能和性能测试,验证了该引擎的有效性.     

Shot retrieval based on fuzzy evolutionary aiNet and hybrid features

As the multimedia data increasing exponentially, how to get the video data we need efficiently become so important and urgent. In this paper, a novel method for shot retrieval is proposed, which is based on fuzzy evolutionary aiNet and hybrid features. To begin with, the fuzzy evolutionary aiNet algorithm proposed in this paper is utilized to extract key-frames in a video sequence. Meanwhile, to represent a key-frame, hybrid features of color feature, texture feature and spatial structure feature are extracted. Then, the features of key-frames in the same shot are taken as an ensemble and mapped to high dimension space by non-linear mapping, and the result obeys Gaussian distribution. Finally, shot similarity is measured by the probabilistic distance between distributions of the key-frame feature ensembles for two shots, and similar shots are retrieved effectively by using this method. Experimental results show the validity of this proposed method.     

海量历史/准实时数据管理平台的建设与应用

随着企业规模的不断成长、信息化建设工作的不断深入,信息量的增长给实时历史数据库存储管理能力和数据访问能力提出了更高的要求。面对庞大的数据量,实时历史数据库迫切需要解决数据处理与存储的问题,一方面要保证数据处理的实时性;另一方面需要为海量数据存储提供弹性的管理空间。通过建设海量历史/准实时数据管理平台,可以有效解决公司调度、输变电设备状态监测、用电信息采集、配电自动化等业务应用的海量历史/准实时数据处理难题。     

基于梯度转播的井下WSNs分簇路由协议

针对无线传感器网络煤矿安全监测系统对数据传输可靠性和能量均衡性的需求,提出了一种适用于煤矿井下的基于梯度转播的井下分簇路由协议（G-LEACH）。通过分析煤矿井下特殊的环境特点,针对井下巷道空间特点提出了相应的网络节点部署模型,同时在网络中部署了移动的传感器节点,在此基础上实现了基于梯度转播的可靠分簇路由算法。该算法引入候选簇首机制,通过感知节点的剩余能量、转播因子以及距离因素进行分簇,采用混合路由转发模型并结合梯度信息来决定关键节点。仿真结果表明,G-LEACH具有更高的均衡性和可靠性,更适用于井下复杂环境中安全数据的监测。     

基于数据中台的数据资产管理体系

公司经过十多年的信息化建设,信息系统已全面覆盖企业经营、电网运行和客户服务等业务领域及各层级应用,为公司各项业务有效运转提供了有力支撑.但现今仍缺乏一套统一的企业级数据资产管理体系.为进一步提升数据在电网企业的价值,本文提出了一套基于数据中台的企业级数据资产管理体系,主要从数据质量提升优化、数据资产管理、数据共享服务构建3个方面对如何进行数据资产管理进行论述.     

知识图谱在电网全业务统一数据中心的应用

针对国网公司的业务数据无法跨专业贯通，数据资源无法被智能分析与管理等问题，提出基于全业务统一数据中心的知识图谱构建方法。在全业务统一数据中心使用大数据技术采集电网多源数据的基础上，使用语义标注方法对结构化、半结构化、非结构化数据进行知识抽取获得知识实体、属性和关系，通过知识融合技术构建知识图谱，根据用户搜索内容智能推荐结果和相关信息。实验表明该方法提高了查准率和召回率，具有更好的智能搜索和分析能力。     

一种实时数据库的分布式存储方法

随着网络技术迅速发展,各实时系统产生的数据量呈指数级增长,各业务应用对海量数据的管理和应用的实时性提出了越来越高的要求,现有的单机实时数据库技术已无法满足需求,将分布式思想引入实时数据库领域,主要从数据分布方式、数据冗余备份、数据一致性等方面做了研究,并提出一种实时数据系统中的数据分布式存储的设计.该设计可以为当前实时数据库扩展性及可靠性方面提供技术支撑.