基于张量Tucker分解的智能配电网大数据压缩

为了解决智能配电网中由海量异构数据引发的存储问题,提出一种基于张量Tucker分解的智能配电网数据压缩方法。首先,针对配电网异构数据建立配电网结构化SCADA数据与非结构化视频、图片数据的张量标准化处理模型。然后,提出基于张量Tucker分解的配电网大数据压缩方法,该方法可以在保留数据空间本征结构的情况下对配电网异构数据进行压缩。最后,采用真实的配电网数据验证了所提出方法可以有效削减数据量以应对数据存储问题。对比结果表明,所提出方法优于奇异值分解方法。     

智能电网大数据处理技术现状与挑战

智能电网需要全景的状态数据。电网运行、检修和管理过程中会产生海量异构、多态的数据,也即大数据。如何对它们进行高效、可靠、低廉地存储,并快速访问和分析,是当前重要的研究课题。文章首先分析了发电、输变电以及用电各个环节中大数据的产生来源和特点;其后,综述了目前在商业、互联网和工业监测领域已有的大数据处理技术,并详细分析这些技术在应对智能电网建设和大数据处理方面的优势和不足。最后,从大数据存储、实时数据处理、异构多数据源融合以及大数据可视化4个方面论述了智能电网大数据带来的机遇和挑战。     

基于开源软件的电网雷电大数据平台技术研究与应用

针对当前电网海量雷电数据在采集、存储与计算方面存在的技术瓶颈,该文采用互联网时代大数据主流技术,提出了构建基于开源软件的电网雷电大数据平台。首先,分别介绍了电网雷电大数据的特征和大数据软件技术的选型;其次,对电网雷电大数据平台进行了总体架构设计,并研发了海量数据高效采集、多源异构数据存储与分布式快速计算等关键技术;最后,详细阐述了雷电大数据平台在电网中的典型应用场景。通过建立电网雷电大数据平台,可以有效提升海量雷电数据的处理能力,为深入挖掘雷电数据潜在价值提供技术支撑,对于电网防雷减灾工作具有重要的意义。     

实时数据库系统研发及其在智能电网中的应用

随着智能电网的发展,电网生产实时数据呈现出数据量大、实时性强等特点。为满足智能电网对海量实时数据处理需求,基于多线程实时处理技术,研发了一种实时数据库管理系统。文章介绍了该系统特点及系统结构,及其在用电信息采集、智能园区、能效管理平台、变电站热点监控等智能电网领域中的应用情况。该系统很好地实现了智能电网海量实时数据的采集、处理、分析、存储及展示,满足智能电网海量实时数据采集频率高、数据量大的应用需求。     

自适应小波压缩算法在连续录波装置中应用

针对连续录波海量数据的存储和对称电力系统故障持续时间短的运行特点,基于Clark变换和小波变换提出了一种自适应录波数据压缩技术以解决连续录波中的海量数据存储与存储设备安全和容量之间的矛盾.根据小波变换最大比例系数区分出正常数据与故障数据,对故障数据利用小波分解和自适应阈值处理同Lz77相结合的方法直接进行自适应小波压缩存储,对于非故障数据则在Clark变换基础上再进行自适应小波压缩存储,以提高数据压缩效率.应用Simulink仿真模拟输电线路的正常和故障运行2种情况对所提出的压缩算法的有效性进行验证.仿真数据表明所提出的压缩方法比不进行数据区分压缩算法的压缩率更高,可有效地解决连续录波器中海量数据的存储与设备容量之间的矛盾.     

多源异构的智能配用电数据存储处理技术

针对智能配用电数据具有海量、多源异构等特点,提出一种基于Hadoop的智能配用电数据存储处理的框架设计方案。在对智能配用电数据组成进行梳理的基础上,提出了智能配用电的资源、存储和查询三层数据存储框架。其中,资源层采用Hadoop集群架构,结合电力系统的行业特色,完成IT存储资源管理;存储层则先采用XML技术进行数据预处理,使非结构化数据归一化,然后利用No SQL数据库通过Map和Reduce的有效结合,完成海量数据的快速存储;查询层利用Top-k检索技术,实现海量数据的快速查寻。该设计方案能够对结构化和非结构化数据进行统一存储,可为智能配用电大数据技术的应用提供基础支撑。     

分布式数据存储策略在智能电网中的应用

随着电力系统的不断发展,智能电网已迅速延伸至国民经济的多个领域,成为电力系统未来发展的重要方向。针对大规模智能电网中海量动态感知数据的存储问题进行了深入研究,并充分考虑了智能电网对数据的传输、存储与查询的客观要求,提出了以数据为中心的分布式数据存储方法来处理智能电网运行过程中所产生的海量数据的存储策略。研究结果表明,该方法能够达到负载均衡、降低系统能耗,增加系统存储能力和存储效率的目的。     

对等网络技术在智能电网中的应用研究

为了协调电网的均衡发展,需要一种良好的结构模式来完成数据的存储和处理。对等网络是一种动态的、分布式和自组织的覆盖网络,在可扩展性和健壮性等方面有着传统网络无可比拟的优势,可以有效地实现海量数据的存储和协同计算。针对智能电网海量、分布、多源异构的信息,借助对等网构造出一种新型的数据存储模型,可以有效地达到负载均衡、提高系统存储能力和存储效率的目的。     

跨平台电网规划数据融合与存储模式

随着电网规划各业务系统平台的建立以及异构业务数据的急剧增加,急需打破各系统平台之间的业务壁垒,建立完善的业务信息共享与交互体系。文章在分析现有业务系统数据格式及存储现状的基础上,深入研究异构数据融合与存储的关键技术,并提出一种跨平台电网规划数据融合与存储模式。通过建立统一业务数据信息模型,完成异构数据的融合处理;构建基于Hadoop的分布式文件存储系统,实现海量异构数据高效快速的存储与索引,为电网规划系统乃至电力行业的海量异构数据与信息共享提供理论指导与体系架构支撑。     

HBase在智能电网异构数据同步中的应用

未来的智能电网在运行中将会产生海量的多态、异构数据,对这些数据的可靠获取、实时分析、同步及处理会给电网信息系统带来前所未有的压力。因此,把电网大数据迁移到云端—数据中心,来实现异构数据的精准、实时同步则显得尤为必要。以解决未来智能电网大数据处理问题为出发点,通过对电网数据中心相关功能需求进行细致分析,对比传统的关系型数据库建模基础,提出了基于Hbase架构的智能电网数据中心的解决方案。最后通过对比MySQL性能进行模拟测试,得出所提出的设计方案能够很好地适用于未来智能电网数据中心的构建以及异构数据的同步,达到电网大数据的实时共享、监测及准确分析、处理的目的,在未来智能电网信息管理系统中具有广阔的应用前景。     

用电信息采集系统的相关性数据压缩方案研究

针对智能电网建设中海量用电信息采集数据的传输和存储问题,文中设计了一套相关性数据压缩方案.首先,在用户侧对传输协议进行解析,分解出占绝大部分的应用层数值数据.对数值数据进一步分类,据子类不同分布特性采用自编码网络或差分编码等相关性压缩算法,进行实验去除冗余.最后,进行了异常数值的分析上报和恢复处理,对未来智能电网的建设有着重要意义.     

储能技术综述及其在智能电网中的应用展望

本文综述了重要储能技术的特点及其发展现状,并针对储能技术在智能电网中的应用进行了探讨。重点介绍了抽水储能、压缩空气储能、飞轮储能、蓄电池储能、超级电容器储能以及超导磁储能。根据智能电网的特点,讨论了现阶段储能技术所面临的问题和发展趋势。     

基于大数据智能电网关键技术研究

数据挖掘是从海量数据中找到有用信息的重要技术。针对智能电网大数据处理中产生的时延长、效率低等问题,提出了利用数据挖掘技术的大数据处理核心技术,实现对智能电网信息采集中产生的大量数据进行信息发现的研究。分析了基于Apriori聚类算法的电网数据关联性挖掘,提高信息的处理效率。该研究将大数据处理技术引入到电网数据处理中,对于智能电网的进一步发展具有重要的意义。     

基于mMTC技术在智慧电网分布式能源调控的应用

智慧电网在智慧城市占据核心地位,分布式能源更是智慧电网发展的主要构成.为了保证分布式能源发电与用户用电的安全性以及可靠性,构建一套完整的分布式能源监控网络已成为必然,而传统无线通信技术无法满足海量通信以及远距离传输的需求,此时迫切需要采用另一种安全可信、接入灵活、可实现双向实时交互的通信方式来承载大规模监控设备的接入.由于5G应用场景之一的mMTC拥有更高的频谱效率和海量连通性,因此文章探讨mMTC技术在智慧电网分布式能源调控中的应用,利用该技术支持大规模连接、低功耗及远距离传输的特点,弥补传统技术在连接数量上的不足,破除传统技术在传输距离上的局限,保证了数据传输过程的稳定性,同时为智慧电网中设备检测、信息采集和计量自动化等重要环节,提供了全新智慧电网与物联网技术融合的解决方案.     

基于Hadoop的智能电网数据安全存储设计

针对智能电网下海量数据的存储问题及数据保密性和完整性需求,分析了现有安全存储方案的特点,结合智能电网应用环境的特殊场合,设计了一种基于Hadoop的智能电网数据安全存储方案。该方案充分利用了HBase高性能优势和现代密码技术,将密钥与密文的管理分离,具有安全性好、密钥管理方便及效率高等特点。开发了基于Hadoop的原型系统,对方案的时间开销进行了分析,并通过相关实验证明了方案的有效性和可行性。     

基于智能电网设备运维检修阶段的多源BIM数据存储方法研究

针对智能电网设备运维检修阶段多源数据动态性较高的特点,研究面向智能电网设备运维检修阶段的多源建筑信息模型(building information modeling, BIM)数据存储方法。利用数据接口适配器连接电力系统各运维检修相关系统,采集电网设备运维检修多源数据,所采集数据利用数据转换引擎转换为多源BIM数据,传送至MySQL数据库。从MySQL数据库中调取整合后的运维检修多源数据,构建电网设备多源BIM数据模型。利用边缘节点采集多源BIM数据信息,选取压缩感知算法重构多源BIM数据,形成重构数据与稀疏字典原子并上传至云端服务器,构建完备稀疏字典,实现多源BIM数据存储。仿真结果表明：该方法存储面向智能电网设备运维检修的多源BIM数据,上传内容与读取内容一致,存储性能优越。     

按列存储的配电网监测数据包区间编码正规化压缩处理

针对不断增长的配电网按行存储数据的模式造成数据体量持续增大、压缩率难以提高的问题,利用按列存储的数据包架构和扩展区间编码的正规化处理技巧,提出了一种大体量配电网监测信息的压缩处理新方法。以列数据包为底层存储、知识网格为组织架构,将区间编码和正规化处理融入底层监测数据包的并行压缩处理进程中。以北京某动车段的配电网调度监测工程数据为算例,进行列数据包区间编码的正规化压缩测试。仿真结果表明:扩展区间编码的正规化处理技术可使监测信息压缩率提高至94%,获得了比已有云计算集群更好的压缩效果,通过动态调整映射区间,即可方便实现在无穷区间中对海量化监测信息编码压缩的工程应用需求。     

系统安全背景下未来智能电网建设关键技术发展方向——印度大停电事故深层次原因分析及对中国电力工业的启示

从外部环境以及内部生产运行中的管理层面和技术层面对本次印度大停电事故的原因进行了深入分析,从管理层面和技术层面分别提出了促进中国电力系统安全稳定运行的基本思路。同时,考虑到电网智能化是未来电网发展的趋势,具有坚强、自愈等特点的智能电网能够有效抵御电网安全风险,提出了基于系统安全的中国未来智能电网建设关键技术发展方向,包括分布式发电并网技术、智能配电技术、智能用电技术和电力系统储能技术,能够为中国下步智能电网发展及电力系统安全稳定运行提供借鉴和参考。