基于多域并发的时间窗数据采集方法与应用

针对工业数据采集中所涉参数繁多、数据结构复杂、采集频率高但数据质量难以保证等问题,提出了一种基于多域并发的时间窗数据采集方法,该方法基于滑动时间窗口的划分构建数据域模型,以多线程数据域并发的方法实时采集多源异构数据,针对高维度的多源异构数据进行扁平化处理,采用字节数据连接的方式对多源异构数据进行集成存储,实现了工业多源异构数据的采集与集成。通过仿真实验验证了该方法对于实时数据采集与集成存储的有效性,并在冶金起重机多维健康监测系统中应用该方法进行多源异构数据采集,实际运行结果显示,该方法能够提高冶金起重机多维健康数据的采集实时性,保证采集数据的质量,增加多维健康数据的集成度,是一种有效的实时数据采集集成方法。     

用于电力大数据快速组合查询的动态索引技术

随着采集系统的建成与完善,电力系统积累了大量的电力数据,电力大数据时代也随之到来。虽然Hadoop可以通过普通计算机的横向扩展把处理压力分摊给每台计算机从而获得高效的处理性能,但是当每台计算机存储的数据量都非常大时,简单的逐行扫描已经无法满足性能需求,建立高效的索引机制和快速的组合查询功能就变得非常重要。因此本文结合Jimo大数据的动态可删节索引技术,提出一种适用于电力大数据的索引机制与查询方法,并构建了电力大数据高效索引与快速组合查询的一体化解决方案。实际的计算分析表明,本文算法极大地提升了电力大数据的组合查询效率,很好地满足了系统的性能需求。     

跨平台电网规划数据融合与存储模式

随着电网规划各业务系统平台的建立以及异构业务数据的急剧增加,急需打破各系统平台之间的业务壁垒,建立完善的业务信息共享与交互体系。文章在分析现有业务系统数据格式及存储现状的基础上,深入研究异构数据融合与存储的关键技术,并提出一种跨平台电网规划数据融合与存储模式。通过建立统一业务数据信息模型,完成异构数据的融合处理;构建基于Hadoop的分布式文件存储系统,实现海量异构数据高效快速的存储与索引,为电网规划系统乃至电力行业的海量异构数据与信息共享提供理论指导与体系架构支撑。     

能源互联网多源数据融合技术研究

随着我国能源互联网战略的推进,边缘计算成为解决能源互联网数据处理的有效模式,针对能源互联网的电力异构配用电数据的存储混乱与融合性差的问题,提出能源互联网多源数据处理与融合技术。首先,在边缘计算的基础上设计能源互联网多源数据处理与融合架构;其次,提出了智能配用电数据存储资源层负载均衡优化调度策略,利用Hadoop平台实现了多源数据存储和处理;然后,通过主成分分析方法得到能源互联网异构数据的主要特征,构建基于矛盾优化DS证据推理的多源数据融合模型,在边缘计算框架的基础上对多源异构数据进行分组聚合;最后,在某配电网模拟系统进行实验分析,分析结果验证了所提方法的有效性。     

电动汽车充电网络云平台下一种基于Chord-R的多租户多维索引方法

面向不同运营商多租户数据的高效索引方法是构建电动汽车充电网络云平台的关键技术之一。现有多租户数据索引方法在面对海量多维信息索引时存在效率低的问题。在此背景下,提出了一种基于共享存储模式的Chord-R双层索引方法,上层采用对等结构中的Chord协议作为全局索引,使单个租户的数据聚集并有序地分布在尽量少且相邻的节点上,保证数据具有良好的隔离性和扩展性;下层引入空间索引方法R树进行本地数据的局部索引,最终实现了多租户数据多维信息的高效索引。实验结果表明,在进行多维信息索引时,与典型多租户索引方法（multi-tenant indexing mechanism based on improved Chord mapping approach,MIMC）相比,查询时间至少可以节省48%。     

电网调控大数据平台体系架构及关键技术

以数字化技术和能源互联网理念为驱动的"数字新基建"对现有调度自动化系统的数字化转型提出新的挑战,该文考虑调控数据存储规模、数据加工复杂度和数据服务多样化的需求,提出电网调控大数据平台的体系架构.在此基础上,研究了多源调控数据集成与融合、异构数据库分层统一存储、调控数据资产管理、大数据算法引擎等关键技术,实现全业务、全场景的电网调控数据汇集、加工和资产管理.该技术方案为调控云智能分析应用提供了存储、数据和算法的有力支撑.     

基于Hadoop的风力发电监测大数据存储优化及并行查询方法

随着风力发电的广泛发展以及智能化监测技术的推广应用,风力发电监测数据呈现出体量大、类型多、增长快的大数据特征.针对风力发电监测大数据高效存储和快速查询两方面核心问题,基于Hadoop平台进行大数据存储优化方法研究,提出考虑风力发电监测数据关联性的哈希分桶存储算法,实现了相关联数据的集中存储,从而提升后期数据查询及处理的效率.在数据存储优化的基础上,实现基于MapReduce的多源风力发电监测大数据并行关联查询.通过在Hadoop平台上进行测试表明,经过哈希分桶存储优化后的多源数据并行关联查询相比传统Hadoop方法查询时间显著缩短.     

配用电大数据多源集成及存储优化方法

面对体量大、类型多、增长快的配用电大数据,如何利用大数据技术提升配用电相关业务的广度、深度和精度成为电力行业新的机遇和挑战。为解决配用电大数据多源集成和高效存储两方面核心问题,根据配用电大数据的组成及特征,通过生成标准化元数据并构建相应数据字典的方法,实现了多源配用电数据规范化集成;在数据集成的基础上,基于Hadoop平台进行大数据存储优化方法研究,提出考虑配用电数据关联性的哈希分桶存储算法,实现了相关联数据的集中存储,从而提升后期数据查询及处理的效率并在数据存储优化的基础上,实现基于Map Reduce的多源配用电大数据并行关联查询。通过在Hadoop集群平台上进行测试表明,经过哈希分桶存储优化后的多源数据并行关联查询相比传统Hadoop方法查询时间显著缩短。     

基于数字孪生模型的输变电设备多源异构数据边缘侧智能采筛方法

输变电设备日复一日的运行和使用,会产生海量的数据,该数据呈现体量大、类型多样、来源广泛等多源异构的数据特点,而数字孪生技术在输变电设备的多源异构数据中的应用也越来越频繁。为此,对基于数字孪生模型的输变电设备多源异构数据的概念、特点、数据分析、数据预处理、数据融合等进行详细介绍,对数字孪生技术在多源异构数据上的应用进行阐述,相关现状的总结和叙述可为数字孪生模型的输变电设备多源异构数据边缘侧智能采筛提供一定的理论支撑。     

基于分布式键值对存储技术的EMS数据库平台

为解决智能电网系统中能量管理系统(energy management system,EMS)数据指数级增长带来的海量数据存储和快速访问问题,提出一种基于分布式键值对存储EMS数据的方法,将结构化与非结构化数据统一按照键值对形式进行表达,并分布存储于集群中.以该方法为基础,设计并实现了一种新的EMS数据库平台,该平台是混...     

实现影响因素多源异构融合的短期负荷预测支持向量机算法

针对智能电网大数据环境下,导致电力系统负荷波动的诸多因素存在多源异构性的问题,利用多核函数来对其多源异构特性进行差异化处理和融合,能够描述影响因素的内在分布特性并应对其变化,提高负荷预测精度。选取历史负荷、气温、气压、相对湿度、降雨量、风向、风速、节假日及电价9个属性作为多源异构影响因素,利用样本特征分布法、单变量法及核矩阵秩空间差异法来选择多核函数的构成,采用双层多核学习算法,建立了并行化多核支持向量机(SVM)负荷预测算法流程,并在Hadoop集群上进行了仿真验证。仿真结果表明,多核SVM比单核SVM预测平均相对误差小,双层多核学习、基于lp范数的多核SVM模型预测精度最高。因此,多核SVM能有效处理负荷预测中的多源异构数据,经并行化处理后,能提高负荷预测的速度与精度。     

基于XML的电能质量标准数据共享模型及跨平台数据交换

IEEE提出的标准二进制电能质量数据格式(PQDIF)采用了通道定义和数据序列分离的数据结构,不仅降低了数据查询效率,而且读取、修改和结合应用程序实现复杂。在现有PQDIF数据模型的基础上,提出了一种用XML实现的电能质量数据模型:模型将测量类型、相位、序列值等以子对象方式嵌套于3种记录类型,通道定义和数据序列以索引相连,提高了数据查询效率;同时在XML模式定义中采用base64binary二进制储存PQ数据,有效地减少数据占用空间;最后,提出了基于模式转换的映射数据交换方法,任何2个XML文档解析出来的树结构元素都可以根据距离根节点的深度和数据字典进行语义自动匹配,精确度更高,处理速度也更快。基于以上数据交换模型和模式转换方法成功地实现了异构电能质量数据的交换,实践证明所提出的数据模型及实现方式具有良好的鲁棒性和可行性,能较好地实现电能质量数据的跨平台交换与共享。     

基于联合卡尔曼滤波的配电网多源异构数据融合

由于传统方法没有对配电网多源异构数据采集的时间进行配准,导致配电网多源异构数据融合时误差大、效率低。针对该问题,提出了基于联合卡尔曼滤波的配电网多源异构数据融合方法。构建了数据纠偏机制,采用最小二乘法对数据采集的时间配准,并采用拉格朗日插值方法对时序数据填充,计算数据关联性。在此基础上,采用联合卡尔曼滤波算法将相同数据融合到同一个类中,以此实现配电网多源异构数据融合。实验结果表明,所研究的数据融合方法不仅能够根据需求一直追踪需求的融合误差,还能够降低节点电压与功率估计的相对误差、提高配电网多源异构数据融合的效率。实验结果不仅证明了所研究融合方法的有效性,还证明了联合卡尔曼滤波算法在数据融合中的适用性。     

基于Hive的电力设备状态信息数据仓库

随着智能变电站的建设及其状态监测系统的发展,电力设备状态信息数据规模逐渐增大。针对现有电力数据仓库在海量状态数据存储查询和分析处理方面的不足,提出基于Hive的电力设备状态信息数据仓库及其多维数据快速查询与分析方法。通过对状态监测系统与生产管理系统（PMS）的分析,将电力设备静态信息与状态监测信息存储到Hive数据仓库中。设计了基于Hive的电力设备状态信息数据仓库的系统架构和海量状态数据存储结构,采用Hadoop 分布式文件系统（HDFS）对数据进行分布式存储管理,MapReduce作为海量数据查询分析     

变电设备状态监测大数据的查询优化方法

变电设备状态监测数据体积大、价值密度低,传统数据处理方法不能很好地满足状态监视、评估与诊断等应用快速查询的需要。文中通过对状态监测数据特点和分布式列数据存储方法的分析,给出了变电设备状态监测的大数据处理框架。通过对监测时间、监测设备编号和设备编号等数据属性的组合,设计了3种状态监测数据复合行键结构,以提高状态监测数据行键查询的灵活性。为了解决在行键未知情况下全表扫描效率低下的问题,提出基于协处理器的二级索引构建方法,实现在非行键约束条件下的快速查询。实验结果表明,基于协处理器的二级索引方法在查询效率上比无索引和IHBase二级索引方式有了明显提高,对状态监测数据写入速度影响较小,能够较好地满足大数据环境下变电设备状态监测大数据快速、灵活查询的需要。