云计算智能电网大数据驱动的方法研究

针对智能电网数据繁多、用户应用困难的技术问题,提出了智能电网大数据驱动方法,并设计出基于云计算软件平台管理智能电网大数据的系统。通过采用数据挖掘算法对智能电网大数据样本训练、学习,建立多个数据处理模型。根据决策树算法能够实现智能电网数据不同属性数据的分类,使得用户快速从浩瀚的云端数据库中获取目标数据,并将处理后的数据通过区块链系统保存,进而实现数据的永久性存储。不同用户通过签发密钥实现数据的共享,使得数据应用和管理更为便捷有效。本方案为智能电网大数据处理与应用提供了技术参考。     

基于GPNN算法的电网区间故障诊断策略

为提升电网故障诊断算法的有效性,提出一种基于改进高斯概率神经网络(GPNN)核相似性合并预测的电网子区间故障诊断策略。首先,针对电网故障诊断中存在的数据不确定性现象,引入概率神经网络对其进行数据处理,同时为进一步提高概率神经网络对于数据不确定性的鲁棒处理效果,利用高斯算法对概率神经网络进行改进;其次,针对大型电网故障诊断的效率问题,提出一种子区间并行的故障诊断算法,对电网进行子区间操作,分别应用GPNN算法实现对电网故障子区域的诊断和最终诊断结果的融合;最后,通过仿真实验验证了所提算法在电网故障诊断中的有效性。     

面向大数据任务的调度方法

针对在大数据的处理过程中,对大数据任务的划分和资源分配缺乏合理性的问题,提出一种面向大数据任务的调度方法。该方法首先引入了调度理论用于处理大数据任务,帮助建立合理的大数据任务管理体系并规范大数据任务处理流程;然后,基于大数据任务的本质对数据集进行分析处理,引入决策表进行属性约简,以减小大数据分析任务的数据量和提高大数据分析效率;最后,采用模糊综合评价方法,将模糊综合评价的结果作为对任务调度的依据,以提高任务资源分配合理性。在UCI（University of California Irvine）数据集上进行测试,实验结果表明,该调度算法在平均预测准确度上比朴素贝叶斯（NB）算法高7.42个百分点,比误差反向传播（BP）算法高5.16个百分点,比均方根传递（RMSProp）算法高3.74个百分点。而对于特征数较多的数据集,所提算法在预测精度上较其他算法有显著提高。所提算法在平均调度长度比（SLR）上较HCPFS（Heterogeneous Critcal Path First Synthesis）算法和HIPLTS（Heterogeneous Improved Priority List for Task Scheduling）算法分别下降了12.14%和4.56%,在平均加速比上分别提升了7.14%和42.56%,表明该算法能有效提高大数据系统中任务调度的效率。综合比较分析,所提方法具有较高的预测精度,且高效可靠。     

面向智能电网的大数据降维管理方案

针对智能电网数据繁多、维度较高、难以识别的技术问题,提出了降低大数据维度的构想,并设计出基于随机森林算法的物联网智能电网大数据管理系统。通过采用Bagging算法对数据样本训练、学习,建立起多个决策树构型,根据少数服从多数的投票法原则确定建立决策树的节点和分支,最终建立起成熟的随机森林算法模型,通过随机森林算法模型将智能电网中的大数据从高纬度降低到低纬度。本设计的方案大大减小了大数据处理难度,优化了数据处理的效率,增加了分析问题、解决问题的有效途径,为智能电网的健康、有序运行提供有力保障。     

面向大数据任务的调度方法

针对在大数据的处理过程中，对大数据任务的划分和资源分配缺乏合理性的问题，提出一种面向大数据任务的调度方法。该方法首先引入了调度理论用于处理大数据任务，帮助建立合理的大数据任务管理体系并规范大数据任务处理流程；然后，基于大数据任务的本质对数据集进行分析处理，引入决策表进行属性约简，以减小大数据分析任务的数据量和提高大数据分析效率；最后，采用模糊综合评价方法，将模糊综合评价的结果作为对任务调度的依据，以提高任务资源分配合理性。在UCI（University of California Irvine）数据集上进行测试，实验结果表明，该调度算法在平均预测准确度上比朴素贝叶斯（NB）算法高7.42个百分点，比误差反向传播（BP）算法高5.16个百分点，比均方根传递（RMSProp）算法高3.74个百分点。而对于特征数较多的数据集，所提算法在预测精度上较其他算法有显著提高。所提算法在平均调度长度比（SLR）上较HCPFS（Heterogeneous Critcal Path First Synthesis）算法和HIPLTS（Heterogeneous Improved Priority List for Task Scheduling）算法分别下降了12.14%和4.56%，在平均加速比上分别提升了7.14%和42.56%，表明该算法能有效提高大数据系统中任务调度的效率。综合比较分析，所提方法具有较高的预测精度，且高效可靠。     

需求响应下电力信息通信大数据智能运维技术

电力信息通信大数据智能运维过程中,由于负载管理策略的影响,使得数据运维容量较低。因此,提出需求响应下电力信息通信大数据智能运维技术设计。针对电力信息通信大数据进行特征分析,基于电力信息需求响应原理,设计数据负载管理策略。结合数据特征和负载管理,构建通信大数据智能运维模型。然后采用模糊聚类算法管理运维日志,完成需求响应下电力信息通信大数据智能运维技术研究。实验结果表明：根据数据集1实验结果可知,所提方法相比文献方法,平均数据运维容量提升了68.09 T、52.31 T;根据数据集2实验结果可知,所提方法的平均数据运维容量提升了68.09 T、52.31 T。     

基于大数据的智能工厂数据平台架构设计与研究

在分析智能工厂国内外研究现状基础上,对基于大数据的智能工厂数据平台架构技术展开研究,为智能生产的运行分析、预测、决策调控以及数字孪生信息物理融合提供技术参考。探讨了智能工厂定义与内涵,以及智能工厂大数据来源和特征,采用Hadoop、Spark、Storm热门开源大数据计算引擎,提出了数据来源层、数据传输层、数据存储层、资源管理层、处理分析层以及业务应用层构成的智能工厂大数据平台技术架构,有效解决智能工厂大数据多源复杂性和实时性的要求和难点。所提数据平台技术架构将对智能制造和智能工厂的实现具有重要的借鉴价值。     

基于多传感器数据融合技术的短时交通流检测

在阐明智能交通控制系统（ITS）数据融合的意义和层次性的基础上,分析了数据层多源数据融合和神经网络的特点,根据遗传算法与BP算法各自的优缺点,设计了将遗传算法与改进的BP算法相结合的方法应用于融合计算,并提出了该方法的实现步骤。利用这种方法,对交叉路口的多源传感器数据进行融合计算后,仿真结果证明：该方法大大减少训练时间,能够有效地进行数据质量控制,提高数据的精度。     

大数据融合模型的智能化网络安全检测方法

针对传统智能化网络安全检测平台处理数据效率低、误差大等问题,文章提出一种新型的解决方案;该方案基于大数据融合模型构建新型的智能化网络安全检测平台,采用卡尔曼滤波算法、采用数据融合分类算法和模糊推理算法3种方法结合构建出数据融合模型来对网络安全检测数据进行运算与处理;其中,采用卡尔曼滤波算法进行改进,对原始网络安全检测数据进行滤波降低噪声干扰,提高数据的精准度;通过SAE稀疏自动编码器自主提取网络安全检测数据的特征信息,之后K-means聚类算法对SAE稀疏自动编码器输出的数据进行处理,通过模糊推理算法调整权值;试验表明,文章所提方案克服了现有技术存在的不足,显著提高了处理数据效率和精准度,在数据量为2 TB的环境下,本研究方法的误差低至6.9％.     

智能电网云数据储存平台次月留存数据聚类方法

为了优化智能电网业务质量,提出智能电网云数据储存平台次月留存数据聚类方法。业务数据处理模块以FPGA芯片作为核心,设计内部CLB连接形式,优化数据存储器的相关参数,并选择合适的中央控制芯片对平台硬件加以控制。在计算次月留存数据特征提取匹配度的基础上,确定智能电网云数据储存平台次月留存数据聚类中心。利用增益函数初始化Spark程序,通过设计次月留存数据聚类算法,实现了智能电网云数据储存平台次月留存数据的聚类。实验结果表明方法次月留存数据聚类效率高于90%,对于不同的数据集具有较高的聚类效率。     

基于智能的配电网电力大数据三维场景可视化分析

配电网电力大数据的三维场景重构是实现数据优化挖掘的关键,提出基于人工智能的配电网电力大数据三维场景可视化分析方法。建立配电网电力大数据三维场景的网格分布结构模型,并进行配电网电力大数据三维场景实时数据监测,根据监测结果进行配电网电力大数据的统计特征分析,对配电网电力大数据三维场景实时数据采用信息融合和模糊层析性分析方法进行信息融合和自适应调度,提取配电网电力大数据的三维可视化分布特征量,采用视觉特征重构技术,实现对配电网电力大数据三维场景可视化重构,在人工智能算法控制下提高电力大数据三维场景可视化重构的精度。仿真结果表明,采用该方法进行配电网电力大数据三维场景可视化重构的精度较高,提高了配电网电力大数据挖掘的效能。     

基于5G与CNN的智能电网稳定性预测

随着5G通信技术的研究以及新型基础设施的建设, 智能电网得到了快速发展. 同时, 在大数据时代, 万物互联导致海量的设备接入电力网络, 也给智能电网带来了较大的负担, 电力网络的稳定性问题亟待解决. 因此, 本文提出了一种基于CNN的智能电网稳定性预测算法, 通过收集电力网络产生的数据, 经过CNN模型的处理, 最后输出智能电网稳定性的判别结果. 经过仿真验证, 该算法与SVM、AdaBoost, 随机森林相比, 具有较高的准确率; 同时, 本文采用了4种不同的优化算法去改善CNN模型, 带有动量的SGD算法可以达到98.13％预测准确度, 利用该模型可以有效帮助电力系统对未知的问题提前预警, 降低了安全隐患并减少了电力事故的发生.     

基于贝叶斯网络的复杂事件大数据处理系统测试数据生成方法研究

伴随流式数据处理需求而产生的复杂事件处理技术,在处理具有多样性和流式特征数据方面性能表现突出,被广泛应用于复杂事件大数据处理系统中。针对复杂事件大数据处理系统测试需求,提出一种基于贝叶斯网络的复杂事件大数据处理系统测试数据生成方法,该方法以部分真实数据中的复杂事件结构关系及概率分布特征构建贝叶斯网络预测模型,生成具有真实数据结构特征与分布特征的复杂事件测试数据集。实验结果表明,提出的方法具有可行性。     

基于大数据的电网规划精益分析平台研究与应用

随着新能源的大量接入和用户的广泛参与,电网企业的数据呈指数级增长,电网规划部门迫切需要运用大数据的分析手段提高规划决策的精准性。本文以地市供电公司的实体业务为切入点,基于地理位置信息,在数据融合贯通的基础上,运用数据可视化技术多维度动态展示地区电网负荷分布和电网供给能力,辅助规划人员快速发现负荷分布规律和电网薄弱点。运用大数据分析挖掘方法构建基于负荷特性分析的负荷预测模型,支撑电网项目和运行方式安排。打破电网负载问题的单一评价方法,建立可度量的电网综合评价体系及模型,为电网项目统筹提供量化依据。基于大数据的电网规划精益分析平台通过电网负荷可视化展示,有效提升了电网诊断分析效率,运用大数据分析方法提高了地区最大负荷的预测精度,实现了电网问题的数字化评估,提高了电网规划投资决策的精准性。     

基于Hadoop的输电线路在线监测数据模型及技术研究

输电线路是电力系统中关键的组成部分,输电线路在线监测技术的应用产生了海量线路运行数据,对数据的深入挖掘成为现阶段电力大数据研究的热点。随着智能电网数据应用的深入,为保证电力系统可靠运行提供了新的解决方案。在研究输电线路在线监测数据类型、数据特征、数据需求的基础上,提出了符合智能电网电力大数据结构特征的Hadoop监测数据模型设计,包含了多维度数据信息输入、分布式数据存储、分布式数据处理的三个层次。通过搭建基于Hadoop集群的大数据处理环境,在MapReduce并行运算模式下实现PCA-SVM聚类算法,以输电线路故障类型识别为例,实现了基于数据分析的输电线路故障辨识,验证该模型实现输电线路在线监测的可行性。     

基于相似连接的多源数据并行预处理方法

大规模网络环境和大数据相关技术的发展对传统数据融合分析技术提出了新的挑战。针对目前多源数据融合分析过程灵活性差、处理效率低的问题，提出了一种基于相似连接的多源数据并行预处理方法，该方法采用了分治和并行的思想。首先，通过对多源数据中的相似语义进行统一、对个性语义进行保留的预处理方法提高了灵活性；其次，提出了一种改进的并行MapReduce框架，提高了相似连接的效率。实验结果表明，所提方法在保证数据完整性的基础上，使总的数据量减小了32%。与传统的MapReduce框架相比，改进后的框架在耗费时间方面减小了43.91%，因此该方法可以有效提高多源数据融合分析的效率。     

An edge-cloud-aided incremental tensor-based fuzzy c-means approach with big data fusion for exploring smart data

Recently, smart data has attracted great attention in the smart city community since it can provide valuable information to support intelligent services such as planning, monitoring, and decision making. However, it imposes a big challenge to explore smart data from big data gathered from smart city with various advanced fusion and analysis approaches. This paper proposes an incremental tensor-based fuzzy c-means approach (IT-FCM) for obtaining smart data from continuously generated big data. Specifically, a weighted version of the tensor-based fuzzy c-means approach (T-FCM) is firstly proposed to cluster the dataset that combines the previous cluster centroids and the new generated data. Aiming to improve the clustering efficiency, the old data objects are represented by the centroids to avoid repeat clustering. Furthermore, this paper presents an edge-cloud-aided clustering scheme to fuse big data from different sources and perspectives and further to implement co-clustering on the fused datasets for exploring smart data. Finally, the proposed IT-FCM approach is evaluated by comparing with T-FCM regarding clustering accuracy and efficiency on two different datasets in the experiments. The results state that IT-FCM outperforms T-FCM in clustering streaming big data in terms of accuracy and efficiency for obtaining smart data.     

基于MapReduce和IFOA的并行密度聚类算法

针对大数据下密度聚类算法中存在的数据划分不合理、参数寻优能力不佳、并行性能较低等问题,提出一种基于IFOA的并行密度聚类算法(density-based clustering algorithm by using improve fruit fly optimization based on MapReduce,MR-DBIFOA)。首先,该算法基于KD树,提出网格划分策略(divide gird based on KD tree,KDG)来自动划分数据网格;其次在局部聚类中,提出基于自适应搜索策略(step strategy based on knowledge learn,KLSS)和聚类判定函数(clustering criterion function,CCF)的果蝇群优化算法(improve fruit fly optimization algorithm,IFOA);然后根据IFOA进行局部聚类中最优参数的动态寻优,从而使局部聚类的聚类效果得到提升;同时结合MapReduce模型提出局部聚类算法DBIFOA(density-based clustering algorithm using IFOA);最后提出了基于QR-tree的并行合并局部簇算法(cluster merging algorithm by using MapReduce,MR-QRMEC),实现局部簇的并行合并,使算法整体的并行性能得到加强。实验表明,MR-DBIFOA在大数据下的并行效率更高,且聚类效果更好。