基于状态估计的海量多元异构智能电网数据压缩存储方法

海量多元异构智能电网数据未经处理就进行压缩与存储,存在压缩误差大、运行时间长的问题,影响压缩储存效果。因此,提出基于状态估计的海量多元异构智能电网数据压缩存储方法。融合海量多元异构智能电网数据,推导出准确的智能电网数据,通过Tucker分解智能电网大数据压缩方法,压缩海量多元异构智能电网数据。采用可扩展标记语言（XML）技术预处理数据,结合非关系型的数据库技术,实现海量多元异构智能电网数据的快速存储。试验结果表明,该方法的线路电阻、电抗动态参数估计准确性高,数据压缩平均绝对误差、F 范数误差低,运行时间短,具有一定的实际应用性能。     

多源异构的智能配用电数据存储处理技术

针对智能配用电数据具有海量、多源异构等特点,提出一种基于Hadoop的智能配用电数据存储处理的框架设计方案。在对智能配用电数据组成进行梳理的基础上,提出了智能配用电的资源、存储和查询三层数据存储框架。其中,资源层采用Hadoop集群架构,结合电力系统的行业特色,完成IT存储资源管理;存储层则先采用XML技术进行数据预处理,使非结构化数据归一化,然后利用No SQL数据库通过Map和Reduce的有效结合,完成海量数据的快速存储;查询层利用Top-k检索技术,实现海量数据的快速查寻。该设计方案能够对结构化和非结构化数据进行统一存储,可为智能配用电大数据技术的应用提供基础支撑。     

基于HBase的输电线路综合数据存储方案设计

输电线路综合数据具有复杂性、体量巨大及多源异构等特点。针对当前关系数据库对于视频图像、图片等非结构化数据处理能力不足的问题,结合大数据的相关理论,提出基于Hadoop和HBase的输电线路综合数据的存储方案,将结构化数据和非结构化数据均转化为Bytes数组存入HBase数据库,并阐明具体的存储原理和工作方式,有效地解决了原有数据信息共享性差、非结构化数据难以存储等难题,弥补了关系数据库的不足,为大数据时代下智能电网的信息化建设提供思路。     

智能配用电大数据存储架构设计

针对智能配用电数据海量、高维度、多源异构等特点,提出一种大数据存储的三层管理框架设计方案。首先,对智能配用电数据组成进行分类划分。然后,提出智能配用电数据存储的资源层、元数据层和实际数据层的三层管理框架,在资源管理层,应用虚拟化技术、负载均衡和资源调度完成对物理资源的管理;在元数据管理层,使用数据预处理技术对智能配用电的元数据进行分类,采用中间件技术完成XML元数据仓库管理;在实际数据管理层,利用NoSQL技术,通过Map和Reduce的有效结合,完成海量数据的分层分区快速存储。最后,在实验室环境下对该设计方案进行初步的应用,验证了所设计方案能够对结构化、半结构化和非结构化数据进行统一存储,可为智能配用电大数据技术的应用提供基础支撑作用。     

能源互联网多源数据融合技术研究

随着我国能源互联网战略的推进,边缘计算成为解决能源互联网数据处理的有效模式,针对能源互联网的电力异构配用电数据的存储混乱与融合性差的问题,提出能源互联网多源数据处理与融合技术。首先,在边缘计算的基础上设计能源互联网多源数据处理与融合架构;其次,提出了智能配用电数据存储资源层负载均衡优化调度策略,利用Hadoop平台实现了多源数据存储和处理;然后,通过主成分分析方法得到能源互联网异构数据的主要特征,构建基于矛盾优化DS证据推理的多源数据融合模型,在边缘计算框架的基础上对多源异构数据进行分组聚合;最后,在某配电网模拟系统进行实验分析,分析结果验证了所提方法的有效性。     

基于张量分解的智能电表电压数据缺失填补算法

为了降低配电台区智能电表采集的电压监测数据缺失给电力监测、供电质量分析精确度所带来的负面影响,针对传统算法利用二维数据分布特征填补数据缺失的不足,提出了一种基于张量分解的填补算法来估计智能电表电压数据的部分缺失。首先随机抽取一条线路相邻台区智能电表连续7天的电压数据样本,构建三阶张量模型,分析张量数据各维度间的相关性;然后基于电压数据各维度间的相关性,通过CANDECOMP-PARAFAC分解（CP分解）过程,将张量分解成3个一维的因子矩阵,利用交替最小二乘法进行因子矩阵的迭代更新,达到预设的最大迭代次数时,即可得到缺失电压的估计值。实验结果表明,基于张量分解的电压缺失数据填补算法能够充分利用电压数据在各维度间的相关性,填补衡量电力系统电能质量时有价值的缺失参数。在65%至80%缺失率下,缺失值填补误差显著低于传统的K近邻（K-nearest neighbor,KNN）缺失值填补算法,有效解决了高缺失率下的电压数据缺失问题。三阶张量建模为处理智能电表电压数据缺失问题提供了新的角度。     

非结构化数据特征建模关键技术研究

在智能电网大数据中,非结构化数据占据比例最大,且增速是结构化数据的10~50倍,已成为智能电网大数据处理的关键技术。针对非结构化数据存在数量巨大、模式滞后问题,基于现实数据存在的诸多特征,提出来非结构化数据特征模型建模。文中重点论述了基于智能电网大数据的非结构化数据特征建模的关键技术,包括原始数据以及特征数据的存储、查询以及数据可视化、特征空间的选取等。     

智能配电网大数据应用技术与前景分析

针对大数据在智能配电网中的应用问题,在分析智能配电网大数据现状和特征以及梳理数据关系网的基础上,阐述了大数据在智能配电网中应用所涉及到的大数据存储与处理以及大数据解析等关键技术.提出了数据价值链和面向大数据应用的“飞机型”理论框架,并从用电预测与协同调度、智能配电网网架发展趋势分析与优化规划,以及智能用电与网络降损等方面分析了大数据在智能配电网中的应用前景,提出了应用路线图.     

基于分布式键值对存储技术的EMS数据库平台

为解决智能电网系统中能量管理系统(energy management system,EMS)数据指数级增长带来的海量数据存储和快速访问问题,提出一种基于分布式键值对存储EMS数据的方法,将结构化与非结构化数据统一按照键值对形式进行表达,并分布存储于集群中.以该方法为基础,设计并实现了一种新的EMS数据库平台,该平台是混...     

智能配电网监测系统的无损数据压缩方案

为提高电力系统数据压缩方法的实时性和适应性,提出一种适用于智能配电网监测系统的无损数据压缩方案,该方案通过对当前监测数据的取值进行预测,计算实际值与预测值的残差,并对残差值进行改进的行程编码与霍夫曼编码,实现对智能配电网监测数据的无损压缩.预测方法采用基于2阶泰勒公式的预测法.通过对预测方法和压缩方案的分别仿真,证明所...     

基于盲数BM模型的配电网谐波数据存储安全控制方法

现有配电网谐波数据存储安全控制方法存在着谐波数据存储安全性能低、安全控制时间长的问题,为此提出基于盲数BM模型的配电网谐波数据存储安全控制方法。利用盲数BM模型提取并处理配电网谐波数据,以此为基础,采用混合加密算法加密配电网谐波数据,以加密谐波数据为依据,创建谐波数据存储结构模型,设定谐波数据存储控制规则,完成谐波数据的存储,以存储的谐波数据为基础,利用云端验证存储谐波数据的完整性,实现了基于盲数BM模型的配电网谐波数据的存储安全控制。通过实验结果显示,与现有的配电网谐波数据存储安全控制方法相比较,提出的配电网谐波数据存储安全控制方法极大的提升了谐波数据存储安全性能,缩短了数据存储控制时间,充分说明提出的配电网谐波数据存储安全控制方法具备更好的性能。     

基于联合卡尔曼滤波的配电网多源异构数据融合

由于传统方法没有对配电网多源异构数据采集的时间进行配准,导致配电网多源异构数据融合时误差大、效率低。针对该问题,提出了基于联合卡尔曼滤波的配电网多源异构数据融合方法。构建了数据纠偏机制,采用最小二乘法对数据采集的时间配准,并采用拉格朗日插值方法对时序数据填充,计算数据关联性。在此基础上,采用联合卡尔曼滤波算法将相同数据融合到同一个类中,以此实现配电网多源异构数据融合。实验结果表明,所研究的数据融合方法不仅能够根据需求一直追踪需求的融合误差,还能够降低节点电压与功率估计的相对误差、提高配电网多源异构数据融合的效率。实验结果不仅证明了所研究融合方法的有效性,还证明了联合卡尔曼滤波算法在数据融合中的适用性。     

自适应小波压缩算法在连续录波装置中应用

针对连续录波海量数据的存储和对称电力系统故障持续时间短的运行特点,基于Clark变换和小波变换提出了一种自适应录波数据压缩技术以解决连续录波中的海量数据存储与存储设备安全和容量之间的矛盾.根据小波变换最大比例系数区分出正常数据与故障数据,对故障数据利用小波分解和自适应阈值处理同Lz77相结合的方法直接进行自适应小波压缩存储,对于非故障数据则在Clark变换基础上再进行自适应小波压缩存储,以提高数据压缩效率.应用Simulink仿真模拟输电线路的正常和故障运行2种情况对所提出的压缩算法的有效性进行验证.仿真数据表明所提出的压缩方法比不进行数据区分压缩算法的压缩率更高,可有效地解决连续录波器中海量数据的存储与设备容量之间的矛盾.     

基于提升小波和混合熵编码的数据压缩方法

大型发电机组远程状态监测系统中实时数据的存储与网络传输对数据压缩和重构技术提出了较高的要求.文中给出一种提升小波变换与混合熵编码技术相结合的数据压缩方法.首先利用基于提升格式的双正交滤波器组对实时数据进行小波分解,然后对小波系数进行阈值量化,最后通过混合熵编码技术对保留的系数进行编码,以进一步提高压缩效率.对实际发电机组实时数据进行了压缩试验,结果表明,有损压缩技术和无损压缩技术的结合可以获得较高的压缩比,能够较好地满足大型发电机组实时数据的存储和传输需求,是一种有效和实用的实时数据压缩方法.     

智能配电网统一模型云与应用服务技术系统

为了解决智能电网建设过程中配电网的信息交叠浪费、数据孤岛以及软硬件平台异构导致的信息无法交互问题,提出配电网异构信息模型融合,将配电网各应用服务系统及软件进行模型融合,搭建了虚拟化模型中心。利用云计算技术协调配电网各应用系统服务,构建了基于模型中心与云计算的统一数据模型应用平台,将配电网主要应用服务系统进行整合并将其部署在云平台上。与传统分散式配电网服务系统相比,智能配电网统一模型云与应用服务系统大幅提高了信息交互共享的效率。     

联盟链框架下主动配电网电力交易主体合作演化策略

传统电力交易模式中,集中化的交易数据以及中心化的监管机构会带来数据安全性较低、监管机构信任危机等问题,区块链技术的兴起和发展为解决上述问题提供新的思路和方法。首先通过分析主动配电网中各电力交易主体的行为特征,建立基于联盟区块链的电力市场交易体系。该体系将各电力交易主体预授权为半开放的本地节点,通过动态选取联盟节点,可实现交易数据分布式存储并无需设置额外的第三方监管机构。同时基于上述交易体系,提出联盟链框架下主动配电网电力交易的详细认证方法。进而在此基础上,建立基于合作演化博弈的主动配电网电力交易优化模型,并采用基于分解的多目标进化算法进行求解。模型求解结果可作为生成智能合约的依据,最终实现联盟链框架下主动配电网电力交易的决策优化。算例结果验证了所提合作演化策略的有效性和合理性。     

基于残差双重注意机制网络的电力数据压缩与高精度重建

5G飞速发展与坚强智能电网深化建设的背景下,针对电力系统数据存储能力与数据采集传输能力不匹配的问题,文章提出一种基于残差双重注意机制网络的电力数据压缩与高精度重建方法。在数据压缩机制中,设计一种电力数据图像构建方法,并采用高斯滤波下采样对电力数据进行压缩;在重构机制中,结合通道注意机制与空间注意机制,构建一种残差双重注意机制网络,实现对压缩数据的高精度重构。通过在I-BLEND数据集上的仿真试验,验证所提方法能有效对电力数据进行压缩,减轻数据存储压力,同时相比于其他超分辨率重建方法,取得更精确的重构效果。     

面向云存储的智能配电网监测数据完整性验证方法研究

正针对智能配电网云存储数据完整性验证问题中计算开销较大,无法支持海量监测数据存储,且无法支持动态更新的问题,提出了一种面向云存储支持动态更新的数据完整性验证方法。该方法是基于同态标签和Hadoop平台相结合,支持第三方审计、动态更新、海量数据存储,并且计算开销较小。并     

基于Edgex Foundry的配电网无功电压云边协同控制方法研究

针对大量多维异构的电网数据引起的存储压力、计算延迟和云边通信问题,提出了一种基于Edgex Foundry的配电网无功电压云边协同控制方法。首先,感知配电网10 kV侧的电网数据,构建了“边云”、“边边”协同控制模块与配电网无功电压信息交互模型,基于多种通信协议建立云边数据传输通道。然后,部署了面向配电网无功电压的云边协同控制模型,构建了基于Edgex Foundry的配电网无功电压“云-边-端”集中-分布式协同控制架构,实现云边协同架构与十五区图控制策略交互融合。最后,基于仿真验证了云边协同控制方法可以降低计算时延,缓解云端计算和存储压力,实现在云边协同控制中母线与支线整体联控、异常支线局部单调两种调控模式的深度融合,为实现配电网无功电压云边协同控制提供了技术支撑。     

融合知识图谱与神经张量网络的需求响应智能推荐

针对现有协同过滤智能推荐算法在海量数据和复杂电网结构下存在数据稀疏性和冷启动问题,提出一种融合知识图谱与神经张量网络的需求响应智能推荐模型.该模型核心是一个知识驱动的神经张量网络(neural tensor network,NTN)表示学习模型.通过用电数据集抽取用户用电行为知识三元组,与预先抽取的结构化先验知识融合构...