基于Spark框架和PSO优化算法的电力通信网络安全态势预测

随着电力通信网络规模的不断扩大,电力通信网络不间断地产生海量通信数据。同时,对通信网络的攻击手段也在不断进化,给电力通信网络的安全造成极大威胁。针对以上问题,结合Spark大数据计算框架和PSO优化神经网络算法的优点,提出基于Spark内存计算框架的并行PSO优化神经网络算法对电力通信网络的安全态势进行预测。本研究首先引入Spark计算框架,Spark框架具有内存计算以及准实时处理的特点,符合电力通信大数据处理的要求。然后提出PSO优化算法对神经网络的权值进行修正,以增加神经网络的学习效率和准确性。之后结合RDD的并行特点,提出了一种并行PSO优化神经网络算法。最后通过实验比较可以看出,基于Spark框架的PSO优化神经网络算法的准确度高,且相较于传统基于Hadoop的预测方法在处理速度上有显著提高。     

基于内存计算的钢铁价格预测算法研究

由于钢铁价格具有非线性和因子难以确定的特点,在数据挖掘预测分析时,传统的预测方法只能对钢铁价格进行小数据量的分析,这将导致预测精度低、速度慢、效率低下。随着大数据的深入研究,内存计算技术成为研究热点,用户对实时数据处理技术的需求越来越大。因此,在钢铁价格预测模型中,引入内存计算技术,提出基于内存计算的LM-BP神经网络预测算法,利用2002年到2010年的钢铁价格、产量、库存、GDP等数据建立预测模型。最后,仿真实验结果表明,基于内存计算的预测模型算法不仅速度快,而且精度高。     

基于LightGBM改进的GBDT短期负荷预测研究

精确的负荷预测对电网的供需平衡以及电力市场的平稳运行具有非常重要的意义。梯度提升决策树(GBDT)算法在短期负荷预测中具有很好的应用前景。Light GBM是一个梯度提升框架。该框架训练效率更快、使用内存更低、准确率更高。除此之外,它还支持并行学习,可以处理规模庞大的数据。对GBDT的计算流程及其特征进行了详细的分析,并指出Light GBM的引入可以使GBDT能够更加高效地处理更多的样本。通过histogram决策树算法寻找决策树的最优分割点,可达到降低内存的目的;通过增加决策树最大深度的方式限制过拟合,可提高预测精度;通过直方图作差,可提高运行速度。基于以上三种改进方式,提出了基于Light GBM的改进GBDT算法,并将其应用于短期负荷预测。根据贵州省某县的实际数据构造了相应的算例,验证了所提方法的有效性,证明了该算法具有更高的计算效率以及计算精度。基于Light GBM的改进GBDT算法不仅可以应用于负荷预测,而且在数据挖掘领域也具有良好的应用前景。     

内存计算技术研究综述

在大数据时代,如何高效地处理海量数据以满足性能需求,是一个需要解决的重要问题.内存计算充分利用大容量内存进行数据处理,减少甚至避免I/O操作,因而极大地提高了海量数据处理的性能,同时也面临一系列有待解决的问题.首先,在分析内存计算技术特点的基础上对其进行了分类,并分别介绍了各类技术及系统的原理、研究现状及热点问题;其次,对内存计算的典型应用进行了分析;最后,从总体层面和应用层面对内存计算面临的挑战予以分析,并且对其发展前景做了展望.     

边缘计算和深度学习的智能电网短期负荷预测研究

本研究以深度学习和边缘计算为基础,详细阐述了电力系统负荷预测的方法,并在此基础上分别建立了基于深度学习理论的电力短期负荷预测模型和基于边缘计算电力负荷预测模型,然后基于MATLAB平台分别对两种模型所选取的数据集进行仿真分析,并以N市某充电站为例,分析对比了两种模型对充电站电力负荷预测的准确性.研究结果表明,深度学习模...     

基于分布式数据集的并行计算框架内存优化方法

随着科学计算和人工智能技术的快速发展，分布式环境下的并行计算已成为解决大规模理论计算和数据处理问题的重要手段。内存容量的提高以及迭代算法的广泛应用，使得以Spark为代表的内存计算技术愈发成熟。但是，当前主流的分布式内存模型和计算框架难以兼顾易用性和计算性能，并且在数据格式定义、内存分配、内存使用效率等方面存在不足。提出一种基于分布式数据集的并行计算方法，分别从模型理论和系统开销两个角度对内存计算进行优化。在理论上，通过对计算过程进行建模分析，以解决Spark在科学计算环境下表达能力不足的问题，同时给出计算框架的开销模型，为后续性能优化提供支持。在系统上，提出一种框架级的内存优化方法，该方法主要包括对跨语言分布式内存数据集的重构、分布式共享内存的管理、消息传递过程的优化等模块。实验结果表明，基于该优化方法实现的并行计算框架可以显著提升数据集的内存分配效率，减少序列化/反序列化开销，缓解内存占用压力，应用测试的执行时间相比Spark减少了69%～92%。     

基于认知度的协同过滤推荐算法

协同过滤技术被广泛应用于各种推荐系统当中.基于内存的协同过滤算法通过比较目标用户与其他用户的已有评分,为目标用户的未评分项目作出相应的预测.提出了一种新的基于内存的算法.根据项目的关键属性对它们进行分类,通过计算用户对各类项目的认知度,为目标用户选择相似用户并预测评分.通过MovieLens数据集的实验结果表明,该算法可以有效地解决包括数据稀疏性和新用户在内的一些协同过滤的基本问题,提供更高质量的推荐.     

基于预测原理的嵌入式内存分配算法设计

针对嵌入式系统中内存管理存在的实时性与碎片率较大等问题,分别从时间和空间角度对其进行分析,采用基于预测分配和合并分配原理的预测合并分配机制.从时间上,利用预测线程预测下一次申请内存的大小,提前分配以减少系统等待内存创建的时间;将2次申请的内存块合并成一大块,以大块为申请单位申请内存块,以降低内存块被多次分割导致的内部碎片.μC/OS-Ⅱ平台对比实验结果表明,改进后的预测合并内存分配算法能有效从时间和内存碎片率方面提高系统的整体性能.     

基于内存关联分析的预拷贝迁移优化策略

内存预拷贝迁移在密集型负载下存在内存脏页反复传输的问题,导致迭代轮数较多且大幅降低了内存预拷贝迁移的整体性能。脏页概率预测能够有效减少内存脏页反复传输的现象,然而现有脏页概率预测研究都只关注时间相关性而未考虑内存之间的空间相关性。针对该问题,提出一种基于内存关联分析的预拷贝迁移策略。通过脏页率对脏页下一轮变脏概率进行预测,设计Memory_cor算法计算出脏页的关联规则和关联内存页,避免变脏概率大的内存页及其关联内存页传输。实验结果表明,该策略在总迁移时间和停机时间上优于Xen预拷贝迁移方法。     

基于相似日负荷修正算法的短期负荷预测

为实现准确、快速预测电力系统短期负荷的目的,综合考虑气象、日类型和时间对负荷的影响,提出了基于相似日负荷修正算法的预测模型.首先建立相似度量化模型,具体用灰色关联分析法计算气象相似度,兼顾"近大远小"和"周期性"原则来量化时间相似度,二者乘积作为总体相似度,依此选取若干相似日;然后基于"日类型"和"时间跨度"修正相似日负荷;最后用加权平均法预测负荷.短期负荷预测的实例结果表明了该算法的可行性.     

基于数据挖掘的日负荷曲线预测与修正

分析了传统负荷预测方法的缺点,提出了一种基于数据挖掘技术的负荷预测方法.利用决策树算法进行负荷预测,根据预测结果找出负荷不正常点.依靠关联规则算法,对不正常负荷进行修正,从而使预测结果更加精确.     

LSTM模型在电力系统负荷预测中的应用

为解决数据随时间变化的电力系统短期负荷预测问题,本文阐述、采用和总结线性回归,普通BP神经网络,GRU神经网络,LSTM神经网络在电力系统短期负荷预测中应用的理论基础和方法,分别针对神经网络的多种预测方法进行归纳总结。LSTM即长短期记忆网络,拥有门机制,可以选择性的遗忘和记忆过去的信息,特别能记忆一个序列时间段的信息。本文以某城市2019年全年的电力负荷数据为基础,该数据集包含城市350天的每天48个时间点的16800条数据,通过python绘图,解决对比不同算法之间的性能差异问题,最终得到LSTM在电力系统短期负荷预测上性能最优的结果。通过结果分析,得出利用电力负荷时间序列具有历史依赖性的特点,使用LSTM深度神经网络与传统神经网络进行了对比预测,证明了深度学习在电力负荷预测领域的适用性和精确性。     

短期负荷预测方法综述

电力系统为电力用户提供可靠、优质、经济、环保电能的前提条件是能对电力负荷进行精确的预测。电网中的调度部门要根据短期负荷的预测结果来安排发电和供电计划,从而优化资源配置,提高经济效益。因此,短期负荷预测具有重大意义。为了提高负荷预测的准确性,较为全面的综述了短期负荷预测方法的研究状况。首先简述了短期负荷预测的意义、特点以及影响因素,综合叙述了短期负荷预测方法的历史发展。然后分别从数据预处理和组合预测两个方面总结了各个方法的研究现状和存在的问题。最后指出了当前短期负荷预测研究的主要问题以及下一步可能的研究方向。 得出的结论是对历史数据进行预处理后结合时下流行的机器学习算法能提高电力系统短期负荷预测的精度。     

基于数据仓库的电力系统负荷预测研究

介绍了数据仓库的性能特点和总体结构，分析了在电力系统负荷预测中引入数据仓库后可以解决的问题。并阐明基于数据仓库的电力系统负荷预测的实现方法。     

基于支持向量机的网格负载信息预测模型

提出了采用小波分析和最小二乘支持向量机(LS-SVM)混合模型对网格负载信息进行预测。该模型首先基于小波多分辨率分析对非平稳的网格负载样本做序列分解,得到不同尺度下的负载分量,然后利用LS-SVM对不同尺度的分量进行预测,最后通过对各分量预测信息进行重构得到相应的预测值。实验结果表明,使用本模型进行短期负荷预测比传统小波神经网络方法可以获得更好的预测精度。     

基于MapReduce的多元线性回归预测模型

针对传统的多元线性回归预测方法处理时间长且受内存限制的特点,对时序样本数据设计了基于MapReduce的并行多元线性回归预测模型。模型由三组MapReduce过程组成,分别求解由历史数据所构成叉积矩阵的特征向量和标准正交特征向量,用来预测未来参数的特征值和特征向量矩阵和未来时刻回归参数的估计量。设计并实现了实验来验证提出的并行多元线性回归预测模型的有效性。实验结果表明,基于MapReduce的多元线性回归预测模型具有较好的加速比和可扩展性,适合于大规模时序数据的分析和预测。     

A comprehensive reconfigurable computing approach to memory wall problem of large graph computation

Graph computation problems that exhibit irregular memory access patterns are known to show poor performance on multiprocessor architectures. Although recent studies use FPGA technology to tackle the memory wall problem of graph computation by adopting a massively multi-threaded architecture, the performance is still far less than optimal memory performance due to the long memory access latency. In this paper, we propose a comprehensive reconfigurable computing approach to address the memory wall problem. First, we present an extended edge-streaming model with massive partitions to provide better load balance while taking advantage of the streaming bandwidth of external memory in processing large graphs. Second, we propose a two-level shuffle network architecture to significantly reduce the on-chip memory requirement while provide high processing throughput that matches the bandwidth of the external memory. Third, we introduce a compact storage design based on graph compression schemes and propose the corresponding encoding and decoding hardware to reduce the data volume transferred between the processing engines and external memory. We validate the effectiveness of the proposed architecture by implementing three frequently-used graph algorithms on ML605 board, showing an up to 3.85 × improvement in terms of performance to bandwidth ratio over previously published FPGA-based implementations.     

存储中的副本分级存储调度策略

当集群中的部分节点是廉价主机时,采用HDFS的随机存储策略可能使访问频率高的数据存储在廉价节点上,受到廉价节点的性能影响,访问时间过长,降低了集群效率。为改善以上问题,提出一种改进的副本分级存储调度策略。为减少副本调度的次数,先根据节点的CPU、内存、网络、存储负载以及网络距离来评价节点的性能,再从中选取高性能节点进行存储。副本调度以节点中副本的访问频率为依据,结合硬件配置,把访问频率高的副本尽可能存储在高性能、高配置的节点中,以加快集群响应速度。实验结果表明,改进后的策略可以在异构集群中提高副本的访问效率,优化负载均衡。     

基于特征迁移学习的综合能源系统小样本日前电力负荷预测

基于历史数据和深度学习的负荷预测已广泛应用于以电能为中心的综合能源系统中以提高预测精度,然而,当区域中出现新用户时,其历史负荷数据往往极少,此时,深度学习难以适用.针对此,本文提出基于负荷特征提取和迁移学习的预测机制.首先,依据源域用户历史负荷数据,融合聚类算法和门控循环单元网络构建源域数据的特征提取和分类模型;然后,利用该模型提取当前待预测目标域小样本的特征及其类别信息,进而给出基于特征相似度和时间遗忘因子的特征融合策略;最后,依据融合特征,给出基于迁移学习和特征输入的负荷预测.将所提算法应用于卡迪夫某区域的高中和住宅用电预测中,实验结果表明了该算法在综合能源系统小样本电力负荷预测中的有效性.     

基于支持向量机的网格负载信息预测模型

提出了采用小波分析和最小二乘支持向量机（LS-SVM）混合模型对网格负载信息进行预测。该模型首先基于小波多分辨率分析对非平稳的网格负载样本做序列分解,得到不同尺度下的负载分量,然后利用LS-SVM对不同尺度的分量进行预测,最后通过对各分量预测信息进行重构得到相应的预测值。实验结果表明,使用本模型进行短期负荷预测比传统小波神经网络方法可以获得更好的预测精度。