基于循环扩张机制的ConvGRU-Transformer短期电力负荷预测方法北大核心

Transformer作为一种建立在自注意力机制上的新颖神经网络模型,其所具有的高度并行化计算结构和有效捕捉序列长期依赖性的能力为短期电力负荷预测带来了新的发展空间。舍弃递归与卷积结构为提取序列关联性提供便利,同时也导致信息碎片化。为充分挖掘注意力模型潜力,提出了一种基于循环扩张机制的卷积门控循环单元(Convolutional Gated Recurrent Unit,ConvGRU)-Transformer短期电力负荷预测方法。针对输入序列分割影响长期特征提取的问题,提出一种循环扩张注意力机制,在提高计算效率的同时扩大了学习视野。为保证注意力视野扩大后信息位置的一致性,建立了一种基于ConvGRU的全局位置编码方法。实验结果表明与常规方法相比,所提方法有更高的预测精度和良好的可解释性。     

基于注意力机制的CNN-LSTM短期电力负荷预测方法

精准的短期电力负荷预测可以保障电力系统的安全可靠、经济高效运行,传统预测方法无法满足高精度的负荷预测要求,而机器学习算法的广泛应用为短期负荷预测的精确方案。提出了一种基于注意力(Attention)机制的卷积神经网络(Convolutional Neural Network,CNN)-长短期记忆网络(Long Short-Term Memory,LSTM)短期电力负荷预测方法,该方法可以减少历史信息的丢失,实现短期电力负荷预测。考虑到电力负荷值在不同季节的特点,将预测方法设计为分季节进行短期电力负荷预测。最后,以我国某地区的负荷数据作为实例,将此预测方法与其他常用预测模型进行对比,实验结果表明基于注意力机制的CNN-LSTM模型在不同季节的电力负荷预测中均具有更高的预测精度。     

一种用于交通预测的注意力时空图神经网络

城市化的发展使得交通预测在交通规划和城市管理等应用中发挥着重要作用。然而在交通预测任务中,捕获交通数据的高度非线性和复杂的时空依赖关系仍具有很大的挑战性。为了更好地捕获交通数据的时间依赖性和全局空间相关性以及同时满足长期和短期的预测任务,设计了一种用于交通预测的注意力时空图神经网络。首先通过引入注意力机制来调整邻近道路与非邻近道路的重要性,整合全局空间信息;然后再通过图卷积网络和带有扩展因果卷积的门控线性单元来共同捕获时空相关性。在两个真实数据集PeMSD7(M)和PEMS-BAY上的实验结果表明,该网络模型可以较大地提高短期和长期的交通预测精度。     

基于粒子群算法优化参数的VMD-GRU短期电力负荷预测模型

为了更有效提取电力负荷数据中的特征信息，从原始含噪声较多的负荷序列中提取包含丰富特征信息的信号分量，提高电力负荷预测精度。针对变分模态分解(variational mode decomposition, VMD)参数设定经验与主观性较强，提出一种基于粒子群算法(particle swarm algorithm, PSO)优化参数的变分模态分解和门控循环单元(gated recurrent unit, GRU)的组合模型短期电力负荷预测方法，先通过粒子群算法对VMD最佳影响参数组合进行搜寻，得到最佳效果的分解子序列，减少不同趋势信息对预测精度影响。然后运用GRU网络，针对各子序列分量建立基于GRU的预测模型。最后叠加各子序列预测结果得到短期电力负荷的最终预测值。实验结果表明，相对于相对于BP神经网络(Back Propagation Neural Network)、支持向量机(support vector machine, SVM)、GRU模型和EMD-GRU模型以及未经优化VMD-GRU模型，此模型具有更高的负荷预测精度。     

基于深度学习的出行模式识别方法

居民出行信息可体现居民活动规律、反映城市交通问题,是制定交通规划与管理的重要依据.利用GPS获取的轨迹数据虽具有大量时空信息但不能直接表达出行模式,需要数据处理和挖掘算法提取隐藏知识来识别出行模式.由于居民出行模式具有高度的非线性和复杂性,识别具有很大挑战.本文利用深度学习方法的特征学习表征优势,解决特征提取的繁琐计算或漏提特征等弊端,通过对轨迹进行去野和划分等预处理后,计算轨迹片段的运动学特征构成输入数据,提出基于卷积神经网络与门控循环单元相结合的识别出行模式方法,利用卷积神经网络的深层特征表征优势和门控循环单元的时序特性挖掘能力,提高对非线性分类问题的学习能力和识别出行模式的准确性.为验证所提出方法的有效性,还设计单独的卷积神经网络和门控循环单元等模型,在Geolife数据集上进行测试和对比.实验结果表明,本文方法虽仅计算4个特征量仍具有较好的识别效果,并且优于单独采用卷积神经网络等分类方法的识别性能.     

基于VMD和TCN的多尺度短期电力负荷预测

准确的电力负荷预测对于保证电力系统的稳定运行起着重要作用。针对传统短期电力负荷预测方法预测精度低,模态分解后未考虑子序列融合等问题,提出一种基于变分模态分解(VMD)和时域卷积网络(TCN)的多尺度短期电力负荷预测方法。首先利用VMD将电力负荷数据分解为若干个子序列,解决电力负荷数据的非线性和随机性等问题;再利用TCN对若干个序列采用不同时间尺度进行训练;最后利用全连接网络(FC)对各时间尺度的子序列进行融合,实现短期电力负荷预测,提升预测精度。实验结果表明,该方法相较于VMD和改进的长短时记忆网络(LSTM)相结合的传统预测方法,其均方根误差下降40%,曲线拟合程度提升1.1%。     

采用注意力门控卷积网络模型的目标情感分析

针对传统目标情感分析采用循环神经网络模型导致训练时间长且其他替代模型未能使得上下文和目标词之间实现良好交互等问题,提出了一种用于目标情感分析的注意力门控卷积网络模型。该模型首先将上下文和目标词通过多头注意力机制加强上下文和目标词之间的交互;其次采用门控卷积机制进一步提取关于目标词的情感特征;最后通过Softmax分类器将情感特征进行分类,输出情感极性。实验结果显示,与循环神经网络模型中准确率最高的循环注意力网络模型相比,在SemEval 2014任务四的餐厅和笔记本电脑数据集上的准确率分别提高了1.29%和0.12%;与循环神经网络模型中收敛速度较快的基于注意力的长短期记忆网络模型相比,收敛时间下降了约29.17s。     

基于CNN与BiGRU融合神经网络的入侵检测模型

针对深度学习入侵检测中出现的数据类不平衡及特征学习不全面等问题,提出了一种基于卷积神经网络(CNN)与双向门控循环单元(BiGRU)融合的神经网络入侵检测模型.通过SMOTE-Tomek算法完成对数据集的平衡处理,使用基于平均不纯度减少的特征重要性算法实现特征选择,将CNN和BiGRU模型进行特征融合并引入注意力机制进...     

基于多头注意力卷积网络的电力负荷预测

预测居民用电相当于预测一个多元时间序列.针对多个传感器信号的特定窗口能够利用预测模型提取不同的特征来预测用电量.然而,由于时间序列内部特征存在着不规则的模式,包括电力属性之间隐藏的相关性,使得负荷预测准确率不高.为了提取复杂的不规则电力模式,选择性地学习时空特征以减少电力属性间的平移方差,本文提出了一种基于多头注意力的卷积循环神经网络深度学习模型.相较于单纯的时间序列模型,该模型利用卷积和加权机制对电力属性和有功功率间的局部相关性进行建模.它利用softmax函数和点积运算的注意力分数来模拟电力需求的瞬态和脉冲特性,有效地对瞬时脉冲功耗进行预测.在美国加州大学欧文分校(University of California,Irvine,UCI)家庭用电数据集共2 075 259个时间序列上的实验表明,所提出的模型与现有方法相比,准确率得到了较大提升.     

改进的Elman神经网络在短期电力负荷预测中的应用

为了提高Elman神经网络进行短期负荷预测时的精度,解决预测过程中易陷入局部最优解等问题,采用非线性阻尼最小二乘法对学习算法进行优化,并对激励函数进行改进,建立双隐含层Elman神经网络模型。Matlab仿真结果表明,改进后的模型对短期电力负荷进行预测的精度高于传统BP神经网络模型,达到了短期负荷预测所要求的误差范围,说明该方法和模型是可行有效的。     

基于改进K-means算法的电力短期负荷预测方法研究

现有方法预测电力短期负荷时忽略了对其进行聚类优化处理,导致预测耗时较长,短期负荷预测精度偏低.为此,提出一种基于改进K-means算法的电力短期负荷预测方法.该方法利用改进后的K-means算法聚类处理电力负荷大数据,使用聚类后获得的训练样本构建循环神经网络RNN拓扑结构,然后通过对RNN神经网络模型设置最优权值,实现...     

基于CGA模型的盾构扭矩预测研究

以盾构近距离下穿既有车站结构为背景,提出了一种结合卷积神经网络(Convolutional Neural Networks, CNN)、门控制循环单元神经网络(Gated Recurrent Unit, GRU)和注意力机制(Attention)的新型盾构荷载预测模型。首先用CNN-Attention模型提取数据的高维空间特征并区分不同特征的重要性,然后通过GRU模型提取数据的时序特性,紧接着通过注意力机制提取出重要时间节点信息,最后得出预测的结果。为验证所提模型的预测效果,选取了4种现有的算法进行比较。结果表明所提出的模型在三种评价指标上均优于其他算法模型,同时该模型还可为盾构刀具磨损、地表及结构变形等方面的预测研究提供思路。     

基于ARIMA LSTM组合模型的楼宇短期负荷预测方法研究

在楼宇短期负荷预测中,针对单一预测模型难以充分学习负荷时间序列中的特性问题,提出了一种基于自回归差分移动平均-长短期记忆神经网络(ARIMA-LSTM)组合模型的楼宇负荷预测方法。首先,根据灰色关联度选取相似日时间序列数据为训练样本;然后,利用ARIMA模型预测负荷,并将原始数据和ARIM A预测数据之间的误差视为非线性分量;最后,通过LSTM神经网络对误差序列进行校正,得到楼宇短期负荷的最终预测值。通过对上海市某楼宇的预测效果分析,并将其与ARIMA模型、LSTM模型和ARIMASVM组合模型进行对比,验证了所提方法能够有效控制预测误差,提高楼宇负荷预测精度。     

基于MGU的大规模IP骨干网络实时流量预测

为克服长短时记忆网络(long short-term memory, LSTM)计算成本相当大的弊端,提出基于最小门控单元(minimal gated unit, MGU)的大规模IP骨干网络实时流量预测方法。试验结果表明,与基于LSTM的流量预测方法相比,该方法以较少的模型训练时间获得了相当甚至略优的流量预测性能,在流量预测精度和实时性方面也优于已有的前馈神经网络(feed forward neural network, FFNN)和门控循环单元神经网络(gated recurrent unit, GRU)方法。     

计及PUE的数据中心短期电力负荷预测方法

为了准确预测数据中心短期电力负荷,提出了基于长短期记忆神经网络的短期负荷预测模型,有效地弥补前馈型神经网络不能处理序列间关联信息与传统循环神经网络无法记忆久远关键信息的缺陷.通过分析得出电源利用效率(power usage effectiveness,PUE)值与负荷具有相关性,因此在预测模型中考虑了PUE的影响,并使用自适应矩估计算法进行深度学习.并通过对广州某电力设计院数据中心机房的实际电力负荷进行预测,表明在模型中引入PUE值可以有效提高数据中心短期负荷预测的精度.     

基于EMD-CNN-LSTM混合模型的短期电力负荷预测

为了更有效地提取电力负荷数据中的潜藏特征与隐藏信息,提高电力负荷预测精度,针对负荷具有较强非线性、非平稳性和时序性特点,提出一种基于经验模态分解(empirical mode decomposition,EMD)、卷积神经网络(convolutional neural network,CNN)和长短期记忆网络(long...     

卷积记忆图协同过滤

针对推荐系统中用户和项目的向量表示问题,提出了一种端到端的具有记忆单元的图神经网络.在图神经网络中引入门控循环单元解决高阶连通节点间信息损失问题,可以使得用户和项目节点从高阶邻居获得更加完整的特征信息,然后利用卷积神经网络对网络输出层间的特征向量进行融合以获得不同阶段下用户的偏好.实验结果表明,与最优对比算法相比,采用所提卷积记忆图协同过滤推荐算法在4个数据集上的评分预测性能分别提升了1.98%,4.17%,9.27%和2.70%.     

基于卷积和可变形注意力的脑胶质瘤图像分割

对于脑胶质瘤图像分割这类密集预测的医学影像分割任务,局部和全局依赖关系都是不可或缺的,针对卷积神经网络缺乏建立全局依赖关系的能力,且自注意力机制在局部细节上捕捉能力不足等问题,提出了基于卷积和可变形注意力的脑胶质瘤图像分割方法。设计了卷积和可变形注意力Transformer的串行组合模块,其中卷积用于提取局部特征,紧随其后的可变形注意力Transformer用于捕捉全局依赖关系,建立不同分辨率下局部和全局依赖关系。作为一种CNN-Transformer混合架构,所提方法不需要任何预训练即可实现精准的脑胶质瘤图像分割。实验结果表明：所提方法在BraTS2020脑胶质图像分割数据集上平均Dice系数和平均95%豪斯多夫距离分别为83.56%和11.30 mm,达到了与其他脑胶质瘤图像分割方法相当的分割精度,同时降低了至少50%的计算开销,有效提升了脑胶质瘤图像分割的效率。     

结合改进残差网络和Bi-LSTM的短期电力负荷预测

为充分挖掘电力负荷历史数据的潜在特征,提高短期负荷预测模型的预测精度,提出了一种由改进残差网络（ResNetPlus）、注意力机制（Attention mechanism,AM）和双向长短期记忆网络（Bi-directional long short-term memory,Bi-LSTM）结合而成的残差AM-Bi-LSTM预测模型。该模型将历史负荷、温度和所预测日期的特征作为输入,在Bi-LSTM模型基础上,引入多层改进残差网络提取输入数据的隐藏特征,有效克服了网络隐藏层数加深导致的网络退化问题,使模型的反向传播能力大幅提升;加入注意力机制,分析网络中输入信息与当前负荷的相关性并突出重要信息的影响,从而提高模型的速度与准确率;使用Snapshot策略集成收敛于不同局部极小值的多个模型,以提升模型的准确率和鲁棒性。最后,使用美国ISO-NE数据集进行模拟预测,测试结果表明:所提模型的平均预测精度达到98.27%;在连续的12个月中采用该模型的平均预测精度相比于LSTM模型提高了2.87%;在不同季节下采用该模型的平均预测精度相比于AM-Bi-LSTM和ResNetPlus模型分别提高了1.05%和1.16%。说明所提模型相较于对比模型具有较高的准确率、鲁棒性以及泛化能力。     

注意力卷积GRU自编码器及其在工业过程监控的应用

针对现有故障检测算法难以深入并准确地提取数据内在信息的问题,提出注意力卷积门控循环单元自编码器（CGRUA-AE）深度神经网络和基于CGRUA-AE的过程故障检测方法. 采用卷积门控循环单元（ConvGRU）有效地提取输入数据的空间和时间特征;建立基于ConvGRU的自编码器,采用无监督学习对时间序列数据进行特征提取,引入注意力机制对相应的特征进行加权计算,实现对关键特征的有效选择;分别在特征空间与残差空间上建立基于T ²、SPE统计量的过程监控模型,实现对多元数据有效的特征提取和故障检测. 数值案例和田纳西?伊士曼过程故障检测结果表明,CGRUA-AE具有良好的特征提取能力和故障检测能力,性能优于常用的过程故障检测方法.