基于融合注意力机制改进双向长短时记忆网络在电动汽车充电负荷中的预测研究

电动汽车的规模化发展以及充电设施的持续建设将给电网带来重要影响,严重威胁到了电力系统频率稳定性。结合电动汽车充电负荷数据特点,在深度学习方法的基础上提出基于融合注意力机制（attention mechanism,AM）改进的双向长短时记忆网络模型（long short-term memory network, LSTM）,实现对电动汽车的优化调度。通过使用实测电动汽车充电负荷数据,比较了所提方法与已有方法的性能。结果表明,在LSTM和（bidirectional long short-term memory network, BiLSTM）分别添加了注意力机制的（long short-term memory attention network,LSTMA）和（bidirectional long short-term memory attention network,BiLSTMA）模型相对于已有方法,在预测结果评价指标上都有明显的提升,证明了注意力机制在电动汽车充电负荷序列预测上的有效性。     

基于CEEMDAN和CNN-LSTM的滚动轴承故障诊断

针对滚动轴承工作环境复杂，轴承振动信号受噪声干扰难以提取故障特征以及传统故障诊断算法准确率较低的问题，提出了利用自适应噪声完备集合经验模态分解算法（CEEMDAN）联合卷积神经网络（CNN）内嵌长短期记忆神经网络（LSTM）的滚动轴承故障诊断方法。首先，利用CEEMDAN算法对轴承原始振动信号进行分解得到本征模态函数（IMF）；然后计算重构后的信号的排列熵，归一化后作为特征向量；最后将特征向量输入至CNN-LSTM结合建立的深度学习模型中进行诊断识别。结果表明：所提方法具有更快的拟合速度和更高的准确率，平均故障诊断准确率达到98.63%。     

基于智能优化深度网络的轨道电路故障诊断研究

针对无绝缘轨道电路故障的随机性和复杂性,采用单一诊断模型存在提取特征片面,且模型结构经验设计不合理的问题,提出一种智能优化深度网络的故障诊断方法。首先以轨道电路信号集中监测系统的6个电压检测量建立故障特征集,使用卷积神经网络（CNN）提取特征空间信息,长短期记忆网络（LSTM）提取时间特征信息,从而让轨道电路故障诊断所提取的特征兼具时空信息;同时,引入遗传算法（GA）优化上述深度神经网络的结构及参数,并结合强化学习中的Q-learning方法对两个组合网络特征级的输出权重进一步优化;最后,使用多层感知器（MLP）对深度网络的分类误差进行拟合修正,提高模型对轨道电路的故障诊断精度。仿真结果表明,利用智能优化的深度网络模型对轨道电路的故障诊断相较于单一模型、精炼设计的组合模型识别率可达99.28%,评价指标等均有所提升,具有更高的故障诊断准确度,证明了智能优化深度网络能进一步提高轨道电路的故障诊断性能。     

机器学习在电站设备状态分析中的应用

本文对电站设备状态分析中学习向量量化（LVQ）神经网络和深度学习算法循环递归长短期记忆（LSTM）神经网络进行了详细分析,利用LSTM神经网络对磨煤机设备进行状态分析,将LSTM神经网络中最后一个隐含层的激励函数设为Softmax函数,其输出值表示设备状态的健康程度及设备可能发生事故的概率,并将LSTM神经网络和LVQ神经网络进行设备状态分析对比。结果表明,利用LSTM神经网络得到的训练模型可以得到设备状态分类更高的准确率,减少在设备状态评判中的漏报率和误报率。     

基于CNN-LSTM-Attention的配电网拓扑实时辨识方法

配电网中准确的拓扑结构辨识对运行和控制具有重要意义,针对实际配电网拓扑结构变动的情况,搭建了可智能辨识配电网拓扑结构的深度学习模型。首先,生成不同拓扑结构下的配电网量测数据并进行数据预处理。其次,构建了融合CNN（卷积神经网络）、LSTM（长短期记忆网络）和Attention（注意力机制）的拓扑结构智能辨识模型,并结合历史量测数据对模型训练并测试。最后,在IEEE 33节点和PG&E69节点配电系统仿真算例中,验证了该基于CNN-LSTM-Attention模型的拓扑辨识方法相较于传统辨识方法在辨识精度上的优越性,实现了该模型的在线应用。     

深度学习提取时空特征的堆石坝变形预测模型

当前堆石坝变形智能预测模型较少关注多测点变形时间序列在时空特征上的不均衡性,因此限制了变形预测精度的进一步提高。为了解决该问题,本文提出了一种结合卷积神经网络、注意力机制和长短期记忆神经网络的堆石坝变形预测模型（CTSA-Conv LSTM）,该模型可以提取变形时空特征,对不同时刻和不同位置的测点赋予不同的权重系数,实现对堆石坝整体变形规律的自适应学习。以水布垭面板堆石坝为例,采用该模型和最大断面所有测点的变形监测数据,验证了模型的有效性。模型预测效果优于Holt-Winters等常规时序预测模型,预测精度也优于笔者提出的基于LSTM的变形预测模型。通过深度学习提取监测数据时空特征,进一步提高了大坝变形预测精度,为大坝安全监控模型提供了新的思路。     

基于 RA-LSTM 的轴承故障诊断方法

为解决轴承故障诊断时网络模型不能对一维振动信号中的特征按照重要程度分配不同的权重,导致无法提取具有代表 性意义的特征,进而影响诊断模型的精确度与鲁棒性的问题。 提出基于反向注意力机制( reverse attention mechanism,RA)的特 征突出处理方法,通过将特征进行注意力反向与剪枝,降低非重要特征占比,从而对重要特征进行凸显。 并通过长短期记忆网 络(LSTM)进一步学习特征之间的时间信息后通过全连接层进行故障类型分类。 通过实验选取了最优数据截取长度、剪枝超参 数并对信号添加噪声后模型的稳定性进行了验证。 实验结果表明所提出的 RA-LSTM 轴承故障诊断方法具有优异的故障诊断 性能,故障诊断精度能达到 100%,且在添加噪声后模型的诊断能力仍具有优异的鲁棒性。     

基于时空和频域特征的EEG帕金森疾病识别

脑电图(EEG)中蕴含着有关脑功能的丰富信息，这些信息对不同类型神经系统疾病的检测和诊断非常重要。针对单一特征无法充分表达脑电信号的问题，本文融合了频域特征和时空信息来更好的对信号进行表征，并提出一种基于时空和频域特征的注意力网络(STFACN)用于帕金森疾病(PD)的自动检测。在频域角度，利用快速傅里叶变换法从多通道脑电图中求取Delta、Theta、Alpha频段的平均功率特征。同时构建基于时空特征的紧凑型卷积神经网络，并将通道注意力机制嵌入到网络中，自适应提取表征PD的时空特征。最后将基于频域特征的模型与基于时空特征的紧凑型卷积神经网络模型进行融合，在新墨西哥州大学(UNM)数据集上进行实验，特异性、敏感性、准确率分别达到87.97%、84.39%、86.89%。在爱荷华大学(UI)数据集上进行跨数据集实验，准确率达到77.33%。实验结果表明：与现有的方法相比，本文提出的方法能够从原始脑电图中挖掘出有效特征，在基于EEG的帕金森疾病识别问题上准确率高，泛化能力强。     

基于多层注意力机制的4DC-BGRU脑电情感识别

为了提高脑电情感识别的准确率，提取更丰富的特征信息，提升网络模型稳定性，提出一种改进的基于多层注意力机制的脑电情感识别模型。在特征提取方面，将原始脑电信号转换成四维空间 频谱 时间结构，提取丰富的脑电信息。在网络模型方面，构建双路卷积神经网络学习空间及频率信息，有效提取多尺度特征，增加网络宽度来学习更丰富的特征信息；在卷积层及池化层后融入批量归一化层，防止过拟合。最后，构建多层注意力机制 双向门控循环单元模块处理时间特征并配合Softmax分类。采用双向门控循环单元学习更全面的上下级特征信息。利用多层注意力机制使四维特征中不同时间切片与整体时间切片之间产生关联。该文在DEAP数据集唤醒度和效价两个维度进行了评估实验，二分类平均准确率分别为96.38%和96.73%，四分类平均准确率为93.78%。实验结果显示，与单路卷积神经网络及其他文献算法相比，该文算法的平均准确率有所提高，表明该算法可以有效提升脑电情感识别性能。     

基于TCA-CNN-LSTM的短期负荷预测研究

为有效地挖掘历史数据信息,提高短期负荷预测准确性,文章针对电力负荷时序性和非线性的特点,在原有一维卷积神经网络(Convolutional Neural Network, CNN)-长短期记忆网络(long short term memory,LSTM)模型的基础上,分别在CNN和LSTM侧嵌入通道注意力机制(Channel Attention,CA)和时序注意力机制(Temporal Attention,TA),构建CA-CNN和TA-LSTM模块,然后结合CA-CNN和TA-LSTM模块构建TCA-CNN-LSTM的层级注意力机制短期负荷预测模型。同时,为提高训练数据的质量并加快模型训练速度,运用K-means和决策树模型选取相似日数据, 构建基于相似日数据的向量特征时序图,最后将时序图输入TCA-CNN-LSTM负荷预测模型完成预测。以澳大利亚某地真实数据集和2016电工杯数学建模竞赛电力负荷数据为算例,分别应用TCA-CNN-LSTM模型与支持向量机、多层感知机(Multilayer perceptron, MLP)、LSTM、CNN-LSTM和CNN-Attention-LSTM模型的预测结果进行对比,实验结果表明所提方法具有更高的预测精度。     

基于离散小波变换的卷积自编码运动想象脑电信号的分类

左右手运动想象脑电信号(MI-EEG)分类准确率低,制约了相关脑-机接口技术的发展。实验采集了16名健康受试者的运动想象脑电信号,提出了一种基于离散小波变换(DWT)和卷积自编码(CAE)的运动想象脑电信号分类算法。利用离散小波变换将EEG转换成时频矩阵,输入到卷积自编码网络中进行脑电信号的特征分类。该算法在实验数据集和公开数据集上测试都得到了较好的分类结果,静息-想象左手、静息-想象右手、想象左手-想象右手3组EEG在实验数据集上分类准确率分别为97.36%、97.27%、86.82%,在公开数据集上分类准确率分别为99.30%、98.23%、92.67%。离散小波变换结合卷积自编码网络模型在左右手运动想象脑电信号分类应用中比其他深度学习方法(CNN、LSTM、STFT-CNN)性能更优。     

基于PSO-Softattention双向LSTM算法的光伏发电量预测研究

为解决传统的光伏发电量预测中数据特征方程较为粗糙、预测精度不高等问题,提出一种基于PSO-Soft attention双向LSTM算法的光伏发电功率预测算法,在前向传播过程中通过自适应学习策略的PSO算法对LSTM模型的关键参数进行寻优,同时优化了双向LSTM网络的反向传播过程,加入了Soft attention机制使模型收敛性更强,重新构造该模型为八层网络结构且采用两层卷积层,同时解析了PSO-Soft attention双向LSTM算法的光伏发电功率预测过程。实验结果表明,相较于SVM模型以及LSTM模型,所提预测模型的预测精度提升了2%左右。     

一种轴承故障诊断的多任务深度学习方法

提出一种基于多任务深度学习的故障诊断方法,将故障诊断任务分为故障分类和损伤程度识别。 共享层采用卷积神经 网络提取监测振动信号中蕴含的故障特征信息,两个子任务模块使用门控循环单元从共享层的输出中进一步提取特征,进行故 障分类和损伤程度识别。 在多任务深度学习方法中两个子任务模块可以通过共享层相互影响,提高模型的特征提取能力,获得 更好的故障诊断性能。 在轴承数据集上进行故障诊断实验,同时与故障分类单任务模型和损伤程度识别单任务模型进行对比, 以检验多任务深度学习方法的故障诊断性能,实验结果显示多任务深度学习模型在测试集上两个任务同时正确的准确率为 99. 79%。 为进一步验证多任务深度学习方法的特征提取能力,在测试集中添加不同程度的高斯噪声进行故障诊断实验,在较 强噪声情况下,多任务深度学习模型的准确率明显高于单任务深度学习模型。 研究结果表明,多任务深度学习模型与单任务深 度学习模型相比故障诊断准确率更高,同时抗噪性能更好,具有一定的实用价值。     

基于图注意力网络的输电线路故障诊断

以往基于深度学习的输电线路故障诊断，依赖数字信号处理技术提取故障特征。为了改进前述方法，引入了图深度学习理论，提出了一种基于图注意力网络(GAT)的智能故障诊断方法。将原始三相电流电压信号转化为图数据，利用多个图注意力层自动提取特征信息，从而建立了数据从输入端到输出端之间的映射关系，实现输电线路端到端的故障诊断。在400 kV三相输电线路和IEEE13总线电网系统上验证该方法的准确性和有效性，分别对五种短路故障和无故障情况设置不同初始相角、过渡电阻和故障位置进行仿真分析。结果表明，该方法故障诊断准确率达到9975%以上，与现有几种智能故障诊断算法对比其性能最优。同时，该方法在不同白噪声下依然保持较高的故障识别率，具有良好的鲁棒性和泛化能力，为电力输电线路诊断技术提供了一定的研究思路。     

基于WDCNN-SVM深度迁移学习的燃气轮机转子故障诊断方法

针对在使用深度学习对燃气轮机转子故障诊断过程中,因振动信号样本中正常运行数据多、故障数据少而使得模型故障诊断准确率低的问题,提出了一种采用深度迁移学习对燃气轮机转子进行故障诊断的方法。首先,使用典型行业样本数据集预训练第一层宽卷积核深度卷积神经网络（WDCNN）模型,给予模型初始的权重。其次,在源域中,使用某型燃气轮机试车获得的大量正常运行样本更新WDCNN模型的权重;在目标域中,利用源域训练的卷积层提取燃气轮机的正常和故障数据样本特征,然后使用支持向量机（support vector machines, SVM）进行分类识别,从而达到燃气轮机故障识别的目的。试车数据实验结果表明,该方法能够实现96%的识别准确率,验证了将轴承数据集预训练的深度学习模型迁移到燃气轮机转子领域进行故障诊断的可行性。     

基于卷积神经网络的脑电信号情绪分类方法

情绪作为人脑的高级功能,对人们的心理健康和个性特征有很大的影响。通过对脑电情绪数据集进行情绪分类,能够为今后实时监控正常人或抑郁病人的情绪提供进一步理论及实践依据。因此文章运用公开的脑电情绪数据集所提取的微分熵特征,并使用传统的滑动平均和线性动态系统方法,采用深度学习中的卷积神经网络作为基本前提,设计了一个卷积神经网络的脑电信号情绪分类模型,其包括4个卷积层、4个最大池化层、2个全连接层和1个Softmax层,并采用批归一化使参数搜索问题变容易,抑制模型过拟合。实验结果表明,利用该模型对SEED数据集的3种情绪识别的平均准确率达到了98.73%,精确率、召回率和F1分数分别为99.69%、98.12%和98.86%,ROC曲线下面积达0.998。与最近的类似工作相比,该文提出的卷积神经网络结构对于脑电信号情绪分类具有一定优越性。     

Deep attention and generative neural networks for nonintrusive load monitoring

In recent years, Nonintrusive Load Monitoring (NILM) has been considered a crucial problem for energy monitoring and management, especially in the residential sector. In this area, deep learning has shown state-of-the-art performance due to its many tunable parameters that help its generalization power extract highly nonlinear patterns from the residential load. This paper reviews the recent discriminative deep neural networks proposed for NILM and develops attention-based deep neural architectures to improve the accuracy of current studies. In this context, we present a novel attention-based variational autoencoder and sparse coding model which uses the long short-term memory (LSTM) network and a dictionary learning module for generative disaggregation of residential loads. We show how the attention mechanisms can help deep learning better understand the correlations between NILM features and how generative pattern recognition can help capture the underlying probability densities of the features thereby improving the NILM accuracy for cutting-edge deep learning solutions. Our numerical results on the real-world Reference Energy Disaggregation Dataset (REDD) show remarkable improvements compared to the state-of-the-art using disaggregation accuracy and F-score metrics.     

基于并联CNN-LSTM的弱受端直流输电系统故障诊断

现有的故障诊断手段面对复杂电网时,难以精确提取故障特征,急需适应性强、识别率高的故障诊断方法。鉴于此,提出一种基于压缩感知与并联卷积神经网络(CNN)和长短期记忆网络(LSTM)结合的电网故障诊断方法。搭建永富直流输电系统模型采集原始故障数据,原始故障数据应用压缩感知原理进行压缩采样,获得压缩域故障信号,以提高网络的计算效率。然后搭建了麻雀搜索算法（SSA）优化的并联CNN-LSTM深度学习模型。通过SSA确定并联CNN-LSTM的网络结构及参数,利用并联CNN-LSTM深度学习模型直接在故障的压缩域挖掘故障波形特征和时序特征,并对故障进行识别。仿真结果表明该模型相较于传统方法具有更高的故障诊断精度。