引入BL-Seq2seq模型进行负荷预测

短期负荷预测在电力系统运行和调度中起着重要作用,为了更好地提取数据中蕴含的有效信息,提升短期负荷预测精度,本文引入Seq2seq算法的注意力机制提出了多层Bi-LSTM的Seq2seq深度学习模型(BL-Seq2seq)实现短期用电负荷预测.其中Seq2seq的编码端由多层Bi-LSTM组成,将输入数据进行编码,并在网络末端输出编码后的最终状态;Seq2seq解码端为单层LSTM,它将编码端的最终状态作为初始输入状态,同时每一步的输出值作为下一步的输入值.利用用电负荷实测数据,基于Keras平台进行仿真,仿真结果表明,与多个经典的深度学习的短期用电负荷预测模型相比,所提BL-Seq2seq模型的预测误差明显降低,大大提升了短期用电负荷预测精度.     

引入BL-Seq2seq模型进行负荷预测

短期负荷预测在电力系统运行和调度中起着重要作用,为了更好地提取数据中蕴含的有效信息,提升短期负荷预测精度,本文引入Seq2seq算法的注意力机制提出了多层Bi-LSTM的Seq2seq深度学习模型(BL-Seq2seq)实现短期用电负荷预测.其中Seq2seq的编码端由多层Bi-LSTM组成,将输入数据进行编码,并在网络末端输出编码后的最终状态;Seq2seq解码端为单层LSTM,它将编码端的最终状态作为初始输入状态,同时每一步的输出值作为下一步的输入值.利用用电负荷实测数据,基于Keras平台进行仿真,仿真结果表明,与多个经典的深度学习的短期用电负荷预测模型相比,所提BL-Seq2seq模型的预测误差明显降低,大大提升了短期用电负荷预测精度.     

基于并行双向时间卷积网络和双向长短期记忆网络的轴承剩余使用寿命预测方法

在基于深度学习的轴承剩余使用寿命(RUL)预测方法中,时间卷积网络(TCN)忽略了振动数据中未来时间信息的重要性,长短期记忆网络(LSTM)难以有效地学习振动数据的长时间序列特征.针对以上问题,提出一种基于并行双向时间卷积网络(Bi-TCN)和双向长短期记忆网络(Bi-LSTM)的轴承RUL预测方法.首先,对多传感器数据进行归一化处理,并将每个传感器数据进行通道合并,实现多传感器数据的高效融合;然后,采用Bi-TCN和Bi-LSTM构建并行的双分支特征学习网络,其中Bi-TCN提取数据的双向长时间序列特征, Bi-LSTM提取数据的时间相关特征;同时,设计一种特征融合注意力机制,该机制分别计算Bi-TCN和Bi-LSTM的输出权重,以实现两种网络输出特征的自适应加权融合;最后,融合特征通过全连接层并输出轴承RUL的预测结果.利用西安交通大学轴承数据集和PHM 2012轴承数据集进行RUL预测实验,实验结果表明,与其他先进的预测方法相比,所提出方法可以准确预测更多类型轴承的RUL,同时具有更低的预测误差.     

基于自注意力机制的中文标点符号预测模型

中文标点符号预测是自然语言处理的一项重要任务,能够帮助人们消除歧义,更准确地理解文本。为解决传统自注意力机制模型不能处理序列位置信息的问题,提出一种基于自注意力机制的中文标点符号预测模型。在自注意力机制的基础上堆叠多层Bi-LSTM网络,并结合词性与语法信息进行联合学习,完成标点符号预测。自注意力机制可以捕获任意两个词的关系而不依赖距离,同时词性和语法信息能够提升预测标点符号的正确率。在真实新闻数据集上的实验结果表明,该模型F1值达到85.63%,明显高于传统CRF、LSTM预测方法,可实现对中文标点符号的准确预测。     

融合注意力机制的人机交互信息半监督敏感数据抽取算法

为提高敏感数据抽取效果,提出了融合注意力机制的人机交互信息半监督敏感数据抽取方法。融合类卷积以及人机交互注意力机制构建融合交互注意力机制双向长短词记忆（Bi-LSTM-CRF）模型,通过模型的类卷积交互注意力机制将敏感词转化为字符矩阵,采用Bi-LSTM对该矩阵进行编码获得敏感词字符级特点的分布式排列,通过Bi-LSTM对该分布式排列的二次编码获得敏感词上下文信息的隐藏状态,基于该隐藏状态通过类卷积注意力层与交互注意力层进行注意力加权,获得类卷积注意力矩阵与交互注意力矩阵,拼接两个矩阵得到双层注意力矩阵,利用交互注意力层门控循环单元升级双层注意力矩阵成新的注意力矩阵,经全连接降维获取敏感词对应的预测标签,实现人机交互信息半监督敏感数据抽取。实验结果说明：该方法可有效降低敏感数据抽取复杂度,具有较高的敏感数据抽取查全率。     

基于多特征融合的航空发动机剩余寿命预测

针对航空发动机剩余可用寿命(RUL)预测任务中代表性特征提取不充分导致RUL预测精度较低等问题, 提出了一种基于多特征融合的航空发动机RUL预测方法. 利用指数平滑法(ES)降低原始数据中的噪声干扰, 得到相对平稳的特征数据. 使用双向长短期记忆网络(Bi-LSTM)提取特征数据的时序特征, 利用多头注意力机制(Multi-attention)为时序特征赋予权重; 设计卷积长短期记忆网络(Conv-LSTM)提取特征数据的时空特征; 提取特征数据的手工特征并使用Softmax函数计算权重. 设计一个特征融合框架将上述特征进行融合, 然后通过全连接网络回归实现最终RUL预测. 使用C-MAPSS数据集对模型进行仿真验证, 与Bi-LSTM等模型进行对比, 模型RUL预测精度更高, 适应性更好.     

基于Bi-LSTM和多通道注意力的电网施工中违章量预测方法

针对配电网施工中违章现象频发导致监管工作中出现的频繁调度问题，提出一种基于双向长短时记忆（Bi-LSTM）和多通道注意力机制的电网施工作业违章量预测方法。首先，通过Word-Embedding将文本转换为词向量；其次，通过Bi-LSTM网络来捕捉违章数量影响因素的浅层语义和时序特征；最后，设计多通道注意力机制，通过多组权重向量来学习多个影响因素以及各因素之间的复杂关系，从而提高模型的特征学习能力。以云南地区真实数据为算例开展实验，所提模型在一天预测中的平均绝对百分比误差（MAPE）与均方根误差（RMSE）两个指标分别达到了2.58%和5.2，从而验证了模型在预测精度和算法鲁棒性方面的优越性。该方法不依赖于任何具体情境，在实际工况环境中具有较好的推广价值。     

基于时间图注意力的交通流量预测模型

交通状况预测是智能交通系统的一个重要组成部分,而车流量是交通状况最直接的体现,因而对交通流量进行预测具有重要的应用价值。一方面,城市中的道路本身带有空间拓扑性质,另一方面车流量随时间动态变化。因此交通流量预测问题的关键在于对数据中存在的时间和空间依赖进行建模。针对这一特性,使用神经网络模型和注意力机制来探索交通流量数据中的时空依赖关系,提出基于时间图注意力的交通流量预测模型。空间依赖方面,使用图卷积网络与注意力结合的学习算法对不同影响程度节点分配不同的权重,加入节点自适应学习,有效提取空间特征;时间依赖方面,使用时序卷积网络对时间特征进行提取,通过扩张卷积扩大感受域从而捕获较长时间序列数据的特征。由图注意力网络和时间卷积网络构成一个时空网络层,最终连接到输出层输出预测结果。该模型使用图卷积神经网络和注意力机制结合的方式提取空间特征,充分考虑了道路间的空间关系,利用时序卷积网络捕获时间特征。在两个真实的数据集上进行实验后发现,在未来15 min、30 min、60 min的时间段内该模型都有良好表现,结果优于现有基准模型。     

基于Bi-LSTM和自注意力的恶意代码检测方法

针对当前恶意代码检测方法严重依赖人工提取特征和无法提取恶意代码深层特征的问题,提出一种基于双向长短时记忆(Bidirectional Long Short Term Memory,Bi-LSTM)模型和自注意力的恶意代码检测方法。采用Bi-LSTM自动学习恶意代码样本字节流序列,输出各时间步的隐状态;利用自注意力机制计算各时间步隐状态的线性加权和作为序列的深层特征;通过全连接神经网络层和Softmax层输出深层特征的预测概率。实验结果表明该方法切实可行,相较于次优结果,准确率提高了12.32%,误报率降低了66.42%。     

基于时空特征的公交站点短时客流量预测

针对以往公交客流量预测只考虑时序特征而忽略空间维度特征的缺点,提出一种结合注意力机制的图卷积长短期记忆单元预测模型(AGLSTM)来预测公交站点的客流量。该模型运用图卷积网络(GCN)对每个时刻的公交站点客流量进行空间维度的特征提取,使用长短期记忆网络(LSTM)对公交站点客流量进行时间特征的提取。为了更关注公交站点客流量有重大影响时刻的特征,该模型还引入了注意力机制模块。注意力机制可以通过计算不同时刻长短期记忆单元隐藏状态的权重,来评估各隐藏状态对输出结果的影响。通过对北京4条公交线路的真实刷卡数据进行实验分析,并与部分经典预测算法进行对比,证明了提出的考虑时空特征的组合模型能够有效地提高模型的预测精度。     

基于图神经网络和长短期记忆模型的房价预测方法

针对目前仅单独考虑价格序列中样本的趋势或仅考虑多个关联属性与价格间的函数关系,而不能更准确地进行房价预测的问题,构建了时空注意力图卷积长短期记忆模型AG-LSTM,包含局部特征提取模块、区域特征提取模块、复合预测模块。局部特征提取模块分别使用同构图和异构图神经网络提取各小区及价格关系属性、各小区和配套邻居节点相关性的特征信息;区域特征提取模块先对邻近小区节点进行聚类,再结合图注意力网络获得小区节点对所属区域的重要性程度,建立区域与小区之间的映射矩阵,根据小区节点信息和映射矩阵得到区域特征;复合预测模块使用长短期记忆模型对由局部特征和区域特征组成的复合特征进行时序建模,实现房价预测。以链家网北京房价数据进行了实验,结果表明AG-LSTM预测结果优于已有基线模型。该模型同时挖掘了小区间位置关系、小区与其配套间位置关系、多个关联属性、价格时序趋势对房屋价格的影响,较好地实现了房屋价格的预测。     

基于注意力机制的TCN-BiLSTM船舶轨迹预测

针对现有船舶轨迹预测模型预测准确度低的问题,提出一种基于注意力机制的时域卷积网络和双向长短时记忆网络（TCN-ABiLSTM）的船舶轨迹预测模型。首先搭建TCN网络提取船舶轨迹的序列特征,之后将注意力机制引入网络调整不同属性特征的权值,凸出对轨迹预测影响更大的特征,最后搭建Bi-LSTM网络学习轨迹序列的前后状况来提取序列中更多的信息,实现对船舶未来轨迹的预测;通过实际船舶AIS数据对网络进行训练与测试实验,实验结果表明,TCN-ABiLSTM模型相比LSTM、Bi-LSTM、TCN、BiLSTM-Attention、TCN-Attention模型船舶轨迹预测精度更高,拟合程度更好,验证了所设计的TCN-ABiLSTM模型在船舶轨迹预测方面的的有效性和实用性。     

多因子长时序信息联合建模的深度卷积卡钻事故预测

为充分运用钻井监测平台多个监测因子的长时序信息,实现海上石油钻井卡钻事故的准确预测,提出一种多因子长时序信息联合建模的深度卷积卡钻预测方法 (CNN-MFT),利用自注意力机制结合卷积网络对多个监测因子的时序信息进行联合建模,同时考虑当前时刻各因子的具体值的信息以及各因子的历史时序信息,实现准确的卡钻预测.使用海上钻井平台实际监测数据开展验证对比,与目前常用的基于随机森林(RF)、SVM等8种卡钻预测方法相比,所提的CNN-MFT方法在50%和70%等不同训练样本比例的条件下,其卡钻事故预测准确率最高,且稳定性强,可为海上石油事故预测应用提供关键算法支撑.     

基于双向LSTM卷积网络与注意力机制的自动睡眠分期模型

针对现阶段深度睡眠分期模型存在的梯度消失、对时序信息学习能力较弱等问题,提出一种基于双向长短时记忆卷积网络与注意力机制的自动睡眠分期模型。将少样本类别的睡眠脑电数据通过过采样方式进行数据增强后,利用带残差块的卷积神经网络学习数据特征表示,再通过带注意力层的双向长短时记忆网络挖掘深层时序信息,使用Softmax层实现睡眠分期的自动判别。实验使用Sleep-EDF数据集中19晚单通道脑电信号对模型进行交叉验证,取得了较高的分类准确率和宏平均F₁值,优于对比方法。该方法能够有效缓解睡眠分期判别中少数类分类性能较低的问题,并提高了深度睡眠分期模型的整体分类性能。     

融合时域卷积、残差结构和注意力机制的时序预测

对于具有长、短期的时间关联性、非线性和非平稳性等特点的时序数据,传统时序预测模型对此类数据的预测效果不佳.为进一步提高时序预测模型的准确率和效率,考虑时域卷积提取时间特征的有效性,以及残差结构加快模型收敛的优越性,同时考虑注意力机制对参数的强化作用,提出了一种融合时域卷积、残差结构和注意力机制的时序预测模型(Attention Temporal Convolutional Neural Network,A-TCNN).首先,通过多层残差时域卷积层提取时序数据的长、短期特征;其次,通过注意力机制加强对输出影响较大的参数的权重;最后,通过一个全连接层得到输出结果.在实际医院流水的数据集上,与常规网络对比,比较多种多步预测策略.实验结果表明,该模型与常规模型相比具有更好的预测精度和效率.     

基于双重注意力机制改进的DA-LSTM时间序列预测模型

为了提高时间序列预测的精确度和收敛速度，提出一种基于双重注意力机制改进的DA-LSTM时序预测模型。通过引入注意力机制重构LSTMcell结构，减少模型参数提高收敛速度；自注意力层对各时间步的输出计算自注意力权重，充分利用细胞记忆信息，提高预测精度。在Beijing PM_2.5和SML2010数据集上，所提出的模型相较于LSTM在均方根误差(RMSE)上分别降低4%和25.4%,相比其他基准方法也有明显提升。     

基于注意力机制优化EDM机场客流量预测

针对标准编码解码模型(Encoder-Decoder Model,EDM)对于时间序列数据提取能力弱的问题,提出一种融合双向长短时记忆网络(Bi-directional Long Short-Term Memory,Bi-LSTM)和注意力机制(Attention)的编码解码模型.通过Bi-LSTM对输入数据从正反两个方向进行特征提取,基于注意力机制将所得到的特征根据不同时刻分配不同权重,根据解码阶段的不同时刻生成相应背景变量,进而实现对机场客流量的预测.选取上海虹桥机场为例用该算法进行实验仿真,实验结果表明,本文所提方法与RNN、LSTM相比,平均标准误差降低了57.9％以上,为机场客流量预测提供了一种新的思路.     

融入注意力机制的越南语组块识别方法

对于越南语组块识别任务,在前期对越南语组块内部词性构成模式进行统计调查的基础上,该文针对Bi-LSTM+CRF模型提出了两种融入注意力机制的方法: 一是在输入层融入注意力机制,从而使得模型能够灵活调整输入的词向量与词性特征向量各自的权重;二是在Bi-LSTM之上加入了多头注意力机制,从而使模型能够学习到Bi-LSTM输出值的权重矩阵,进而有选择地聚焦于重要信息。实验结果表明,在输入层融入注意力机制后,模型对组块识别的F值提升了3.08%,在Bi-LSTM之上加入了多头注意力机制之后,模型对组块识别的F值提升了4.56%,证明了这两种方法的有效性。     

基于Pytorch和神经网络的云数据中心故障检测

随着现代科技的迅猛发展,数据中心已经成为信息化社会的IT基础设施,存储管理大量关键数据.当前,数据中心的管理大多是依靠经验丰富的专业运维人员使用计算机自动监测机房设备各项指标,并对设备做出多次检查,耗时且繁琐.深度学习和人工智能技术当前吸引了越来越多的注意力,并在互联网和工业领域取得了许多成功应用.本文设计了基于门控循环单元的深度学习框架对云数据中心机房设备故障进行自动化的诊断,并联合时序信息基于过去设备的运行状态信息对未来状态进行预测.其中,序列数据以固定时间窗分割后输入双向GRU单元层,使网络学习到数据点的前后时间依赖关系.在GRU层输出基础上,我们添加了自注意力层和embedding层,让神经网络能够学习到对故障预测更有效的特征并进一步对特征进行降维.最后,多层感知机被用于对降维后的数据进行分类.基于真实数据集的实验结果显示,本文提出的基于GRU的深度学习框架相比LSTM, SVM和KNN等常用模型能够更准确地检测出云数据中心故障.     

基于双重注意力机制和时间因子的深度推荐模型

现阶段大多数基于评论文本的推荐模型没有从多个视角充分挖掘用户评论的价值,忽略了评论文本在不同层面的重要度信息。基于此,论文提出一种基于双重注意力机制和时间因子的深度推荐模型DATCoNN。该模型使用并行的卷积神经网络结合两层注意力层分别挖掘单词层面和评论层面的重要度信息,然后使用时间因子进一步拟合用户对项目兴趣度的变化情况,最终采用因子分解机实现评分预测。模型在Amazon的三组不同领域数据集上进行对比实验评估,发现论文提出的推荐模型性能最优,同时该模型具有较好的可解释性。