基于多尺度卷积和注意力机制的LSTM时间序列分类

时间序列的多尺度特征包含丰富的类别信息,且这些信息对分类具有不同的重要程度,然而现有的单变量时间序列分类模型通常以固定大小的卷积核提取序列特征,导致不能有效地获取并聚焦重要的多尺度特征。针对上述问题,提出一种基于多尺度卷积和注意力机制（MCA）的长短时记忆（LSTM）模型（MCA-LSTM）,它能够关注并融合重要的多尺度特征,从而实现更准确的分类。其中,LSTM使用记忆细胞和门机制控制序列信息的传递,并充分提取时间序列的相关性信息;多尺度卷积模块（MCM）使用具有不同卷积核的卷积神经网络（CNN）提取序列的多尺度特征;注意力模块（AM）融合通道信息获取特征的重要性并分配注意力权重,从而使网络关注重要的时间序列特征。在UCR档案的65个单变量时间序列数据集上的实验结果表明,对比当前最先进的基于深度学习的时间序列分类模型：USRL-FordA（Unsupervised Scalable Representation Learning-FordA）、USRL-Combined （1-NN） （Unsupervised Scalable Representation Learning-Combined （1-Nearest Neighbor）） OS-CNN（Omni-Scale Convolutional Neural Network）、Inception-Time和RTFN（Robust Temporal Feature Network for time series classification）,MCA-LSTM在平均错误率（ME）上分别降低了7.48、9.92、2.43、2.09和0.82个百分点,并取得了最高的算术平均排名（AMR）和几何平均排名（GMR）,分别为2.14和3.23,这些充分体现了MCA-LSTM模型在单变量时间序列分类中的有效性。     

一种基于序列到序列时空注意力学习的交通流预测模型

城市交通流预测是研究交通时空序列数据的动态演化并预测未来交通情况的关键技术,对于智能交通预警及管理决策来讲至关重要.但是有效的交通流建模非常具有挑战性,因为它受到很多复杂因素的影响,例如交通网络的时空依赖性和序列突变性等问题.一些研究工作将卷积神经网络(convolutional neural networks, CNN)或循环神经网络(recurrent neural networks, RNN)用于交通流量预测建模.但是,直接使用经典的深度学习模型难以有效捕获与交通流相关的多通道多变量序列数据中的隐含时空依赖性特征.针对上述问题,提出了一种新的序列到序列时空注意力深度学习框架(spatial-temporal attention traffic forecasting, STATF)来处理城市交通流建模任务,它是一种基于卷积LSTM编码层和LSTM解码层,并辅助注意力机制的端到端深度学习模型,可以自适应地学习与城市交通流相关的多通道多变量时空序列数据中的时空依赖性和非线性相关性特征.基于3个真实的交通流数据集实验结果表明：不管是单步预测还是多步预测条件下,STATF模型都具有更优的预测性能.     

基于神经网络语言模型的时间序列趋势预测方法

对于时序数据的预测,传统方法多数通过分析历史数据预测出后面的一个或者多个具体值,但预测的具体数值准确率较低。为此,提出一种新的时间序列短期趋势预测方法。通过对时序数据进行离散化,用字符表示各个时间段数据的范围,并利用神经网络语言模型预测得到下一个字符,即下一段数据的范围。实验结果表明,与支持向量机、循环神经网络、随机森林等算法相比,在预测结果分为5个区间的情况下,该算法平均预测准确率为56.7%,具有较高的可行性,且由于字符表示带有语义信息,所得预测结果可以反映数据趋势以及趋势变化程度。     

基于1D-CNN-LSTM注意力网络的抽油机井故障诊断

针对传统基于示功图的抽油机井故障诊断方法存在特征提取复杂、模型参数量大、诊断效率低的问题,提出一种基于1D-CNN-LSTM注意力网络的故障诊断方法。将示功图转化为载荷位移序列作为网络输入,使用一维卷积神经网络（1D-CNN）在提取序列局部特征的同时减小序列长度;考虑到序列的时序特性,进一步使用长短时记忆网络（LSTM）提取序列的时序特征;为突出关键特征影响,引入Attention机制,对故障类型相关的时序特征赋予更高的注意力权重;最后将加权特征输入全连接层,利用Softmax分类器实现故障诊断。实验结果表明,所提方法的平均准确率、精确率、召回率和F1值分别达到99.13%、99.35%、99.17%和99.25%,模型大小仅为98 kB。相比基于特征工程的方法具有更高的诊断精度和泛化能力,相比基于二维卷积神经网络（2D-CNN）模型的诊断方法,显著减少了模型参数量和训练时间,提高了故障诊断效率。     

基于注意力机制和生成对抗网络的飞行器短期航迹预测模型

针对单一长短时记忆（LSTM）网络在航迹预测上无法有效提取关键信息以及难以精准拟合数据分布等问题,提出基于注意力机制和生成对抗网络（GAN）的飞行器短期轨迹预测模型。首先,引入注意力机制对航迹赋予不同的权重,以提升航迹中重要特征的影响力;其次,基于LSTM提取航迹序列特征,并经汇聚层汇集时间步长内所有的飞行器特征;最后,利用GAN在对抗博弈下不断优化的特性来优化模型,从而提高模型的准确性。相较于社会生成对抗网络（SGAN）,所提模型在处于爬升阶段的数据集上的平均位移误差（ADE）、最终位移误差（FDE）及最大位移误差（MDE）分别降低了20.0%、20.4%和18.3%。实验结果表明,所提模型能更精确地预测未来航迹。     

基于双重注意力机制和GRU网络的短期负荷预测模型

电力负荷预测对电力系统的部署、规划和运行影响重大,但目前各输入特征对电网负荷情况影响的程度不稳定,且递归神经网络捕获负荷数据的长期记忆能力差,导致预测精度下降。提出一种基于双重注意力机制和GRU网络的预测新模型,利用特征注意力机制自主分析历史信息与输入特征间的关联关系,提取重要特征,并通过时序注意力机制自主选取GRU网络中关键时间点的历史信息,提升较长时间段预测效果的稳定性。在3个公开数据集上的实验结果表明,该模型在预测精度指标上表现良好,对比SVR、KPCA-ELM、DBN、GRU、Attention-GRU、CNN-LSTM、Attention-CNN-GRU模型预测精度分别提高了2.47、1.14、1.93、1.37、1.04、0.74、0.41个百分点。     

基于双层注意力神经网络的入侵检测方法

基于网络的入侵检测技术作为一种重要的安全防护手段,对及时发现网络攻击行为起着重要的作用.目前,采用特征工程的机器学习算法是检测分析网络入侵的常用方法,但是人工设计的特征往往会丢失有效载荷的重要信息;另外,网络攻击流量中的不同数据包信息在入侵检测中所起的作用是不同的,而现有算法大都对重要信息的捕捉能力不足.针对上述问题,...     

基于注意力机制和LSTM的电力通信设备状态预测

随着电力通信网络的快速增长,网络中通信设备的在线状态预测对于提升运维可靠性具有重要意义。在实际场景中,设备工作数据来源复杂,往往存在数据维度高、特征稀疏且模式重复等问题,导致传统的预测方法性能非常受限。本文提出一种基于注意力机制和LSTM（长短时记忆）模块的设备状态预测模型。模型训练分2阶段进行,保证注意力机制能够通过端到端学习对原始特征进行充分降维并提取出最相关的信息进行状态预测。基于电力通信网络真实运维数据进行一系列验证实验,结果表明所提方法在设备状态预测问题中的有效性。     

基于时间注意力机制和EfficientNet的视频暴力行为检测

针对一般的暴力行为检测方法模型参数量大、计算复杂度高、准确率较低等问题,提出一种基于时间注意力机制和EfficientNet的视频暴力行为检测方法。首先将通过对数据集进行预处理计算得到的前景图输入到网络模型中提取视频特征,同时利用轻量化EfficientNet提取前景图中的帧级空间暴力特征,并利用卷积长短时记忆网络（ConvLSTM）进一步提取视频序列的全局时空特征;接着,结合时间注意力机制,计算得到视频级特征表示;最后将视频级特征表示映射到分类空间,并利用Softmax分类器进行视频暴力行为分类并输出检测结果,实现视频的暴力行为检测。实验结果表明,该方法能够减少模型参数量,降低计算复杂度,在有限的资源下提高暴力行为检测准确率,提升模型的综合性能。     

基于注意力机制的CNN-GCN模型及其应用

现有多变量时间序列(multivariate time series,MTS)预测方法模型主要采用循环神经网络和注意力机制提取MTS的复杂时空特征,这些方法对MTS变量之间的空间依赖关系的捕获能力不足。图卷积网络对复杂数据的空间特征提取能力较强。为此提出一种融入图卷积网络、注意力机制和深度学习中的卷积神经网络的三通道网络框架模型,将该框架模型用于多变量时间序列预测任务。实验结果表明,该模型在国际汇率这一多变量时间序列数据集上的性能表现要优于目前较先进的几个基线模型。     

结合注意力机制与LSTM的短期风电功率预测模型

风力发电预测在电力系统的运行中发挥着重要作用。现有风电功率的短期预测模型因风速的复杂性和随机性,难以确定风速与风电功率的非线性映射关系,导致预测精度降低。提出一种结合变分模态分解、双阶段注意力机制、误差修正模块与深度学习算法的短期风电功率预测模型。通过对原始数据进行互信息特征选择,获得与风电功率相关性较强的特征,并对其进行信号预处理,利用变分模态分解对多维特征序列进行分解,得到具有一定中心频率的模态分量,以降低各个特征序列的复杂性和非平稳性。采用基于双阶段注意力机制与编解码架构的长短时记忆（LSTM）神经网络对模态分量进行训练与预测,得到初始预测误差。在此基础上,利用误差修正模块对初始预测误差进行变分模态分解和修正,从而提高模型的预测精度。实验结果表明,与自回归移动平均模型、标准编解码结构的LSTM模型相比,该预测模型的平均绝对误差最高可降低约87%,具有较优的预测性能。     

基于Attention机制的BiLSTM诈骗电话识别

电话诈骗日益猖獗, 严重影响人民的生命和财产安全, 如何有效防范电话诈骗已成为社会的一大焦点问题.本文提出一种基于Attention-BiLSTM模型的诈骗电话识别方法. 该方法以电话文本为数据集, 采用双向长短时记忆神经网络(bi-directional long short-term memory)模型提取句子的长...     

基于序列到序列结构的MOBA游戏局势趋势预测模型

多人在线战术竞技(MOBA)游戏是当前世界最流行的电子游戏类型之一,该类游戏涉及的知识领域相当复杂.随着电子竞技产业的飞速发展,数据分析对MOBA游戏的影响也越来越大,在对该类游戏的实时局势进行评价时,一般是选择过程变量作为指标,例如经济差、经验差,但目前缺少趋势预测的相关研究.针对该问题,提出一种基于序列到序列结构的MOBA游戏趋势预测模型(MOBA-Trend).在预处理阶段,针对该类游戏数据的特点,设计一种数据缩放算法体现数据间的重要度,并使用低通滤波器消除数据噪声;之后将双方阵容与历史战斗信息作为输入特征,构建带有注意力机制的序列模型,同时预测经济差、经验差;最后将模型应用于Dota 2,构建并发布相关数据集.实验结果表明,所提出的模型能够有效地预测序列的变化趋势.     

基于注意力的时空神经网络城市区域交通流量预测

可靠的交通流量预测在交通管理和公共安全方面具有重要意义.然而,这也是一件具有挑战性的任务,因为它易受到空间依赖性、时间依赖性以及一些额外因素(天气和突发事件等)的影响.现有的大部分工作只考虑了交通数据的部分属性,导致建模不充分,预测性能不理想.因此,提出了一种新的端到端的深度学习模型——时空注意力卷积长短期记忆网络(ST-AttConvLSTM),用于交通流量的预测.ST-AttConvLSTM将整个模型分为三个分支进行建模,每个分支经过残差神经网络提取局部的空间特征,同时进一步结合天气等外部因素,再利用卷积长短时记忆网络(ConvLSTM)和注意力模型两种组件来挖掘流量的潜在规律,捕获时空维度上数据的关联性.使用北京市和纽约市两个真实的移动数据集来评估提出的方法,实验结果表明,该方法比知名的基准方法有更高的预测精度.     

基于注意力机制的混合神经网络关系分类方法

关系分类是自然语言处理领域的一项重要语义处理任务。传统的关系分类方法通过人工设计各类特征以及各类核函数来对句子内部2个实体之间的关系进行判断。近年来,关系分类方法的主要工作集中于通过各类神经网络获取句子的语义特征表示来进行分类,以减少手动构造各类特征。在句子中,不同关键词对关系分类任务的贡献程度是不同的,然而重要的词义有可能出现在句子中的任意位置。为此,提出了一种基于注意力的混合神经网络关系分类模型来捕获重要的语义信息,用来进行关系分类,该方法是一种端到端的方法。实验结果表明了该方法的有效性。     

面向预测的长短时神经网络记忆增强机制

基于时序数据建模的长短时神经网络（LSTM）可用于预测类问题。现实场景中,LSTM预测精度往往与输入序列长度相关,有效的历史信息会被新输入的数据淹没。针对此问题,提出在LSTM节点中构建强化门实现对遗忘信息的提取,并与记忆信息按比例选取、融合、输入记忆单元,增加学习过程中的梯度传导能力,使网络对相对较远的信息保持敏感以提升记忆能力。实验采用工业故障数据,当序列长度超过100时,具有强化门机制的改进模型预测误差低于其他LSTM模型。预测精度的差距随序列增加而增大,当序列长度增至200时,改进模型的预测误差（RMSE/MAE）较原模型分别降低了26.98%与35.85%。     

基于分层注意力机制的神经网络垃圾评论检测模型

针对现有垃圾评论识别方法很难揭示用户评论的潜在语义信息这一问题,提出一种基于层次注意力的神经网络检测（HANN）模型。该模型主要由以下两部分组成：Word2Sent层,在词向量表示的基础上,采用卷积神经网络（CNN）生成连续的句子表示;Sent2Doc层,基于上一层产生的句子表示,使用注意力池化的神经网络生成文档表示。生成的文档表示直接作为垃圾评论的最终特征,采用softmax分类器分类。此模型通过完整地保留评论的位置和强度特征,并从中提取重要的和综合的信息（文档任何位置的历史、未来和局部上下文）,挖掘用户评论的潜在语义信息,从而提高垃圾评论检测准确率。实验结果表明,与仅基于神经网络的方法相比,该模型准确率平均提高5%,分类效果显著改善。     

基于多层注意力机制的中文文本蕴涵识别方法

为解决文本蕴涵中无法同时捕捉句间交互信息和全局信息的问题,提出一种基于多层注意力机制的中文文本蕴涵识别方法。使用Bi-LSTM分别对句子进行编码,采用自注意力和协同注意力分别得到句子的全局信息和句子间的交互信息,经过全连接层进行分类得到识别结果。在CNLI数据集上文本蕴涵识别准确率达到了73.88%,在NTCIR-9的RITE数据集上达到了67.63%,实验结果表明,该方法在中文文本蕴涵识别任务中是有效的。     

基于注意力机制的Java API序列推荐方法

软件开发者在软件代码中如何正确使用API和API序列（APIs）,是一个需要学习的困难过程.于是面对不熟悉函数库或像Github那样包含大量APIs的代码仓库,需要一些推荐工具或系统辅助开发者的APIs使用.目前我们所知最好的方法DeepApi能较好理解用户的查询语义,但基于RNN的模型存在问题：（1）没有考虑每个单词的权重;（2）将输入序列压缩为一个固定长度的向量,损失了较多有用信息;（3）句子过长会使关键信息丢失.为此,本文使用了一种基于注意力机制的模型,可以区分每个单词的重要程度并解决长查询输入所产生的长距离依赖问题.我们从Github上面爬取了649个Java开源项目,经过处理得到有114 364对注释-API序列的训练集.实验结果表明我们的方法比DeepApi方法对于BLUE指标在Top1、Top5、Top10上均能提升约20%以上.     

基于时空序列的Conv-LSTM航班延误预测模型

精准的航班延误预测结果可以为大面积航班延误的预防提供巨大的参考价值。航班延误预测是在特定空间下做时间序列预测,然而目前已有预测方法多为两种或多种算法的结合,存在算法间的融合问题。针对上述问题,提出了一种综合考虑时空序列的卷积长短时记忆（Conv-LSTM）网络航班延误预测模型。所提模型在长短时记忆（LSTM）网络提取时间特征的基础上,将网络的输入和权重矩阵进行卷积来提取空间特征,从而充分利用数据集包含的时间和空间信息。实验结果表明,与LSTM、仅考虑空间信息的卷积神经网络（CNN）模型相比,Conv-LSTM模型的准确率分别提高了0.65个百分点和2.36个百分点。由此可见,同时考虑时空特性可以在航班延误问题中获得更精确的预测结果。此外,基于所提模型设计并实现了基于浏览器/服务器（B/S）架构的航班延误分析系统,并且该系统也可以应用于空中交通管理局流量控制中心。