基于注意力时空解耦3D卷积LSTM的视频预测

为高效提取视频时空特征以提高视频预测准确性,提出了注意力时空解耦3D卷积LSTM算法.首先,将卷积LSTM内部单元的传统2D卷积运算改为3D卷积,额外提取视频帧间短期空间运动信息;并借助注意力机制自动捕捉视频帧间长期动态信息的相关性.其次,由于卷积LSTM网络中特征信息在所有层的Z型传递方式会导致梯度消失,为此在网络结构中加入层间高速通道优化不同层间LSTM单元视频信息流的传递过程.同时,时间特征和空间特征在网络中会彼此干扰学习冗余功能,造成特征信息的低效获取以及网络预测质量的降低,为此在损失函数中加入时空解耦运算分离时间特征和空间特征的学习.最后,针对训练编码阶段和预测解码阶段的数据输入过程,提出数据输入重采样,在模型训练和预测阶段使用相近相反的数据输入策略减少编码器和解码器的差异.在合成数据集以及人体动作数据库上的实验结果表明,该算法模型在时空特征提取上有更好的性能.     

基于全注意力机制的多步网络流量预测

预测资源分配能有效利用无线网络的剩余资源服务非实时业务,其中的关键问题之一是剩余资源的预测,可转化为实时业务流量预测问题。本文把面向自然语言处理提出的全注意力机制引入到时间序列预测问题中,预测未来分钟级时间窗内秒级的流量,通过在每秒记录的实测流量数据集上进行训练和测试,与其他基于循环神经网络和线性、非线性预测模型的方法在复杂度（由训练和测试时间衡量）、预测精度（由平均相对百分比误差衡量）和预测误差统计特性（由预测误差的均值和标准差衡量）等方面进行比较。研究结果表明,与无注意力机制的循环神经网络相比,所设计的基于全注意力机制的方法计算复杂度低,由于多步预测的累积误差,在预测精度方面增益不明显。      

基于LSTM的智能车变道预测研究

文章基于循环神经网络RNN(Recurrent Neural Network)和长短时记忆网络LSTM(Long-Short Term Memory)的理论研究,提出了一种基于LSTM的智能车变道行为预测模型。首先,搭建LSTM网络模型框架;然后根据人类驾驶场景对真实数据集NGSIM(Next Generation Simulation)进行特征选择与数据提取。最后使用长短时记忆网络(LSTM)模型进行训练,测试车辆变道预测结果,并将结果与利用RNN模型预测的结果进行比较,验证了本文方法的有效性。     

基于联合注意力机制和一维卷积神经网络-双向长短期记忆网络模型的流量异常检测方法

针对流量数据集中类别不平衡限制了分类模型对少数类攻击流量的检测性能这一问题,该文提出一种基于联合注意力机制和1维卷积神经网络-双向长短期记忆网络(1DCNN-BiLSTM)模型的流量异常检测方法。首先在数据预处理过程中利用BorderlineSMOTE方法对流量数据不平衡训练样本预处理,使得各类流量数据均衡,有助于后续模型对各类数据的充分训练。然后设计联合注意力机制和1DCNN-BiLSTM的模型对流量数据进行训练,提取流量数据的局部和长距离序列特征并进行分类,通过注意力机制将对分类有用的特征按其重要性赋予权值,提高对少数攻击类的检出率。实验结果表明,同几种现有方法相比,该文方法对NSL-KDD和CICIDS2017数据集的检测准确率最高(可达93.17%和98.65%),对NSL-KDD数据集中的提权攻击(U2R)攻击流量的检出率至少提升13.70%,证明了该文方法提升少数类攻击流量检出率的有效性。     

基于CS-LSTM-attention的轴承故障诊断

作为旋转机械设备的常用部件,轴承容易受到损伤而影响整个机械设备的运行,因此对其进行故障监测和诊断十分重要。轴承振动信号是一种时间序列数据,基于卷积神经网络的故障诊断模型对时序特征的提取具有局限性。针对上述问题,文中提出了一种基于卷积神经网络(CNN)、改进长短时记忆神经网络(LSTM)和注意力机制(Attention)的轴承故障诊断模型。首先,利用卷积神经网络初步提取经小波变换处理后的时频数据的特征,对数据等段均分后输入LSTM,进一步提取时序特征,再加入Attention模块对不同时刻的特征进行权重参数学习,最后结合全连接层与激活函数完成故障诊断。     

基于注意力机制改进的LSTM空战目标意图识别方法

空战对抗过程中的目标状态数据呈现时序性、多维性等特征,为进一步提升目标意图识别的准确率,提出了一种基于改进注意力机制的长短期记忆网络(LSTM)目标识别方法,将空战可能出现的目标意图识别当成一个多分类问题处理。该方法首先通过目标实时的状态数据,生成特征序列;接着采用注意力机制提升目标的特征学习能力,增强空战过程中的主要目标状态特征表示,得到具有权值分配的特征向量;最后利用LSTM网络对目标特征向量进行训练,通过softmax层实现目标意图的识别。仿真实验表明,该方法利用注意力机制有效增强目标的特征学习,进一步提升了LSTM网络的识别精度,具有一定的科学性和有效性。     

通道门控Res2Net卷积神经网络自动调制识别

针对低信噪比条件下自动调制识别准确率不高的问题,提出了通道门控Res2Net卷积神经网络自动调制识别模型。该模型主要由二维卷积神经(Two-dimensional Convolutional Neural Network, 2D-CNN)网络、多尺度残差网络(Residual 2-network, Res2Net)、压缩与激励网络(Squeeze-and-Excitation Network, SENet)和长短期记忆(Long Short-Term Memory, LSTM)网络组成,通过卷积从原始I/Q数据中提取多尺度特征,结合门控机制对特征通道进行权重调整,并利用LSTM对卷积所得特征进行序列建模,确保数据特征被有效挖掘,从而提升自动调制识别的准确率。在基准数据集RML2016.10a下的调制识别实验表明,所提模型在信噪比为12 dB时识别精度为92.68%,在信噪比2 dB以上时平均识别精度大于91%,较经典CLDNN模型、LSTM模型和同类型PET-CGDNN模型、CGDNet模型能取得更高的调制类型识别准确率。     

基于LSTM的医疗设备故障预警模型研究

医疗设备在医疗工作中具有重要地位,而医疗设备的故障会直接影响到医疗工作的开展,影响患者病情的诊断,利用传感器设定阈值的传统故障预警措施存在误报,漏报等问题。本文提出一种基于长短期记忆神经网络(LSTM)的预测模型,利用其对长序列变化数据处理的优势,进行医疗设备的故障预测,可以做到提前预报故障。结合医院的医用红外热像仪的相关故障数据,整理出8项故障特征点,采集其相应数据作为模型的数据集,利用LSTM构建的预测模型进行实验。实验结果表明,LSTM模型训练的拟合效果较好,故障预测的准确率稳定在98%以上,优于其他神经网络模型。     

基于改进神经网络的无线网络流量预测

考虑到无线网络流量具有极强的分散性、随机性以及混沌等特性,使用传统的ARIMA预测模型和BP神经网络模型难以对其进行精确的预测等,该文使用粒子群优化算法对BP神经网络预测模型进行优化以解决BP神经网络容易陷入局部最小值以及训练收敛速率低等问题,引入遗传算法中的自适应变异因子来以一定概率初始化部分变量解决粒子群优化算法会出现陷入局部最优解以及早熟收敛等问题。最后使用经典的CRAWDAD数据库中的无线网络流量数据对该文预测方法性能进行测试,使用稳定小波变换方法将无线网络流量数据分解,得到由1个近似分量以及3个细节分量组成的数据流。测试结果表明,该预测算法在预测性能上要优于ARIMA预测模型和BP神经网络模型。     

基于图卷积网络的基站用户数量预测

移动网络用户预测建模有助于发现城市人群时空分布特征和实行合理资源调度策略。随着移动网络的快速发展，移动通信基站产生了大量手机信令信息，为数据驱动建模提供了支撑。传统的时序预测只考虑时序特征而忽略了空间上的关联。针对这一问题，提出一种基于图卷积网络(Graph Convolutional Network, GCN)的基站用户数量预测模型。利用GCN获取基站之间的空间关联特征，通过长短时记忆(Long Short-Term Memory, LSTM)网络对时序特征进行建模。通过进行对比实验和消融实验，证明该模型能够有效提取基站用户数量的时空特征，相对传统方法具有更优的性能。     

基于注意力机制和双通道神经网络的文本情感分析

深度学习网络对文本情感分析具有重要意义,通过神经网络可以深层次挖掘文本信息,捕获文本情感。针对单模型神经网络结构单一、无法充分提取文本特征的问题,首先提出一种融合注意力机制的双通道复合神经网络(Attention-DRNN),在嵌入层利用word2vec方法进行层嵌入,融入注意力机制对输入词向量进行动态加权。其次,采用双通道结构,利用Text-CNN提取文本局部特征、Bi-LSTM提取文本全局特征,并进行特征融合。然后,通过softmax分类器进行分类。最后,在两个标准数据集上进行测试,通过与LSTM、Bi-LSTM、RNN、Text-CNN单模型神经网络进行对比实验。实验表明Attention-DRNN网络在情感分类任务上具有较好的效果。     

基于ConvGRU和注意力特征融合的人体动作识别

在动作识别任务中,如何充分学习和利用视频的空间特征和时序特征的相关性,对最终识别结果尤为重要。针对传统动作识别方法忽略时空特征相关性及细小特征,导致识别精度下降的问题,本文提出了一种基于卷积门控循环单元(convolutional GRU, ConvGRU)和注意力特征融合(attentional feature fusion,AFF) 的人体动作识别方法。首先,使用Xception网络获取视频帧的空间特征提取网络,并引入时空激励(spatial-temporal excitation,STE) 模块和通道激励(channel excitation,CE) 模块,获取空间特征的同时加强时序动作的建模能力。此外,将传统的长短时记忆网络(long short term memory, LSTM)网络替换为ConvGRU网络,在提取时序特征的同时,利用卷积进一步挖掘视频帧的空间特征。最后,对输出分类器进行改进,引入基于改进的多尺度通道注意力的特征融合(MCAM-AFF)模块,加强对细小特征的识别能力,提升模型的准确率。实验结果表明:在UCF101数据集和HMDB51数据集上分别达到了95.66%和69.82%的识别准确率。该算法获取了更加完整的时空特征,与当前主流模型相比更具优越性。     

基于生成式对抗网络和多模态注意力机制的扩频与常规调制信号识别方法

针对低信噪比条件下的扩频与常规调制信号分类精度低的问题,该文提出一种基于生成式对抗网络(GAN)、卷积神经网络(CNN)和长短期记忆(LSTM)网络的多模态注意力机制信号调制识别方法。首先生成待识别信号的时频图像(TFIs),并利用GAN实现TFIs降噪处理;然后将信号的同相正交数据(I/Q data)与TFIs作为模型输入,并搭建基于CNN的TFIs识别支路和基于LSTM的I/Q数据识别支路;最后,在模型中添加注意力机制,增强I/Q数据和TFIs中重要特征对分类结果的决定作用。实验结果表明,该文所提方法相较于单模态识别模型以及其它基线模型,整体分类精度有效提升2%～7%,并在低信噪比条件下具备更强的特征表达能力和鲁棒性。     

基于CNN-BiLSTM的短波通信频率预测研究

受电离层变化影响,短波通信频率如何实现优选一直是影响短波通信效果的关键。针对目前短波频率预测方法在远程通信中出现的预测精度不高、不能较好满足通信需要的现状,提出一种基于历史通信数据的卷积神经网络(CNN)和双向长短期记忆神经网络(BiLSTM)相结合的预测模型实现对短波通信频率值进行预测,并与单特征、多特征输入长短期记忆神经网络(LSTM)预测模型进行对比。仿真结果表明,该模型能够实现短波通信频率预测且相对于单特征输入LSTM预测用时更短、多特征输入LSTM预测精度更高,具有一定的可行性。     

基于GCN-LSTM的频谱预测算法

无线频谱是一项重要的、难以再生的自然资源。在频谱数据中随着信道的动态变化，各个信道不能建模成规则的结构。由于卷积神经网络提取的是规则数据结构的相关性，没有考虑信道动态变化以及各个信道节点之间的相关性影响，基于此研究了基于图卷积神经网络(Graph Convolutional Network, GCN)和长短期记忆(Long Short-Term Memory, LSTM)网络结合的GCN-LSTM频谱预测模型，并且引入了注意力机制，仿真得到了GCN-LSTM在正确数据集和有一定错误数据的数据集上的预测性能和算法运行时间。结果表明在引入注意力机制后，GCN-LSTM预测模型的准确性和实时性都得到了提高。     

基于时空特征融合的Encoder-Decoder多步4D短期航迹预测

航迹预测在确保空中交通安全、高效运行中扮演着至关重要的角色。所预测的航迹信息是航迹优化、冲突告警等决策工具的输入，而预测准确性取决于模型对航迹序列特征的提取能力。航迹序列数据是具有丰富时空特征的多维时间序列，其中每个变量都呈现出长短期的时间变化模式，并且这些变量之间还存在着相互依赖的空间信息。为了充分提取这种时空特征，本文提出了基于融合时空特征的编码器-解码器（Spatio-Temporal EncoderDecoder, STED）航迹预测模型。在Encoder中使用门控循环单元（Gated Recurrent Unit, GRU）、卷积神经网络（Convolutional Neural Network, CNN）和注意力机制（Attention, AT）构成的双通道网络来分别提取航迹时空特征，Decoder对时空特征进行拼接融合，并利用GRU对融合特征进行学习和递归输出，实现对未来多步航迹信息的预测。利用真实的航迹数据对算法性能进行验证，实验结果表明，所提STED网络模型能够在未来10 min预测范围内进行高精度的短期航迹预测，相比于LSTM、CNN-LSTM和AT-LSTM等数据...     

基于SFO-GRU模型的短期负荷预测

为提高短期负荷预测精度,提出一种基于旗鱼优化算法(SFO)和GRU神经网络的短期负荷预测模型.通过使用负荷、气象等真实数据对GRU神经网络的权重参数进行训练并建立GRU预测模型,同时采用旗鱼优化算法(SFO)优化GRU模型的迭代次数、学习率和隐藏层神经元数量,仿真实验结果表明,与BP、LSTM等经典预测模型相比,SFO...     

基于双向准循环神经网络和注意力机制的业务流程剩余时间预测方法

业务流程预测可以有效帮助企业进行流程控制和传递高质量服务,因此作为此类场景中的核心任务之一,业务流程剩余时间预测得到国内外学者的广泛关注.当前,在利用深度学习技术对业务流程剩余时间进行预测时,大都采用传统长短期记忆循环神经网络,然而,由于长短期记忆循环神经网络在处理序列数据的过程中缺乏并行性且建模能力有限,使得预测准确度还有进一步提升空间.因此,本文提出一种基于双向准循环神经网络和注意力机制的业务流程剩余时间预测方法 .首先,该方法以双向准循环神经网络构建剩余时间预测模型,并在预测模型中融入注意力机制增强双向准循环神经网络输出的特征信息.其次,设计了一种基于不同长度轨迹前缀训练迭代策略,解决流程实例中不同长度轨迹前缀数量存在差异性的问题.最后,提出一种基于Word2vec的事件表示学习方法,实现对同一轨迹且经常出现事件的相似性向量表示,从而达到提高剩余时间预测准确度的目的.经在5个公开事件日志数据集上实验,本文方法与已有方法相比在预测准确度上平均提高近15%,模型训练时间平均缩短约26%.     

基于LSTM神经网络的数据驱动空间负荷预测方法

目前的数据驱动空间负荷预测方法数据迭代训练损失值较大、预测速度较慢,难以应对呈几何指数增长的数据量。针对以上问题,以LSTM神经网络为基础提出了一种新的数据驱动空间负荷预测方法,分析神经网络内部的时序,避免数据消沉现象,确定训练数据空间的相关性。根据不同的神经元建立预测模型,通过数据预处理降低采集数据的维度大小,确保数据完整性。同时提供数据控制基础,控制模型输入输出量,统一格式标准,保证模型训练次序,结合LSTM神经网络结构,选择预测方法,完成数据驱动空间负荷预测。实验结果表明,所提方法能够有效减少数据迭代训练损失值,提高预测速度。     

基于FCN和LSTM深度学习模型的电力终端负荷预测方法

针对目前研究的电力终端负荷预测方法在预测过程中,未考虑负荷终端时序性和非线性的特点,存在预测精度较低,速度较慢的问题,提出了基于FCN和LSTM深度学习模型的电力终端负荷预测方法。利用循环神经网络,建立电力终端负荷预测模型,分析记忆状态,对电力终端数据进行预处理,并编码非数字特征,确定预测模型。利用均方误差公式得到的电力终端负荷预测模型的损失函数,通过数据预处理、优化数据参数、训练电力终端负荷预测模型完成负荷预测。实验结果表明,基于FCN和LSTM深度学习模型的电力终端负荷预测方法充分分析了终端时序性和非线性特点,有效确保预测精度,提高预测速度。