基于注意力机制的CNN-LSTM的ADS-B异常数据检测

广播式自动相关监视(ADS-B)是民航新一代空中交通管理系统的重要组成部分,由于协议没有数据加密和认证,导致容易受到数据攻击.为了准确检测ADS-B数据攻击,基于ADS-B数据的时序性,提出了一种基于注意力机制的卷积神经网络-长短期记忆网络(convolutional neural networks-long short-term memory, CNN-LSTM)异常数据检测模型.首先,利用CNN提取ADS-B数据的特征,然后以时序形式将特征向量输入到LSTM中,最后使用注意力机制进行网络参数优化,实现对ADS-B数据的预测,通过计算预测误差,来进行异常检测.实验表明,该模型能够很好地检测出模拟的4种类型的异常数据,与其他机器学习方法相比,具有更高的准确率和F1分数.     

基于LSTM-CNN-CBAM模型的股票预测研究

为了更好地对股票价格进行预测,进而为股民提供合理化的建议,提出了一种在结合长短期记忆网络(LSTM)和卷积神经网络(CNN)的基础上引入注意力机制的股票预测混合模型(LSTM-CNN-CBAM),该模型采用的是端到端的网络结构,使用LSTM来提取数据中的时序特征,利用CNN挖掘数据中的深层特征,通过在网络结构中加入注意...     

基于注意力机制的Multi-head CNN-LSTM软测量建模

软测量建模通过选取辅助变量,建立辅助变量与关键质量变量关系,能够高效地实现对关键质量变量的预测。然而当辅助变量维数较高,且对关键质量变量的影响程度不一时,网络预测误差将较大。针对这一问题,提出一种基于注意力机制的Multi-head CNNLSTM模型,首先根据辅助变量自身属性和特点将其切分成多组子变量后,使用多组独立并行工作的CNN-LSTM群对其子变量进行单独处理;再提取各组子变量上的特征向量,融合注意力机制,实现子变量特征向量的权重分配。所提算法不需提前根据工艺知识选择辅助变量,而是通过深度学习机制自动选择特征;最后,在乙烯精馏塔塔顶乙烷浓度软测量建模中进行应用,所提模型的预测精度优于LSTM以及CNN-LSTM软测量模型。     

基于注意力机制的CNN-GCN模型及其应用

现有多变量时间序列(multivariate time series,MTS)预测方法模型主要采用循环神经网络和注意力机制提取MTS的复杂时空特征,这些方法对MTS变量之间的空间依赖关系的捕获能力不足。图卷积网络对复杂数据的空间特征提取能力较强。为此提出一种融入图卷积网络、注意力机制和深度学习中的卷积神经网络的三通道网络框架模型,将该框架模型用于多变量时间序列预测任务。实验结果表明,该模型在国际汇率这一多变量时间序列数据集上的性能表现要优于目前较先进的几个基线模型。     

基于图注意力网络与双阶注意力机制的径流预报模型

为了提高流域径流量预报的准确率,考虑数据驱动水文模型缺乏模型透明度与物理可解释性的问题,提出了一种使用图注意力网络与基于长短期记忆网络（LSTM）的双阶注意力机制（GAT-DALSTM）模型来进行径流预报。首先,以流域站点的水文资料为基础,引入图神经网络提取流域站点的拓扑结构并生成特征向量;其次,针对水文时间序列数据的特点,建立了基于双阶注意力机制的径流预报模型对流域径流量进行预测,并通过基于注意力系数热点图的模型评估方法验证所提模型的可靠性与透明度。在屯溪流域数据集上,将所提模型与图卷积神经网络（GCN）和长短期记忆网络（LSTM）在各个预测步长下进行比较,实验结果表明,所提模型的纳什效率系数分别平均提高了3.7%和4.9%,验证了GAT-DALSTM径流预报模型的准确性。从水文与应用角度对注意力系数热点图进行分析,验证了模型的可靠性与实用性。所提模型能为提高流域径流量的预测精度与模型透明度提供技术支撑。     

基于图注意力网络与双阶注意力机制的径流预报模型

为了提高流域径流量预报的准确率,考虑数据驱动水文模型缺乏模型透明度与物理可解释性的问题,提出了一种使用图注意力网络与基于长短期记忆网络（LSTM）的双阶注意力机制（GAT-DALSTM）模型来进行径流预报。首先,以流域站点的水文资料为基础,引入图神经网络提取流域站点的拓扑结构并生成特征向量;其次,针对水文时间序列数据的特点,建立了基于双阶注意力机制的径流预报模型对流域径流量进行预测,并通过基于注意力系数热点图的模型评估方法验证所提模型的可靠性与透明度。在屯溪流域数据集上,将所提模型与图卷积神经网络（GCN）和长短期记忆网络（LSTM）在各个预测步长下进行比较,实验结果表明,所提模型的纳什效率系数分别平均提高了3.7%和4.9%,验证了GAT-DALSTM径流预报模型的准确性。从水文与应用角度对注意力系数热点图进行分析,验证了模型的可靠性与实用性。所提模型能为提高流域径流量的预测精度与模型透明度提供技术支撑。     

基于时空注意力机制的加油站级客流量预测

加油站是重要的能源供给单位,对加油站站点的下一时段客流量进行精准预测,可为相关资源的调度与分配提供决策支撑.针对加油站级客流量预测问题,结合加油站客流数据的时空特征,提出一种基于注意力机制的时空网络模型.以路网结构建模的站级客流数据为输入,结合卷积神经网络、长短期记忆网络与注意力机制,解决站点间的空间依赖、短期与长期时...     

基于LSTM-Attention与CNN混合模型的文本分类方法

针对传统长短时记忆网络(Long Short-Term Memory,LSTM)和卷积神经网络(Convolution Neural Network,CNN)在提取特征时无法体现每个词语在文本中重要程度的问题,提出一种基于LSTM-Attention与CNN混合模型的文本分类方法.使用CNN提取文本局部信息,进而整合出...     

基于自适应注意模型的图像描述

结合注意力机制的编解码框架模型已经被广泛地应用在图像描述任务中。大多数方法都强制对生成的每个单词进行主动的视觉注意,然而,解码器很可能不需要关注图像中的任何视觉信息就生成非视觉单词,比如“the”和“of”。本文提出一种自适应注意力模型,编码端采用Faster R-CNN网络提取图像中的显著特征,解码端LSTM网络中引入一个视觉监督信号。在每个时间步长,它可以自动地决定何时依赖于视觉信号,何时仅依赖于语言模型。最后在Flickr30K和MS-COCO数据集进行验证,实验结果表明该模型有效地提升了描述语句的质量。     

基于CNN和LSTM的多通道注意力机制文本分类模型

针对传统的卷积神经网络（Convolutional Neural Network,CNN）和长短时记忆网络（Long Short-Term Memory,LSTM）在提取特征时无法体现每个词语在文本中重要程度的问题,提出一种基于CNN和LSTM的多通道注意力机制文本分类模型。使用CNN和LSTM提取文本局部信息和上下文特征;用多通道注意力机制（Attention）提取CNN和LSTM输出信息的注意力分值;将多通道注意力机制的输出信息进行融合,实现了有效提取文本特征的基础上将注意力集中在重要的词语上。在三个公开数据集上的实验结果表明,提出的模型相较于CNN、LSTM及其改进模型效果更好,可以有效提高文本分类的效果。     

基于深度学习的交通流量预测研究

交通流量序列具有不平稳性、周期性、易受节假日等因素影响的特点，因此交通流量预测是一项困难的任务。针对交通流量序列的预测问题，设计了一种基于深度学习的交通流量预测模型。模型融合了卷积神经网络和长短时记忆神经网络两种网络结构，卷积神经网络用于提取特征分量，长短时记忆神经网络综合提取出来的特征分量做序列预测。通过在贵州省高速公路车流量数据集上的验证，模型比传统的预测方法具有更高的精确度和实时性，在不同数据集上的泛化性能良好。     

结合注意力机制和句子排序的情感分析研究

针对传统的深度学习算法作情感分析未充分考虑文本特征和输入优化的问题,提出了结合注意力机制和句子排序的双层CNN-BiLSTM模型(DASSCNN-BiLSTM)。利用情感词典对文档数据进行情感极性排序,得到优化的文档数据;将优化的文档数据输入第一层模型(由CNN和BiLSTM组成)生成句子表示;将句子表示输入第二层模型(由BiLSTM和注意力机制组成)生成文档表示,作为分类的依据,由此解决了输入优化的问题并且充分捕获了句子之间的语义信息,提升了情感分类精度。实验结果表明,该模型在分类精度上相对于现有的方法有明显的提升,且拥有较好的MSE值,能够较好应用于一般的情感分析任务。     

结合数据平衡和注意力机制的CNN+LSTM的自然语音情感识别

为了解决语音情感识别中数据集样本分布不平衡的问题,提出一种结合数据平衡和注意力机制的卷积神经网络(CNN)和长短时记忆单元(LSTM)的语音情感识别方法.该方法首先对语音情感数据集中的语音样本提取对数梅尔频谱图,并根据样本分布特点对进行分段处理,以便实现数据平衡处理,通过在分段的梅尔频谱数据集中微调预训练好的CNN模型...     

基于卷积块注意力模块的图像描述生成模型

图像描述生成模型是使用自然语言描述图片的内容及其属性之间关系的算法模型.对现有模型描述质量不高、图片重要部分特征提取不足和模型过于复杂的问题进行了研究,提出了一种基于卷积块注意力机制模块(CBAM)的图像描述生成模型.该模型采用编码器-解码器结构,在特征提取网络Inception-v4中加入CBAM,并作为编码器提取图...     

基于网格划分的城市短时交通流量时空预测模型

准确的交通流量预测在帮助交通管理部门采取有效的交通控制和诱导手段以及帮助出行者合理规划路线等方面具有重要意义。针对传统深度学习模型对交通数据时空特性考虑不足的问题,在卷积神经网络（CNN）和长短时记忆（LSTM）单元的理论框架下,结合城市交通流量的时空特性,建立了一种基于注意力机制的CNN-LSTM预测模型——STCAL。首先,采用细粒度的网格划分方法来构建交通流量的时空矩阵;其次,利用CNN模型作为空间组件来提取城市交通流量不同时期下的空间特性;最后,利用基于注意力机制的LSTM模型作为动态时间组件来捕获交通流量的时序特征和趋势变动性,并实现交通流量的预测。实验结果表明,STCAL模型与循环门单元（GRU）和时空残差网络（ST-ResNet）相比,均方根误差（RMSE）指标分别减小了17.15%和7.37%,均绝对误差（MAE）指标分别减小了22.75%和9.14%,决定系数（R²）指标分别提升了11.27%和2.37%。同时,发现该模型在规律性较高的工作日的预测效果好于周末,且对工作日早高峰的预测效果最好,可见该模型可为短时城市区域交通流量变化监测提供依据。