基于mRMR和VMD-AM-LSTM的短期风功率预测

为了提高模型预测风功率的准确率,提出了一种基于最大相关-最小冗余筛选、变分模态分解、注意力机制和长短期记忆神经网络的短期风功率预测方法.首先使用变分模态分解算法将风功率序列分解成几个中心频率不同的分量;再对各个分量结合最大相关-最小冗余筛选出的气象特征分别建立注意力机制和长短期记忆混合预测模型;最后将各个分量的预测结果...     

ACMF:基于卷积注意力模型的评分预测研究

评分数据稀疏是影响评分预测的主要因素之一。为了解决数据稀疏问题,一些推荐模型利用辅助信息改善评分预测的准确率。然而大多数推荐模型缺乏对辅助信息的深入理解,因此还有很大的提升空间。鉴于卷积神经网络在特征提取方面和注意力机制在特征选择方面的突出表现,该文提出一种融合卷积注意力神经网络(Attention Convolutional Neural Network, ACNN)的概率矩阵分解模型: 基于卷积注意力的矩阵分解(Attention Convolutional Model based Matrix Factorization, ACMF),该模型首先使用词嵌入将高维、稀疏的词向量压缩成低维、稠密的特征向量;接着,通过局部注意力层和卷积层学习评论文档的特征;然后,利用用户和物品的潜在模型生成评分预测矩阵;最后计算评分矩阵的均方根误差。在ML-100k、ML-1m、ML-10m、Amazon数据集上的实验结果表明,与当前取得最好预测准确率的PHD模型相比,ACMF模型在预测准确率上分别提高了3.57%、1.25%、0.37%和0.16%。     

基于工况知识引导注意力时间卷积网络的烧结终点预测

烧结终点位置的实时准确预测对于优化烧结工艺具有重要的意义.针对烧结过程中强非线性和动态时变性造成烧结终点高精度预测难的问题,本文提出了一种基于工况知识引导注意力时间卷积网络(AM–TCN)模型.首先,构建堆叠的时间卷积模块用于充分提取烧结过程数据中深层次的非线性特征;其次,将历史工况知识引入注意力机制,引导模型在保留过程数据时序特征的同时区分不同特征的重要性;最后,构建预测模型用于烧结终点位置在线预测.工业数据实验表明,所提AM–TCN模型具有较好的烧结终点预测精度,对提升烧结过程热状态稳定性具有重要意义.     

结合注意力机制与LSTM的短期风电功率预测模型

风力发电预测在电力系统的运行中发挥着重要作用。现有风电功率的短期预测模型因风速的复杂性和随机性,难以确定风速与风电功率的非线性映射关系,导致预测精度降低。提出一种结合变分模态分解、双阶段注意力机制、误差修正模块与深度学习算法的短期风电功率预测模型。通过对原始数据进行互信息特征选择,获得与风电功率相关性较强的特征,并对其进行信号预处理,利用变分模态分解对多维特征序列进行分解,得到具有一定中心频率的模态分量,以降低各个特征序列的复杂性和非平稳性。采用基于双阶段注意力机制与编解码架构的长短时记忆（LSTM）神经网络对模态分量进行训练与预测,得到初始预测误差。在此基础上,利用误差修正模块对初始预测误差进行变分模态分解和修正,从而提高模型的预测精度。实验结果表明,与自回归移动平均模型、标准编解码结构的LSTM模型相比,该预测模型的平均绝对误差最高可降低约87%,具有较优的预测性能。     

基于时空特征的公交站点短时客流量预测

针对以往公交客流量预测只考虑时序特征而忽略空间维度特征的缺点,提出一种结合注意力机制的图卷积长短期记忆单元预测模型(AGLSTM)来预测公交站点的客流量。该模型运用图卷积网络(GCN)对每个时刻的公交站点客流量进行空间维度的特征提取,使用长短期记忆网络(LSTM)对公交站点客流量进行时间特征的提取。为了更关注公交站点客流量有重大影响时刻的特征,该模型还引入了注意力机制模块。注意力机制可以通过计算不同时刻长短期记忆单元隐藏状态的权重,来评估各隐藏状态对输出结果的影响。通过对北京4条公交线路的真实刷卡数据进行实验分析,并与部分经典预测算法进行对比,证明了提出的考虑时空特征的组合模型能够有效地提高模型的预测精度。     

E-V-ALSTM模型的股价预测

针对股票价格非平稳、非线性、高复杂和随机波动等特性使其预测难度大的问题,提出一种基于E-V-ALSTM混合深度模型的股票价格预测方法。使用经验模态分解（EMD）对股票价格数据进行第一次分解,得到若干固有模态函数（IMFs）和一个残差（Res）,降低了股票价格数据的非平稳性和非线性;使用样本熵（SampEn）对这些IMFs进行复杂性评估;将复杂度高于一定阈值的IMFs使用变分模态分解（VMD）进行二次分解,以降低股票价格数据的复杂性;通过加入注意力机制的长短期记忆神经网络（LSTM）模型进行预测,捕捉关键时间点特征信息,重新赋予权重,以解决股票价格数据的随机波动性,提升预测方法的精确度。对沪深300指数和德国DAX指数等数据集上的实验结果表明,该模型比其他对比模型能进一步提高股票价格预测的准确性。     

多维注意力机制改进燃气负荷预测

燃气负荷预测是一项让城市安全经济地调配燃气的重要的工作. 目前, 基于注意力机制的Seq2Seq模型越来越多地应用于燃气数据预测, 是一种有效的燃气负荷预测方法. 然而, 针对燃气负荷数据这种突变频率高、幅度大的特点, 一般基于注意力机制的Seq2Seq模型难以提取数据中的多维时间模式信息与应对数据随机突变情况, 在处理影响因素复杂的燃气负荷的预测问题时仍然需要改进. 为此, 本文提出多维注意力机制Seq2Seq模型. 一方面设计研究了多层次时间注意力模块, 综合单时间步长、多时间步长的注意力计算提取数据中不同时间模式信息; 另一方面, 设计增加了局部历史注意力模块, 以改进模型中无法区分重要历史信息的缺陷, 使模型在预测时倾向于参考更为重要的历史信息. 本改进模型针对燃气负荷的独特特性, 具有较好的预测表现. 使用国内某市区的燃气消耗数据与2016年电工数学建模竞赛的电力负荷数据的实验结果表明, 本改进模型相对于一般注意力机制Seq2Seq模型, MAE分别降低了17%与9%.     

基于多维注意力融合的驾驶场景分割增强算法

针对使用注意力机制的语义分割模型计算资源消耗与精度不平衡的问题,提出一种轻量化的语义分割注意力增强算法。首先,基于驾驶场景中物体的形状特点设计了条状分维注意力机制,使用条形池化代替传统方形卷积,并结合降维操作分维度提取长程语义关联,削减模型计算量。接着融合通道域与空间域上的注意力,形成可叠加与拆解的轻量化多维注意力融合模块,全方位提取特征信息,进一步提升模型精度。最后,将模块插入基于ResNet-101骨干网的编码—解码网络中,指导高低层语义融合,矫正特征图边缘信息,补充预测细节。实验表明,该模块有较强的鲁棒性和泛化能力,与同类型注意力机制相比,削减了约90%的参数量以及80%的计算量,且分割精度依旧取得了稳定的提升。     

复杂场景下行人轨迹预测方法

为了预测行人在复杂场景中的行走轨迹,提出了一种基于生成对抗网络的可解释模型。该模型以场景中行人的历史轨迹信息和场景环境信息作为模型的输入,并在生成对抗网络中引入了物理注意力机制和社会注意力机制对行人轨迹进行预测。其中,物理注意力机制有助于建模复杂场景的整体布局并提取图像中与路径相关的显著特征,社会注意力机制能够建模不同行人之间的交互对未来轨迹的影响。在生成对抗网络的整体框架下,物理和社会注意力机制的结合使得该模型能够预测出符合物理限制和社会行为规范的多条可接受的未来路径。通过在仿真数据和真实的标准数据集上的实验,可以证明该模型能够实现对行人未来轨迹的有效预测。     

一种用于航空发动机RUL预测的推理网络模型

剩余使用寿命预测对于航空发动机的故障预测和健康管理至关重要.为解决传统长短期记忆网络只利用最后一步学习到的特征进行回归的问题,本文提出了一种基于注意力机制的航空发动机剩余使用寿命预测模型.利用长短期记忆网络处理航空发动机的时序数据,自动提取与时间有关的特征,采用注意力机制为不同传感器特征和不同的时间步进行了加权.此外,本文还考虑到了不同操作条件对发动机剩余使用寿命的影响,将自动提取的特征与操作条件进行了特征融合.实验结果表明,本文提出的模型能有效预测航空发动机的剩余使用寿命,为基于状态的维护提供了可靠的支持.     

基于注意力机制的CNN-LSTM短期股票价格预测

根据股价存在的高频性、长记忆性及不确定性,文章给出了基于注意力机制的卷积神经网络一长短期记忆网络股票价格序列预测方法。首先使用CNN来对数据序列进行卷积操作,以提取其特征分量。然后,利用长短期记忆网络(LSTM)对所抽取出的特征分量做序列预测。最终,注意力模块通过神经网络来自动化拟合权重分配,并对LSTM各个时间节点的隐含层输出向量与对应的权重相乘并求和,为重要的特征分量赋予更大的权重,以此作为模型最终的特征表达。     

一种基于深度挖掘用户和内容特征的CTR预估方法

预估点击率（CTR）是推荐系统的核心任务之一，基于此提出一种深度挖掘用户和内容特征的CTR预估模型——DFAR模型。在用户特征提取部分，通过长短期记忆网络（LSTM）对用户时序特征进行提取，通过残差模块与注意力机制实现对用户特征的深度提取。首先，在待推荐内容部分利用因子分解机（FM）来提取浅层特征。然后，使用多头注意力机制和残差网络从待推荐内容中提取深度特征。最后，将用户特征与待推荐内容特征做内积结合并做出最终预测。最终在Movielens-100K数据集上利用该模型进行实验，实验结果表明，提出的模型在AUC值上相比于深度因子分解机（DeepFM）模型提升了1.45%。验证了DFAR模型对CTR预测的有效性。     

基于混合网络模型的多维时间序列预测

为捕捉时间序列中潜在的特征依赖关系并实现高维时序数据的快速模糊预测,构建基于时间卷积网络（TCN）与自注意力机制的两种混合网络模型：TSANet和TSANet-MF。TSANet模型通过全局和局部两个并行卷积分量结构提取特征后,利用自注意力机制增强特征点关联程度,并结合并行的TCN增大卷积的感受野范围,最大程度地捕捉多维时序数据的周期性特征。TSANet-MF模型将TSANet作为矩阵分解算法的正则化项,使高维数据转化为具有更多时序特征的低维数据,减少计算复杂度,实现高维数据的快速模糊预测。在4种不同领域的时间序列数据集上的实验结果表明,TSANet模型在3种数据集上的预测性能均优于基准模型,尤其在高维Traffic数据集上相对平方根误差降低了19.52%~56.37%,TSANet-MF模型在Electricity和Traffic高维数据集上的训练时间相比于基准模型明显减少。上述实验结果验证了两种混合网络模型均具有较好的多维时间序列预测性能。     

一种非线性的瓦斯涌出量预测算法仿真研究

研究瓦斯涌出量预测问题,瓦斯涌出量受到开采深度、通风系统等多种因素影响,是一种复杂的非线性预测问题,传统预测方法难以建立准确数学模型,导致预测精度低。为了有效提高瓦斯涌出量预测精度,提出一种非线性的瓦斯涌出量预测算法。采用粒子群优化支持向量机对瓦斯涌出量与各种因素之间非线性关系进行建模,并对瓦斯涌出量预测进行仿真。结果表明,非线性预测算法有效提高了瓦斯涌出量的预测精度,降低了预测误差,对有效防止瓦斯爆炸有重要意义。     

一种结合矩阵分解和深度学习技术的POI推荐模型

基于位置社交网络(Location-based social network, LBSN)的兴趣点(Point-of-Interest,POI)推荐算法是近年来的研究热点,有效的POI推荐具有极大的经济和社会效益。针对LBSN中的数据稀疏问题、用户细粒度兴趣(即用户的长期和短期兴趣)序列建模问题和联合多种影响因素的POI推荐问题,研究一种结合矩阵分解和带有注意力机制深度学习技术的POI推荐模型(CF-ADNN)。一方面,构造特征矩阵缓解签到数据稀疏问题,通过矩阵分解得到隐藏因子,计算POI的特征向量;另一方面,构建一种带注意力机制的用户细粒度兴趣的序列建模方式,有效学习用户长期和短期的兴趣特征,提高POI推荐精确度;结合上述两种方法,最终得到可以融合多种影响因素的POI推荐模型。并通过对比试验,进一步验证模型的推荐效果。     

基于双重注意力机制和GRU网络的短期负荷预测模型

电力负荷预测对电力系统的部署、规划和运行影响重大,但目前各输入特征对电网负荷情况影响的程度不稳定,且递归神经网络捕获负荷数据的长期记忆能力差,导致预测精度下降。提出一种基于双重注意力机制和GRU网络的预测新模型,利用特征注意力机制自主分析历史信息与输入特征间的关联关系,提取重要特征,并通过时序注意力机制自主选取GRU网络中关键时间点的历史信息,提升较长时间段预测效果的稳定性。在3个公开数据集上的实验结果表明,该模型在预测精度指标上表现良好,对比SVR、KPCA-ELM、DBN、GRU、Attention-GRU、CNN-LSTM、Attention-CNN-GRU模型预测精度分别提高了2.47、1.14、1.93、1.37、1.04、0.74、0.41个百分点。     

基于随机森林回归的煤矿瓦斯涌出量预测方法

为了提高煤矿瓦斯涌出量预测精度和效率,研究了基于随机森林回归的煤矿瓦斯涌出量预测方法。采用bootstrap自助法重采样技术采集训练样本数据,构建随机森林回归模型,取决策树输出值的均值作为煤矿瓦斯涌出量预测结果,利用袋外数据评价回归模型预测性能。通过计算袋外数据残差平方均值和拟合优度,确定随机森林回归模型的最优超参数;采用袋外数据残差平方均值的增加量来表征特征变量的重要性,用累计影响权重达到90%的部分特征变量代替煤矿瓦斯涌出量的全部特征变量,筛选出采煤高度、煤厚、煤层瓦斯含量、采出率、埋深、日进度、开采强度、邻近层间距8个重要程度高的特征变量作为模型的输入变量。测试结果表明,采用全部特征变量和部分特征变量的随机森林回归模型均具有较好的预测性能,进行特征变量选择后,模型的平均绝对误差由0.22m3/min下降到0.21m3/min,平均相对误差由3.55%下降到3.47%。基于特征变量选择的随机森林回归模型在保证较好的预测性能的前提下,降低了预测模型特征变量的维度,减少了原始数据获取工作,提高了预测效率。     

基于出行模式的注意力机制可解释性探索

为了探索深度注意力模型在地铁出行预测任务中的可解释性,提出基于出行模式的注意力权重擦除方法和可解释性评估框架。利用提出的地铁出行深度注意力框架搭建预测模型,使用广州地铁羊城通数据构造三种不同长度出行序列数据集进行模型训练和验证,达到70%以上准确率;通过单一出行模式的注意力权重擦除实验发现,擦除最大注意力权重的出行模式比随机模式更能显著地影响模型预测结果,但大多数样本不发生预测结果的变化。即注意力机制在该条件下提供的可解释性信息是有限的,且该信息量随着序列长度增加而减小;通过一组出行模式注意力权重擦除实验结果表明,按注意力权重降序擦除能最快使模型预测结果发生变化,并且模型能稳定地对重要的出行模式的出行记录分配注意力权重,即注意力机制在该条件下较好地提供了可解释性信息,且该信息量随着序列长度增加而增大。     

基于注意力机制修正网络的行人属性识别

针对现有行人属性识别方法模型复杂,识别性能较低的问题,提出一种端到端的行人属性识别方法。构建注意力机制修正网络,在主干网络的不同卷积层后添加注意力分支,以提取注意力特征关注属性相关空域;提出一种注意力机制辅助训练方法,将注意力分支与主网络在预测级进行损失融合,通过梯度反向传播修正主网络权重,实现主网络的有效训练;在预测阶段,利用权重修正后的主网络实现属性识别。在RAP数据集上的实验结果表明,提出方法在没有额外辅助信息、不增加主网络体积和计算量的情况下,提升了行人属性识别性能。     

基于类时序注意力机制的图像描述方法

近年来, 注意力机制已经广泛应用于计算机视觉领域, 图像描述常用的编码器-解码器框架也不例外. 然而,当前的解码框架并未较清楚地分析图像特征与长短期记忆神经网络(LSTM)隐藏状态之间的相关性, 这也是引起累积误差的原因之一. 基于该问题, 本文提出一个类时序注意力网络(Similar Temporal Attention Network, STAN),该网络扩展了传统的注意力机制, 目的是加强注意力结果与隐藏状态在不同时刻的相关性. STAN首先对当前时刻的隐藏状态和特征向量施加注意力, 然后通过注意力融合槽(AFS)将两个相邻LSTM片段的注意力结果引入到下一时刻的网络循环中, 以增强注意力结果与隐藏状态之间的相关性. 同时, 本文设计一个隐藏状态开关(HSS)来指导单词的生成, 将其与AFS结合起来可以在一定程度上解决累积误差的问题. 在官方数据集Microsoft COCO上的大量实验和各种评估机制的结果表明, 本文提出的模型与基线模型相比, 具有明显的优越性, 取得了更有竞争力的结果.