基于注意力的卷积神经网络金融时序数据预测

针对现有金融时序数据预测方法在构造金融特征图像的过程中因忽视市场环境变化导致的数据密度分布差异问题,提出一种基于滑动窗口标准化的金融数据预处理方法。所提方法将滑动窗口截取的数据使用独立的标准化转换为金融特征图像,使得依赖价格特征进行训练的卷积神经网络（CNN）模型能够学习到正确的映射关系;同时,针对金融特征图像的特征表达问题,为更好地捕捉其动态变化特征,将注意力机制引入CNN中,进而构建出一种注意力CNN金融时序数据预测模型。对标普500指数未来1天涨跌进行预测的准确率和F1分数分别为61%和0.739 7,模拟交易实验投资回报率为23.04%,优于买入并持有策略。此外,消融实验结果也证明了预处理方法、注意力模块引入的有效性。     

基于注意力机制的改进LSTM模型的地铁客流预测研究

介绍了一种基于注意力机制的改进LSTM模型,并分析对比其他模型的结果.使用了上海地铁刷卡数据作为数据源,经过时序处理后的时间序列数据作为模型的输入,通过模型的训练以及参数设置,对比各个模型的实验分析结果,证明了该模型的精确性.     

融合卷积注意力机制的图像描述生成模型

图像描述模型需要提取出图像中的特征,然后通过自然语言处理（NLP）技术将特征用语句表达出来。现有的基于卷积神经网络（CNN）和循环神经网络（RNN）搭建的图像描述模型在提取图像关键信息时精度不高且训练速度缓慢。针对这个问题,提出了一种基于卷积注意力机制和长短期记忆（LSTM）网络的图像描述生成模型。采用Inception-ResNet-V2作为特征提取网络,在注意力机制中引入全卷积操作替代传统的全连接操作,减少了模型参数的数量。将图像特征与文本特征有效融合后送入LSTM单元中完成训练,最终产生描述图像内容的语义信息。模型采用MSCOCO数据集进行训练,使用多种评价指标（BLEU-1、BLEU-4、METEOR、CIDEr等）对模型进行验证。实验结果表明,提出的模型能够对图像内容进行准确描述,在多种评价指标上均优于基于传统注意力机制的方法。     

基于词注意力卷积神经网络模型的情感分析研究

情感分类任务需要捕获文本中的情感特征,利用重要的局部特征构建文本的特征表示。卷积神经网络(convolutional neural networks,CNN)已经被证明拥有出色的特征学习能力,但是该模型无法判别输入文本中特征词与情感的相关性,卷积层缺乏对单一词特征的提取。基于目前运用非常成功的注意力模型,该文提出一种基于词注意力的卷积神经网络模型(word attention-based convolutional neural networks,WACNN)。相比于卷积神经网络,该模型以篇章的文本信息作为输入,首先在词嵌入层之后增加注意力机制层,获取重要的局部特征词,使模型有选择地进行特征提取;然后在卷积层中增加大小为1的卷积核,提取单一词的特征;最后该方法对输入文本进行适当的文本填充,保证每个词都存在上下文信息,使模型有效提取到每个词的n-grams局部特征,避免卷积处理过程中局部信息的丢失。该模型在MR5K和CR数据集上进行验证,较普通卷积神经网络和传统机器学习方法,在准确率上分别取得0.5%和2%的提升。     

一种循环卷积注意力模型的文本情感分类方法

情感分类对推荐系统、自动问答、阅读理解等下游应用具有重要应用价值,是自然语言处理领域的重要研究方向。情感分类任务直接依赖于上下文,包括全局和局部信息,而现有的神经网络模型无法同时捕获上下文局部信息和全局信息。文中针对单标记和多标记情感分类任务,提出一种循环卷积注意力模型(LSTM-CNN-ATT,LCA)。该模型利用注意力机制融合卷积神经网络(Convolutional Neural Network,CNN)的局部信息提取能力和循环神经网络(Recurrent Neural Network,RNN)的全局信息提取能力,包括词嵌入层、上下文表示层、卷积层和注意力层。对于多标记情感分类任务,在注意力层上附加主题信息,进一步指导多标记情感倾向的精确提取。在两个单标记数据集上的F1指标达到82.1%,与前沿单标记模型相当;在两个多标记数据集上,小数据集实验结果接近基准模型,大数据集上的F1指标达到78.38%,超过前沿模型,表明LCA模型具有较高的稳定性和较强的通用性。     

基于注意力机制和分时图卷积的公交客流预测

实际公交路网通常为复杂的非线性时变系统,难以有效构建线路间的时空间依赖关系.因此,文中提出基于注意力机制和分时图卷积的公交客流预测模型,提升公交客流量预测的准确性.首先通过长短期记忆网络提取历史数据中的时间特征,并利用通道注意力模块加权特征.再使用分时图卷积方法分析不同时段下公交线路间的空间依赖性,根据预测时段选择不同...     

卷积神经网络中的注意力机制综述

注意力机制因其优秀的效果与即插即用的便利性,在深度学习任务中得到了越来越广泛的应用。主要着眼于卷积神经网络,对卷积网络注意力机制发展过程中的各种主流方法进行介绍,并对其核心思想与实现过程进行提取与总结,同时对每种注意力机制方法进行实现,针对同型号辐射源设备实测数据进行对比实验与结果分析,并依据主流方法的思想与实验的结果总结并阐述了卷积网络中的注意力机制的研究现状与未来其发展方向。     

基于深度卷积神经网络的刀具寿命动态预测研究

刀具寿命预测对提高工件加工精度和生产加工效率具有重要意义.同工况下同型号刀具监测信号数据分布不一致,导致历史寿命预测模型对刀具寿命预测效果有限.鉴于此,提出一种基于深度卷积神经网络(DCNN)的刀具寿命动态预测方法.首先,利用DCNN挖掘历史刀具监测信号的退化趋势特征,构建刀具寿命预测模型,并加入注意力机制对DCNN输出进行加权,加强对刀具寿命特征的学习,提高寿命预测准确度;然后,通过基于KL散度对刀具监测信号数据分布不一致进行检测,从而在已有刀具寿命预测模型的基础上进行更新迭代;最后,利用迭代后的模型再次进行刀具寿命预测.所提出方法很好地体现了刀具实际加工过程对刀具寿命的影响,以铣削数据集为例验证了所提出方法的有效性.     

一种面向人群计数的卷积注意力网络模型

随着当今国际社会形势逐渐复杂,公共安全和社会稳定面临严峻挑战。视频监控作为维护社会安定与建设智慧城市的重要手段,广泛应用于城市安全管理。高效的人群计数是实现基于视频进行安全管理的一个难点问题,旨在分析计算视频或图片场景中的人数。人群计数对控制关键场所人数、指挥公共交通、控制疫情蔓延、保障社会稳定具有重要积极意义。然而,人群计数问题仍然存在背景干扰、目标遮挡、目标尺度不一和目标分布不均等挑战,导致计数准确度较低。为了解决这些问题,梳理了人群计数发展的时间线,分析了现有方法的不足,并针对这些不足提出了基于相似性度量的卷积注意力网络。该方法结合基于相似性度量的损失函数和基于注意力机制的卷积神经网络模块,有效缓解了人群计数中背景干扰、目标遮挡、目标尺度不一和目标分布不均四个问题。通过在数据集上的实验和相关对比分析发现,基于相似性度量的卷积注意力网络具有很好的准确性和稳定性。     

融合注意力机制和CNN-GRNN模型的读者情绪预测

针对主流面向文本的读者情绪预测算法难以捕捉文本中复杂的语义和语法信息,以及局限于使用多标签分类方法的问题,提出一种融合注意力机制和卷积门限循环神经网络的读者情绪预测方法。该方法将文本划分为多个句子,利用卷积神经网络从每个句子中提取不同粒度的n-gram信息,构建句子级别的特征表示;然后通过门限循环神经网络顺序地集成这些句子特征,并利用注意力机制自适应地感知上下文信息提取影响读者情绪的文本特征;最后利用softmax回归进行细粒度的读者情绪分布预测。在雅虎新闻读者情感分析数据集上的实验结果证明了该方法的有效性。     

基于生成对抗模型的序列推荐算法

针对传统序列推荐算法时间信息和项目内容信息运用不充分的问题,该文提出基于生成对抗模型的序列推荐算法。通过生成对抗模型将序列建模与时间、内容信息建模分离,充分挖掘用户项目交互的序列信息和项目内容信息。运用卷积神经网络作为生成对抗模型的生成器,捕获用户项目交互的序列模式。运用注意力机制作为生成对抗模型的判别器,捕获交互序列的时间信息和项目内容信息。针对传统序列推荐算法时间信息建模不充分的问题,提出一种改进的时间嵌入方式,充分建模用户项目交互关于时间的周期性模式。利用生成对抗模型同时建模用户的稳定偏好和动态偏好,提升推荐系统的用户体验,并在公开数据集MovieLens-1M和Amazon-Beauty上与现有的优秀算法做比较。实验证明,该文所提出的算法在评价指标HR@N和NDCG@N上较基线方法均有一定提升。     

改进CBAM的轻量级注意力模型

近几年注意力模型在计算机视觉领域取得了广泛的应用,通过在卷积神经网络中加入注意力模型,网络的性能可以显著提升。然而大多数现有的方法都专注于开发更复杂的注意力模型,以使卷积神经网络获得更强的特征表达能力,但这也不可避免地增加了模型的复杂性。为了在性能和复杂度间取得平衡,对CBAM模型进行优化提出了轻量级的EAM（Efficient Attention Module）模型。针对CBAM的通道注意力模块,引入一维卷积替代全连接层来聚合各通道间的信息;对于CBAM的空间注意力模块,将大卷积核替换为空洞卷积来增加感受野以聚合更广的空间上下文信息。将该模型融入YOLOv4后在VOC2012数据集上进行测试,mAP提高3.48个百分点。实验结果表明,该注意力模型只引入较小的参数量,网络性能可获得较大提升。     

基于鞋印图像的性别预测方法

鞋印是作案人在案发现场经常遗留的痕迹,承载人的性别、身高等属性信息。基于鞋印的性别预测对快速排查嫌疑人具有重要作用,其方法主要由刑侦人员凭借经验判断,需要大量领域知识,而少数自动预测方法是基于人工提取的特征和经验模型进行预测,受测量误差的影响,导致预测准确率降低。针对该问题,提出基于鞋印图像的端到端预测方法。采用卷积神经网络提取鞋印图像特征,引入通道注意力模块对特征权重进行重新分配,使模型重点关注鞋印图像中对性别起显著作用的部分。在此基础上,将特征图输入到性别预测模块进行预测。此外,分别构建适用于单枚和多枚鞋印应用场景的数据集SiSIS和SeSIS,根据在案发现场中鞋印可能出现的情况,设计鞋印方向差异、鞋印残缺和弹性形变的数据增广方式。实验结果表明,该方法在SiSIS和SeSIS数据集上的预测准确率分别达到91.80%和99.35%,相比现有基于鞋印的性别预测方法,具有较优的预测性能。     

基于双重注意力孪生网络的实时视觉跟踪

为了解决全卷积孪生网络(SiamFC)跟踪算法在跟踪目标经历剧烈的外观变化时容易发生模型漂移从而导致跟踪失败的问题,提出了一种双重注意力机制孪生网络(DASiam)去调整网络模型并且不需要在线更新。首先,主干网络使用修改后表达能力更强的并适用于目标跟踪任务的VGG网络;然后,在网络的中间层加入一个新的双重注意力机制去动态地提取特征,这种机制由通道注意机制和空间注意机制组成,分别对特征图的通道维度和空间维度进行变换得到双重注意特征图;最后,通过融合两个注意机制的特征图进一步提升模型的表征能力。在三个具有挑战性的跟踪基准库即OTB2013、OTB100和2017年视觉目标跟踪库(VOT2017)实时挑战上进行实验,实验结果表明,以40 frame/s的速度运行时,所提算法在OTB2013和OTB100上的成功率指标比基准SiamFC分别高出3.5个百分点和3个百分点,并且在VOT2017实时挑战上面超过了2017年的冠军SiamFC,验证了所提出算法的有效性。     

量型图像分类神经网络改进研究

当前普遍使用的轻量型神经网络仍然存在计算量与参数量过大的问题,导致算力较低的廉价移动设备无法快速完成图像分类任务.针对此问题提出了一种更适合于应用在算力较低的廉价移动设备上的轻量型神经网络,引入了代价较小的线性操作与特征图合并操作用于减少神经网络的计算量与参数量,还引入了改进的残差结构、注意力机制和标签平滑技术用于提高结果判断的准确率.基于PD-38数据集的实验表明,该神经网络相比传统的轻量型神经网络使用较小的计算量与参数量可以达到较高的分类准确率.在公共数据集CIFAR-10上的实验进一步表明该神经网络具有通用性.     

一种新的考虑注意力机制的微博谣言检测模型

随着社交媒体的迅速发展,谣言通过社交媒体迅速传播,识别社交媒体网络上的谣言是社交网络研究中一个至关重要的问题.本文提出了一种新的考虑注意力机制的微博谣言检测模型,考虑到卷积神经网络(CNN)提取到的特征对输出结果影响力问题,在经典的文本卷积神经网络(Text CNN)上引入了注意力机制,通过CNN中的卷积层学习微博窗口...     

Text-CRNN+attention架构下的多类别文本信息分类

迄今为止,传统机器学习方法依赖人工提取特征,复杂度高;深度学习网络本身特征表达能力强,但模型可解释性弱导致关键特征信息丢失。为此,以网络层次结合的方式设计了CRNN并引入attention机制,提出一种Text-CRNN+attention模型用于文本分类。首先利用CNN处理局部特征的位置不变性,提取高效局部特征信息;然后在RNN进行序列特征建模时引入attention机制对每一时刻输出序列信息进行自动加权,减少关键特征的丢失,最后完成时间和空间上的特征提取。实验结果表明,提出模型较其他模型准确率提升了2%～3%;在提取文本特征时,该模型既保证了数据的局部相关性又起到强化序列特征的有效组合能力。