基于注意力的卷积神经网络金融时序数据预测

针对现有金融时序数据预测方法在构造金融特征图像的过程中因忽视市场环境变化导致的数据密度分布差异问题,提出一种基于滑动窗口标准化的金融数据预处理方法。所提方法将滑动窗口截取的数据使用独立的标准化转换为金融特征图像,使得依赖价格特征进行训练的卷积神经网络（CNN）模型能够学习到正确的映射关系;同时,针对金融特征图像的特征表达问题,为更好地捕捉其动态变化特征,将注意力机制引入CNN中,进而构建出一种注意力CNN金融时序数据预测模型。对标普500指数未来1天涨跌进行预测的准确率和F1分数分别为61%和0.739 7,模拟交易实验投资回报率为23.04%,优于买入并持有策略。此外,消融实验结果也证明了预处理方法、注意力模块引入的有效性。     

基于注意力机制的改进LSTM模型的地铁客流预测研究

介绍了一种基于注意力机制的改进LSTM模型,并分析对比其他模型的结果。使用了上海地铁刷卡数据作为数据源,经过时序处理后的时间序列数据作为模型的输入,通过模型的训练以及参数设置,对比各个模型的实验分析结果,证明了该模型的精确性。     

基于词注意力卷积神经网络模型的情感分析研究

情感分类任务需要捕获文本中的情感特征,利用重要的局部特征构建文本的特征表示。卷积神经网络(convolutional neural networks,CNN)已经被证明拥有出色的特征学习能力,但是该模型无法判别输入文本中特征词与情感的相关性,卷积层缺乏对单一词特征的提取。基于目前运用非常成功的注意力模型,该文提出一种基于词注意力的卷积神经网络模型(word attention-based convolutional neural networks,WACNN)。相比于卷积神经网络,该模型以篇章的文本信息作为输入,首先在词嵌入层之后增加注意力机制层,获取重要的局部特征词,使模型有选择地进行特征提取;然后在卷积层中增加大小为1的卷积核,提取单一词的特征;最后该方法对输入文本进行适当的文本填充,保证每个词都存在上下文信息,使模型有效提取到每个词的n-grams局部特征,避免卷积处理过程中局部信息的丢失。该模型在MR5K和CR数据集上进行验证,较普通卷积神经网络和传统机器学习方法,在准确率上分别取得0.5%和2%的提升。     

融合卷积注意力机制的图像描述生成模型

图像描述模型需要提取出图像中的特征,然后通过自然语言处理（NLP）技术将特征用语句表达出来。现有的基于卷积神经网络（CNN）和循环神经网络（RNN）搭建的图像描述模型在提取图像关键信息时精度不高且训练速度缓慢。针对这个问题,提出了一种基于卷积注意力机制和长短期记忆（LSTM）网络的图像描述生成模型。采用Inception-ResNet-V2作为特征提取网络,在注意力机制中引入全卷积操作替代传统的全连接操作,减少了模型参数的数量。将图像特征与文本特征有效融合后送入LSTM单元中完成训练,最终产生描述图像内容的语义信息。模型采用MSCOCO数据集进行训练,使用多种评价指标（BLEU-1、BLEU-4、METEOR、CIDEr等）对模型进行验证。实验结果表明,提出的模型能够对图像内容进行准确描述,在多种评价指标上均优于基于传统注意力机制的方法。     

一种循环卷积注意力模型的文本情感分类方法

情感分类对推荐系统、自动问答、阅读理解等下游应用具有重要应用价值,是自然语言处理领域的重要研究方向。情感分类任务直接依赖于上下文,包括全局和局部信息,而现有的神经网络模型无法同时捕获上下文局部信息和全局信息。文中针对单标记和多标记情感分类任务,提出一种循环卷积注意力模型(LSTM-CNN-ATT,LCA)。该模型利用注意力机制融合卷积神经网络(Convolutional Neural Network,CNN)的局部信息提取能力和循环神经网络(Recurrent Neural Network,RNN)的全局信息提取能力,包括词嵌入层、上下文表示层、卷积层和注意力层。对于多标记情感分类任务,在注意力层上附加主题信息,进一步指导多标记情感倾向的精确提取。在两个单标记数据集上的F1指标达到82.1%,与前沿单标记模型相当;在两个多标记数据集上,小数据集实验结果接近基准模型,大数据集上的F1指标达到78.38%,超过前沿模型,表明LCA模型具有较高的稳定性和较强的通用性。     

基于注意力机制和分时图卷积的公交客流预测

实际公交路网通常为复杂的非线性时变系统,难以有效构建线路间的时空间依赖关系.因此,文中提出基于注意力机制和分时图卷积的公交客流预测模型,提升公交客流量预测的准确性.首先通过长短期记忆网络提取历史数据中的时间特征,并利用通道注意力模块加权特征.再使用分时图卷积方法分析不同时段下公交线路间的空间依赖性,根据预测时段选择不同...     

卷积神经网络中的注意力机制综述

注意力机制因其优秀的效果与即插即用的便利性,在深度学习任务中得到了越来越广泛的应用。主要着眼于卷积神经网络,对卷积网络注意力机制发展过程中的各种主流方法进行介绍,并对其核心思想与实现过程进行提取与总结,同时对每种注意力机制方法进行实现,针对同型号辐射源设备实测数据进行对比实验与结果分析,并依据主流方法的思想与实验的结果总结并阐述了卷积网络中的注意力机制的研究现状与未来其发展方向。     

一种面向人群计数的卷积注意力网络模型

随着当今国际社会形势逐渐复杂,公共安全和社会稳定面临严峻挑战。视频监控作为维护社会安定与建设智慧城市的重要手段,广泛应用于城市安全管理。高效的人群计数是实现基于视频进行安全管理的一个难点问题,旨在分析计算视频或图片场景中的人数。人群计数对控制关键场所人数、指挥公共交通、控制疫情蔓延、保障社会稳定具有重要积极意义。然而,人群计数问题仍然存在背景干扰、目标遮挡、目标尺度不一和目标分布不均等挑战,导致计数准确度较低。为了解决这些问题,梳理了人群计数发展的时间线,分析了现有方法的不足,并针对这些不足提出了基于相似性度量的卷积注意力网络。该方法结合基于相似性度量的损失函数和基于注意力机制的卷积神经网络模块,有效缓解了人群计数中背景干扰、目标遮挡、目标尺度不一和目标分布不均四个问题。通过在数据集上的实验和相关对比分析发现,基于相似性度量的卷积注意力网络具有很好的准确性和稳定性。     

基于注意力机制和深度卷积神经网络的材质识别方法

材质识别旨在识别自然材质图像中的主要对象及其所属材料类别.针对材质图像数据集通常数据量少、人工标注局部纹理区域困难所导致的材质识别准确率低的问题,提出了一种基于注意力机制和深度卷积神经网络的材质识别方法,该方法的核心是材质识别深度卷积神经网络(MaterialNet).MaterialNet利用深度残差网络对图像进行特...     

基于深度卷积神经网络的刀具寿命动态预测研究

刀具寿命预测对提高工件加工精度和生产加工效率具有重要意义.同工况下同型号刀具监测信号数据分布不一致,导致历史寿命预测模型对刀具寿命预测效果有限.鉴于此,提出一种基于深度卷积神经网络(DCNN)的刀具寿命动态预测方法.首先,利用DCNN挖掘历史刀具监测信号的退化趋势特征,构建刀具寿命预测模型,并加入注意力机制对DCNN输出进行加权,加强对刀具寿命特征的学习,提高寿命预测准确度;然后,通过基于KL散度对刀具监测信号数据分布不一致进行检测,从而在已有刀具寿命预测模型的基础上进行更新迭代;最后,利用迭代后的模型再次进行刀具寿命预测.所提出方法很好地体现了刀具实际加工过程对刀具寿命的影响,以铣削数据集为例验证了所提出方法的有效性.     

改进CBAM的轻量级注意力模型

近几年注意力模型在计算机视觉领域取得了广泛的应用,通过在卷积神经网络中加入注意力模型,网络的性能可以显著提升。然而大多数现有的方法都专注于开发更复杂的注意力模型,以使卷积神经网络获得更强的特征表达能力,但这也不可避免地增加了模型的复杂性。为了在性能和复杂度间取得平衡,对CBAM模型进行优化提出了轻量级的EAM（Efficient Attention Module）模型。针对CBAM的通道注意力模块,引入一维卷积替代全连接层来聚合各通道间的信息;对于CBAM的空间注意力模块,将大卷积核替换为空洞卷积来增加感受野以聚合更广的空间上下文信息。将该模型融入YOLOv4后在VOC2012数据集上进行测试,mAP提高3.48个百分点。实验结果表明,该注意力模型只引入较小的参数量,网络性能可获得较大提升。     

一种时空注意力网络的交通预测模型

交通预测在智能交通中有着重要的意义和应用.由于交通数据的复杂性和高度的非线性,精确的交通预测的核心挑战在于如何对复杂的空间相关性和时间动态建立模型.在现实生活中,我们发现:1)区域间的空间依赖是动态的;2)时间依赖有日和周的模式,但由于有动态时间变化,它不具有严格周期性.为了解决这两个问题,我们提出了一个新的时空注意力...     

一种新的考虑注意力机制的微博谣言检测模型

随着社交媒体的迅速发展,谣言通过社交媒体迅速传播,识别社交媒体网络上的谣言是社交网络研究中一个至关重要的问题.本文提出了一种新的考虑注意力机制的微博谣言检测模型,考虑到卷积神经网络(CNN)提取到的特征对输出结果影响力问题,在经典的文本卷积神经网络(Text CNN)上引入了注意力机制,通过CNN中的卷积层学习微博窗口...     

基于卷积神经网络和注意力模型的文本情感分析*

随着社交网络的兴起,使越来越多的用户针对各类事件更加方便的表达自己的观点。为了发现用户对于某个事件的态度,面向文本信息的情感倾向性分析逐步成为一个研究热点。已有的研究方法大多是根据手工标注好的情感词典,对文本信息使用朴素贝叶斯、支持向量机、最大熵方法等机器学习算法进行情感分析。但是,通过手工方式建立情感词典是一项费时费力的工作,为了避免对情感词典的依赖,本文提出基于卷积神经网络和注意力模型相结合的方法进行文本情感分析的研究。实验表明,本文提出的相关方法较已有的机器学习方法与单纯的卷积神经网络方法较明显的提高。     

结合注意力机制与图卷积网络的汉语复句关系识别

复句的关系识别是为了区分句子语义关系的类别,是自然语言处理(NLP)中必不可少的基础研究任务。现有研究无法使机器在表层判别缺少显式句间连接词句子的语义关系类型。该文将Attention机制与图卷积神经网络(GCN)相结合应用到汉语复句语义关系识别中,通过BERT预训练模型获取单句词向量,输入到Bi-LSTM获取句子位置表示,经Attention机制得到各位置间权重构建图网络以捕获句子间的语义信息,通过图卷积抽取深层的关联信息。该文的方法对缺少显式句间连接词句子的关系识别达到了较好的识别效果,为进一步研究计算机自动分析、识别处理复句的基本方法奠定基础。实验结果表明,在汉语复句语料库(CCCS)和汉语篇章树库(CDTB)数据集上,与先前最好的模型相比,其准确率分别为77.3%和75.7%,提升约1.6%,宏平均F₁值分别为76.2%和74.4%,提升约2.1%,说明了该文方法的有效性。     

基于卷积神经网络与注意力模型的人体步态识别

步态识别是非接触式生物识别领域中一个比较前沿的课题,它主要是利用行走过程中个体步态之间的差异来识别人的身份。近年来,随着可穿戴传感器在人体信息采集中的广泛应用,利用惯性传感器采集步行过程中的线性加速度以及角速度进而实现步态特征提取是该领域中一个研究热点。为了提取更加有效的步态识别特征,利用基于注意力机制的卷积神经网络来进行步态特征的深度学习,其主要流程是先对原始数据进行预处理,接着利用卷积神经网络对处理后的数据提取步态特征,然后利用注意力机制对步态特征进行加强,最后再分类。实验结果证明了本文方法的优越性。     

一种基于增强图卷积神经网络的协同推荐模型

图卷积神经网络是一种针对图结构数据的深度学习模型,由于具有强大的特征提取和表示学习能力,它也成为当前推荐系统研究的热门方法.以推荐系统中的评分预测为研究对象,通过分析指出了现有的基于图卷积神经网络的推荐模型存在2个方面的不足：图卷积层仅仅利用了1阶协同信号和未考虑用户观点的差异.为此,提出一种端到端的、基于增强图卷积神经网络的协同推荐模型.它采用一种增强的图卷积层,不仅聚合了2阶协同信号而且融合用户观点的影响,从而更合理地利用协同信号学习实体节点的嵌入表示,并通过堆叠多个图卷积层对其进行精化;最后,采用了非线性的多层感知机实现评分预测.基于5种推荐数据集上的实验结果表明：新模型的预测误差相比于几种主流的推荐模型具有明显的降低.     

基于注意力机制的兴趣网络点击率预估模型

广告点击率(CTR)是互联网公司进行流量分配的重要依据,针对目前点击率预估精度较低的问题,结合通用的神经网络解决方案,构建一种基于注意力机制的深度兴趣网络(ADIN)模型。设计一个局部激活单元和自适应激活函数,根据用户历史行为和给定广告自适应地学习用户兴趣。引入注意力机制,区分不同特征对预测结果的影响程度,从而增强模型的可解释性。在3个公开数据集上的实验结果表明,相对LR、PNN等CTR预估模型,ADIN模型具有更高的AUC值和更低的LogLoss值,其预测效果更优。