基于图注意力时空神经网络的在线内容流行度预测

现有在线内容流行度预测方法忽略对传播级联演化过程中的结构和时序特征的捕获.针对此问题,文中提出基于图注意力时空神经网络的在线内容流行度预测模型.利用图注意力机制学习在线内容的级联结构表示,利用时序卷积网络捕获传播级联的时序特征,通过全卷积层映射在线内容的流行度.在新浪微博和美国物理学会引文两个不同场景的数据集上的实验表明,文中方法的流行度预测性能较优.     

融合内容特征和时序信息的深度注意力视频流行度预测模型

针对视频流行度动态变化过程中的时序信息难以捕捉的问题,提出一种融合内容特征和时序信息的深度注意力视频流行度预测模型(DAFCT).首先,根据用户的反馈信息,构建基于注意力机制的长短期记忆网络(Attention-LSTM)模型来捕捉流行趋势并挖掘时序信息;然后,采用神经网络因子分解机(NFM)处理多模态的内容特征,并采...     

基于注意力机制的改进LSTM模型的地铁客流预测研究

介绍了一种基于注意力机制的改进LSTM模型,并分析对比其他模型的结果。使用了上海地铁刷卡数据作为数据源,经过时序处理后的时间序列数据作为模型的输入,通过模型的训练以及参数设置,对比各个模型的实验分析结果,证明了该模型的精确性。     

基于AlexNet的注意力机制网络研究

本文采用引入人类视觉系统的注意力机制对AlexNet网络模型进行改进,通过融入注意力机制对AlexNet注意力机制网络进行研究,并通过CIFAR-10数据集进行实验对比验证.实验对比结果表明,AlexNet注意力机制网络模型比传统AlexNet网络模型具有更好的分类效果,其分类准确率提升了2％.     

基于注意力机制和长短期记忆神经网络的流量预测研究

准确的流量预测提升通信网络技能、改善通信网络管理具有重要意义.考虑到长短期记忆(Long Short-Term Memory,LSTM)神经网络可解决长序列数据在训练过程中的存在梯度消失问题,采用LSTM作为长期流量预测的基准模型,为提高模型准确性,在LSTM模型的基础上,引入Attention机制(Attention...     

基于时空注意力机制的加油站级客流量预测

加油站是重要的能源供给单位,对加油站站点的下一时段客流量进行精准预测,可为相关资源的调度与分配提供决策支撑.针对加油站级客流量预测问题,结合加油站客流数据的时空特征,提出一种基于注意力机制的时空网络模型.以路网结构建模的站级客流数据为输入,结合卷积神经网络、长短期记忆网络与注意力机制,解决站点间的空间依赖、短期与长期时...     

融合注意力机制的学生退课行为预测

近年来,大规模在线开放课程(MOOCs)发展迅速,吸引了学界的广泛关注.用户退课率极高这一问题的长期存在,使得退课行为预测成为了一个重要的研究课题.目前的退课行为预测模型过于依赖传统的机器学习算法.此外,很多研究忽视了MOOCs用户灵活修课的特点,采用时序无关的方法进行预测.针对目前该领域存在的问题,论文提出了一种融合注意力机制的时序预测模型.该模型首先利用长短期记忆网络从原始的时序数据中学习新的时序隐态表示,再使用多个一维卷积神经网络提取隐态中各类特征的时序模式,最后融合注意力机制,使模型能够通过注意力分布值强化有效特征.实验结果表明,该方法的预测能力优于其他方法.     

社交网络中基于注意力机制的网络舆情事件演化趋势预测

与传统媒体相比,社交网络在传播新闻、思想、观点等方面发挥着突出的作用,同时也是传播谣言、虚假新闻等负面信息的最佳途径.因此,对网络舆情演化趋势的准确预测和有效控制已成为重要的研究话题.目前,大多数研究从理论建模的角度对网络舆情事件的演化特性和发展趋势进行预测,基于用户行为特征的信息传播演化趋势预测模型的建模及分析有待进...     

ACMF:基于卷积注意力模型的评分预测研究

评分数据稀疏是影响评分预测的主要因素之一。为了解决数据稀疏问题,一些推荐模型利用辅助信息改善评分预测的准确率。然而大多数推荐模型缺乏对辅助信息的深入理解,因此还有很大的提升空间。鉴于卷积神经网络在特征提取方面和注意力机制在特征选择方面的突出表现,该文提出一种融合卷积注意力神经网络(Attention Convolutional Neural Network, ACNN)的概率矩阵分解模型: 基于卷积注意力的矩阵分解(Attention Convolutional Model based Matrix Factorization, ACMF),该模型首先使用词嵌入将高维、稀疏的词向量压缩成低维、稠密的特征向量;接着,通过局部注意力层和卷积层学习评论文档的特征;然后,利用用户和物品的潜在模型生成评分预测矩阵;最后计算评分矩阵的均方根误差。在ML-100k、ML-1m、ML-10m、Amazon数据集上的实验结果表明,与当前取得最好预测准确率的PHD模型相比,ACMF模型在预测准确率上分别提高了3.57%、1.25%、0.37%和0.16%。     

基于混合注意力机制的软件缺陷预测方法

软件缺陷预测技术用于定位软件中可能存在缺陷的代码模块,从而辅助开发人员进行测试与修复。传统的软件缺陷特征为基于软件规模、复杂度和语言特点等人工提取的静态度量元信息。然而,静态度量元特征无法直接捕捉程序上下文中的缺陷信息,从而影响了软件缺陷预测的性能。为了充分利用程序上下文中的语法语义信息,论文提出了一种基于混合注意力机制的软件缺陷预测方法 DP-MHA(Defect Prediction via Mixed Attention Mechanism)。DP-MHA首先从程序模块中提取基于AST树的语法语义序列并进行词嵌入编码和位置编码,然后基于多头注意力机制自学习上下文语法语义信息,最后利用全局注意力机制提取关键的语法语义特征,用于构建软件缺陷预测模型并识别存在潜在缺陷的代码模块。为了验证DP-MHA的有效性,论文选取了六个Apache的开源Java数据集,与经典的基于RF的静态度量元方法、基于RBM+RF、DBN+RF无监督学习方法和基于CNN和RNN深度学习方法进行对比,实验结果表明,DP-MHA在F1值分别提升了16.6%、34.3%、26.4%、7.1%、4.9%。     

融合快速注意力机制的节点无特征网络链路预测算法

链路预测是网络科学的一个重要研究分支,旨在推断网络中节点对间存在连边的可能性.现实生活中很多事物关系都能够通过网络科学进行描述,很多实际问题都可以转化为链路预测问题.节点无特征网络链路预测算法可向有向网络、加权网络、时序网络等更复杂的网络推广.但现有的链路预测算法面临着网络结构信息挖掘不够深入、特征提取过程受人为主观意...     

基于多层注意力和消息传递网络的药物相互作用预测方法

药物相互作用(Drug-drug interaction, DDI)是指不同药物存在抑制或促进等作用. 现有DDI预测方法往往直接利用药物分子特征表示预测DDI, 而忽略药物分子中不同原子对DDI的影响. 为此, 提出基于多层次注意力机制和消息传递神经网络的DDI预测方法. 该方法将DDI建模为通过学习基于序列表示的药物分子特征实现DDI预测的链接预测问题. 首先, 建立基于注意力机制和消息传递神经网络的原子特征网络, 结合提出的基于分子质心的位置编码, 学习不同原子及其相关联化学键的特征, 构建基于图结构的药物分子特征表示; 然后, 设计基于注意力机制的分子特征网络, 并通过监督和对比损失学习, 实现DDI预测; 最后, 通过实验证明该方法的有效性和优越性.     

基于图动态注意力网络的多站点风速预测

时空序列预测任务在交通、气象、智慧城市等领域有着广泛应用。站点风速预测作为气象预测中的主要任务之一,需要结合降水、气温等外部因素,学习不同数据的时空特征。气象站点的不规则分布和风本身的固有间歇性成为实现高精度风速预测的挑战。为考虑多站点空间分布对风速的影响以获得准确可靠的预测结果,提出一种基于图的动态转换注意力网络（Graph-DSAN）风速预测模型。首先,利用不同站点之间的距离重新构建它们的连接;其次,使用局部采样的过程建模不同采样大小的邻接矩阵,实现图卷积过程中邻居节点信息的聚合与传递;接着,将时空位置编码（STPE）处理后的图卷积结果加入动态注意力编码器（DAE）和转换注意力解码器（SAD）以实现动态注意力计算,从而提取时空相关性;最后,利用自回归的方式形成多步预测。在纽约州15个站点的风速预测实验中,将所设计模型与ConvLSTM、图多注意力网络（GMAN）、时空图卷积网络（STGCN）、动态转换注意力网络（DSAN）和时空动态网络（STDN）进行比较,Graph-DSAN的12 h预测均方根误差（RMSE）分别降低了28.2%、6.9%、27.7%、14.4%和8.9%,验证...     

一种注意力机制下的空气污染物预测方法

环境空气质量预测是环境污染防治和预警的必要前提,针对现有预测方法存在缺少对环境空气质量时间序列数据的充分挖掘和深入诊断分析,提出一种基于注意力机制和门控循环单元循环神经网络空气污染物预测与诊断模型。在网络顶层加一层输入注意力机制层,运用注意力机制对环境空气质量数据进行特征提取,挖掘气象数据与空气质量数据相互关系。仿真实验结果表明,基于注意力的门控循环网络模型可以取得较高的预测精度,是一种可行且有效的预测方法。     

联合注意力机制与MatchPyramid的文本相似度分析算法

文本相似度分析是自然语言处理领域的核心任务,基于深度文本匹配模型进行文本相似度分析是当前研究该任务的主流思路。针对传统的MatchPyramid模型对文本特征提取的不足之处进行改进,提出了基于增强MatchPyramid模型进行文本相似度分析的方法。该方法在输入编码层加入多头自注意力机制和互注意力机制,同时对双注意力机制的输入词向量使用自编码器做降维处理,以降低模型的计算量。接着将双注意力机制的输出与原始词向量相连接,提升了词向量对文本关键信息的表征能力。最后将两个文本的词向量矩阵点积形成的单通道图映射到多个特征子空间形成了多通道图,使用密集连接的卷积神经网络对多通道图进行特征提取。实验结果表明,相比于传统的MatchPyramid模型,所提出的模型准确率提升了1.59个百分点,F1值提升了2.49个百分点。     

基于时空依赖性和注意力机制的交通速度预测

交通流精准预测对保障公共安全和解决交通拥堵具有重要的意义,在城市交通规划、交通管理、交通控制等起着重要的作用.交通预测由于其受限制于城市路网并且随着时间动态变化,其中存在着空间依赖与时间依赖,是近些年来具有挑战性的课题之一.为了同时捕获到空间和时间上的依赖,提出了一个新的神经网络:基于注意力机制的时空图卷积网络(A-TGCN).TGCN网络模型用于捕获交通数据中的动态时空特性与相关性,采用注意力机制来增强每个A-TGCN层中关键节点的信息.通过在两组数据上的实验结果表明,A-TGCN在精度以及可解释性方面都有很好的表现.     

基于相似消息的流行度预测方法

社交网络中消息的流行度预测问题在很多应用领域都有着重要意义。传统的流行度预测方法包括基于特征的方法和基于点过程的方法。基于点过程的方法无法利用历史消息的信息,而基于特征的方法则使用一个统一的模型来对所有的消息进行预测,没有考虑消息的特异性。因此,该文提出了一种基于相似消息的流行度预测方法。对于待预测微博,我们从历史消息选取出与之最相似的前K条消息来进行预测。在计算消息相似度时,我们借助了文档建模领域的LDA模型来学习消息的表示。在数据集上的实验结果表明,该方法可以有效发现在传播模式上与待预测消息相似的历史消息,并在流行度预测任务上取得了比对比模型更好的预测效果。     

基于多重注意力机制的图神经网络股市波动预测方法

股票市场是金融市场关键组成部分,因此对股票市场波动的研究对合理化控制金融市场风险、提高投资收益提供了重要支持,一直以来都是学术界和相关业界的关注焦点,然而,股票市场会受到各种因素的影响。面对股票市场中多源化、异构化的信息,如何高效挖掘、融合股票市场的多源异构数据具有挑战性。为了充分解释不同信息及信息间相互作用对于股票市场价格波动的影响,提出一种基于多重注意力机制的图神经网络来预测股票市场的价格波动。首先,引入关系维度构建股票市场交易数据和新闻文本的异构子图,并利用多重注意力机制实现图数据的融合;其次,通过图神经网络门控循环单元（GRU）进行图分类,在此基础上完成对股票市场中上证综合指数、沪深300指数、深证成份指数这三个重要指数波动的预测。实验结果表明,从异构信息特性角度,相较于股票市场交易数据,股市新闻信息对于股票价格影响存在滞后性;从异构信息融合角度,所提方法与支持向量机（SVM）、随机森林、多核k-means （MKKM）聚类等算法相比,预测准确率分别提升了17.88个百分点、30.00个百分点和38.00个百分点,并进行了模型交易策略的量化投资模拟。