基于SDZ-RNN的出租车出行目的地预测方法

在预测出租车目的地时,传统的马尔科夫预测方法仅仅依赖于前面2到3个GPS点,对于那种具有很长依赖关系的轨迹并不适用。为了解决这种长期依赖关系,采用循环神经网络（RNN）进行出租车目的地预测,因为RNN的多个隐藏层能够存储这种依赖关系。但是随着数据量的增大,RNN的隐藏层对较小的扰动变得十分敏感,较小的扰动就会被指数级放大,最终导致预测准确率降低。为了提高预测准确率,同时缩短训练时间,将SDZ应用到RNN中,提出一种基于SDZ-RNN的出租车目的地预测方法（SRTDP）。SDZ不但能够提高SRTDP的鲁棒性,而且SDZ采用局部更新而不是全部更新的方式,降低了训练时间。实验表明,SRTDP在精度和速度上都优于RNN预测方法,预测准确率提高了12%,训练完成时间降低了7%。     

融合知识图谱与注意力机制的推荐算法

为了解决信息过载问题,提出了一种融合知识图谱与注意力机制的推荐模型.在该模型中,将知识图谱作为辅助信息进行嵌入,可以缓解传统推荐算法数据稀疏和冷启动问题,并且给推荐结果带来可解释性.为了提升推荐准确率以及捕捉用户兴趣的动态变化,再结合深度学习中的神经网络以及注意力机制生成用户自适应表示,加上动态因子来更好地捕捉用户动态...     

基于注意力机制和分时图卷积的公交客流预测

实际公交路网通常为复杂的非线性时变系统,难以有效构建线路间的时空间依赖关系.因此,文中提出基于注意力机制和分时图卷积的公交客流预测模型,提升公交客流量预测的准确性.首先通过长短期记忆网络提取历史数据中的时间特征,并利用通道注意力模块加权特征.再使用分时图卷积方法分析不同时段下公交线路间的空间依赖性,根据预测时段选择不同...     

融合出发地与目的地时空相关性的城市区域间出租车需求预测

精准预测城市区域之间的出租车需求量，可以为出租车的引导和调度以及乘客的出行推荐提供决策支持信息，从而优化出租车的供需关系。然而现有模型大多以区域内的出租车需求量为建模和预测对象，对区域之间的时空相关性考虑不足，且较少关注区域之间更细粒度的需求量预测。针对上述问题，提出一种面向城市区域间出租车需求量的预测模型——出发地—目的地融合时空网络（ODSTN）模型。该模型分别从区域和区域对两个空间维度以及临近、日、周三个时间维度出发，采用图卷积和时间注意力机制来捕获区域之间的复杂时空相关性，并设计了一种新的路径感知融合机制来对多角度的特征进行融合，最终实现了对城市区域间出租车需求量的预测。在成都和曼哈顿地区两个真实出租车订单数据集中进行了实验，结果表明ODSTN模型的平均绝对误差（MAE）、均方根误差（RMSE）和平均绝对百分比误差（MAPE）分别为0.897 1、3.527 4、50.655 6%和0.589 6、1.163 8、61.079 4%。可见，ODSTN模型在出租车需求预测任务上具有较高的准确性。     

基于长短期记忆网络的移动轨迹目的地预测

移动轨迹目的地预测是基于位置服务的重要一环,现有的预测方法存在历史轨迹不能完全覆盖所有可能的查询轨迹(数据稀疏)问题,没有考虑前缀轨迹点对预测结果的影响差异(长期依赖问题)。为了解决上述问题,提出了轨迹分布式表示方法。首先,将轨迹进行网格划分,把表示位置的高维独热码向量进行降维处理,生成包含地理拓扑关系的低维嵌入向量。其次,对目的地进行聚类,把聚类中心作为簇中轨迹的标签,缩小相似轨迹的差异,放大不相似轨迹的特征,有效克服了数据稀疏问题。在目的地预测中,将自注意力机制引入长短期记忆网络,提出了基于长短期记忆网络的目的地预测模型SATN-LSTM,挖掘序列中的关键点并根据其重要程度分配权重,较好地解决了长期依赖问题。最后,在真实轨迹数据集上进行了多次实验,验证了模型的有效性,并与现有的模型进行对比,验证了本模型具有更好的准确性。     

ACMF:基于卷积注意力模型的评分预测研究

评分数据稀疏是影响评分预测的主要因素之一。为了解决数据稀疏问题,一些推荐模型利用辅助信息改善评分预测的准确率。然而大多数推荐模型缺乏对辅助信息的深入理解,因此还有很大的提升空间。鉴于卷积神经网络在特征提取方面和注意力机制在特征选择方面的突出表现,该文提出一种融合卷积注意力神经网络(Attention Convolutional Neural Network, ACNN)的概率矩阵分解模型: 基于卷积注意力的矩阵分解(Attention Convolutional Model based Matrix Factorization, ACMF),该模型首先使用词嵌入将高维、稀疏的词向量压缩成低维、稠密的特征向量;接着,通过局部注意力层和卷积层学习评论文档的特征;然后,利用用户和物品的潜在模型生成评分预测矩阵;最后计算评分矩阵的均方根误差。在ML-100k、ML-1m、ML-10m、Amazon数据集上的实验结果表明,与当前取得最好预测准确率的PHD模型相比,ACMF模型在预测准确率上分别提高了3.57%、1.25%、0.37%和0.16%。     

融合多重注意力机制的人眼注视点预测

目的 经典的人眼注视点预测模型通常采用跳跃连接的方式融合高、低层次特征,容易导致不同层级之间特征的重要性难以权衡,且没有考虑人眼在观察图像时偏向中心区域的问题。对此,本文提出一种融合注意力机制的图像特征提取方法,并利用高斯学习模块对提取的特征进行优化,提高了人眼注视点预测的精度。方法 提出一种新的基于多重注意力机制(multiple attention mechanism, MAM)的人眼注视点预测模型,综合利用3种不同的注意力机制,对添加空洞卷积的ResNet-50模型提取的特征信息分别在空间、通道和层级上进行加权。该网络主要由特征提取模块、多重注意力模块和高斯学习优化模块组成。其中,空洞卷积能够有效获取不同大小的感受野信息,保证特征图分辨率大小的不变性;多重注意力模块旨在自动优化获得的低层丰富的细节信息和高层的全局语义信息,并充分提取特征图通道和空间信息,防止过度依赖模型中的高层特征;高斯学习模块用来自动选择合适的高斯模糊核来模糊显著性图像,解决人眼观察图像时的中心偏置问题。结果 在公开数据集SALICON(saliency in context)上的实验表明,提出的方法相较于同结...     

面向出租车空载时间预测的多任务时空图卷积网络

出租车空载时间严重影响交通资源的利用效率和司机的收益。准确的出租车空载时间预测可以有效地指导司机进行合理的路径规划,辅助打车平台进行高效的资源调度。然而,在实际场景中,城市不同区域的空载时间受到区域车流量、客流量以及历史空载时长等多方面因素的影响。为解决该问题,提出一种基于多任务框架的时空图卷积网络(MSTGCN)模型。MSTGCN采用一种新颖的时空图卷积结构,全面建模上述影响空载时间的各种时、空相关性因素。使用多任务学习框架从不同视角学习数据的特征表示,并提出一种多任务注意力融合机制,通过对辅助任务信息的筛选来提升主任务的信息获取能力和预测性能。将所提模型在两个公开的滴滴数据集上进行了充分的实验,其取得了优于其他方法的预测效果。     

基于自注意力的协同演进推荐

为解决时序模型不能有效获取用户和项目交互序列的语义关系,以及因参数共享而导致的信息丢失问题,提出基于自注意力的协同演进推荐模型(BSFRNN).将循环神经网络提取的序列特征和自注意力机制提取的语义特征进行融合表征用户以及项目的短期特征,将矩阵分解描述的长期特征和短期时序特征进行融合,将融合的特征向量通过多层感知机进行预...     

基于注意力机制与改进TF-IDF的推荐算法

针对传统推荐系统主要依赖用户对物品的评分数据而无法学习到用户和项目的深层次特征的问题,提出基于注意力机制与改进TF-IDF的推荐算法（AMITI）。通过将双层注意力机制引入并行的神经网络推荐模型,提高模型对重要特征的挖掘能力。基于用户评分及项目类别改进TF-IDF,依据项目类别权重将推荐结果分类以构建不同类型的项目组并完成推荐。实验结果表明,AMITI算法能提高对文本中重要内容的关注度以及项目分配的注意力权重,有效提升推荐精度并在实现项目组推荐后改善推荐效果。     

基于注意力卷积模块的深度神经网络图像识别

对于在深度神经网络的中间层分支进行深度融合，产生潜在可以共享有用信息的基础网络，从而优化信息流动，提升深度神经网络的性能，是近期的深度神经网络研究的挑战。对此提出一种基于注意力卷积模块的深度神经网络的图像识别方法。改进的模块主要分为树干分支与软分支两部分，在树干分支上，由两组残差模块组成，使该模块适用于其他深度神经网络；在软分支上，将给定的中间特征图沿着两个维度（空间与通道）获取注意力特征图，对输入中间特征图进行调整，强化有用信息抑制无用信息。改进的卷积残差模块既能解决输入与输出的尺寸不一致的问题，也能强化图像的关键信息与有效促进网络的信息流动。通过对cifar-10、cifar-100、ck+、AVEC2017数据集进行实验，实验结果表明了提出的方法应用于ResNet-50网络上对比Hu提出的方法在训练耗时相差不到0.3%的情况下，识别图像准确率有0.9%~1.2%的提高。     

出租车目的地预测的深度学习方法

出租车目的地预测可以掌握出租车的流动方向,便于出租车调度。已有的预测方法多仅利用轨迹序列的原始特征作为预测模型的输入,忽略了原始特征背后的时空数据,造成轨迹时空信息缺失。针对以上问题,提出出租车目的地预测的深度学习方法DLDP。首先采用滑动窗口,基于速度、转角利用统计量计算得到轨迹的高层特征。其次,自动编码器将高层特征转换为固定长度的潜在空间表示,得到轨迹的深度特征。最后,将深度特征和原始特征相结合,一同作为LSTM的输入进行预测。实验表明,DLDP比传统RNN预测模型的准确率提高了9%,平均距离误差减少了1 km。     

融合注意力机制和CNN-GRNN模型的读者情绪预测

针对主流面向文本的读者情绪预测算法难以捕捉文本中复杂的语义和语法信息,以及局限于使用多标签分类方法的问题,提出一种融合注意力机制和卷积门限循环神经网络的读者情绪预测方法。该方法将文本划分为多个句子,利用卷积神经网络从每个句子中提取不同粒度的n-gram信息,构建句子级别的特征表示;然后通过门限循环神经网络顺序地集成这些句子特征,并利用注意力机制自适应地感知上下文信息提取影响读者情绪的文本特征;最后利用softmax回归进行细粒度的读者情绪分布预测。在雅虎新闻读者情感分析数据集上的实验结果证明了该方法的有效性。     

基于注意力的卷积神经网络金融时序数据预测

针对现有金融时序数据预测方法在构造金融特征图像的过程中因忽视市场环境变化导致的数据密度分布差异问题,提出一种基于滑动窗口标准化的金融数据预处理方法。所提方法将滑动窗口截取的数据使用独立的标准化转换为金融特征图像,使得依赖价格特征进行训练的卷积神经网络（CNN）模型能够学习到正确的映射关系;同时,针对金融特征图像的特征表达问题,为更好地捕捉其动态变化特征,将注意力机制引入CNN中,进而构建出一种注意力CNN金融时序数据预测模型。对标普500指数未来1天涨跌进行预测的准确率和F1分数分别为61%和0.739 7,模拟交易实验投资回报率为23.04%,优于买入并持有策略。此外,消融实验结果也证明了预处理方法、注意力模块引入的有效性。     

融合注意力机制的学生退课行为预测

近年来,大规模在线开放课程(MOOCs)发展迅速,吸引了学界的广泛关注.用户退课率极高这一问题的长期存在,使得退课行为预测成为了一个重要的研究课题.目前的退课行为预测模型过于依赖传统的机器学习算法.此外,很多研究忽视了MOOCs用户灵活修课的特点,采用时序无关的方法进行预测.针对目前该领域存在的问题,论文提出了一种融合注意力机制的时序预测模型.该模型首先利用长短期记忆网络从原始的时序数据中学习新的时序隐态表示,再使用多个一维卷积神经网络提取隐态中各类特征的时序模式,最后融合注意力机制,使模型能够通过注意力分布值强化有效特征.实验结果表明,该方法的预测能力优于其他方法.     

融合滑动窗口和MLP-AdaBoost的电力负荷预测

由于炼钢过程中电弧炉与LF炼钢冲击负荷的随机性,采用人工无法进行用电负荷的控制。为了能够及时调控用电负荷,尽可能节约能源和成本,采用滑动窗口的方法来划分数据,建立多层感知机（MLP）和自适应增强算法（AdaBoost）炼钢负荷预测模型,即MLP-AdaBoost方法对炼钢过程中的电力负荷进行预测。实验通过滑动窗口建立数据与之前时刻的联系,使用MLP建立弱模型,通过AdaBoost对样本权重进行再分配,通过迭代得到最终预测模型。结果表明,基于滑动窗口MLP-AdaBoost预测模型在负荷变化大、突变性强的炼钢过程中有显著效果。所提方法可为电弧炉炼钢下一步负荷量调控提供参考依据,为预测控制奠定基础,从而节约能源和成本。     

基于双卷积神经网络融合的注意力训练研究

学生的学习情况与其课堂注意力状态密切相关。为了探寻注意力训练能否提高课堂注意力,对10名在校学生进行了α音乐训练,并收集了训练前后的非注意和注意状态的脑电（Electroence-phalogram,EEG）信号进行对比研究。由于EEG信号本质上是动态的,且具有低信噪比和高冗余度的特性,为避免直接通过神经网络识别EEG信号效果差的问题,提取了信号的样本熵（Sample entropy,SampEn）、各个波段的能量和能量比共11个特征,并将这些特征进行融合转化为多特征图像,作为神经网络模型的输入。此外,将AlexNet和VGG11两个网络模型进行加权融合构成双卷积神经网络,进一步提高了图像分类性能。结果表明,与单个模型相比,双卷积神经网络融合模型的性能更佳,其识别准确率最高可达到97.53%。研究发现,经过α音乐训练,受试者的脑电特征与此前相比有显著性差异,且网络模型的分类准确率比训练前提高了4%,说明本文所提的α音乐训练能够提高健康学生的注意力水平。     

融合时域卷积、残差结构和注意力机制的时序预测

对于具有长、短期的时间关联性、非线性和非平稳性等特点的时序数据,传统时序预测模型对此类数据的预测效果不佳.为进一步提高时序预测模型的准确率和效率,考虑时域卷积提取时间特征的有效性,以及残差结构加快模型收敛的优越性,同时考虑注意力机制对参数的强化作用,提出了一种融合时域卷积、残差结构和注意力机制的时序预测模型(Attention Temporal Convolutional Neural Network,A-TCNN).首先,通过多层残差时域卷积层提取时序数据的长、短期特征;其次,通过注意力机制加强对输出影响较大的参数的权重;最后,通过一个全连接层得到输出结果.在实际医院流水的数据集上,与常规网络对比,比较多种多步预测策略.实验结果表明,该模型与常规模型相比具有更好的预测精度和效率.     

基于注意力机制和图卷积的电信客户流失预测

针对客户流失预测任务中，离散特征进行one-hot编码后特征空间过大，特征表示向量过于稀疏，引发维度灾难的问题，提出一种流失预测模型。基于特征嵌入和Transformer将高维离散数据转换为基于上下文的嵌入，降低编码后的数据维度，增强特征值间的联系。结合基于自适应邻接矩阵定义的图卷积操作，自动学习特征间潜在的关联关系，提高对正类样本的识别精度。使用交叉验证的方式在两份公开数据集上进行对比实验和消融实验，实验结果表明，改进模型能够有效增强多层感知机对于样本的拟合能力，提高分类预测准确率。