基于图注意力时空神经网络的在线内容流行度预测

现有在线内容流行度预测方法忽略对传播级联演化过程中的结构和时序特征的捕获.针对此问题,文中提出基于图注意力时空神经网络的在线内容流行度预测模型.利用图注意力机制学习在线内容的级联结构表示,利用时序卷积网络捕获传播级联的时序特征,通过全卷积层映射在线内容的流行度.在新浪微博和美国物理学会引文两个不同场景的数据集上的实验表明,文中方法的流行度预测性能较优.     

注入注意力机制的深度特征融合新闻推荐模型

现有新闻推荐模型在挖掘新闻特征和用户特征时,往往没有考虑所浏览新闻之间的关系、时序变化以及不同新闻对用户的重要性,从而缺乏全面性;同时,现有模型在新闻更细粒度的内容特征挖掘方面有欠缺.因此构建了一个能够全面而不冗余地进行用户表征并能提取新闻更细粒度片段特征的新闻推荐模型——注入注意力机制的深度特征融合新闻推荐模型.该模...     

基于多级注意力机制网络的app流行度预测

移动app流行度预测从运营策略优化到短期广告投资都具有重要意义.利用应用市场提供的丰富数据,挖掘不同特征指标与流行度之间的动态关联,从而预测未来一段时间内app的流行度变化过程及其原因,对于开发者、投资商和应用市场三方都具有应用价值.然而,app流行度高度动态变化,其影响因素十分复杂,包括app自身迭代演化、用户反馈、同类产品的市场竞争等.目前,针对app流行度建模与预测的研究工作相对较少,大多通过构造人工特征并构建与流行度的关联来进行预测,在模型的计算性能、预测精度和结果可解释性等方面存在可提升的空间.因此针对app流行度建模与预测提出一种基于注意力机制的深度神经网络模型DeePOP,并针对复杂影响因素进行分级建模.通过时间级自序列模块捕获对历史流行度的长期依赖,利用局部、全局特征层级模块构建影响特征与流行度的非线性关系.同时,注意力机制为不同模块提供自适应能力,以捕获与流行度变化最相关的历史状态并针对预测结果提供一定的解释.实验结果表明:与现有流行度预测方法相比,DeePOP能够快速高效地进行app流行度建模与预测,预测均方根误差为0.089.     

多注意力机制融合低高阶特征的神经推荐算法

针对因子分解机仅提取低阶组合特征的局限性,提出了一种基于多注意力机制融合低阶和高阶组合特征的深度神经推荐算法（deep neural recommendation method,DeepNRM）。分别运用因子分解机和多层前馈神经网络从稀疏及稠密特征中提取低阶和高阶组合特征;采用注意力网络和多头自注意力机制从低阶和高阶组合特征中自动选取关键特征;将低、高阶组合特征根据重要性进行融合共同进行推荐。算法模型在MovieLens和Criteo公共数据集上进行了实验验证,消融和对比实验结果表明,提出的算法模型与基准模型相比在AUC指标上分别有1.964个百分点和0.773个百分点的提升。     

基于特征增强聚合的融合广告点击率预测模型

传统点击率（CTR）预测模型多在单一特征级上进行特征交互,未能充分利用不同特征级上的有效信息。基于特征增强聚合方法提出一种融合广告CTR预测（APNN）模型。在CTR预测模型的嵌入层中引入一阶信息重要性进行特征增强,通过注意力因子分解机（AFM）模型与基于乘积产生层的神经网络（PNN）模型融合不同特征级交互特征和增强的嵌入特征,并利用多个全连接层从融合特征中获得更多潜在的高阶信息。实验结果表明,相比AFM、PNN、FNN等模型,APNN模型的预测精度较高,其在Criteo数据集上的AUC和LogLoss指标较PNN模型分别提高1.74和1.42个百分点。     

基于双重注意力机制和GRU网络的短期负荷预测模型

电力负荷预测对电力系统的部署、规划和运行影响重大,但目前各输入特征对电网负荷情况影响的程度不稳定,且递归神经网络捕获负荷数据的长期记忆能力差,导致预测精度下降。提出一种基于双重注意力机制和GRU网络的预测新模型,利用特征注意力机制自主分析历史信息与输入特征间的关联关系,提取重要特征,并通过时序注意力机制自主选取GRU网络中关键时间点的历史信息,提升较长时间段预测效果的稳定性。在3个公开数据集上的实验结果表明,该模型在预测精度指标上表现良好,对比SVR、KPCA-ELM、DBN、GRU、Attention-GRU、CNN-LSTM、Attention-CNN-GRU模型预测精度分别提高了2.47、1.14、1.93、1.37、1.04、0.74、0.41个百分点。     

图像特征注意力与自适应注意力融合的图像内容中文描述

针对现有基于注意力机制的图像内容中文描述模型无法在关注信息不减弱和无缺失的条件下对重点内容进行注意力加强关注的问题,提出一种图像特征注意力与自适应注意力融合的图像内容中文描述模型.模型使用编解码结构,首先在编码器网络中提取图像特征,并通过图像特征注意力提取图像全部特征区域的注意力信息;然后使用解码器网络将带有注意力权重...     

增强型高阶注意力因子分解机点击率预测模型

特征交互的建模对于推荐系统中预测用户的点击率至关重要。设计了增强型高阶注意力因子分解机模型EHAFM(enhanced high-order attentive factorization machine),其主要由Embedding层、显式特征交互层、输出层构成。在每个显式特征交互层中,通过聚合其他特征的表示来更新特征的表示,并针对无用特征交互对预测产生干扰的问题,提出了增强型元素级注意力机制,利用投影矩阵拓展特征表示空间,以增强注意力矩阵的学习能力。通过融合多个增强型元素级注意力头的信息,以解决模型泛化能力不足问题。通过堆叠显式特征交互层可以将特征表示更新到任意高阶,将高阶特征交互部分与一阶线性部分结合进行点击率预测。EHAFM模型在Criteo、Movielens-1M两个数据集上进行实验,结果表明相较基准模型在两个数据集上分别有0.21%和0.92%的AUC提升。     

基于注意力机制与评论文本深度模型的推荐方法

传统推荐系统依赖人工进行规则设计和特征提取,对评论文本内容的特征和隐信息的提取能力有限。针对该问题,融合注意力机制并基于深度学习对推荐系统进行改进,提出一种对评论文本深度建模的推荐方法。使用词嵌入模型表达数据集评论中的语义,引入注意力机制对输入内容进行重新赋权,通过并行的卷积神经网络挖掘用户和项目评论数据中的隐含特征,将两组特征耦合输入并采用因子分解机进行评分预测,得到推荐结果。实验结果表明,该方法可有效提高推荐准确率,均方误差较DeepCoNN方法提升2%以上。     

融合协同过滤信息的知识图注意力网络

知识图谱（KG）能够缓解协同过滤算法存在的数据稀疏和冷启动问题,在推荐领域被广泛地研究和应用。现有的很多基于KG的推荐模型混淆了用户物品二部图中的协同过滤信息和KG中实体间的关联信息,导致学习到的用户向量和物品向量无法准确表达其特征,甚至引入与用户、物品无关的信息从而干扰推荐。针对上述问题提出一种融合协同信息的知识图注意力网络（KGANCF）。首先,为了避免KG实体信息的干扰,网络的协同过滤层从用户物品二部图中挖掘出用户和物品的协同过滤信息;然后,在知识图注意力嵌入层中应用图注意力机制,从KG中继续提取与用户和物品密切相关的属性信息;最后,在预测层将用户物品的协同过滤信息和KG中的属性信息融合,得到用户和物品最终向量表示,进而预测用户对物品的评分。在MovieLens-20M和Last.FM数据集上进行了实验,与协同知识感知注意力网络（CKAN）相比,KGANCF在MovieLens-20M数据集上的F1分数提升了1.1个百分点,曲线下面积（AUC）提升了0.6个百分点;而在KG相对稀疏的Last.FM数据集上,模型的F1分数提升了3.3个百分点,AUC提升了8.5个百分点。实验结果表明,KGANCF能够有效提高推荐结果的准确度,在KG稀疏的数据集上显著优于协同知识嵌入（CKE）、知识图谱卷积网络（KGCN）、知识图注意网络（KGAT）和CKAN模型。     

基于时间图注意力的交通流量预测模型

交通状况预测是智能交通系统的一个重要组成部分,而车流量是交通状况最直接的体现,因而对交通流量进行预测具有重要的应用价值。一方面,城市中的道路本身带有空间拓扑性质,另一方面车流量随时间动态变化。因此交通流量预测问题的关键在于对数据中存在的时间和空间依赖进行建模。针对这一特性,使用神经网络模型和注意力机制来探索交通流量数据中的时空依赖关系,提出基于时间图注意力的交通流量预测模型。空间依赖方面,使用图卷积网络与注意力结合的学习算法对不同影响程度节点分配不同的权重,加入节点自适应学习,有效提取空间特征;时间依赖方面,使用时序卷积网络对时间特征进行提取,通过扩张卷积扩大感受域从而捕获较长时间序列数据的特征。由图注意力网络和时间卷积网络构成一个时空网络层,最终连接到输出层输出预测结果。该模型使用图卷积神经网络和注意力机制结合的方式提取空间特征,充分考虑了道路间的空间关系,利用时序卷积网络捕获时间特征。在两个真实的数据集上进行实验后发现,在未来15 min、30 min、60 min的时间段内该模型都有良好表现,结果优于现有基准模型。     

基于注意力与神经图灵机的语义关系抽取模型

针对语义关系抽取（语义关系分类）中长语句效果不佳和核心词表现力弱的问题,提出了一种基于词级注意力的双向神经图灵机（Ab-NTM）模型。首先,使用神经图灵机（NTM）作为循环神经网络（RNN）的改进,使用长短时记忆（LSTM）网络作为控制器,其互不干扰的存储特性可加强模型在长语句上的记忆能力;然后,构建注意力层组织词级上下文信息,使模型可以加强句中核心词的表现力;最后,输入分类器得到语义关系标签。在SemEval 2010 Task 8公共数据集上的实验表明,该模型获得了86.2%的得分,优于其他方法。     

融合多模态特征与时区检测的视频摘要算法

针对传统视频摘要算法没有充分利用视频的多模态信息、难以确保摘要视频片段时序一致性的问题,提出了一种融合多模态特征与时区检测的视频摘要算法(MTNet)。首先,通过GoogLeNet与VGGish预训练模型提取视频图像与音频的特征表示,设计了一种维度平滑操作对齐两种模态特征,使模型具备全面的表征能力;其次,考虑到生成的视频摘要应具备全局代表性,因此通过单双层自注意力机制结合残差结构分别提取视频图像与音频特征的长范围时序特征,获取模型在时序范围的单一向量表示;最后,通过分离式时区检测与权值共享方法对视频逐个时序片段的摘要边界与重要性进行预测,并通过非极大值抑制来选取关键视频片段生成视频摘要。实验结果表明,在两个标准数据集SumMe与TvSum上,MTNet的表征能力与鲁棒性更强;它的F₁值相较基于无锚框的视频摘要算法DSNet-AF以及基于镜头重要性预测的视频摘要算法VASNet,在两个数据集上分别有所提高。     

融合网络结构信息及文本内容的标签推荐方法

为文本推荐合适的标签是更好地组织和使用文本内容的一项有效手段,目前大部分标签推荐方法主要通过挖掘文本内容来进行推荐.然而,大部分数据信息并非独立存在,如语料库中的文本间的词共现关系可形成复杂的网络结构.以往研究表明,文本间的网络结构信息和文本内容信息可以分别从两个不同的角度对同一文本的语义进行概括,并且从两方面提取的信...     

融合策略优选和双注意力的单阶段目标检测

目的 特征融合是改善模糊图像、小目标以及受遮挡物体等目标检测困难的有效手段之一,为了更有效地利用特征融合来整合不同网络层次的特征信息,显著表达其中的重要特征,本文提出一种基于融合策略优选和双注意力机制的单阶段目标检测算法FDA-SSD(fusion double attention single shot multibox detector)。方法 设计融合策略优化选择方法,结合特征金字塔(feature pyramid network, FPN)来确定最优的多层特征图组合及融合过程,之后连接双注意力模块,通过对各个通道和空间特征的权重再分配,提升模型对通道特征和空间信息的敏感性,最终产生包含丰富语义信息和凸显重要特征的特征图组。结果 本文在公开数据集PASCAL VOC2007(pattern analysis, statistical modelling and computational learning visual object classes)和TGRS-HRRSD-Dataset(high resolution remote sensing detection)上进行对比...     

基于时序和上下文特征的中文隐式情感分类模型

对社交网络上的海量文本信息进行情感分析可以更好地挖掘网民行为规律,从而帮助决策机构了解舆情倾向以及帮助商家改善服务质量。由于不存在关键情感特征、表达载体形式和文化习俗等因素的影响,中文隐式情感分类任务比其他语言更加困难。已有的中文隐式情感分类方法以卷积神经网络（CNN）为主,这些方法存在着无法获取词语的时序信息和在隐式情感判别中未合理利用上下文情感特征的缺陷。为了解决以上问题,采用门控卷积神经网络（GCNN）提取隐式情感句的局部重要信息,采用门控循环单元（GRU）网络增强特征的时序信息;而在隐式情感句的上下文特征处理上,采用双向门控循环单元（BiGRU）+注意力机制（Attention）的组合提取重要情感特征;在获得两种特征后,通过融合层将上下文重要特征融入到隐式情感判别中;最后得到的融合时序和上下文特征的中文隐式情感分类模型被命名为GGBA。在隐式情感分析评测数据集上进行实验,结果表明所提出的GGBA模型在宏平均准确率上比普通的文本CNN即TextCNN提高了3.72%、比GRU提高了2.57%、比中断循环神经网络（DRNN）提高了1.90%,由此可见, GGBA模型在隐式情感分析任务中比基础模型获得了更好的分类性能。     

基于异构信息网络的混合推荐模型

个性化推荐平台具有数据来源广泛且数据类型丰富的特点,而其中的数据稀疏是影响推荐系统性能的重要原因.如何挖掘推荐平台结构化数据和非结构化数据以发现更多特征,在数据稀疏场景中提高推荐的准确率,缓解冷启动问题,并且使得推荐具有可解释性,是推荐系统面临的重大挑战.因此,针对为User推荐Item的个性化场景,利用异构信息网络(...     

基于协作小小区与流行度预测的在线热点视频缓存更新策略

针对无线移动设备数量的指数增长使得异构协作小小区（SBS）将承载大规模的流量负载问题，提出了一种基于协作SBS与流行度预测的在线热点视频缓存更新方案（OVCRP）。首先，分析在线热点视频的流行度在短期内变化情况；然后，构建k近邻模型进行在线热点视频流行度的预测；最后，确定在线热点视频的缓存更新位置。为了选择合适的位置存放在线热点视频，以最小化总体传输时延为目标，建立数学模型，设计整数规划优化算法。仿真实验结果显示，与随机缓存（RANDOM）、最近最少使用（LRU）、最不经常使用（LFU）方案相比，OVCRP在平均缓存命中率和平均访问时延方面具有明显的优势，因此减轻了协作SBS的网络负担。