基于注意力机制与文本信息的用户关系抽取

随着社交媒体的发展,用户之间的关系网络对于社交媒体的分析有很大的帮助。因此,该文主要研究用户好友关系检测。以往的关于用户好友关系抽取的研究主要基于社交媒体上的结构化信息,比如其他好友关系,用户的不同属性等。但是,很多时候用户本身并没有大量的好友信息存在,同时也不一定有很多确定的属性。因此,我们希望基于用户发表的文本信息来对用户关系进行预测。不同于以往的潜在好友推荐算法,该文提出了一种基于注意力机制以及长短时记忆网络(long short-term memory,LSTM)的好友关系预测模型,将好友之间的评论分开处理,通过分析用户之间的评论来判断是否具备一定的好友关系。该模型将好友双方信息拼接后的结果作为输入,并将注意力机制应用于LSTM的输出。实验表明,用户之间的评论对于好友关系预测确实有较大的实际意义,该文提出的模型较之于多个基准系统的效果,取得了明显的提升。在不加入任何其它非文本特征的情况下,实验结果的准确率达到了77%。     

基于注意力机制的TCN-BiLSTM船舶轨迹预测

针对现有船舶轨迹预测模型预测准确度低的问题,提出一种基于注意力机制的时域卷积网络和双向长短时记忆网络（TCN-ABiLSTM）的船舶轨迹预测模型。首先搭建TCN网络提取船舶轨迹的序列特征,之后将注意力机制引入网络调整不同属性特征的权值,凸出对轨迹预测影响更大的特征,最后搭建Bi-LSTM网络学习轨迹序列的前后状况来提取序列中更多的信息,实现对船舶未来轨迹的预测;通过实际船舶AIS数据对网络进行训练与测试实验,实验结果表明,TCN-ABiLSTM模型相比LSTM、Bi-LSTM、TCN、BiLSTM-Attention、TCN-Attention模型船舶轨迹预测精度更高,拟合程度更好,验证了所设计的TCN-ABiLSTM模型在船舶轨迹预测方面的的有效性和实用性。     

基于注意力机制的生成式对抗轨迹预测方法

针对生成式对抗网络模型在行人轨迹预测问题中无法充分提取行人之间交互信息的问题,提出一种基于注意力机制的生成式对抗轨迹预测方法(Atten-GAN)来对行人之间的交互信息进行社会关系建模.该模型通过引入一个注意力池化模块来对同一场景中的行人进行影响力权重分配,使得模型可以充分提取行人之间的交互信息.此外,针对生成式对抗网...     

基于注意力机制的行人轨迹预测生成模型

针对长短期记忆网络（LSTM）在行人轨迹预测问题中孤立考虑单个行人,且无法进行多种可能性预测的问题,提出基于注意力机制的行人轨迹预测生成模型（AttenGAN）,来对行人交互模式进行建模和概率性地对多种合理可能性进行预测。AttenGAN包括一个生成器和一个判别器,生成器根据行人过去的轨迹概率性地对未来进行多种可能性预测,判别器用来判断一个轨迹是真实的还是由生成器伪造生成的,进而促进生成器生成符合社会规范的预测轨迹。生成器由一个编码器和一个解码器组成,在每一个时刻,编码器的LSTM综合注意力机制给出的其他行人的状态,将当前行人个体的信息编码为隐含状态。预测时,首先用编码器LSTM的隐含状态和一个高斯噪声连接来对解码器LSTM的隐含状态初始化,解码器LSTM将其解码为对未来的轨迹预测。在ETH和UCY数据集上的实验结果表明,AttenGAN模型不仅能够给出符合社会规范的多种合理的轨迹预测,并且在预测精度上相比传统的线性模型（Linear）、LSTM模型、社会长短期记忆网络模型（S-LSTM）和社会对抗网络（S-GAN）模型有所提高,尤其在行人交互密集的场景下具有较高的精度性能。对生成器多次采样得到的预测轨迹的可视化结果表明,所提模型具有综合行人交互模式,对未来进行联合性、多种可能性预测的能力。     

基于混合注意力机制的软件缺陷预测方法

软件缺陷预测技术用于定位软件中可能存在缺陷的代码模块,从而辅助开发人员进行测试与修复。传统的软件缺陷特征为基于软件规模、复杂度和语言特点等人工提取的静态度量元信息。然而,静态度量元特征无法直接捕捉程序上下文中的缺陷信息,从而影响了软件缺陷预测的性能。为了充分利用程序上下文中的语法语义信息,论文提出了一种基于混合注意力机制的软件缺陷预测方法 DP-MHA(Defect Prediction via Mixed Attention Mechanism)。DP-MHA首先从程序模块中提取基于AST树的语法语义序列并进行词嵌入编码和位置编码,然后基于多头注意力机制自学习上下文语法语义信息,最后利用全局注意力机制提取关键的语法语义特征,用于构建软件缺陷预测模型并识别存在潜在缺陷的代码模块。为了验证DP-MHA的有效性,论文选取了六个Apache的开源Java数据集,与经典的基于RF的静态度量元方法、基于RBM+RF、DBN+RF无监督学习方法和基于CNN和RNN深度学习方法进行对比,实验结果表明,DP-MHA在F1值分别提升了16.6%、34.3%、26.4%、7.1%、4.9%。     

融合超图注意力机制与图卷积网络的信息扩散预测

针对传统的信息预测缺乏对用户全局性依赖挖掘进行研究,提出了一种融合超图注意力机制与图卷积网络的信息扩散预测模型(HGACN)。首先构建用户社交关系子图,采样获得子级联序列,输入图卷积神经网络学习用户社交关系结构特征;其次,综合考虑用户间和级联间的全局依赖,采用超图注意机制(HGAT)学习用户不同时间间隔的交互特征;最后,将学习到的用户表示捕获到嵌入模块,利用门控机制将其融合获得更具表现力的用户表示,利用带掩码的多头注意力机制进行信息预测。在Twitter等五个数据集上的实验结果表明,提出的HGACN模型在hits@N提高了4.4%,map@N提高了2.2%,都显著优于已有的MS-HGAT等扩散预测模型,证明HGACN模型是合理、有效的。这对谣言监测以及恶意账户的检测有非常重大的意义。     

基于双重注意力机制和GRU网络的短期负荷预测模型

电力负荷预测对电力系统的部署、规划和运行影响重大,但目前各输入特征对电网负荷情况影响的程度不稳定,且递归神经网络捕获负荷数据的长期记忆能力差,导致预测精度下降。提出一种基于双重注意力机制和GRU网络的预测新模型,利用特征注意力机制自主分析历史信息与输入特征间的关联关系,提取重要特征,并通过时序注意力机制自主选取GRU网络中关键时间点的历史信息,提升较长时间段预测效果的稳定性。在3个公开数据集上的实验结果表明,该模型在预测精度指标上表现良好,对比SVR、KPCA-ELM、DBN、GRU、Attention-GRU、CNN-LSTM、Attention-CNN-GRU模型预测精度分别提高了2.47、1.14、1.93、1.37、1.04、0.74、0.41个百分点。     

基于时空注意力机制的加油站级客流量预测

加油站是重要的能源供给单位,对加油站站点的下一时段客流量进行精准预测,可为相关资源的调度与分配提供决策支撑.针对加油站级客流量预测问题,结合加油站客流数据的时空特征,提出一种基于注意力机制的时空网络模型.以路网结构建模的站级客流数据为输入,结合卷积神经网络、长短期记忆网络与注意力机制,解决站点间的空间依赖、短期与长期时...     

BiGRU-Att-KF话题热度预测

为提高话题热度预测精度,提出一种面向话题热度趋势变化的BiGRU-Att-KF预测方法。选取微博文本总数作为话题热度的量化指标,构建话题热度时间序列;采用RMSE确定BiGRU的超参数神经元个数和批处理大小;利用BiGRU挖掘话题热度时间序列的全局特征信息,引入注意力机制自适应提取特征信息;采用卡尔曼滤波对注意力层输出结果进行动态调整。实验结果表明,BiGRU-Att-KF相较BiGRU-Att等方法,具有更优的鲁棒性和预测精度,能够更好模拟话题热度的变化趋势。     

基于多级注意力机制网络的app流行度预测

移动app流行度预测从运营策略优化到短期广告投资都具有重要意义.利用应用市场提供的丰富数据,挖掘不同特征指标与流行度之间的动态关联,从而预测未来一段时间内app的流行度变化过程及其原因,对于开发者、投资商和应用市场三方都具有应用价值.然而,app流行度高度动态变化,其影响因素十分复杂,包括app自身迭代演化、用户反馈、同类产品的市场竞争等.目前,针对app流行度建模与预测的研究工作相对较少,大多通过构造人工特征并构建与流行度的关联来进行预测,在模型的计算性能、预测精度和结果可解释性等方面存在可提升的空间.因此针对app流行度建模与预测提出一种基于注意力机制的深度神经网络模型DeePOP,并针对复杂影响因素进行分级建模.通过时间级自序列模块捕获对历史流行度的长期依赖,利用局部、全局特征层级模块构建影响特征与流行度的非线性关系.同时,注意力机制为不同模块提供自适应能力,以捕获与流行度变化最相关的历史状态并针对预测结果提供一定的解释.实验结果表明:与现有流行度预测方法相比,DeePOP能够快速高效地进行app流行度建模与预测,预测均方根误差为0.089.     

基于时空注意力的社交网络信息级联预测模型

针对目前信息级联预测模型的构建多基于级联的时序信息或者空间拓扑结构、极少考虑两者的结合问题,该文提出一种面向社交网络的基于深度学习方法的信息级联预测(Information Cascade Prediction,ICP)模型.首先,使用拉普拉斯矩阵对级联节点采样,生成空间序列;然后,通过结合了图卷积网络的双向循环神经网...     

基于XGBoost的微博流行度预测算法

随着全媒体时代的到来和社交网络的发展,流行度预测在舆情监测和数据话语权的争夺上开始发挥重要的作用。现有的流行度预测研究多集中于外文媒体,对以微博为代表的国内主流媒体进行流行度预测是一个新兴且具有挑战的方向。本文针对微博这一国内社交媒体平台进行研究,通过对微博内容及微博用户的特征分析,设计了多种流行度预测方案,同时,提出了一种基于XGBoost的微博流行度预测算法,将流行度预测问题转换为互动值档位分类问题,在分类式框架下将提取融合后的特征用于模型训练,可以较为准确地对有用户信息的微博的流行度情况进行预测。本文的算法在微博流行度预测数据集中得到验证,并且取得了准确率高达85.69%的优越效果。     

基于用户注意力与视觉注意力的社交图像描述

图像描述是机器学习和计算机视觉的重要研究领域,但现有方法对于视觉特征和模型架构之间存在的语义信息关联性探索还存在不足.本文提出了一种基于用户标签、视觉特征的注意力模型架构,能够有效地结合社交图像特征和图像中用户标签生成更加准确的描述.我们在MSCOCO数据集上进行了实验来验证算法性能,实验结果表明本文提出的基于用户标签、视觉特征的注意力模型与传统方法相比具有明显的优越性.     

基于动态演化的讨论帖流行度预测

互联网用户间的交互行为,使得某些用户生成的内容(如讨论帖、微博话题)变得流行。对所关注内容的流行度进行建模和预测,在多个领域中具有十分重要的研究和应用价值。针对论坛讨论帖的流行度预测问题,基于早期的发展演化信息,探讨了影响讨论帖流行度的相关动态因素,并提出一种结合局部特性、融合多个动态因素的讨论帖流行度预测算法。以豆瓣小组的数据为例,对所提出的算法进行实验。实验结果表明,所提出的融合多种动态因素的方法与基准方法相比,能够较好地预测讨论帖的流行度。     

基于传播加速度的微博流行度预测方法

微博流行度预测是根据微博早期的传播特征来预测其未来的传播范围.目前的主要方法是根据信息早期传播的流行度进行预测,忽略了传播速度变化的趋势,这导致此类方法在预测微博消息未来流行度时准确性较差.为了更准确和方便地预测微博未来流行度,提出了一个多元线性回归模型:用户活跃度及传播加速度(user activity propagation acceleration, UAPA)模型.首先,研究了未来流行度与早期传播趋势变化的联系,发现两者存在正相关关系,根据这个发现,提出了传播加速度的概念,并基于传播加速度和早期流行度建立了预测模型.然后,分析了微博用户周期性的活动现象并发现用户转发数量在一天的不同时刻差异很大,传播加速度和流行度也不同.基于这种情况,根据用户活跃性优化了预测模型.最后在2个真实数据集(分别有100万和41万条微博)上对比了UAPA模型与业内代表性流行度预测方法的预测准确度,分析了模型中参数取值对于预测效果的影响.实验表明:提出的UAPA模型在多个性能指标上都优于现有方法.     

基于相似消息的流行度预测方法

社交网络中消息的流行度预测问题在很多应用领域都有着重要意义。传统的流行度预测方法包括基于特征的方法和基于点过程的方法。基于点过程的方法无法利用历史消息的信息,而基于特征的方法则使用一个统一的模型来对所有的消息进行预测,没有考虑消息的特异性。因此,该文提出了一种基于相似消息的流行度预测方法。对于待预测微博,我们从历史消息选取出与之最相似的前K条消息来进行预测。在计算消息相似度时,我们借助了文档建模领域的LDA模型来学习消息的表示。在数据集上的实验结果表明,该方法可以有效发现在传播模式上与待预测消息相似的历史消息,并在流行度预测任务上取得了比对比模型更好的预测效果。     

基于传播模拟的消息流行度预测

社交网络中的消息流行度预测问题对于信息推荐和病毒式营销等应用具有重要意义。该文提出了一种基于传播模拟的消息流行度预测方法,首先使用最大熵模型学习并预测用户转发消息的概率,然后使用独立级联传播模型在真实的社会网络上模拟消息的传播过程,从而完成消息流行度的预测。该方法的优点在于更充分的利用了社会网络的结构和用户特征信息。该文在Twitter数据集上的实验结果表明,相对于基准方法,该文提出的方法具有更高的准确率和稳定性。     

基于因果模型的主题热度计算与预测方法

网络是目前最重要的信息传播渠道,其自由性和丰富性使得信息迅速传播。挖掘网络中的热点主题对政府政策的制定、企业经营决策的调整可以提供强有力的支持,并能够满足网民对热点主题的关注需求。主题数量的庞大使得主题热度值的计算尤为重要,该文分析热度的形成原因,基于因果模型并采用面板数据,给出一种较为客观可行的主题热度计算模型。该模型使用易于获取的数据进行计算,给出较为客观的热度度量,进而便于不同主题、不同日期间的热度对比。在此基础上,通过对热度变化规律的考察,提出一种基于多峰高斯曲线拟合热度变化进行主题热度预测的思路。     

联合注意力机制与目标点信息的车辆轨迹预测

对周围环境中运动物体未来状态的准确预测是影响自动驾驶车辆做出准确决策的重要影响因素,车辆是最常见也是最需要关注的运动物体之一。针对结构化道路下周围车辆轨迹预测的多模态输入问题,提出了基于注意力机制的深度预测网络。提出交互模块以提取目标车辆与周围车辆及车道线信息存在的交互特征;结合车道线信息对车辆运动的指引作用,加入目标点预测模块以预测目标车辆可能到达的目标点,增加预测准确性。在Argoverse公开数据集上进行实验,所提轨迹预测网络在3秒预测时长实现了1.45m最小平均距离误差及3.21m最小最终距离误差的预测精度,优于当前主流的预测算法。