基于注意力机制的可解释点击率预估模型研究

在推荐系统研发中,点击率(Click-Through Rate, CTR)预估是非常重要的工作,点击率预估精度的提升直接影响到整个推荐系统的收益,对其性能和解释性的研究有助于理解系统决策的机理,同时还能帮助优化需求和系统设计。当前点击率预估深度模型多基于线性特征交互和深度特征提取进行设计。由于深度模型的黑盒特点,该类模型在解释性方面存在局限性,并且在先前的研究中,对点击率预估模型的解释性研究非常少。因此,文中基于多头自注意力机制,对该类模型的解释性进行研究,通过多头注意力机制对特征嵌入、线性特征交互和深度部分进行增强和解释,在深度部分设计了两种模型,即注意力增强的深度神经网络和注意力叠加的深度模型,通过计算每个模块的注意力得分对其进行解释。所提方法在多个真实数据集上进行了大量实验,结果表明所提方法能够有效提升模型效果,并且模型自身带有一定的解释性。     

基于改进Transformer的广告点击率预估模型

针对现有的广告点击率预估模型未能精准挖掘用户历史兴趣及历史兴趣对目标广告点击与否的影响,提出了一种基于改进Transformer的广告点击率预估模型.该模型采用Transformer网络捕捉隐藏在用户点击序列背后的潜在历史兴趣;同时针对Transformer建模用户历史兴趣无法有效关联目标广告的问题,提出了一种改进的Transformer网络.改进后的Transformer不但有效建模用户历史兴趣,而且考虑了跟目标广告的关联.新模型采用辅助损失函数来监督改进的Transformer对用户历史兴趣的抽取过程,然后采用注意力机制进一步建模用户的历史兴趣和目标广告的相关性以提升模型的预估性能.实验结果表明新模型有效提升了广告点击率的预估效果.     

基于注意力机制的场感知点击率预测模型

点击率预测是广告投放的重要手段之一,通过预测广告点击率对用户进行效推荐,能够提高广告收益。在点击率预测任务中,场感知点击率预测模型由于考虑了场信息,表现出一定优越性,但在进行特征交互时会产生大量冗余信息,导致预测准确率较低。提出一种场感知注意嵌入神经网络（FAENN）模型,通过自注意力机制对嵌入层的输入向量进行权重分配,以较好地区分场感知嵌入特征的重要程度,加快模型训练速度。同时使用低阶特征交互层关注特征的一阶显性信息和二阶交互特征信息,并将有效特征输出到高阶交互层,利用高阶特征交互层将学习到的相互作用向量与深度神经网络相结合,捕捉更高阶的特征交互作用,以提高预测准确率。实验结果表明,FAENN模型相比于FM、FFM、AFM等模型有较高的预测准确率。     

基于域内特征间相似性的点击率预估优化

基于深度学习的点击率预估模型多数通过建模各个域的特征之间的交互关系提升预估准确率。特征嵌入向量对模型效果具有重要影响,而现有的CTR模型中不同特征的嵌入向量学习过程相互独立,且由于特征长尾分布导致大部分低频特征不能学习到较好的向量表示,严重影响模型的预测效果。基于域内特征间存在隐含的相似性,提出两种分别基于特征间共现概率和游走概率的相似度定义和对应的相似性图构建方法,并给出结合剪枝策略的广度优先遍历算法实现相似特征的高效计算。在此基础上,基于域内特征相似性图,设计一种嵌入生成器,对于低频特征,在域内特征相似性图上通过图神经网络聚合与其相似的特征信息,生成新的特征嵌入,作为预处理过程对特征嵌入向量进行数据增强,提升嵌入向量的表示学习质量。在公开数据集Criteo、Avazu上的实验结果表明,该方法明显提升点击率预估模型的预测准确率,其中对代表性点击率预估模型xDeepFM和AutoInt,AUC指标分别提升了0.007和0.008,LogLoss则下降了0.009和0.006,证明了嵌入生成模型的有效性。     

基于特征与域感知的点击率预估方法

点击率预估是推荐系统中的核心任务,其关键是学习有效的特征交互,但现有基于深度神经网络的点击率预估方法未考虑冷启动问题,导致准确率降低。结合特征信息和域信息的嵌入,提出一种特征交互的点击率预估方法FF-GNN。利用基于图神经网络的交互模块分别提取特征嵌入和域嵌入的结构信息,建模细粒度的特征交互和粗粒度的域交互过程。同时通过设计图神经网络的权重计算模块,交叉引用特征图神经网络和域图神经网络的低阶特征信息,实现特征交互和个性化建模域交互。在此基础上,采用注意力机制融合特征交互和域交互模块的结果预测点击率。在Criteo和Frappe公开数据集上的实验结果验证了FF-GNN方法的有效性,其AUC指标相较于同类型Fi-GNN方法分别提高0.57和0.85个百分点,能够同时关注特征和域信息,提高点击率预估的准确度。     

结合注意力机制和图神经网络的CTR预估模型

大多数CTR预测的算法都是将特征嵌入初始化为一个固定的维度,忽略了长尾物品特征的流行度不高。把它和头部物品的嵌入向量设置为相同长度会导致模型训练不平衡,影响最后的预测结果。基于此,本文首先使用一个端到端的可微框架,该框架可以根据特征的流行度自动选择不同的嵌入维度。其次,引入挤压激励网络机制和具有残差连接的多头自注意力机制,分别从不同角度动态地学习特征的重要性以及识别重要的特征组合,然后使用图神经网络代替传统内积和哈达玛积显式建模二阶特征交互。最后为了进一步提高性能,将DNN组件与浅层模型相结合形成深度模型,利用贝叶斯优化算法为深度模型选择一组超参数,避免复杂的调参过程,并且在2个基准数据集上实验,结果验证模型的有效性。     

基于高阶特征交互的点击率预估模型的实现

传统的低阶特征模型不能充分利用大数据,从多个维度描述数据和用户.专注于高阶特征提取,结合显式和隐式特征交互的点击率预估模型可以利用好大数据的特点.使用Tensorflow框架搭建包含深度神经网络、因子压缩交互网络和多重特征自交互网络结构的模型,使用淘宝展示广告点击率预估数据集进行训练.模型采用对数损失值和ROC曲线下面积作为评价指标,与原始的LR、FM、Deep&Wide等典型模型进行比较,对数损失值降低了0.04,AUC值提高了0.05左右.     

基于深度置信网络的广告点击率预估的优化

随着互联网广告的飞速发展,如何预测目标用户对互联网广告的点击率（click-through rate,简称CTR）,成为精确广告推荐投放的关键技术,并成为计算广告领域的研究热点和深度神经网络的应用热点.为了提高广告点击率预估的精确度,提出了基于深度置信网络的广告点击率预估模型,并通过基于Kaggle数据挖掘平台数据集的1 000万条随机数据的实验,研究不同的隐藏层层数和隐含节点数目对预测结果的影响.为了解决深度置信网络在数据规模较大的工业界解决方案中的训练效率问题,通过实验证明：广告点击率预估中,深度置信网络的损失函数存在大量的驻点,并且这些驻点对网络训练效率有极大的影响.为了提高模型效率,从发掘网络损失函数特性入手,进一步提出了基于随机梯度下降算法和改进型粒子群算法的融合算法,以优化网络训练.融合算法在迭代步长小于阈值时可以跳出驻点平面,继续正常迭代.实验结果表明,与传统的基于梯度提升决策树和逻辑回归的广告点击率预估模型以及模糊深度神经网络模型相比,基于深度置信网络的预估模型具有更好的预估精度,在均方误差、曲线下面积和对数损失函数指标上分别提升2.39%,9.70%,2.46%和1.24%,7.61%,1.30%;使用融合方法训练深度置信网络,训练效率提高30%~70%.     

基于用户实时反馈的点击率预估算法

当前主流的在线广告点击率（CTR）预估算法主要通过机器学习方法从大规模日志数据中挖掘用户与广告间的相关性从而提升点击率预估精度,其不足之处在于没有充分考虑用户实时行为对CTR的影响。对大规模真实在线广告日志进行分析后发现,在会话中,用户CTR的动态变化和用户先前的反馈行为高度相关,不同的用户行为对用户实时CTR的影响不尽相同。基于上述分析结果,提出一种基于用户实时反馈的点击率预估算法。首先,从大规模真实在线广告日志数据中定量分析用户反馈和点击率预估精度的相关关系;然后,根据分析结果将用户的反馈行为特征化;最后,使用机器学习方法对用户的行为进行建模,并根据用户的反馈实时动态调整广告投放,从而提升在线广告系统的点击率预估精度。实验结果表明,用户实时反馈特征和用户点击率高度相关;相比于传统没有用户实时反馈信息的预测模型,该算法在测试集上对AUC（Area Under the Curve）和RIG（Relative Information Gain）指标提升分别为0.83%和6.68%。实验结果表明,用户实时反馈特征显著提高点击率预估的精度。     

一个以注意力机制结合隐式和显式的特征交叉的CTR预估模型

随着深度学习的发展,近年来CTR预估模型的研究往往基于深度学习使用不同的特征交叉方式来实现CTR预估模型的性能提升.目前最新最有效的研究成果是xDeepFM,它综合了进行隐式和显式的高阶特征交叉方式的子模型.但经实验发现xDeepFM的子模型选择并不完美,而且子模型的组合策略过于简单.对此,本文提出了一种新模型,不仅改...     

基于特征增强聚合的融合广告点击率预测模型

传统点击率（CTR）预测模型多在单一特征级上进行特征交互,未能充分利用不同特征级上的有效信息。基于特征增强聚合方法提出一种融合广告CTR预测（APNN）模型。在CTR预测模型的嵌入层中引入一阶信息重要性进行特征增强,通过注意力因子分解机（AFM）模型与基于乘积产生层的神经网络（PNN）模型融合不同特征级交互特征和增强的嵌入特征,并利用多个全连接层从融合特征中获得更多潜在的高阶信息。实验结果表明,相比AFM、PNN、FNN等模型,APNN模型的预测精度较高,其在Criteo数据集上的AUC和LogLoss指标较PNN模型分别提高1.74和1.42个百分点。     

一种时空注意力网络的交通预测模型

交通预测在智能交通中有着重要的意义和应用.由于交通数据的复杂性和高度的非线性,精确的交通预测的核心挑战在于如何对复杂的空间相关性和时间动态建立模型.在现实生活中,我们发现:1)区域间的空间依赖是动态的;2)时间依赖有日和周的模式,但由于有动态时间变化,它不具有严格周期性.为了解决这两个问题,我们提出了一个新的时空注意力...     

ACMF:基于卷积注意力模型的评分预测研究

评分数据稀疏是影响评分预测的主要因素之一。为了解决数据稀疏问题,一些推荐模型利用辅助信息改善评分预测的准确率。然而大多数推荐模型缺乏对辅助信息的深入理解,因此还有很大的提升空间。鉴于卷积神经网络在特征提取方面和注意力机制在特征选择方面的突出表现,该文提出一种融合卷积注意力神经网络(Attention Convolutional Neural Network, ACNN)的概率矩阵分解模型: 基于卷积注意力的矩阵分解(Attention Convolutional Model based Matrix Factorization, ACMF),该模型首先使用词嵌入将高维、稀疏的词向量压缩成低维、稠密的特征向量;接着,通过局部注意力层和卷积层学习评论文档的特征;然后,利用用户和物品的潜在模型生成评分预测矩阵;最后计算评分矩阵的均方根误差。在ML-100k、ML-1m、ML-10m、Amazon数据集上的实验结果表明,与当前取得最好预测准确率的PHD模型相比,ACMF模型在预测准确率上分别提高了3.57%、1.25%、0.37%和0.16%。     

基于改进降噪自动编码器的点击率预测

点击率(CTR)预测是个性化广告和推荐系统中的一项基本任务. 针对提升点击率预测效果和处理冷启动问题, 本文中提出了一种基于改进降噪自动编码器的点击率预测模型ADVAE (ADditional Variational AutoEncoder),该模型在输入数据加入高斯随机噪声, 利用改进的降噪自动编码器生成新的嵌入特征...     

基于多层注意力和消息传递网络的药物相互作用预测方法

药物相互作用(Drug-drug interaction, DDI)是指不同药物存在抑制或促进等作用. 现有DDI预测方法往往直接利用药物分子特征表示预测DDI, 而忽略药物分子中不同原子对DDI的影响. 为此, 提出基于多层次注意力机制和消息传递神经网络的DDI预测方法. 该方法将DDI建模为通过学习基于序列表示的药物分子特征实现DDI预测的链接预测问题. 首先, 建立基于注意力机制和消息传递神经网络的原子特征网络, 结合提出的基于分子质心的位置编码, 学习不同原子及其相关联化学键的特征, 构建基于图结构的药物分子特征表示; 然后, 设计基于注意力机制的分子特征网络, 并通过监督和对比损失学习, 实现DDI预测; 最后, 通过实验证明该方法的有效性和优越性.     

结合注意力机制与LSTM的短期风电功率预测模型

风力发电预测在电力系统的运行中发挥着重要作用。现有风电功率的短期预测模型因风速的复杂性和随机性,难以确定风速与风电功率的非线性映射关系,导致预测精度降低。提出一种结合变分模态分解、双阶段注意力机制、误差修正模块与深度学习算法的短期风电功率预测模型。通过对原始数据进行互信息特征选择,获得与风电功率相关性较强的特征,并对其进行信号预处理,利用变分模态分解对多维特征序列进行分解,得到具有一定中心频率的模态分量,以降低各个特征序列的复杂性和非平稳性。采用基于双阶段注意力机制与编解码架构的长短时记忆（LSTM）神经网络对模态分量进行训练与预测,得到初始预测误差。在此基础上,利用误差修正模块对初始预测误差进行变分模态分解和修正,从而提高模型的预测精度。实验结果表明,与自回归移动平均模型、标准编解码结构的LSTM模型相比,该预测模型的平均绝对误差最高可降低约87%,具有较优的预测性能。     

基于时空注意力的社交网络信息级联预测模型

针对目前信息级联预测模型的构建多基于级联的时序信息或者空间拓扑结构、极少考虑两者的结合问题,该文提出一种面向社交网络的基于深度学习方法的信息级联预测(Information Cascade Prediction,ICP)模型.首先,使用拉普拉斯矩阵对级联节点采样,生成空间序列;然后,通过结合了图卷积网络的双向循环神经网...     

基于空时特征融合和注意力机制的网络入侵检测模型

针对网络入侵检测性能不高的问题,提出一种基于空时特征融合和注意力机制的深度学习入侵检测模型CTA-net。该模型通过集成卷积神经网络(CNN)和长短时记忆网络(LSTM)获取空时融合特征,然后使用注意力模块(Attention)对输入的空时融合特征进行重要性加权计算,最后通过softmax函数进行分类。使用NSL-KDD数据集的实验结果表明,相比具有相似结构的CNN模型和空时融合的CNN-LSTM模型,在训练集的收敛性具有显著的提升,在测试集上使用的分类评价指标准确率分别提升10.9120个百分点和11.8740个百分点,精确率分别提升9.1950个百分点和9.6130个百分点,召回率分别提升9.1780个百分点和9.9340个百分点,F1-SCORE分别提升10.7830个百分点和11.7500个百分点。仿真结果表明,所提出的CTA-net模型在网络入侵检测方面具有较好的应用潜力。     

基于双路注意力机制的学生成绩预测模型

学生成绩的预测与分析旨在实现对学生的个性化指导,提升学生成绩及教师的教学成果.学生成绩受家庭环境、学习条件以及个人表现等多种因素的影响.传统的成绩预测方法往往忽视了不同因素对同一学生成绩的影响程度不同,而且不同学生受同一因素的影响程度也不同,所构建的模型无法实现对学生的个性化分析与指导.因此提出一种基于双路注意力机制的学生成绩预测模型(two-way attention, TWA),该方法不仅有区别地对待了这些因素对成绩的影响程度,而且考虑到了学生的个体差异性.该方法通过两次注意力计算分别得到各属性特征在第1阶段成绩和第2阶段成绩上的注意力得分,并考虑了多种特征融合方式,最后基于融合后的特征对期末成绩进行更好地预测.分别在2个公开数据集上对模型进行了验证,并根据各属性特征在期末成绩上的概率分布对预测结果进行可视化分析.结果显示,所构建模型能够更准确地预测出学生成绩,并且具有良好的可解释性.