基于改进降噪自动编码器的点击率预测

点击率(CTR)预测是个性化广告和推荐系统中的一项基本任务. 针对提升点击率预测效果和处理冷启动问题, 本文中提出了一种基于改进降噪自动编码器的点击率预测模型ADVAE (ADditional Variational AutoEncoder),该模型在输入数据加入高斯随机噪声, 利用改进的降噪自动编码器生成新的嵌入特征, 然后分别进行低阶和高阶的特征交互来预测用户点击行为. 该方法可以在数据稀疏以及系统冷启动情况下, 更深层地学习特征嵌入与交叉之间的关系. 该模型关注特征域之间的交互, 动态修复低频数据的特征嵌入, 具有更强的鲁棒性. 此外, 该方法可以动态应用到其他深度学习模型, 具有更高的灵活性. 实验结果表明, 该方法在点击率预测和系统冷启动问题上的性能表现均优于现有方法.     

基于CNN-LFM模型的个性化推荐

评分数据的稀疏性和新物品的冷启动问题一直是阻碍推荐系统发展的难题。针对这些问题,利用物品的图像数据作为辅助信息以提高评分预测的准确性,提出一种基于卷积神经网络与隐语义模型的推荐模型(CNN-LFM)。CNN-LFM模型利用隐语义模型挖掘评分数据,获得用户和物品的潜在特征,其中物品的潜在特征会在卷积神经网络提取的图像特征的约束下不断完善。在真实数据集下进行实验,对结果的定量和定性分析表明CNN-LFM模型不存在新物品的冷启动问题,即使当评分数据十分稀疏时,其性能也远远优于其它推荐模型。     

基于注意力机制的可解释点击率预估模型研究

在推荐系统研发中，点击率(Click-Through Rate, CTR)预估是非常重要的工作，点击率预估精度的提升直接影响到整个推荐系统的收益，对其性能和解释性的研究有助于理解系统决策的机理，同时还能帮助优化需求和系统设计。当前点击率预估深度模型多基于线性特征交互和深度特征提取进行设计。由于深度模型的黑盒特点，该类模型在解释性方面存在局限性，并且在先前的研究中，对点击率预估模型的解释性研究非常少。因此，文中基于多头自注意力机制，对该类模型的解释性进行研究，通过多头注意力机制对特征嵌入、线性特征交互和深度部分进行增强和解释，在深度部分设计了两种模型，即注意力增强的深度神经网络和注意力叠加的深度模型，通过计算每个模块的注意力得分对其进行解释。所提方法在多个真实数据集上进行了大量实验，结果表明所提方法能够有效提升模型效果，并且模型自身带有一定的解释性。     

基于特征与域感知的点击率预估方法

点击率预估是推荐系统中的核心任务,其关键是学习有效的特征交互,但现有基于深度神经网络的点击率预估方法未考虑冷启动问题,导致准确率降低。结合特征信息和域信息的嵌入,提出一种特征交互的点击率预估方法FF-GNN。利用基于图神经网络的交互模块分别提取特征嵌入和域嵌入的结构信息,建模细粒度的特征交互和粗粒度的域交互过程。同时通过设计图神经网络的权重计算模块,交叉引用特征图神经网络和域图神经网络的低阶特征信息,实现特征交互和个性化建模域交互。在此基础上,采用注意力机制融合特征交互和域交互模块的结果预测点击率。在Criteo和Frappe公开数据集上的实验结果验证了FF-GNN方法的有效性,其AUC指标相较于同类型Fi-GNN方法分别提高0.57和0.85个百分点,能够同时关注特征和域信息,提高点击率预估的准确度。     

协同过滤算法中冷启动问题研究

为了解决传统协同过滤算法的冷启动问题,提高算法的推荐质量,本文针对协同过滤算法中的冷启动问题进行研究,提出了两种改进的算法.新用户冷启动：融合用户信息模型的基于用户的协同过滤算法;新项目冷启动：采用层次聚类的基于项目的协同过滤算法.将新算法在网络开源数据集MovieLens上进行实验验证,比较改进算法和传统算法在查全率和查准率上的差异,结果表明改进算法能够有效地提高算法的推荐质量,缓解新用户和新项目的冷启动问题.     

基于异质信息网络的推荐模型

为了解决推荐系统的冷启动和稀疏性问题, 本文提出了一种基于异质信息网络的推荐模型. 传统的推荐方法无法在知识图谱表示学习中融入隐含的路径信息, 这样使得知识推荐系统性能较为一般. 本文提出的模型在异质信息网络中设置元路径, 通过图神经网络融入到知识图谱表示学习中. 再利用注意力网络连接推荐任务和知识图谱表示任务, 其可以学习两个任务之中潜在的特征, 并且能够增强推荐系统中被推荐项和知识图谱中实体的相互作用. 最后在推荐任务中进行用户点击率预测. 模型在公开数据集Book-Crossing和通过DBLP数据集构建的图谱上进行了实验. 最后结果表明, 模型在AUC, 召回率和F1值3个指标上均比其他算法有更好的表现.     

融合关系挖掘与协同过滤的物品冷启动推荐算法

针对新物品缺乏(非完全冷启动)或没有(完全冷启动)评分信息,协同过滤无法为新物品进行个性化推荐的问题,文中提出融合关系挖掘与协同过滤的推荐算法.首先,利用关系挖掘提取物品关系特征,根据属性之间的多种二元关系构建关系属性,丰富可用属性信息.然后,提出基于关系挖掘的近邻选取方法,增加邻近物品的多样性.最后,融合协同过滤方法,同时解决完全和非完全新物品冷启动问题,实现新物品的个性化推荐.在两个真实数据集上的实验表明,文中方法可以系统解决推荐系统中新物品的冷启动问题.     

基于域内特征间相似性的点击率预估优化

基于深度学习的点击率预估模型多数通过建模各个域的特征之间的交互关系提升预估准确率。特征嵌入向量对模型效果具有重要影响,而现有的CTR模型中不同特征的嵌入向量学习过程相互独立,且由于特征长尾分布导致大部分低频特征不能学习到较好的向量表示,严重影响模型的预测效果。基于域内特征间存在隐含的相似性,提出两种分别基于特征间共现概率和游走概率的相似度定义和对应的相似性图构建方法,并给出结合剪枝策略的广度优先遍历算法实现相似特征的高效计算。在此基础上,基于域内特征相似性图,设计一种嵌入生成器,对于低频特征,在域内特征相似性图上通过图神经网络聚合与其相似的特征信息,生成新的特征嵌入,作为预处理过程对特征嵌入向量进行数据增强,提升嵌入向量的表示学习质量。在公开数据集Criteo、Avazu上的实验结果表明,该方法明显提升点击率预估模型的预测准确率,其中对代表性点击率预估模型xDeepFM和AutoInt,AUC指标分别提升了0.007和0.008,LogLoss则下降了0.009和0.006,证明了嵌入生成模型的有效性。     

基于广告与用户相似度的点击率预估模型

点击率预估是广告推荐系统中的一个重要方向,现有的点击率预估模型大多是基于特征feature与CTR之间的关系预测一条广告是否被用户点击,但是仍有许多能提高点击率模型性能的信息被忽略.文章提出了一种基于广告特征与用户特征相似度的模型,该模型在DeepFM点击率预测算法的基础上,增加了一个能够拟合广告特征与用户特征之间关系...     

融合注意力机制的深度混合推荐算法

大量研究利用用户或项目的边信息来缓解视频推荐中的数据稀疏和冷启动问题,取得了一定的效果,但是没有关注辅助信息中的关键信息.针对此问题进行了研究,提出了一种融合双注意力机制的深度混合推荐模型.该模型通过融合自注意力机制的卷积神经网络挖掘项目端隐藏因子,同时融合自注意力机制的堆栈去噪自编码器提取用户端隐藏因子,深度挖掘项目端和用户端的重要信息.最后,通过结合概率矩阵分解实现视频评分预测.在两个公开数据集上的大量实验结果表明,提出的方法结果在已有ConvMF+、PHD、DUPIA等基线模型基础上有一定提升.     

增强型高阶注意力因子分解机点击率预测模型

特征交互的建模对于推荐系统中预测用户的点击率至关重要。设计了增强型高阶注意力因子分解机模型EHAFM（enhanced high-order attentive factorization machine）,其主要由Embedding层、显式特征交互层、输出层构成。在每个显式特征交互层中,通过聚合其他特征的表示来更新特征的表示,并针对无用特征交互对预测产生干扰的问题,提出了增强型元素级注意力机制,利用投影矩阵拓展特征表示空间,以增强注意力矩阵的学习能力。通过融合多个增强型元素级注意力头的信息,以解决模型泛化能力不足问题。通过堆叠显式特征交互层可以将特征表示更新到任意高阶,将高阶特征交互部分与一阶线性部分结合进行点击率预测。EHAFM模型在Criteo、Movielens-1M两个数据集上进行实验,结果表明相较基准模型在两个数据集上分别有0.21%和0.92%的AUC提升。     

基于聚类层次模型的视频推荐算法

目前推荐系统存在评论数据稀疏、冷启动和用户体验度低等问题,为了提高推荐系统的性能和进一步改善用户体验,提出基于聚类层次模型的视频推荐算法。首先,从相关用户方面着手,通过近邻传播（AP）聚类分析得到相似用户,从而收集相似用户中的历史网络视频数据,进而形成视频推荐集合;其次,利用用户行为的历史数据计算出用户对视频的喜好值,再把视频的喜好值转换成视频的标签权重;最后,通过层次分析模型算出视频推荐集合中用户喜好视频的排序,产生推荐列表。基于MovieLens Latest Dataset和YouTube视频评论文本数据集,实验结果表明所提算法在均方根误差和决策精度方面均表现出良好的性能。     

基于场矩阵分解机和CNN的点击率预测模型

点击率预测是在线广告和推荐系统的基本任务之一. 主流模型通常通过对高阶和低阶特征进行特征交互建模来提升性能和泛化能力. 然而, 许多模型往往仅学习每个特征的固定表示, 而忽视了特征在不同上下文中的重要性, 并且一些模型结构过于简单. 因此, 本文提出了特征细化卷积神经网络融合场矩阵分解机(FRCNN-F)模型, 以解决这些问题. 首先, 在特征细化网络(FRNet)中融合了卷积神经网络的特征生成模块, 利用其在局部模式下重新组合生成新特征的优势, 提升了重要特征选择能力. 其次, 设计了场矩阵分解机, 使模型能够感知上下文并通过不同场的交互进行显示建模, 从而增加了子模型的组合方式. 最后, 通过在 Frappe 和 MovieLens 两个公开数据集上对比实验, 实验结果表明, FRCNN-F模型相比基线FRNet在AUC得分分别提升了0.32%和0.40%, 交叉熵损失函数Logloss分别降低了1.50%和1.11%. 该研究对于实现广告的精准投放和个性化推荐具有实际应用的价值.     

基于SDAE特征表示的协同主题回归推荐模型

为解决推荐系统中的冷启动问题,在协同主题回归CTR模型的基础上引入堆叠去噪自编码器SDAE深度学习网络,用于学习用户辅助信息的隐表示,建立SDAE-CTR模型。模型应用2层SDAE网络,以用户信息为网络输入量,将编码过程获得的用户辅助信息的隐表示和解码过程获得的输入近似表示为网络的双输出量,最小化用户辅助信息和近似表示的差值来确定最优隐表示。模型融合用户-项目评分矩阵(冷启动条件无评分)、项目内容信息和用户辅助信息实现用户对未评分项目的评分预测,并在LastFM、Book Crossing和MovieLens数据集上从推荐准确度、新颖性和用户冷启动条件下的推荐效果等3方面对SDAE-CTR模型和CTR模型进行比较。结果表明,SDAE-CTR模型在冷启动或非冷启动的条件下,推荐效果都要优于CTR模型的,虽然新颖性较CTR模型稍微逊色一些,但理论上在合理的范围内,总体上SDAE-CTR模型表现较优。     

一种基于RippleNet模型的推荐精度提高方法

RippleNet模型引入向量表示的同时充分利用实体连接关系,挖掘高阶语义,实现精准推荐,但并没有充分考虑到数据的重要性。通过构建概念图谱的最大子网,消除数据的冗余,提高RippleNet模型的推荐精度。利用构建最大子网的思想,通过最大子网以消除原始数据冗余。处理冗余数据后,对比原始数据,在Top-k场景中不同k值的平均准确率提高1%,在CTR点击率预测场景下所得到的平均AUC值从91.3%提高到91.9%。实验表明,通过提取最大子网可以提高推荐精度。     

Learning to rank: new approach with the layered multi-population genetic programming on click-through features

Users’ click-through data is a valuable source of information about the performance of Web search engines, but it is included in few datasets for learning to rank. In this paper, inspired by the click-through data model, a novel approach is proposed for extracting the implicit user feedback from evidence embedded in benchmarking datasets. This process outputs a set of new features, named click-through features. Generated click-through features are used in a layered multi-population genetic programming framework to find the best possible ranking functions. The layered multi-population genetic programming framework is fast and provides more extensive search capability compared to the traditional genetic programming approaches. The performance of the proposed ranking generation framework is investigated both in the presence and in the absence of explicit click-through data in the utilized benchmark datasets. The experimental results show that click-through features can be efficiently extracted in both cases but that more effective ranking functions result when click-through features are generated from benchmark datasets with explicit click-through data. In either case, the most noticeable ranking improvements are achieved at the tops of the provided ranked lists of results, which are highly targeted by the Web users.     

一种面向多维特征分析过滤的视频推荐算法

近年来,抖音、快手、微视等短视频APP取得了巨大成功,用户拍摄并上传到APP平台上的视频数量暴增。在这种信息过载的环境下,为用户挖掘并推荐其感兴趣的视频成为了视频发布平台面临的难题,因此为这些平台设计高效的视频推荐算法显得尤其重要。文中针对媒体大数据挖掘和推荐领域的数据集稀疏性高和规模巨大的问题,提出一种面向多维特征分析过滤的视频推荐算法。首先,从用户行为和视频标签等多个维度对视频进行特征提取,然后进行相似性分析,加权计算视频相似度,从而获取相似视频候选集,并对相似视频候选集进行过滤,再通过排序选择评分最高的若干个视频推荐给用户。最后,基于MovieLens公开数据集,使用python3语言实现了文中提出的视频推荐算法。在数据集上进行的大量实验表明,相比传统的协同过滤算法,文中提出的面向多维特征分析过滤的视频推荐算法将推荐结果的准确率提升了6%,召回率提升了4%,覆盖率提升了18%。实验数据充分说明,从多个维度考虑视频之间的相似性,并配合大规模矩阵分解技术,在一定程度上缓解了数据集稀疏性高、数据量巨大的难题,从而有效地提高了推荐结果的准确性、召回率和覆盖率。