基于特征增强聚合的融合广告点击率预测模型

传统点击率（CTR）预测模型多在单一特征级上进行特征交互,未能充分利用不同特征级上的有效信息。基于特征增强聚合方法提出一种融合广告CTR预测（APNN）模型。在CTR预测模型的嵌入层中引入一阶信息重要性进行特征增强,通过注意力因子分解机（AFM）模型与基于乘积产生层的神经网络（PNN）模型融合不同特征级交互特征和增强的嵌入特征,并利用多个全连接层从融合特征中获得更多潜在的高阶信息。实验结果表明,相比AFM、PNN、FNN等模型,APNN模型的预测精度较高,其在Criteo数据集上的AUC和LogLoss指标较PNN模型分别提高1.74和1.42个百分点。     

基于FTRL优化算法的广告点击率预测模型研究

当前在线广告的业务场景下，线性模型没有充分考虑到数据高维、稀疏性、非线性等特点。针对这些问题，引入了基于梯度提升决策树算法的特征提取方法，提出了基于FTRL（Follow-The-Regularized-Leader）优化算法的因子分解机模型。FTRL优化算法能有效地学习到特征之间存在的非线性关系，使不同参数可以自适应不同学习率，并加入了混合正则项。实验结果证明基于FTRL优化算法的因子分解机模型能有效提高广告点击事件的预测准确率。     

基于GMM-FMs的广告点击率预测研究

传统单一模型对广告点击率(CTR)的预测效果较片面,且广告日志数据存在稀疏性问题。为此,将高斯混合模型(GMM)与因子分解机(FM)相结合,建立一种广告点击率预测模型GMM-FMs。对原始数据集进行高斯聚类,在聚类后得到的数据子集上分别建立CTR预测模型,将多个预测模型的结果进行有效加权得到最终结果。实验结果表明,相比传统逻辑回归与FM模型,该模型在训练集与测试集比例不同时均能取得较高的AUC值。     

特征重要性动态提取的广告点击率预测模型

点击率预测(Click-Through Rate,CTR)是在线展示广告中的一项关键任务,CTR预测任务中涉及的数据通常有多个特征,对其中的重要特征提取、建模的方式极大地影响了 CTR预测的准确性.以往方法在特征重要性提取过程中存在信息干扰问题.针对这一问题,提出了一种特征重要性动态提取的广告点击率预测模型.该模型将门...     

基于卷积-LSTM网络的广告点击率预测模型研究

点击率预测是计算广告学的核心算法之一。传统浅层模型没有充分考虑到数据之间存在的非线性关系，且使用人工特征提取方法费时费力。针对这些问题，提出了基于卷积（Convolutional Neural Networks）-LSTM（Long Short Term Memory）混合神经网络的广告点击率预测模型。该模型使用卷积神经网络提取高影响力特征，并通过LSTM神经网络的时序性进行预测分类。实验结果证明：与浅层模型或单一结构的神经网络模型相比，基于卷积-LSTM的混合神经网络模型能有效提高广告点击事件的预测准确率。     

基于LDA的互联网广告点击率预测研究

广告点击率是互联网广告投放的重要依据,有效地预测广告的点击率,对于提高广告投放的效率有着至关重要的作用。在训练点击率预测模型的过程中,往往面临着广告及用户的数量巨大以及训练数据集稀疏的问题,从而导致点击率预测的准确度下降。针对这些问题提出了一种基于LDA (Latent Dirichlet Allocation)的点击率预测算法,即LDA-FMs,该算法对原有训练集进行基于主题的分割,利用分割后的子训练集分别建立不同主题下的点击率预测模型,在此基础上,利用广告属于不同主题的概率,有权重的结合每个预测模型的预测结果,进而计算广告的点击率。实验基于KDD Cup 2012-Track2的真实数据集,证明了算法的可行性与有效性。     

基于场矩阵分解机和CNN的点击率预测模型

点击率预测是在线广告和推荐系统的基本任务之一. 主流模型通常通过对高阶和低阶特征进行特征交互建模来提升性能和泛化能力. 然而, 许多模型往往仅学习每个特征的固定表示, 而忽视了特征在不同上下文中的重要性, 并且一些模型结构过于简单. 因此, 本文提出了特征细化卷积神经网络融合场矩阵分解机(FRCNN-F)模型, 以解决这些问题. 首先, 在特征细化网络(FRNet)中融合了卷积神经网络的特征生成模块, 利用其在局部模式下重新组合生成新特征的优势, 提升了重要特征选择能力. 其次, 设计了场矩阵分解机, 使模型能够感知上下文并通过不同场的交互进行显示建模, 从而增加了子模型的组合方式. 最后, 通过在 Frappe 和 MovieLens 两个公开数据集上对比实验, 实验结果表明, FRCNN-F模型相比基线FRNet在AUC得分分别提升了0.32%和0.40%, 交叉熵损失函数Logloss分别降低了1.50%和1.11%. 该研究对于实现广告的精准投放和个性化推荐具有实际应用的价值.     

在线广告点击率预测方法的研究综述

在在线广告和推荐系统中,准确预测点击率(Click-Through Rate, CTR)是至关重要的。CTR是广告被点击次数与广告被展示次数的比值。过去,许多传统的机器学习算法,如逻辑回归、支持向量机,因为简单且易于实现而被广泛地应用于广告点击率预测工作。然而,这些传统算法往往需要复杂的特征工程。相较之下,深度学习模型能够有效自动提取高阶特征,可以较好地解决这一问题。此外,为了实现更高效、更准确的性能,融合了嵌入式和钦层感知器(Multilayer Perceptron, MLP)的优点的混合架构近年来被广泛地应用。该文对预测点击率的方法进行了全面的研究,不仅根据现有解决方案的架构将其分为三类,而且对每一类进行了详细的概述。最后,该文指出了该领域存在的挑战和未来发展方向,为进一步研究指明可能的途径。     

基于多特征融合的视频点击率预测方法

结合多个模型集成学习可以提升单模型预测算法的性能,本文提出一种基于多特征融合的视频点击率预测方法,将哈希降维的特征和GBDT组合特征进行拼接作为输入特征,采用随机梯度下降法对逻辑回归、因子分解机和场感知因子分解机的输出值进行线性加权的迭代调整.实验结果表明该算法的预测效果优于基于单模型算法,也优于基于套袋方法的随机森林...     

基于用户动态兴趣的视频点击率预测模型

针对经典的点击预测模型无法捕捉用户动态兴趣和分析特征低阶高阶交互困难的问题,提出一种基于用户动态兴趣的视频点击预测模型。该模型首先将离散的数据经嵌入过程后映射成易于操作的低维连续向量;为捕捉用户动态兴趣变化,引入transformer模型,同时分析用户点击视频序列与待预测的候选视频,抽取行为序列中的视频与待推荐视频之间的相互作用;为深入挖掘用户点击行为背后的隐式特征交互,引入DeepFM网络并在网络结构上进行优化改进,使模型更加适合顺序依赖的点击数据。实验结果表明本文提出改进的模型预测精度优于在点击率预测方面比较具有代表性的深度分解机等模型,同时引入transformer机制可以明显提升点击率预测的精度。     

增强型高阶注意力因子分解机点击率预测模型

特征交互的建模对于推荐系统中预测用户的点击率至关重要。设计了增强型高阶注意力因子分解机模型EHAFM(enhanced high-order attentive factorization machine),其主要由Embedding层、显式特征交互层、输出层构成。在每个显式特征交互层中,通过聚合其他特征的表示来更新特征的表示,并针对无用特征交互对预测产生干扰的问题,提出了增强型元素级注意力机制,利用投影矩阵拓展特征表示空间,以增强注意力矩阵的学习能力。通过融合多个增强型元素级注意力头的信息,以解决模型泛化能力不足问题。通过堆叠显式特征交互层可以将特征表示更新到任意高阶,将高阶特征交互部分与一阶线性部分结合进行点击率预测。EHAFM模型在Criteo、Movielens-1M两个数据集上进行实验,结果表明相较基准模型在两个数据集上分别有0.21%和0.92%的AUC提升。     

基于深度置信网络的广告点击率预估的优化

随着互联网广告的飞速发展,如何预测目标用户对互联网广告的点击率（click-through rate,简称CTR）,成为精确广告推荐投放的关键技术,并成为计算广告领域的研究热点和深度神经网络的应用热点.为了提高广告点击率预估的精确度,提出了基于深度置信网络的广告点击率预估模型,并通过基于Kaggle数据挖掘平台数据集的1 000万条随机数据的实验,研究不同的隐藏层层数和隐含节点数目对预测结果的影响.为了解决深度置信网络在数据规模较大的工业界解决方案中的训练效率问题,通过实验证明：广告点击率预估中,深度置信网络的损失函数存在大量的驻点,并且这些驻点对网络训练效率有极大的影响.为了提高模型效率,从发掘网络损失函数特性入手,进一步提出了基于随机梯度下降算法和改进型粒子群算法的融合算法,以优化网络训练.融合算法在迭代步长小于阈值时可以跳出驻点平面,继续正常迭代.实验结果表明,与传统的基于梯度提升决策树和逻辑回归的广告点击率预估模型以及模糊深度神经网络模型相比,基于深度置信网络的预估模型具有更好的预估精度,在均方误差、曲线下面积和对数损失函数指标上分别提升2.39%,9.70%,2.46%和1.24%,7.61%,1.30%;使用融合方法训练深度置信网络,训练效率提高30%~70%.     

基于多源融合特征提取的在线广告预测模型

针对智能移动终端应用平台上的广告点击率(CTR)预测问题,在传统PC端Web平台在线广告CTR预测方法的基础上,提出一个新的智能移动终端在线广告投放业务架构。基于此架构,构建基于机器学习的在线广告预测模型,对用户基本信息、广告内容、用户使用环境等多源特征进行融合提取,实现在线广告CTR的精确预测。结合移动APP应用环境的特点,将用户历史行为数据加入预测模型进一步提高CTR预测性能。实验结果表明,该模型具有较高的CTR预测准确率。     

基于注意力机制的场感知点击率预测模型

点击率预测是广告投放的重要手段之一,通过预测广告点击率对用户进行效推荐,能够提高广告收益。在点击率预测任务中,场感知点击率预测模型由于考虑了场信息,表现出一定优越性,但在进行特征交互时会产生大量冗余信息,导致预测准确率较低。提出一种场感知注意嵌入神经网络（FAENN）模型,通过自注意力机制对嵌入层的输入向量进行权重分配,以较好地区分场感知嵌入特征的重要程度,加快模型训练速度。同时使用低阶特征交互层关注特征的一阶显性信息和二阶交互特征信息,并将有效特征输出到高阶交互层,利用高阶特征交互层将学习到的相互作用向量与深度神经网络相结合,捕捉更高阶的特征交互作用,以提高预测准确率。实验结果表明,FAENN模型相比于FM、FFM、AFM等模型有较高的预测准确率。     

基于DeepFM模型的广告推荐系统研究

随着移动设备普及,移动互联网行业进入了高速发展阶段,信息量和用户量急剧增长,如何在有限的资源下准确地分析用户行为,提升广告效果并保障用户体验显得尤为重要。提出一种由深度神经网络(Deep neural network)和因子分解机(Factorization machine)组成的模型——DeepFM模型来实现社交广告的个性化推荐,其中因子分解机部分主要是提取一阶二阶特征,深度神经网络部分主要提取高阶特征。最终通过研究发现,DeepFM模型比逻辑回归模型(LR模型)及因子分解机(FM模型)的效果都要好。     

基于SVM-MLP的乳腺癌预测

乳腺癌一直是影响女性健康最重要的问题之一,已经成为全球女性发病率最高的恶性肿瘤.近年来,利用机器学习和深度学习方法来诊断癌症已经成为发展较快的一个分支.通过使用逻辑回归模型(LR)、高斯核函数支持向量机(SVM)、前馈神经网络(MLP)对同一数据集进行预测,得出其中SVM迭代时间最短,前馈神经网络预测准确率最高.为了减...     

基于高阶特征交互的点击率预估模型的实现

传统的低阶特征模型不能充分利用大数据,从多个维度描述数据和用户.专注于高阶特征提取,结合显式和隐式特征交互的点击率预估模型可以利用好大数据的特点.使用Tensorflow框架搭建包含深度神经网络、因子压缩交互网络和多重特征自交互网络结构的模型,使用淘宝展示广告点击率预估数据集进行训练.模型采用对数损失值和ROC曲线下面积作为评价指标,与原始的LR、FM、Deep&Wide等典型模型进行比较,对数损失值降低了0.04,AUC值提高了0.05左右.     

融合内容特征和时序信息的深度注意力视频流行度预测模型

针对视频流行度动态变化过程中的时序信息难以捕捉的问题,提出一种融合内容特征和时序信息的深度注意力视频流行度预测模型(DAFCT).首先,根据用户的反馈信息,构建基于注意力机制的长短期记忆网络(Attention-LSTM)模型来捕捉流行趋势并挖掘时序信息;然后,采用神经网络因子分解机(NFM)处理多模态的内容特征,并采...