基于平衡采样的轻量级广告点击率预估方法

类似Google AdSense这样的定向广告投放系统在过去十年得到了长足的发展和进步, 在定向广告投放系统中, 机器学习方法在广告点击率预估扮演着重要角色。目前, 广告点击率预估模型中的训练数据逐渐呈指数级增长, 越来越大的训练数据给模型的扩展性带来了极大的不便。很多有用的特征以及复杂的模型受限制于训练集规模而无法加入到模型之中。借鉴类别不平衡问题中的平衡采样策略, 通过多次采样的负样本数据和集成学习, 缩短训练时间, 改善学习准确率。实验证明在采用了平衡采样之后, 点击率预估效果和线上资源消耗都得到了优化。     

基于特征与域感知的点击率预估方法

点击率预估是推荐系统中的核心任务,其关键是学习有效的特征交互,但现有基于深度神经网络的点击率预估方法未考虑冷启动问题,导致准确率降低。结合特征信息和域信息的嵌入,提出一种特征交互的点击率预估方法FF-GNN。利用基于图神经网络的交互模块分别提取特征嵌入和域嵌入的结构信息,建模细粒度的特征交互和粗粒度的域交互过程。同时通过设计图神经网络的权重计算模块,交叉引用特征图神经网络和域图神经网络的低阶特征信息,实现特征交互和个性化建模域交互。在此基础上,采用注意力机制融合特征交互和域交互模块的结果预测点击率。在Criteo和Frappe公开数据集上的实验结果验证了FF-GNN方法的有效性,其AUC指标相较于同类型Fi-GNN方法分别提高0.57和0.85个百分点,能够同时关注特征和域信息,提高点击率预估的准确度。     

基于用户相似度和特征分化的广告点击率预测研究

大数据环境下如何对互联网广告进行精准投放一直是计算广告学领域高度关注的问题。作为在线广告投放效果的一个重要指标,点击率的精确预测关系到媒体、用户和广告主三方的利益。目前的主流方法是通过抽取特征建立单一点击率预测模型,其不足之处在于使用单个权重来度量特征对点击率的影响过于片面。该研究基于分而治之的思想,提出了基于用户相似度和特征分化的混成模型。该模型首先根据混合高斯分布来评估用户相似度,将其划分为多个群体。针对不同群体,分别构建子模型并进行有效组合,从而挖掘同一特征对不同群体的差异化影响,进而准确地预测广告点击行为。通过使用真实互联网公司的广告数据集进行实验,并与主流方法做了详细的对比分析,检验了该方法的有效性。     

基于注意力机制的兴趣网络点击率预估模型

广告点击率(CTR)是互联网公司进行流量分配的重要依据,针对目前点击率预估精度较低的问题,结合通用的神经网络解决方案,构建一种基于注意力机制的深度兴趣网络(ADIN)模型。设计一个局部激活单元和自适应激活函数,根据用户历史行为和给定广告自适应地学习用户兴趣。引入注意力机制,区分不同特征对预测结果的影响程度,从而增强模型的可解释性。在3个公开数据集上的实验结果表明,相对LR、PNN等CTR预估模型,ADIN模型具有更高的AUC值和更低的LogLoss值,其预测效果更优。     

基于域内特征间相似性的点击率预估优化

基于深度学习的点击率预估模型多数通过建模各个域的特征之间的交互关系提升预估准确率。特征嵌入向量对模型效果具有重要影响,而现有的CTR模型中不同特征的嵌入向量学习过程相互独立,且由于特征长尾分布导致大部分低频特征不能学习到较好的向量表示,严重影响模型的预测效果。基于域内特征间存在隐含的相似性,提出两种分别基于特征间共现概率和游走概率的相似度定义和对应的相似性图构建方法,并给出结合剪枝策略的广度优先遍历算法实现相似特征的高效计算。在此基础上,基于域内特征相似性图,设计一种嵌入生成器,对于低频特征,在域内特征相似性图上通过图神经网络聚合与其相似的特征信息,生成新的特征嵌入,作为预处理过程对特征嵌入向量进行数据增强,提升嵌入向量的表示学习质量。在公开数据集Criteo、Avazu上的实验结果表明,该方法明显提升点击率预估模型的预测准确率,其中对代表性点击率预估模型xDeepFM和AutoInt,AUC指标分别提升了0.007和0.008,LogLoss则下降了0.009和0.006,证明了嵌入生成模型的有效性。     

面向视频冷启动问题的点击率预估

视频的点击率预估是视频推荐系统中的重要任务之一,推荐系统可以根据点击率的预估调整视频推荐顺序以提升视频推荐的效果.近年来,随着视频数量的爆炸式增长,视频推荐的冷启动问题也变得愈发严重.针对这个问题,提出了一个新的视频点击率预估模型,通过使用视频的内容特征以及上下文特征来加强视频点击率预估的效果;同时,通过对冷启动场景的模拟训练和基于近邻的替代方法提升模型应对新视频点击率预估的能力.提出的模型可以同时对旧视频和新视频进行点击率预估.在两个真实的电视剧（Track_1_series）和电影（Track_2_movies）点击率预估数据集上的实验表明：提出的模型可以显著改善对旧视频的点击率预估性能,并在两个数据集上均超过了现有的模型;对于新视频,相比于不考虑冷启动问题的模型只能获得0.57左右的AUC性能,该模型在两个数据集上分别获得0.645和0.615的性能,表现出针对冷启动问题更好的鲁棒性.     

基于深度置信网络的广告点击率预估的优化

随着互联网广告的飞速发展,如何预测目标用户对互联网广告的点击率（click-through rate,简称CTR）,成为精确广告推荐投放的关键技术,并成为计算广告领域的研究热点和深度神经网络的应用热点.为了提高广告点击率预估的精确度,提出了基于深度置信网络的广告点击率预估模型,并通过基于Kaggle数据挖掘平台数据集的1 000万条随机数据的实验,研究不同的隐藏层层数和隐含节点数目对预测结果的影响.为了解决深度置信网络在数据规模较大的工业界解决方案中的训练效率问题,通过实验证明：广告点击率预估中,深度置信网络的损失函数存在大量的驻点,并且这些驻点对网络训练效率有极大的影响.为了提高模型效率,从发掘网络损失函数特性入手,进一步提出了基于随机梯度下降算法和改进型粒子群算法的融合算法,以优化网络训练.融合算法在迭代步长小于阈值时可以跳出驻点平面,继续正常迭代.实验结果表明,与传统的基于梯度提升决策树和逻辑回归的广告点击率预估模型以及模糊深度神经网络模型相比,基于深度置信网络的预估模型具有更好的预估精度,在均方误差、曲线下面积和对数损失函数指标上分别提升2.39%,9.70%,2.46%和1.24%,7.61%,1.30%;使用融合方法训练深度置信网络,训练效率提高30%~70%.     

基于注意力机制的可解释点击率预估模型研究

在推荐系统研发中,点击率(Click-Through Rate, CTR)预估是非常重要的工作,点击率预估精度的提升直接影响到整个推荐系统的收益,对其性能和解释性的研究有助于理解系统决策的机理,同时还能帮助优化需求和系统设计。当前点击率预估深度模型多基于线性特征交互和深度特征提取进行设计。由于深度模型的黑盒特点,该类模型在解释性方面存在局限性,并且在先前的研究中,对点击率预估模型的解释性研究非常少。因此,文中基于多头自注意力机制,对该类模型的解释性进行研究,通过多头注意力机制对特征嵌入、线性特征交互和深度部分进行增强和解释,在深度部分设计了两种模型,即注意力增强的深度神经网络和注意力叠加的深度模型,通过计算每个模块的注意力得分对其进行解释。所提方法在多个真实数据集上进行了大量实验,结果表明所提方法能够有效提升模型效果,并且模型自身带有一定的解释性。     

基于广告与用户相似度的点击率预估模型

点击率预估是广告推荐系统中的一个重要方向,现有的点击率预估模型大多是基于特征feature与CTR之间的关系预测一条广告是否被用户点击,但是仍有许多能提高点击率模型性能的信息被忽略.文章提出了一种基于广告特征与用户特征相似度的模型,该模型在DeepFM点击率预测算法的基础上,增加了一个能够拟合广告特征与用户特征之间关系...     

基于高阶特征交互的点击率预估模型的实现

传统的低阶特征模型不能充分利用大数据,从多个维度描述数据和用户.专注于高阶特征提取,结合显式和隐式特征交互的点击率预估模型可以利用好大数据的特点.使用Tensorflow框架搭建包含深度神经网络、因子压缩交互网络和多重特征自交互网络结构的模型,使用淘宝展示广告点击率预估数据集进行训练.模型采用对数损失值和ROC曲线下面积作为评价指标,与原始的LR、FM、Deep&Wide等典型模型进行比较,对数损失值降低了0.04,AUC值提高了0.05左右.     

基于卷积-LSTM网络的广告点击率预测模型研究

点击率预测是计算广告学的核心算法之一。传统浅层模型没有充分考虑到数据之间存在的非线性关系，且使用人工特征提取方法费时费力。针对这些问题，提出了基于卷积（Convolutional Neural Networks）-LSTM（Long Short Term Memory）混合神经网络的广告点击率预测模型。该模型使用卷积神经网络提取高影响力特征，并通过LSTM神经网络的时序性进行预测分类。实验结果证明：与浅层模型或单一结构的神经网络模型相比，基于卷积-LSTM的混合神经网络模型能有效提高广告点击事件的预测准确率。     

基于反馈控制的嵌入式实时系统调度算法设计

针对嵌入式实时系统在系统负载模型不确定的情况下系统的实时任务错过率过高以及调度稳定性差的问题,提出了一个基于反馈控制的调度模型.该模型主要由改进的多级队列调度器和3个控制器(准入控制器、执行等级控制器、比例积分微分(PID)控制器)组成.任务的错过率偏差反馈到PID控制器,产生相应的调整量并作用于其他两个控制器,对实时任务的执行等级进行调整, 经过调整的任务被调度器调度执行.在对模型中每个部件进行了一些结构调整和改进设计之后,将该调度模型应用于嵌入式可配置操作系统(eCos)中.实验结果表明,该模型降低了任务的时限错过率,同时解决了系统频频超载的问题.     

MU-MIMO系统中利用信道信息预测值的反馈机制

提出了一种多用户MIMO下行链路中基于收发双方共同预测信道的信道信息反馈机制。在实际传输时,基站和用户双方采用相同的算法预测信道,用户将信道预测值和真实值之差,通过离线设计好的LBG码本进行量化,将码本序号反馈给基站。该方案中,利用实测的大样本信道采样值,以均值意义下的预测误差最小化为目标,采用LBG算法设计了量化码本。基站根据用户反馈的码本序号和自己实时的信道预测值,重建出接近真实信道的估计值,并利用该估计值对传输数据做预编码。仿真结果验证了所提方法的有效性。     

基于带惩罚的点概率距离策略优化算法在展示广告实时竞标中的研究

实时竞价(RTB)是在线展示广告中被广泛采用的广告投放模式,针对由于RTB拍卖环境的高度动态性导致最佳出价策略难以获得的问题,提出了一种基于强化学习(RL)的出价策略优化方法,即采用带惩罚的点概率距离策略优化(POP3D)算法来学习最佳出价策略。在基于POP3D的出价框架中,广告投标过程被建模为情节式的马尔可夫决策过程,每个情节被划分为固定数量的时间步,每个广告展示的出价由它的预估点击率大小和竞标因子共同决定。每个时间步,竞标代理都会根据上一时间步的拍卖情况对竞标因子进行调整,以使得出价策略能够适应高度动态的拍卖环境,竞标代理的目标是学习最佳的竞标因子调整策略。在iPinYou数据集上的实验结果表明,与DRLB算法相比,所提出价算法在预算比例为1/16和1/32时,在点击次数方面均提升了0.2%;当预算比例为1/8、1/16和1/32时,在赢标率方面分别提升了1.8%、1.0%和1.7%;另外,在稳定性方面,所提方法也具有优势。表明了该方法的优越性。     

资源灰预测的反馈任务调度算法

为了达到网格环境下任务调度时的负载平衡,针对此环境下的资源的自治性、异构性和分布性等特性,利用改进的灰预测模型GM(1,1)预测方法,设计了资源实时预测模型,可在较小的开销下取得满意的负载平衡。基于该模型的资源灰预测反馈任务调度算法RGP-FB是把资源预测融入到网格环境下的任务调度策略中,从而使系统调度的综合效率提高。仿真实验证明了该算法的合理性和有效性。     

基于用户实时反馈的协同过滤算法

传统的基于内存的协同过滤算法存在可扩展性不足的问题,而基于模型的协同过滤算法由于模型数据的滞后,造成推荐质量不高。针对以上情况,提出一种基于用户实时反馈的协同过滤算法,该算法在用户提交项目评分之后能实现对推荐模型数据的实时更新,从而更精确地反映用户的兴趣变化。实验结果表明,该算法能够有效地提高推荐精确度并且大幅地缩短了推荐时间。     

基于LDA的互联网广告点击率预测研究

广告点击率是互联网广告投放的重要依据,有效地预测广告的点击率,对于提高广告投放的效率有着至关重要的作用。在训练点击率预测模型的过程中,往往面临着广告及用户的数量巨大以及训练数据集稀疏的问题,从而导致点击率预测的准确度下降。针对这些问题提出了一种基于LDA (Latent Dirichlet Allocation)的点击率预测算法,即LDA-FMs,该算法对原有训练集进行基于主题的分割,利用分割后的子训练集分别建立不同主题下的点击率预测模型,在此基础上,利用广告属于不同主题的概率,有权重的结合每个预测模型的预测结果,进而计算广告的点击率。实验基于KDD Cup 2012-Track2的真实数据集,证明了算法的可行性与有效性。     

基于孪生检测网络的实时视频追踪算法

目前,在视频追踪领域中,大部分基于孪生网络的追踪算法只能对物体的中心点进行定位,而在定位快速形变的物体时会出现定位不准确的问题。为此,提出基于孪生检测网络的实时视频追踪算法——SiamRFC。SiamRFC算法可直接预测被追踪物体位置,来应对快速形变的问题。首先,通过判断相似性来得到被追踪物体的中心点位置;然后,运用目标检测的思路,通过选取一系列的预选框来回归最优的位置。实验结果表明,所提SiamRFC算法在VOT2015|16|17的测试集上均有很好的表现。     

基于LBSVM机器学习的相关反馈图像检索

基于机器学习的相关反馈技术是基于内容的图像检索研究的热点。由于基于SVM的相关反馈技术存在样本数量少,样本正负比例不平衡,反馈准确率低等问题,文中先对Boosting方法进行改进,提出了用先验知识的Boosting方法与SVM结合的短期机器学习相关反馈方法（BSVM）;在此基础上为进一步提高系统反馈速度与准确率,通过保存训练好的分类器和它对应的样本,提出了基于长期机器学习的相关反馈方法（LBSVM）。文中提出的两种方法与其它方法进行了比较实验,结果表明,该方法优于其它方法。