集成FM的短视频喜好率预测模型

短视频喜好率预测往往面临着用户及广告的数量巨大且训练数据集高维、稀疏等问题，从而导致预测准确度下降。针对这些问题提出了基于LDA-GBDT-FM的短视频喜好率预测模型，该模型利用隐狄利克雷分配模型（LDA）对原始数据集基于主题分割，利用梯度提升决策树（GBDT）对不同主题的子训练集提取连续型特征的高影响力特征，将其与离散特征合并来训练因子分解机（FM）模型，最后有效组合子模型，进而预测短视频的喜好率。实验基于Bytedance公司的数据集，实验结果表明，提出的LDA-GBDT-FM模型相较于LDA-FM、FM和LR在预测指标上分别提高了3.0%、5.7%和8.5%。     

基于GMM-FMs的广告点击率预测研究

传统单一模型对广告点击率(CTR)的预测效果较片面,且广告日志数据存在稀疏性问题。为此,将高斯混合模型(GMM)与因子分解机(FM)相结合,建立一种广告点击率预测模型GMM-FMs。对原始数据集进行高斯聚类,在聚类后得到的数据子集上分别建立CTR预测模型,将多个预测模型的结果进行有效加权得到最终结果。实验结果表明,相比传统逻辑回归与FM模型,该模型在训练集与测试集比例不同时均能取得较高的AUC值。     

基于多源融合特征提取的在线广告预测模型

针对智能移动终端应用平台上的广告点击率(CTR)预测问题,在传统PC端Web平台在线广告CTR预测方法的基础上,提出一个新的智能移动终端在线广告投放业务架构。基于此架构,构建基于机器学习的在线广告预测模型,对用户基本信息、广告内容、用户使用环境等多源特征进行融合提取,实现在线广告CTR的精确预测。结合移动APP应用环境的特点,将用户历史行为数据加入预测模型进一步提高CTR预测性能。实验结果表明,该模型具有较高的CTR预测准确率。     

基于用户相似度和特征分化的广告点击率预测研究

大数据环境下如何对互联网广告进行精准投放一直是计算广告学领域高度关注的问题。作为在线广告投放效果的一个重要指标,点击率的精确预测关系到媒体、用户和广告主三方的利益。目前的主流方法是通过抽取特征建立单一点击率预测模型,其不足之处在于使用单个权重来度量特征对点击率的影响过于片面。该研究基于分而治之的思想,提出了基于用户相似度和特征分化的混成模型。该模型首先根据混合高斯分布来评估用户相似度,将其划分为多个群体。针对不同群体,分别构建子模型并进行有效组合,从而挖掘同一特征对不同群体的差异化影响,进而准确地预测广告点击行为。通过使用真实互联网公司的广告数据集进行实验,并与主流方法做了详细的对比分析,检验了该方法的有效性。     

基于深度置信网络的广告点击率预估的优化

随着互联网广告的飞速发展,如何预测目标用户对互联网广告的点击率（click-through rate,简称CTR）,成为精确广告推荐投放的关键技术,并成为计算广告领域的研究热点和深度神经网络的应用热点.为了提高广告点击率预估的精确度,提出了基于深度置信网络的广告点击率预估模型,并通过基于Kaggle数据挖掘平台数据集的1 000万条随机数据的实验,研究不同的隐藏层层数和隐含节点数目对预测结果的影响.为了解决深度置信网络在数据规模较大的工业界解决方案中的训练效率问题,通过实验证明：广告点击率预估中,深度置信网络的损失函数存在大量的驻点,并且这些驻点对网络训练效率有极大的影响.为了提高模型效率,从发掘网络损失函数特性入手,进一步提出了基于随机梯度下降算法和改进型粒子群算法的融合算法,以优化网络训练.融合算法在迭代步长小于阈值时可以跳出驻点平面,继续正常迭代.实验结果表明,与传统的基于梯度提升决策树和逻辑回归的广告点击率预估模型以及模糊深度神经网络模型相比,基于深度置信网络的预估模型具有更好的预估精度,在均方误差、曲线下面积和对数损失函数指标上分别提升2.39%,9.70%,2.46%和1.24%,7.61%,1.30%;使用融合方法训练深度置信网络,训练效率提高30%~70%.     

基于平衡采样的轻量级广告点击率预估方法

类似Google AdSense这样的定向广告投放系统在过去十年得到了长足的发展和进步, 在定向广告投放系统中, 机器学习方法在广告点击率预估扮演着重要角色。目前, 广告点击率预估模型中的训练数据逐渐呈指数级增长, 越来越大的训练数据给模型的扩展性带来了极大的不便。很多有用的特征以及复杂的模型受限制于训练集规模而无法加入到模型之中。借鉴类别不平衡问题中的平衡采样策略, 通过多次采样的负样本数据和集成学习, 缩短训练时间, 改善学习准确率。实验证明在采用了平衡采样之后, 点击率预估效果和线上资源消耗都得到了优化。     

基于用户实时反馈的点击率预估算法

当前主流的在线广告点击率（CTR）预估算法主要通过机器学习方法从大规模日志数据中挖掘用户与广告间的相关性从而提升点击率预估精度,其不足之处在于没有充分考虑用户实时行为对CTR的影响。对大规模真实在线广告日志进行分析后发现,在会话中,用户CTR的动态变化和用户先前的反馈行为高度相关,不同的用户行为对用户实时CTR的影响不尽相同。基于上述分析结果,提出一种基于用户实时反馈的点击率预估算法。首先,从大规模真实在线广告日志数据中定量分析用户反馈和点击率预估精度的相关关系;然后,根据分析结果将用户的反馈行为特征化;最后,使用机器学习方法对用户的行为进行建模,并根据用户的反馈实时动态调整广告投放,从而提升在线广告系统的点击率预估精度。实验结果表明,用户实时反馈特征和用户点击率高度相关;相比于传统没有用户实时反馈信息的预测模型,该算法在测试集上对AUC（Area Under the Curve）和RIG（Relative Information Gain）指标提升分别为0.83%和6.68%。实验结果表明,用户实时反馈特征显著提高点击率预估的精度。     

特征重要性动态提取的广告点击率预测模型

点击率预测（Click-Through Rate,CTR）是在线展示广告中的一项关键任务，CTR预测任务中涉及的数据通常有多个特征，对其中的重要特征提取、建模的方式极大地影响了CTR预测的准确性．以往方法在特征重要性提取过程中存在信息干扰问题．针对这一问题，提出了一种特征重要性动态提取的广告点击率预测模型．该模型将门控机制引入CTR模型对特征重要性进行初步筛选，同时利用了挤压提取网络获取特征重要性，并通过双线性交互获得重要性特征之间的关联信息，最后使用了隐藏门控残差网络学习高阶信息交互．通过对两个真实广告数据集进行的广泛实验，证明了其能够比传统的点击率预测模型以及最新的基于深度学习的预测模型获得更好的准确度．     

基于集成学习方法的点击率预估模型研究

由于互联网中积累的广告日志具有数据稀疏、特征量大、正负样本分布极其不均匀等问题,使得人工特征提取费时费力,并且单一预测模型很难得到更好的预测性能。针对这些问题,提出梯度提升树GBDT和Stacking相融合的点击率预测模型GBDT-Stacking。通过引入梯度提升树自动进行特征提取与构造,并结合Stacking集成模型对在线广告点击率进行预测,有效提高了单个预测模型的性能。在真实广告数据集上的实验结果表明,GBDT-Stacking集成模型比对比模型在AUC的取值上至少提升了4%。     

搜索引擎广告用户行为预测与特征分析

介绍了搜索引擎广告系统的基本运作模式。通过对广告四元组的特征提取、特征值平滑等操作, 将广告记录解析成为训练数据, 并将数据分为训练集和测试集, 使用支持向量机算法并利用训练集训练出的模型将测试集分类, 从而预测出用户的行为。通过对特征的分析, 得出对用户行为预测准确率影响最大的特征是点击率。实验证明, 在使用该模型中所有特征的情况下, 分类的准确率能够达到83. 17%。     

基于印象空间的互联网广告效果评价

互联网广告效果评价是网络营销的核心问题,评价方法存在信息源单一、无差别假、全局假设等问题,对互联网广告效果评价提出了巨大挑战。寻找一种全新的衡量互联网广告效果的评价指标成为亟待解决的任务。首先,创新地提出印象空间概念,作为更有效的网页广告效果评价指标,以解决信息源单一问题;其次,分析用户类型、行为方式、行为过程等特征对互联网广告效果评价标准的影响,消除用户无差异假设所造成的评价偏差;再次,引入网页的局部性特征,分析页面布局、广告与页面内容相关性等因素对互联网广告效果的影响,以消除全局性假设;最后,构建基于多模态特征的印象空间模型来预测互联网广告效果。实验结果表明,提出的印象空间对互联网广告质量评价的准确率显著提升,达到92.4％。而且印象空间模型的预测结果不仅更加准确科学,而且具有明显的可解释性。     

基于改进Transformer的广告点击率预估模型

针对现有的广告点击率预估模型未能精准挖掘用户历史兴趣及历史兴趣对目标广告点击与否的影响,提出了一种基于改进Transformer的广告点击率预估模型.该模型采用Transformer网络捕捉隐藏在用户点击序列背后的潜在历史兴趣;同时针对Transformer建模用户历史兴趣无法有效关联目标广告的问题,提出了一种改进的Transformer网络.改进后的Transformer不但有效建模用户历史兴趣,而且考虑了跟目标广告的关联.新模型采用辅助损失函数来监督改进的Transformer对用户历史兴趣的抽取过程,然后采用注意力机制进一步建模用户的历史兴趣和目标广告的相关性以提升模型的预估性能.实验结果表明新模型有效提升了广告点击率的预估效果.     

基于集成模型的移动应用广告转化率预测

移动应用广告是互联网广告市场中一种主动的广告形式,它能够分析用户的兴趣爱好,并投其所好,精准投放广告,从而提高用户体验,为广告平台与广告主带来巨大的收益.因此,预测移动应用广告的转化率已成为一个非常重要的研究方向.本文以逻辑回归和两个梯度提升树模型为基础,使用堆叠和平均的集成思想,提出了两种集成模型--SXL和BLLX模型,解决了传统预测模型能力有限,无法精准预测转化率的问题.在腾讯2017社交广告比赛的数据集上的实验结果表明,SXL和BLLX两种模型能够有效地提高广告转化率的预测结果.     

How to select search keywords for online advertising depending on consumer involvement: An empirical investigation

In paid search advertising on Internet, advertisers bid for specific keywords. Consumer involvement affects a consumer’s purchase intention. However, there has been no research on selecting keywords in paid search advertising depending on consumer involvement from the advertisers’ perspective. Our paper investigates the effects of several factors including impressions, click-through rate, conversion rate, the number of competitors and the quantity of online customer reviews on the performance of individual keywords. Our analysis shows that regardless of consumer involvement, the conversion rate and the number of reviews significantly affect to the performance of individual keywords but the click-through rate does not. In addition, the effects of impressions and the number of competitors partially exist depending on consumer involvement. This study provides managerial insights into paid search advertising and can give some assumptions in the theoretical modeling literature for allocating advertising budgets.     

Advertisement clicking prediction by using multiple criteria mathematical programming

In online advertisement industry, it is important to predict potentially profitable users who will click target ads (i.e., Behavioral targeting). The task selects the potential users that are likely to click the ads by analyzing user’s clicking/web browsing information and displaying the most relevant ads to them. This paper proposes four multiple criteria mathematical programming models for advertisement clicking problems. First two are multi-criteria linear regression (MCLR) and kernel-based multiple criteria regression (KMCR) algorithms for click-through rate (CTR) prediction. The second two are multi-criteria linear programming (MCLP) and kernel-based multiple criteria programming (KMCP) algorithms, which are used to predict ads clicking events, such as identifying clicked ads in a set of ads. Using the experimental datasets from KDD Cup 2012, the paper first conducts a comparison of the proposed MCLR and KMCR with the methods of support vector regression (SVR) and logistic regression (LR), which shows that both MCLR and KMCR are good alternatives. Then the paper further studies the performance between the proposed MCLP and KMCP algorithms with known algorithms, including support vector machines (SVM), LR, radial basis function network (RBFN), k-nearest neighbor algorithm (KNN) and Naïve Bayes (NB) in both prediction and selection processes. The studies show that the MCLP and KMCP models have better performance stability and can be used to effectively handle behavioral targeting application for online advertisement problems.     

基于FTRL优化算法的广告点击率预测模型研究

当前在线广告的业务场景下，线性模型没有充分考虑到数据高维、稀疏性、非线性等特点。针对这些问题，引入了基于梯度提升决策树算法的特征提取方法，提出了基于FTRL（Follow-The-Regularized-Leader）优化算法的因子分解机模型。FTRL优化算法能有效地学习到特征之间存在的非线性关系，使不同参数可以自适应不同学习率，并加入了混合正则项。实验结果证明基于FTRL优化算法的因子分解机模型能有效提高广告点击事件的预测准确率。     

基于改进极限学习机的泥石流发生预测

为提高泥石流预测预报的准确性,提出一种基于DBSCAN聚类的改进极限学习机(ELM)算法。首先,利用DBSCAN算法对泥石流发生训练的数据进行聚类处理;其次,将聚类得到的不同训练集分类训练ELM分类器;最后,利用ELM分类器对预测集数据进行预测。实验结果表明,利用改进ELM算法对泥石流发生预测的平均准确率达到91.6%,改进ELM算法的稳定性与传统ELM算法相比有明显提高,与传统ELM算法、BP神经网络和Fisher预测法相比,改进ELM算法的预测精度更高。     

A framework for intermediated online targeted advertising with banner ranking mechanism

Reinforced by the fast growth of electronic commerce, even during the current global economic downturn, intermediated online targeted advertising (IOTA) has emerged as a promising electronic business model empowered by the Web 2.0 principle. IOTA maximizes the profit of online targeted advertising services by displaying the proper banner contents to certain types of Web users in real time in order to increase the click-through rate (CTR). However, due to severe competition in the online advertising market, the principles and algorithms of IOTA remain highly confidential. This paper is intended to unveil the nature of IOTA. We propose an IOTA service system framework and present its implementation scheme. Specifically, we address the advertisement allocation problem, using an advertisement ranking mechanism and considering the ads impression quota and the time-of-day (TOD) effect. Simulation results show that advertisement ranking in a subset of clusters that actively estimates the quota situation is feasible and efficient.