基于多源融合特征提取的在线广告预测模型

针对智能移动终端应用平台上的广告点击率(CTR)预测问题,在传统PC端Web平台在线广告CTR预测方法的基础上,提出一个新的智能移动终端在线广告投放业务架构。基于此架构,构建基于机器学习的在线广告预测模型,对用户基本信息、广告内容、用户使用环境等多源特征进行融合提取,实现在线广告CTR的精确预测。结合移动APP应用环境的特点,将用户历史行为数据加入预测模型进一步提高CTR预测性能。实验结果表明,该模型具有较高的CTR预测准确率。     

基于广告与用户相似度的点击率预估模型

点击率预估是广告推荐系统中的一个重要方向,现有的点击率预估模型大多是基于特征feature与CTR之间的关系预测一条广告是否被用户点击,但是仍有许多能提高点击率模型性能的信息被忽略.文章提出了一种基于广告特征与用户特征相似度的模型,该模型在DeepFM点击率预测算法的基础上,增加了一个能够拟合广告特征与用户特征之间关系...     

基于注意力机制的兴趣网络点击率预估模型

广告点击率(CTR)是互联网公司进行流量分配的重要依据,针对目前点击率预估精度较低的问题,结合通用的神经网络解决方案,构建一种基于注意力机制的深度兴趣网络(ADIN)模型。设计一个局部激活单元和自适应激活函数,根据用户历史行为和给定广告自适应地学习用户兴趣。引入注意力机制,区分不同特征对预测结果的影响程度,从而增强模型的可解释性。在3个公开数据集上的实验结果表明,相对LR、PNN等CTR预估模型,ADIN模型具有更高的AUC值和更低的LogLoss值,其预测效果更优。     

基于深度置信网络的广告点击率预估的优化

随着互联网广告的飞速发展,如何预测目标用户对互联网广告的点击率（click-through rate,简称CTR）,成为精确广告推荐投放的关键技术,并成为计算广告领域的研究热点和深度神经网络的应用热点.为了提高广告点击率预估的精确度,提出了基于深度置信网络的广告点击率预估模型,并通过基于Kaggle数据挖掘平台数据集的1 000万条随机数据的实验,研究不同的隐藏层层数和隐含节点数目对预测结果的影响.为了解决深度置信网络在数据规模较大的工业界解决方案中的训练效率问题,通过实验证明：广告点击率预估中,深度置信网络的损失函数存在大量的驻点,并且这些驻点对网络训练效率有极大的影响.为了提高模型效率,从发掘网络损失函数特性入手,进一步提出了基于随机梯度下降算法和改进型粒子群算法的融合算法,以优化网络训练.融合算法在迭代步长小于阈值时可以跳出驻点平面,继续正常迭代.实验结果表明,与传统的基于梯度提升决策树和逻辑回归的广告点击率预估模型以及模糊深度神经网络模型相比,基于深度置信网络的预估模型具有更好的预估精度,在均方误差、曲线下面积和对数损失函数指标上分别提升2.39%,9.70%,2.46%和1.24%,7.61%,1.30%;使用融合方法训练深度置信网络,训练效率提高30%~70%.     

一种基于深度挖掘用户和内容特征的CTR预估方法

预估点击率（CTR）是推荐系统的核心任务之一，基于此提出一种深度挖掘用户和内容特征的CTR预估模型——DFAR模型。在用户特征提取部分，通过长短期记忆网络（LSTM）对用户时序特征进行提取，通过残差模块与注意力机制实现对用户特征的深度提取。首先，在待推荐内容部分利用因子分解机（FM）来提取浅层特征。然后，使用多头注意力机制和残差网络从待推荐内容中提取深度特征。最后，将用户特征与待推荐内容特征做内积结合并做出最终预测。最终在Movielens-100K数据集上利用该模型进行实验，实验结果表明，提出的模型在AUC值上相比于深度因子分解机（DeepFM）模型提升了1.45%。验证了DFAR模型对CTR预测的有效性。     

在线广告点击率预测方法的研究综述

在在线广告和推荐系统中，准确预测点击率(Click-Through Rate, CTR)是至关重要的。CTR是广告被点击次数与广告被展示次数的比值。过去，许多传统的机器学习算法，如逻辑回归、支持向量机，因为简单且易于实现而被广泛地应用于广告点击率预测工作。然而，这些传统算法往往需要复杂的特征工程。相较之下，深度学习模型能够有效自动提取高阶特征，可以较好地解决这一问题。此外，为了实现更高效、更准确的性能，融合了嵌入式和钦层感知器(Multilayer Perceptron, MLP)的优点的混合架构近年来被广泛地应用。该文对预测点击率的方法进行了全面的研究，不仅根据现有解决方案的架构将其分为三类，而且对每一类进行了详细的概述。最后，该文指出了该领域存在的挑战和未来发展方向，为进一步研究指明可能的途径。     

互联网广告点击率预估模型中特征提取方法的研究与实现

互联网广告是一个具有上千亿元规模的市场。广告的点击率是互联网广告投放效果的重要指标。在广告点击率预估模型中,特征提取是关键因素,特征的好坏直接影响到最终模型的效果。针对如何提高广告点击率预估效率问题,在Hadoop大数据平台环境中,提出了基于梯度提升决策树GBDT（Gradient Boost Decision Tree）模型的多维特征提取方法。该方法利用原始数据构建多维基础特征库,并将基础特征库中除ID类特征以外的其余特征输入GBDT模型进行特征刷选,得到高层特征,进一步进行分类。该方法的使用不仅减少了特征提取的人工成本和时间成本,也在很大程度上提升了模型的精度。     

特征重要性动态提取的广告点击率预测模型

点击率预测(Click-Through Rate,CTR)是在线展示广告中的一项关键任务,CTR预测任务中涉及的数据通常有多个特征,对其中的重要特征提取、建模的方式极大地影响了 CTR预测的准确性.以往方法在特征重要性提取过程中存在信息干扰问题.针对这一问题,提出了一种特征重要性动态提取的广告点击率预测模型.该模型将门...     

基于注意力机制的可解释点击率预估模型研究

在推荐系统研发中，点击率(Click-Through Rate, CTR)预估是非常重要的工作，点击率预估精度的提升直接影响到整个推荐系统的收益，对其性能和解释性的研究有助于理解系统决策的机理，同时还能帮助优化需求和系统设计。当前点击率预估深度模型多基于线性特征交互和深度特征提取进行设计。由于深度模型的黑盒特点，该类模型在解释性方面存在局限性，并且在先前的研究中，对点击率预估模型的解释性研究非常少。因此，文中基于多头自注意力机制，对该类模型的解释性进行研究，通过多头注意力机制对特征嵌入、线性特征交互和深度部分进行增强和解释，在深度部分设计了两种模型，即注意力增强的深度神经网络和注意力叠加的深度模型，通过计算每个模块的注意力得分对其进行解释。所提方法在多个真实数据集上进行了大量实验，结果表明所提方法能够有效提升模型效果，并且模型自身带有一定的解释性。     

面向视频冷启动问题的点击率预估

视频的点击率预估是视频推荐系统中的重要任务之一,推荐系统可以根据点击率的预估调整视频推荐顺序以提升视频推荐的效果.近年来,随着视频数量的爆炸式增长,视频推荐的冷启动问题也变得愈发严重.针对这个问题,提出了一个新的视频点击率预估模型,通过使用视频的内容特征以及上下文特征来加强视频点击率预估的效果;同时,通过对冷启动场景的模拟训练和基于近邻的替代方法提升模型应对新视频点击率预估的能力.提出的模型可以同时对旧视频和新视频进行点击率预估.在两个真实的电视剧（Track_1_series）和电影（Track_2_movies）点击率预估数据集上的实验表明：提出的模型可以显著改善对旧视频的点击率预估性能,并在两个数据集上均超过了现有的模型;对于新视频,相比于不考虑冷启动问题的模型只能获得0.57左右的AUC性能,该模型在两个数据集上分别获得0.645和0.615的性能,表现出针对冷启动问题更好的鲁棒性.     

基于用户相似度和特征分化的广告点击率预测研究

大数据环境下如何对互联网广告进行精准投放一直是计算广告学领域高度关注的问题。作为在线广告投放效果的一个重要指标,点击率的精确预测关系到媒体、用户和广告主三方的利益。目前的主流方法是通过抽取特征建立单一点击率预测模型,其不足之处在于使用单个权重来度量特征对点击率的影响过于片面。该研究基于分而治之的思想,提出了基于用户相似度和特征分化的混成模型。该模型首先根据混合高斯分布来评估用户相似度,将其划分为多个群体。针对不同群体,分别构建子模型并进行有效组合,从而挖掘同一特征对不同群体的差异化影响,进而准确地预测广告点击行为。通过使用真实互联网公司的广告数据集进行实验,并与主流方法做了详细的对比分析,检验了该方法的有效性。     

基于图拉普拉斯变换和极限学习机的时间序列预测算法

由于时间效率的约束,多元时间序列预测算法往往存在预测准确率不足的问题。对此,提出基于图拉普拉斯变换和极限学习机的时间序列预测算法。基于图拉普拉斯变换对时间序列进行半监督的特征提取,通过散布矩阵将监督特征和无监督特征进行融合。设计在线的极限学习机学习算法,仅需要在线更新网络的输出权重矩阵即可完成神经网络的学习。利用提取的特征在线训练极限学习机,实现对多元时间序列的实时预测。基于多个数据集进行仿真实验,结果表明该算法有效地提高了预测准确率。     

基于高阶偏差的因子分解机推荐算法

在推荐系统中,因评分尺度差异而造成的偏差问题一直影响着协同过滤算法的预测准确性。其中针对矩阵因子分解算法中的偏差问题,本文提出一种基于高阶偏差的因子分解机算法。该算法首先按照评分偏差的现实特征对用户和项目进行划分,再将偏差类别作为辅助特征集成到因子分解机中,实现了评分预测中不同偏差用户、项目的高阶交互。在Movielens数据集上的实验结果表明,相比传统矩阵因子分解算法,本文提出的算法具有更低的预测误差,体现了其更好的推荐性能。     

基于本体的Web资源个性化推荐算法

为提高Web资源推荐的准确度,提出基于本体的Web资源个性化推荐算法(BO-RM)。设计Web资源主题抽取算法和相似性度量方法,利用本体语义推理机制实现资源聚类,在推荐过程中通过实时分析用户浏览行为捕获用户个性化偏好的变化,动态实时推荐内容。与基于情境的协同过滤算法（CFR-RM）和基于模型的个性化预测算法（BM-RM）进行对比,结果显示BO-RM的时间开销相对稳定,在平均排序倒数(MRR)和平均准确率(MAP)上均取得了较好的效果。实验结果表明:BO-RM离线完成海量Web资源的分析聚类,有效提高了运行效率,实用性比较强;BO-RM实时捕捉用户兴趣变化,动态更新推荐列表,更加贴近用户的真实需求。     

考虑多粒度反馈的多轮对话强化学习推荐算法

多轮对话推荐系统（CRS）以交互的方式获取用户的实时信息,相较于基于协同过滤等的传统推荐方法能够取得更好的推荐效果。然而现有的CRS存在用户偏好捕获不够准确、对话轮数要求过多以及推荐时机不恰当等问题。针对这些问题,提出一种基于深度强化学习且考虑用户多粒度反馈信息的对话推荐算法。不同于现有的CRS,所提算法在每轮对话中同时考虑用户对商品本身以及更细粒度的商品属性的反馈,然后根据收集的多粒度反馈对用户、商品和商品属性特征进行在线更新,并借助深度Q学习网络（DQN）算法分析每轮对话后的环境状态,从而帮助系统作出较为恰当合理的决策动作,使它能够在比较少的对话轮次的情况下分析用户购买商品的原因,更全面地挖掘用户的实时偏好。与对话路径推理（SCPR）算法相比,在Last. fm真实数据集上,算法的15轮推荐成功率提升了46.5%,15轮推荐轮次上缩短了0.314轮;在Yelp真实数据集上,算法保持了相同水平的推荐成功率,但在15轮推荐轮次上缩短了0.51轮。     

基于FTRL优化算法的广告点击率预测模型研究

当前在线广告的业务场景下，线性模型没有充分考虑到数据高维、稀疏性、非线性等特点。针对这些问题，引入了基于梯度提升决策树算法的特征提取方法，提出了基于FTRL（Follow-The-Regularized-Leader）优化算法的因子分解机模型。FTRL优化算法能有效地学习到特征之间存在的非线性关系，使不同参数可以自适应不同学习率，并加入了混合正则项。实验结果证明基于FTRL优化算法的因子分解机模型能有效提高广告点击事件的预测准确率。     

二维分割贯序正则化超限学习机

针对大规模在线学习问题,提出一种二维分割贯序正则化超限学习机(BP-SRELM).BP-SRELM以在线贯序超限学习机为基础,结合分治策略的思想,从实例和特征两个维度对高维隐层输出矩阵进行分割,以降低问题求解的规模和计算复杂性,从而极大地提高对大规模学习问题的执行效率.同时,BP-SRELM通过融合使用Tikhonov正则化技术进一步增强其在实际应用中的稳定性和泛化能力.实验结果表明,所提出的BP-SRELM不仅具有更高的稳定性和预测精度,而且在学习速度上优势明显,适用于大规模数据流的在线学习与实时建模.     

面向微博话题的用户影响力分析算法

微博用户影响力分析作为社交网络分析的重要组成部分，一直受到研究人员的关注。针对现有研究工作分析用户行为时间性的不足和忽略用户与参与话题之间关联性等问题，提出了一种面向微博话题的用户影响力分析算法——基于话题和传播能力的用户排序（TSRank）算法。首先，基于微博话题分析用户转发行为时间性，进一步构建用户转发和用户博文转发两种话题转发关系网络，预测用户话题信息传播能力；然后，分析用户个人历史微博和背景话题微博文本内容，挖掘用户与背景话题之间的关联性；最后，综合考虑用户话题信息传播能力以及用户与背景话题间关联性计算微博用户影响力。爬取新浪微博真实话题数据进行实验，实验结果表明，话题关联度更高用户的话题转发量明显大于关联度很低的用户，引入用户转发行为时间性相比无转发时间性，TSRank算法的捕获率（CR）提高了18.7%，进一步与典型影响力分析算法WBRank、TwitterRank和PageRank相比，TSRank算法在准确率和召回率上分别提高了5.9%、8.7%、13.1%和6.7%、9.1%、14.2%，验证了TSRank算法的有效性。该研究成果对社交网络的社会属性、话题传播等理论研究以及好友推荐、舆情监控等应用研究具有支撑作用。     

基于深度序列加权核极限学习的入侵检测算法

针对海量多源异构且数据分布不平衡的网络入侵检测问题以及传统深度学习算法无法根据实时入侵情况在线更新其输出权重的问题,提出了一种基于深度序列加权核极限学习的入侵检测算法（DBN-WOS-KELM算法）。该算法先使用深度信念网络DBN对历史数据进行学习,完成对原始数据的特征提取和数据降维,再利用加权序列核极限学习机进行监督学习完成入侵识别,结合了深度信念网络提取抽象特征的能力以及核极限学习机的快速学习能力。最后在部分KDD99数据集上进行了仿真实验,实验结果表明DBN-WOS-KELM算法提高了对小样本攻击的识别率,并且能够根据实际情况在线更新输出权重,训练效率更高。     

Incremental online sparsification for model learning in real-time robot control

For many applications such as compliant, accurate robot tracking control, dynamics models learned from data can help to achieve both compliant control performance as well as high tracking quality. Online learning of these dynamics models allows the robot controller to adapt itself to changes in the dynamics (e.g., due to time-variant nonlinearities or unforeseen loads). However, online learning in real-time applications - as required in control - cannot be realized by straightforward usage of off-the-shelf machine learning methods such as Gaussian process regression or support vector regression. In this paper, we propose a framework for online, incremental sparsification with a fixed budget designed for fast real-time model learning. The proposed approach employs a sparsification method based on an independence measure. In combination with an incremental learning approach such as incremental Gaussian process regression, we obtain a model approximation method which is applicable in real-time online learning. It exhibits competitive learning accuracy when compared with standard regression techniques. Implementation on a real Barrett WAM robot demonstrates the applicability of the approach in real-time online model learning for real world systems.