基于改进降噪自动编码器的点击率预测

点击率(CTR)预测是个性化广告和推荐系统中的一项基本任务. 针对提升点击率预测效果和处理冷启动问题, 本文中提出了一种基于改进降噪自动编码器的点击率预测模型ADVAE (ADditional Variational AutoEncoder),该模型在输入数据加入高斯随机噪声, 利用改进的降噪自动编码器生成新的嵌入特征, 然后分别进行低阶和高阶的特征交互来预测用户点击行为. 该方法可以在数据稀疏以及系统冷启动情况下, 更深层地学习特征嵌入与交叉之间的关系. 该模型关注特征域之间的交互, 动态修复低频数据的特征嵌入, 具有更强的鲁棒性. 此外, 该方法可以动态应用到其他深度学习模型, 具有更高的灵活性. 实验结果表明, 该方法在点击率预测和系统冷启动问题上的性能表现均优于现有方法.     

基于改进Transformer的广告点击率预估模型

针对现有的广告点击率预估模型未能精准挖掘用户历史兴趣及历史兴趣对目标广告点击与否的影响,提出了一种基于改进Transformer的广告点击率预估模型.该模型采用Transformer网络捕捉隐藏在用户点击序列背后的潜在历史兴趣;同时针对Transformer建模用户历史兴趣无法有效关联目标广告的问题,提出了一种改进的Transformer网络.改进后的Transformer不但有效建模用户历史兴趣,而且考虑了跟目标广告的关联.新模型采用辅助损失函数来监督改进的Transformer对用户历史兴趣的抽取过程,然后采用注意力机制进一步建模用户的历史兴趣和目标广告的相关性以提升模型的预估性能.实验结果表明新模型有效提升了广告点击率的预估效果.     

基于注意力机制的场感知点击率预测模型

点击率预测是广告投放的重要手段之一,通过预测广告点击率对用户进行效推荐,能够提高广告收益。在点击率预测任务中,场感知点击率预测模型由于考虑了场信息,表现出一定优越性,但在进行特征交互时会产生大量冗余信息,导致预测准确率较低。提出一种场感知注意嵌入神经网络（FAENN）模型,通过自注意力机制对嵌入层的输入向量进行权重分配,以较好地区分场感知嵌入特征的重要程度,加快模型训练速度。同时使用低阶特征交互层关注特征的一阶显性信息和二阶交互特征信息,并将有效特征输出到高阶交互层,利用高阶特征交互层将学习到的相互作用向量与深度神经网络相结合,捕捉更高阶的特征交互作用,以提高预测准确率。实验结果表明,FAENN模型相比于FM、FFM、AFM等模型有较高的预测准确率。     

利用门控网络构建用户动态兴趣的序列推荐模型

在推荐系统中,现有多数序列推荐方法将用户行为视为一个时间有序的序列进行用户兴趣建模,用户兴趣的动态变化导致模型难以从用户行为序列中捕捉准确的用户兴趣信息。针对该问题,同时考虑到项目间成对的共现模式应作为交互信息的补充,提出利用门控网络构建用户动态兴趣的序列推荐模型DCGN。使用门控线性单元捕获交互序列中的用户兴趣,利用带有注意力权重的门控循环网络学习用户的动态兴趣。在此基础上,对用户交互项目间的共现模式进行建模,与用户兴趣信息以及用户信息进行融合后输入深度神经网络,得到最终推荐结果。在ML100K、Amazon 5-Elect、Retailrocket 3个公开数据集上进行实验,使用精确率、归一化折损累积增益和命中率进行性能评估,结果表明,DCGN模型较NARM、GRU4Rec、NLR等主流序列推荐模型性能更优,其归一化折损增益和精确率在Retailrocket数据集上平均提升1.9%和1.22%,在Amazon 5-Elect数据集上平均提升0.82%和1.05%,在ML100K数据集上平均提升0.36%和0.31%。     

个性化信息检索中用户兴趣建模与更新研究

个性化信息检索系统的实时性关键在于如何动态更新用户兴趣模型。针对原有方法的不足,改进用户兴趣模型的描述与更新方式。首先根据网页文档的特征改进TF-IDF(Term Frequency-Inverse Document Frequency)算法,以此作为用户兴趣特征词的权重,同时通过引入领域本体,将用户兴趣特征项进行语义扩展,并根据用户浏览行为,改进其用户兴趣主题计算方式,并在此基础上提出用户兴趣模型的更新与遗忘机制。实验对比结果表明,该方法能够捕捉用户兴趣的变化,进一步提高个性化信息检索的准确度与用户满意度。     

基于用户实时反馈的点击率预估算法

当前主流的在线广告点击率（CTR）预估算法主要通过机器学习方法从大规模日志数据中挖掘用户与广告间的相关性从而提升点击率预估精度,其不足之处在于没有充分考虑用户实时行为对CTR的影响。对大规模真实在线广告日志进行分析后发现,在会话中,用户CTR的动态变化和用户先前的反馈行为高度相关,不同的用户行为对用户实时CTR的影响不尽相同。基于上述分析结果,提出一种基于用户实时反馈的点击率预估算法。首先,从大规模真实在线广告日志数据中定量分析用户反馈和点击率预估精度的相关关系;然后,根据分析结果将用户的反馈行为特征化;最后,使用机器学习方法对用户的行为进行建模,并根据用户的反馈实时动态调整广告投放,从而提升在线广告系统的点击率预估精度。实验结果表明,用户实时反馈特征和用户点击率高度相关;相比于传统没有用户实时反馈信息的预测模型,该算法在测试集上对AUC（Area Under the Curve）和RIG（Relative Information Gain）指标提升分别为0.83%和6.68%。实验结果表明,用户实时反馈特征显著提高点击率预估的精度。     

基于自注意力网络的时间感知序列化推荐

随着信息技术的发展, 推荐系统作为信息过载时代的重要工具, 正扮演着越来越重要的角色. 基于内容和协同过滤的传统推荐系统, 倾向于以静态方式对用户与商品交互进行建模, 以获取用户过去的长期偏好. 考虑到用户的偏好往往是动态的, 且具有非持续性和行为依赖性, 序列化推荐方法将用户与商品的交互历史建模为有序序列, 能有效捕获商品的依赖关系和用户的短期偏好. 然而多数序列化推荐模型过于强调用户-商品交互的行为顺序, 忽视了交互序列中的时间信息, 即隐式假设了序列中相邻商品具有相同的时间间隔, 在捕捉包含时间动态的用户偏好上具有局限性. 针对以上问题, 文中提出基于自注意力网络的时间感知序列化推荐(self-attention-based network for time-aware sequential recommendation, SNTSR)模型, 该模型将时间信息融入改进的自注意力网络中, 以探索动态时间对下一商品预测的影响. 同时, SNTSR独立计算位置相关性, 以消除可能引入的噪声相关性, 增强捕获用户序列模式的能力. 在两个真实世界数据集上的大量实验表明, SNTSR始终优于一组先进的序列化推荐模型.     

基于注意力机制的兴趣网络点击率预估模型

广告点击率(CTR)是互联网公司进行流量分配的重要依据,针对目前点击率预估精度较低的问题,结合通用的神经网络解决方案,构建一种基于注意力机制的深度兴趣网络(ADIN)模型。设计一个局部激活单元和自适应激活函数,根据用户历史行为和给定广告自适应地学习用户兴趣。引入注意力机制,区分不同特征对预测结果的影响程度,从而增强模型的可解释性。在3个公开数据集上的实验结果表明,相对LR、PNN等CTR预估模型,ADIN模型具有更高的AUC值和更低的LogLoss值,其预测效果更优。     

基于用户相似度和特征分化的广告点击率预测研究

大数据环境下如何对互联网广告进行精准投放一直是计算广告学领域高度关注的问题。作为在线广告投放效果的一个重要指标,点击率的精确预测关系到媒体、用户和广告主三方的利益。目前的主流方法是通过抽取特征建立单一点击率预测模型,其不足之处在于使用单个权重来度量特征对点击率的影响过于片面。该研究基于分而治之的思想,提出了基于用户相似度和特征分化的混成模型。该模型首先根据混合高斯分布来评估用户相似度,将其划分为多个群体。针对不同群体,分别构建子模型并进行有效组合,从而挖掘同一特征对不同群体的差异化影响,进而准确地预测广告点击行为。通过使用真实互联网公司的广告数据集进行实验,并与主流方法做了详细的对比分析,检验了该方法的有效性。     

基于细粒度特征交互选择网络的农产品推荐算法

在数字化的时代里, 越来越多人偏爱在电商平台购物, 随着农产品电商平台的发展, 消费者面对众多选择时难以找到适合自己的产品. 为了提高用户满意度和购买意愿, 农产品电商平台需要根据用户的兴趣偏好向其推荐合适的农产品. 考虑到季节、地域、用户兴趣和农产品属性等多种农业特征, 通过特征交互可以更好地捕捉用户需求. 传统的点击通过率CTR (click through rate)预测模型只关注用户评分, 以简单的方式计算特征交互, 而忽略了特征交互的重要性. 本文提出了一种名为细粒度特征交互选择网络FgFisNet (fine-grained feature interaction selection networks)的新模型. 该模型通过引入细粒度交互层和特征交互选择层, 组合内积和哈达玛积有效地学习特征交互, 然后在训练过程中自动识别重要的特征交互, 并删除冗余的特征交互, 最后将重要的特征交互和一阶特征输入到深度神经网络, 得到最终的CTR预测值. 在农产品电商真实数据集上进行广泛的实验, FgFisNet方法取得了显著的经济效益.     

一种基于CW-RNN的多时间尺度序列建模推荐算法

序列化推荐试图利用用户与物品的历史交互序列,预测下次即将交互的物品。针对序列化推荐中推荐物品依赖于用户的长时间全局兴趣、中时间兴趣还是短时间局部兴趣的不确定性,该文提出了一种基于CW-RNN的多时间尺度序列建模推荐算法。首先,该算法引入CW-RNN层,从用户与物品的历史交互序列中抽取多个时间尺度的用户兴趣特征。然后,通过尺度维卷积来建模对不同时间尺度的用户兴趣特征的依赖,生成多时间尺度用户兴趣特征的统一表示。最后,利用全连接层建模统一的多尺度用户兴趣特征和隐式物品特征的交互关系。在MovieLens-1M和Amazon Movies and TV两个公开数据集上的实验结果表明,相比于现有最优的序列推荐算法,该文提出的算法在准确率上分别提升了3.80%和8.63%。     

融合知识图谱和评论文本的个性化推荐模型

推荐系统的目的是解决“信息过载”的问题,然而目前的研究方法大多利用用户和商品信息对用户兴趣进行建模,没有同时利用知识图谱构建用户模型来增强推荐系统的性能,因此提出了融合知识图谱和评论文本的个性化推荐模型。首先,通过不同类型的知识图谱分别关联用户项目和用户评论文本,扩展用户的兴趣和提取评论文本中的实体;其次,通过构造用户兴趣网络得到带有用户兴趣偏好的兴趣特征;然后,通过构造画像模块和情感模块的画像网络提取到带有用户情感倾向的画像特征;利用决策层进行点击率预测。最后在Amazon数据集上进行了实验比较,对所提模型的性能进行了评估,并与目前的融合知识图谱和评论文本的推荐模型进行比较,验证了所提模型的有效性。     

图表示学习短视频智能推荐研究综述

随着短视频数量的爆发式增长, 精准的个性化短视频推荐成为学术界和工业界的迫切需求。然而,现有的推荐方法没有考虑实际的短视频具有数据多源异构多模态、用户行为复杂多样、用户兴趣动态变化等特点。短视频模态间的语义鸿沟、社交网络用户多行为挖掘、用户动态兴趣捕捉依然是短视频推荐领域面临的三个重要问题。针对当前推荐系统存在的问题,并充分考虑短视频推荐系统的实际需求,本文介绍了短视频推荐中基于图表示学习的短视频推荐方法;研究了短视频异构多模态特征表示,充分挖掘视频内容特征并进行高效融合;研究了短视频社交网络用户多行为表示,通过社交网络用户多种行为挖掘更细粒度的用户偏好;研究了用户的动态偏好表示方法,通过利用时序信息建模用户的动态兴趣,保证推荐结果的准确度并增加其多样性与个性化。本研究可在理论和实践上推进基于图特征学习的短视频推荐研究,也可作为短视频推荐系统的关键技术。     

基于长短期记忆的车辆行为动态识别网络

高级辅助驾驶装置采用机器视觉技术实时处理摄录的行车前方车辆视频，动态识别并预估其姿态和行为。针对该类识别算法精度低、延迟大的问题，提出一种基于长短期记忆（LSTM）的车辆行为动态识别深度学习算法。首先，提取车辆行为视频中的关键帧；其次，引入双卷积网络并行对关键帧的特征信息进行分析，再利用LSTM网络对提取出的特性信息进行序列建模；最后，通过输出的预测得分判断出车辆行为类别。实验结果表明，所提算法识别准确率可达95.6%，对于单个视频的识别时间只要1.72 s；基于自建数据集，改进的双卷积算法相比普通卷积网络在准确率上提高8.02%，与传统车辆行为识别算法相比准确率提高6.36%。     

一种融合用户主题兴趣与用户行为的文档推荐方法

针对单一角度描述用户兴趣存在片面性的问题,该文提出一种融合用户主题兴趣和用户行为的文档推荐方法。一方面从主题兴趣的角度,构建反映用户主题兴趣的主题向量用户模型;另一方面从用户行为的角度,构建反映用户行为兴趣的打分矩阵用户模型。然后,基于上述用户模型提出了两种文档推荐方法,并采用线性加权的方式融合这两种方法,从而实现对用户主题兴趣与用户行为的融合。实验结果表明,该方法的推荐结果好于协同过滤推荐方法和基于内容的推荐方法。     

基于情绪和兴趣的用户访问行为预测

微博用户行为预测旨在研究用户的行为习惯,本文主要从用户属性、用户兴趣和用户情绪三个方面,对影响微博用户行为的因素进行研究分析,提取影响用户行为的特征,训练预测模型. 实验中还将情感和兴趣特征在预测模型中的作用进行了对比,结果显示预测模型在转发行为预测的平均准确率能够达到82.56%,在评论行为预测的平均准确率能够达到84.59%,在点赞行为预测的平均准确率能够达到79.35%,表明了用户兴趣和情感特征对于微博用户行为预测结果提升中的有效性.     

基于LSTM的眼动行为识别及人机交互应用

眼动交互在人机交互领域中有着广泛的应用前景,针对传统的眼动交互传感设备具有普遍侵入性,校准过程复杂且价格昂贵,普通单目摄像头传感器分辨率低等问题.提出一种基于前置摄像头视频源,使用方向梯度直方图（HOG）特征+SVM+LSTM神经网络的眼动行为识别方法,进而实现了简单的人机交互应用.该方法首先定位和跟踪人脸,在人脸对齐操作后依据4个眼角关键点的坐标获取双眼区域,使用SVM模型判断眼睛的睁闭眼及非眨眼状态,再分析相邻帧之间眼球中心的位置粗略判断眼动情况,将可疑的有意眼势帧间差分视频序列输入到LSTM网络中进行预测,输出眼动行为识别结果,进而触发计算机命令完成交互.经过自制数据样本集20 000个样本（其中约10%为负样本）测试,本文方法动态眨眼识别准确率优于95%,眼动行为预测准确率为99.3%.     

一种基于用户播放行为序列的个性化视频推荐策略

本文针对在线视频服务网站的个性化推荐问题,提出了一种基于用户播放行为序列的个性化推荐策略.该策略通过深度神经网络词向量模型分析用户播放视频行为数据,将视频映射成等维度的特征向量,提取视频的语义特征.聚类用户播放历史视频的特征向量,建模用户兴趣分布矩阵.结合用户兴趣偏好和用户观看历史序列生成推荐列表.在大规模的视频服务系统中进行了离线实验,相比随机算法、基于物品的协同过滤和基于用户的协同过滤传统推荐策略,本方法在用户观看视频的Top-N推荐精确率方面平均分别获得22.3%、30.7%和934%的相对提升,在召回率指标上分别获得52.8%、41%和1065%的相对提升.进一步地与矩阵分解算法SVD++、基于双向LSTM模型和注意力机制的Bi-LSTM+Attention算法和基于用户行为序列的深度兴趣网络DIN比较,Top-N推荐精确率和召回率也得到了明显提升.该推荐策略不仅获得了较高的精确率和召回率,还尝试解决传统推荐面临大规模工业数据集时的数据要求严苛、数据稀疏和数据噪声等问题.