融合注意力与深度因子分解机的时间上下文推荐模型

对于许多在线电商,预测用户购买商品的可能性至关重要。由于用户与商品的交互通常是高维且稀疏的,所以深度因子分解机算法（DeepFM）将因子分解机算法（FM）与深度神经网络（DNN）结合在一起,用FM处理低阶特征组合,用DNN处理高阶特征组合,通过并行的方式组合这2种方法,很好地解决了高维稀疏的问题。但是,它忽略了用户购买商品的先后性问题,也就是时间上下文信息。针对这一缺陷,本文提出一种融合注意力（Attention）与DeepFM的时间上下文推荐模型（DeepAFM）,更好地利用用户与商品交互的时间上下文信息,相比较于未加入时间上下文信息的DeepFM模型,AUC提升了1.84%。对比验证结果表明,DeepAFM模型具有更优越的性能。     

关于点击率大数据的高阶深度分解机预测仿真

互联网大数据具有典型的高维、高阶,以及非线性特征,现有点击率数据预测方法往往难以有效处理数据特征的复杂耦合、以及稀疏与类别的不均衡问题,为解决上述问题,提出了一种高阶深度分解机预测方法.在高阶分解机设计中,考虑到点击率的二分类特性,采用函数把输入数据映射至输出结果的二值类上,并利用损失函数求偏导对模型变量进行梯度更新....     

基于注意力机制的场感知点击率预测模型

点击率预测是广告投放的重要手段之一,通过预测广告点击率对用户进行效推荐,能够提高广告收益。在点击率预测任务中,场感知点击率预测模型由于考虑了场信息,表现出一定优越性,但在进行特征交互时会产生大量冗余信息,导致预测准确率较低。提出一种场感知注意嵌入神经网络（FAENN）模型,通过自注意力机制对嵌入层的输入向量进行权重分配,以较好地区分场感知嵌入特征的重要程度,加快模型训练速度。同时使用低阶特征交互层关注特征的一阶显性信息和二阶交互特征信息,并将有效特征输出到高阶交互层,利用高阶特征交互层将学习到的相互作用向量与深度神经网络相结合,捕捉更高阶的特征交互作用,以提高预测准确率。实验结果表明,FAENN模型相比于FM、FFM、AFM等模型有较高的预测准确率。     

基于场矩阵分解机和CNN的点击率预测模型

点击率预测是在线广告和推荐系统的基本任务之一. 主流模型通常通过对高阶和低阶特征进行特征交互建模来提升性能和泛化能力. 然而, 许多模型往往仅学习每个特征的固定表示, 而忽视了特征在不同上下文中的重要性, 并且一些模型结构过于简单. 因此, 本文提出了特征细化卷积神经网络融合场矩阵分解机(FRCNN-F)模型, 以解决这些问题. 首先, 在特征细化网络(FRNet)中融合了卷积神经网络的特征生成模块, 利用其在局部模式下重新组合生成新特征的优势, 提升了重要特征选择能力. 其次, 设计了场矩阵分解机, 使模型能够感知上下文并通过不同场的交互进行显示建模, 从而增加了子模型的组合方式. 最后, 通过在 Frappe 和 MovieLens 两个公开数据集上对比实验, 实验结果表明, FRCNN-F模型相比基线FRNet在AUC得分分别提升了0.32%和0.40%, 交叉熵损失函数Logloss分别降低了1.50%和1.11%. 该研究对于实现广告的精准投放和个性化推荐具有实际应用的价值.     

因子分解机模型研究综述

传统矩阵分解方法因其算法的高可扩展性和较好的性能等特点,在预测、推荐等领域有着广泛的应用.然而大数据环境下,更多上下文因素的获取变得可能,传统矩阵分解方法缺乏对上下文信息的有效利用.在此背景下,因子分解机模型提出并流行.为了更好地把握因子分解机模型的发展脉络,促进因子分解机模型与应用相结合,针对因子分解机模型及其算法进行了综述.首先,对因子分解机模型的提出进行了溯源,介绍了从传统矩阵分解到因子分解机模型的演化过程;其次,从模型准确率和效率两方面对因子分解机模型存在的基本问题和近年来的研究进展进行了总结,然后综述了适用于因子分解机模型求解的4种代表性优化算法;最后分析了因子分解机模型目前仍存在的问题,提出了可能的解决思路,并对未来的研究方向进行了展望.     

多注意力机制融合低高阶特征的神经推荐算法

针对因子分解机仅提取低阶组合特征的局限性,提出了一种基于多注意力机制融合低阶和高阶组合特征的深度神经推荐算法（deep neural recommendation method,DeepNRM）。分别运用因子分解机和多层前馈神经网络从稀疏及稠密特征中提取低阶和高阶组合特征;采用注意力网络和多头自注意力机制从低阶和高阶组合特征中自动选取关键特征;将低、高阶组合特征根据重要性进行融合共同进行推荐。算法模型在MovieLens和Criteo公共数据集上进行了实验验证,消融和对比实验结果表明,提出的算法模型与基准模型相比在AUC指标上分别有1.964个百分点和0.773个百分点的提升。     

推荐系统中稀疏情景预测的特征-类别交互因子分解机

随着Web信息的不断增长与发展,对用户稀疏行为的预测已成为目前推荐系统的研究热点.近年来,因子分解机(factorization machine, FM)的提出在一定程度上缓解了稀疏场景下预测精度不准确的问题.它的主要思想是通过2阶特征交互来获取特征间丰富的语义关系.随后,感知交互因子分解机(interaction-aware factorization machines, IFM)在FM的特征交互基础上引入类别交互的概念来扩展潜在的交互特性,通过把特征和类别分别进行交互后再融合来得到更准确的预测结果.在IFM的基础上,提出了一种特征-类别交互因子分解机(FIFM)模型.FIFM不仅保留了特征交互和类别交互机制,还设计了一种新的特征-类别交互机制(FIM)来进一步挖掘交互信息中的有效信息,并利用融合交互感知来预测不同稀疏场景下的用户行为模式.此外,还基于深度学习提出了一种实现FIFM的神经网络模型GFIM.相比于FIFM,GFIM的参数量和时间复杂度更高,但同时也能捕获更多高阶的非线性特征交互信息,能适合算力较高的应用场景.在4个真实数据集上的实验结果表明,FIFM和GFIM在RMSE指标上超越了当前最好的方法IFM.实验工作探究了多类稀疏场景下的预测结果,记录了时间和空间复杂度的消耗情况,并进行了分析讨论.     

基于高阶特征交互的点击率预估模型的实现

传统的低阶特征模型不能充分利用大数据,从多个维度描述数据和用户.专注于高阶特征提取,结合显式和隐式特征交互的点击率预估模型可以利用好大数据的特点.使用Tensorflow框架搭建包含深度神经网络、因子压缩交互网络和多重特征自交互网络结构的模型,使用淘宝展示广告点击率预估数据集进行训练.模型采用对数损失值和ROC曲线下面积作为评价指标,与原始的LR、FM、Deep&Wide等典型模型进行比较,对数损失值降低了0.04,AUC值提高了0.05左右.     

基于高阶偏差的因子分解机推荐算法

在推荐系统中,因评分尺度差异而造成的偏差问题一直影响着协同过滤算法的预测准确性。其中针对矩阵因子分解算法中的偏差问题,本文提出一种基于高阶偏差的因子分解机算法。该算法首先按照评分偏差的现实特征对用户和项目进行划分,再将偏差类别作为辅助特征集成到因子分解机中,实现了评分预测中不同偏差用户、项目的高阶交互。在Movielens数据集上的实验结果表明,相比传统矩阵因子分解算法,本文提出的算法具有更低的预测误差,体现了其更好的推荐性能。     

因子分解机模型的宽度和深度扩展研究

因子分解机（factorization machine,简称FM）模型因为能够有效解决高维数据特征组合的稀疏问题且具有较高的预测精度和计算效率,在广告点击率预测和推荐系统领域被广泛研究和应用.对FM及其相关模型的研究进展进行综述,有利于促进该模型的进一步改进和应用.通过比较FM模型与多项式回归模型和因子分解模型之间的关联关系,阐述FM模型的灵活性和普适性.从特征的高阶交互、特征的场交互、特征的分层交互以及基于特征工程的特征提取、合并、智能选择和提升等角度,总结模型在宽度扩展方面的方法、策略和关键技术.比较和分析了FM模型与其他模型的集成方式和特点,尤其是与深度学习模型的集成,为传统模型的深度扩展提供了思路.对FM模型的优化学习方法和基于不同并行与分布式计算框架的实现进行概括、比较和分析.最后,对FM模型中有待深入研究的难点、热点及发展趋势进行展望.     

双曲因子分解机

因子分解机(FM)自提出以来已被广泛用于推荐系统,为了捕捉特征间的二阶交互,FM将任意两个特征的二阶系数表示成欧氏空间中对应嵌入向量的内积。考虑到推荐场景中的对象如商品、用户、属性、上下文信息等,可用具有层次结构的异构网络进行表达,而平坦的欧氏空间无法刻画这种层次结构,限制了FM的特征表示能力,为此提出了双曲因子分解机(HFM)。它将每维特征表示为双曲空间而非欧氏空间中的向量,并利用双曲距离度量评估特征间的二阶交互强度。选择双曲空间是因为其被证明更适合树、图和词汇等具有层次结构的对象嵌入。分别设计了基于庞加莱球和基于双曲面两种双曲空间模型的HFM,并导出了对应的黎曼梯度下降优化算法。在多个数据集上的实验结果表明,HFM在等量参数的情形下,获得了比FM更优的性能,同时揭示出了在FM中欠缺的特征间的层次关系,使之具有部分可解释性。     

基于注意力机制的兴趣网络点击率预估模型

广告点击率(CTR)是互联网公司进行流量分配的重要依据,针对目前点击率预估精度较低的问题,结合通用的神经网络解决方案,构建一种基于注意力机制的深度兴趣网络(ADIN)模型。设计一个局部激活单元和自适应激活函数,根据用户历史行为和给定广告自适应地学习用户兴趣。引入注意力机制,区分不同特征对预测结果的影响程度,从而增强模型的可解释性。在3个公开数据集上的实验结果表明,相对LR、PNN等CTR预估模型,ADIN模型具有更高的AUC值和更低的LogLoss值,其预测效果更优。     

DoS Attack Detection Based on Deep Factorization Machine in SDN

Software-Defined Network (SDN) decouples the control plane of network devices from the data plane. While alleviating the problems presented in traditional network architectures, it also brings potential security risks, particularly network Denial-of-Service (DoS) attacks. While many research efforts have been devoted to identifying new features for DoS attack detection, detection methods are less accurate in detecting DoS attacks against client hosts due to the high stealth of such attacks. To solve this problem, a new method of DoS attack detection based on Deep Factorization Machine (DeepFM) is proposed in SDN. Firstly, we select the Growth Rate of Max Matched Packets (GRMMP) in SDN as detection feature. Then, the DeepFM algorithm is used to extract features from flow rules and classify them into dense and discrete features to detect DoS attacks. After training, the model can be used to infer whether SDN is under DoS attacks, and a DeepFM-based detection method for DoS attacks against client host is implemented. Simulation results show that our method can effectively detect DoS attacks in SDN. Compared with the K-Nearest Neighbor (K-NN), Artificial Neural Network (ANN) models, Support Vector Machine (SVM) and Random Forest models, our proposed method outperforms in accuracy, precision and F1 values.     

显式融合词法和句法特征的抽取式机器阅读理解模型

预训练语言模型虽然能够为每个词提供优良的上下文表示特征,但却无法显式地给出词法和句法特征,而这些特征往往是理解整体语义的基础.鉴于此,本文通过显式地引入词法和句法特征,探究其对于预训练模型阅读理解能力的影响.首先,本文选用了词性标注和命名实体识别来提供词法特征,使用依存分析来提供句法特征,将二者与预训练模型输出的上下文表示相融合.随后,我们设计了基于注意力机制的自适应特征融合方法来融合不同类型特征.在抽取式机器阅读理解数据集CMRC2018上的实验表明,本文方法以极低的算力成本,利用显式引入的词法和句法等语言特征帮助模型在F₁和EM指标上分别取得0.37%和1.56%的提升.     

基于自注意力机制的阅读理解模型

机器阅读理解是自然语言处理领域一项得到广泛关注与研究的任务。该文针对中文机器阅读理解数据集DuReader,分析其数据集的特点及难点,设计了一种基于循环神经网络和自注意力机制的抽取式模型Mixed Model。通过设计段落融合等策略,该文提出的模型在DuReader测试集上达到了54.2的Rouge-L得分和49.14的Bleu-4得分。