推荐系统中稀疏情景预测的特征-类别交互因子分解机

随着Web信息的不断增长与发展,对用户稀疏行为的预测已成为目前推荐系统的研究热点.近年来,因子分解机(factorization machine, FM)的提出在一定程度上缓解了稀疏场景下预测精度不准确的问题.它的主要思想是通过2阶特征交互来获取特征间丰富的语义关系.随后,感知交互因子分解机(interaction-aware factorization machines, IFM)在FM的特征交互基础上引入类别交互的概念来扩展潜在的交互特性,通过把特征和类别分别进行交互后再融合来得到更准确的预测结果.在IFM的基础上,提出了一种特征-类别交互因子分解机(FIFM)模型.FIFM不仅保留了特征交互和类别交互机制,还设计了一种新的特征-类别交互机制(FIM)来进一步挖掘交互信息中的有效信息,并利用融合交互感知来预测不同稀疏场景下的用户行为模式.此外,还基于深度学习提出了一种实现FIFM的神经网络模型GFIM.相比于FIFM,GFIM的参数量和时间复杂度更高,但同时也能捕获更多高阶的非线性特征交互信息,能适合算力较高的应用场景.在4个真实数据集上的实验结果表明,FIFM和GFIM在RMSE...     

基于多特征融合的视频点击率预测方法

结合多个模型集成学习可以提升单模型预测算法的性能,本文提出一种基于多特征融合的视频点击率预测方法,将哈希降维的特征和GBDT组合特征进行拼接作为输入特征,采用随机梯度下降法对逻辑回归、因子分解机和场感知因子分解机的输出值进行线性加权的迭代调整.实验结果表明该算法的预测效果优于基于单模型算法,也优于基于套袋方法的随机森林...     

基于多路交叉的用户金融行为预测

针对通过挖掘用户的金融行为来改善金融领域的服务模式和服务质量的问题,本文提出了一种基于多路交叉特征的用户金融行为预测算法.根据数据包含的属性构建训练的特征,基于因子分解机模型(FM)利用下游行为预测任务对金融数据的特征进行预训练,获取数据特征的隐含向量.引入特征交叉层对金融数据的高阶特征进行提取,解决FM线性模型只能提...     

融合注意力与深度因子分解机的时间上下文推荐模型

对于许多在线电商,预测用户购买商品的可能性至关重要。由于用户与商品的交互通常是高维且稀疏的,所以深度因子分解机算法（DeepFM）将因子分解机算法（FM）与深度神经网络（DNN）结合在一起,用FM处理低阶特征组合,用DNN处理高阶特征组合,通过并行的方式组合这2种方法,很好地解决了高维稀疏的问题。但是,它忽略了用户购买商品的先后性问题,也就是时间上下文信息。针对这一缺陷,本文提出一种融合注意力（Attention）与DeepFM的时间上下文推荐模型（DeepAFM）,更好地利用用户与商品交互的时间上下文信息,相比较于未加入时间上下文信息的DeepFM模型,AUC提升了1.84%。对比验证结果表明,DeepAFM模型具有更优越的性能。     

DCFM：基于深度学习的混合推荐模型

传统推荐算法大多都仅考虑用户-商品评级信息来进行推荐,这种忽略了用户属性和商品属性信息的推荐模型准确率不高。因子分解机可在数据稀疏情况下挖掘用户与商品的关联关系,交叉网络可挖掘属性特征与其高阶特征的线性组合关系,以及深度神经网络有效识别高阶非线性关联关系,基于三种模型的优势,提出了一种基于深度学习的混合推荐模型（Deep and Cross Factorization Machine,DCFM）。三部分并联组合,共享输入层,各部分结果线性组合后作为模型整体输出。通过在MovieLens电影数据集上仿真实验,并与因子分解机（FM）、深度因子分解机（DeepFM）、深度交叉网络（DCN）模型做比较,结果证明该模型在准确率、F1-Score和AUC值上均得到了提高和改善。     

一种基于深度挖掘用户和内容特征的CTR预估方法

预估点击率（CTR）是推荐系统的核心任务之一，基于此提出一种深度挖掘用户和内容特征的CTR预估模型——DFAR模型。在用户特征提取部分，通过长短期记忆网络（LSTM）对用户时序特征进行提取，通过残差模块与注意力机制实现对用户特征的深度提取。首先，在待推荐内容部分利用因子分解机（FM）来提取浅层特征。然后，使用多头注意力机制和残差网络从待推荐内容中提取深度特征。最后，将用户特征与待推荐内容特征做内积结合并做出最终预测。最终在Movielens-100K数据集上利用该模型进行实验，实验结果表明，提出的模型在AUC值上相比于深度因子分解机（DeepFM）模型提升了1.45%。验证了DFAR模型对CTR预测的有效性。     

基于集成学习的中小河流洪水预报

为解决传统数据驱动的洪水预报方法预报误差较大以及传统集成学习预报方法各个子网络间无法交互的问题,本文在单个模型预测基础上,选取异构的BP、CNN、LSTM神经网络,建立基于负相关学习的神经网络集成洪水预报模型,通过显式地添加正则化项对模型进行整体的误差-方差分解和分歧分解,使集成神经网络中各子网络之间并不完全独立,以保证集成模型的多样性,从而提高最终模型的预测准确率。在安徽屯溪流域的实验表明,基于负相关学习的模型可以有效地对洪水过程进行预报,与传统使用单个模型相比预测结果精度更高。     

分解机深度网络推荐算法

近些年很多基于深度学习的推荐模型被提出,这些模型通过对特征的处理和改变深度网络结构来解决推荐系统数据稀疏和冷启动的问题.然而现有的方法忽略了特征与特征之间的交互对深度网络的影响,限制了模型的学习能力.为了给用户推荐更感兴趣的项目和信息,本文提出了分解机深度网络(Factorization Machine Deep Ne...     

基于高阶特征交互的点击率预估模型的实现

传统的低阶特征模型不能充分利用大数据,从多个维度描述数据和用户.专注于高阶特征提取,结合显式和隐式特征交互的点击率预估模型可以利用好大数据的特点.使用Tensorflow框架搭建包含深度神经网络、因子压缩交互网络和多重特征自交互网络结构的模型,使用淘宝展示广告点击率预估数据集进行训练.模型采用对数损失值和ROC曲线下面积作为评价指标,与原始的LR、FM、Deep&Wide等典型模型进行比较,对数损失值降低了0.04,AUC值提高了0.05左右.     

基于深度学习的多交互混合推荐模型

传统的推荐系统中，基于矩阵分解的协同过滤方法只考虑单一的评分信息，而且作为浅层模型无法学习到更深层次的特征信息。提出一种基于深度学习的多交互混合推荐模型，通过深度学习模型融合更多的辅助信息作为输入，能够缓解数据的稀疏性问题；利用多层交互的非线性网络结构去学习更抽象、稠密的深层次特征表示；通过对用户和项目的隐表示进行多次内积交互获得不同层次的特征表示结果；聚合所有的交互结果进行预测。在Movieles latest 100K数据集上进行实验，采用[RMSE]指标进行评估，结果表明所提模型在推荐效果上有所提升。     

基于时间动态性的场感知分解机模型

场感知分解机模型FFM能够有效解决高维数据特征组合的稀疏问题且具有较高的预测准确度和计算效率,广泛应用于推荐系统领域.FFM在建模时没有考虑时间动态性因素,而真实场景中部分特征值会随着时间发生变化,并在不同时间段对预测影响程度不同.鉴于此,提出一种基于时间动态性的场感知分解机模型tFFM.该模型考虑两类时间动态性:偏置动态性和特征动态性.前者从用户行为和物品流行趋势变化角度分别进行动态建模,并基于时间窗口技术设置不同粒度的时间因子;后者将特征细分为随时间变化的动态特征和保持稳定的静态特征,采用ReLU激活函数建立时间函数.采用统一特征编码方式,并设计一种样本数据生成和存取策略,能够大幅降低模型的训练和预测时间复杂度.利用随机优化方法Adam对目标进行优化,实验结果表明,tFFM比目前广泛应用的FM和FFM相关方法具有更高的预测准确度.     

融合注意力LSTM的神经张量分解推荐模型

针对结合深度学习模型的协同过滤算法未考虑关联数据的多维交互随时间动态变化的问题,该文提出一种融合时间交互学习和注意力长短期记忆网络的张量分解推荐模型(LA-NTF).通过采用基于注意力机制的长短期记忆网络从项目文本信息中提取项目的潜在向量,然后使用融合注意力机制的长短期记忆网络来表征用户—项目关系数据在时间上的多维交互...     

多标签文本分类研究进展

文本分类作为自然语言处理中一个基本任务,在20世纪50年代就已经对其算法进行了研究,现在单标签文本分类算法已经趋向成熟,但是对于多标签文本分类的研究还有很大的提升空间。介绍了多标签文本分类的基本概念以及基本流程,包括数据集获取、文本预处理、模型训练和预测结果。介绍了多标签文本分类的方法。这些方法主要分为两大类：传统机器学习方法和基于深度学习的方法。传统机器学习方法主要包括问题转换方法和算法自适应方法。基于深度学习的方法是利用各种神经网络模型来处理多标签文本分类问题,根据模型结构,将其分为基于CNN结构、基于RNN结构和基于Transfomer结构的多标签文本分类方法。对多标签文本分类常用的数据集进行了梳理总结。对未来的发展趋势进行了分析与展望。     

基于深度学习的旋转机械故障诊断研究综述

在现代化生产中,旋转机械的精密性和重要性越来越高,朝着大型、高速和自动化方向发展,以至传统故障诊断方法不足以处理海量、多源、高维的测量数据,不能满足安全性和可靠性的要求;因此,首先简要介绍几种典型的深度学习模型,并结合深度学习强大的特征提取能力和聚类分析的优势,对其近些年来在转子系统、齿轮箱和滚动轴承故障诊断的应用情况进行了对比分析;最后总结深度学习模型的优缺点,并从工程实际出发对旋转机械的故障诊断方法进行总结与展望。     

Fusing Spatio-Temporal Contexts into DeepFM for Taxi Pick-Up Area Recommendation

Short-term GPS data based taxi pick-up area recommendation can improve the efficiency and reduce the overheads. But how to alleviate sparsity and further enhance accuracy is still challenging. Addressing at these issues, we propose to fuse spatio-temporal contexts into deep factorization machine (STC_DeepFM) offline for pick-up area recommendation, and within the area to recommend pick-up points online using factorization machine (FM). Firstly, we divide the urban area into several grids with equal size. Spatio-temporal contexts are destilled from pick-up points or points-of-interest (POIs) belonged to the preceding grids. Secondly, the contexts are integrated into deep factorization machine (DeepFM) to mine high-order interaction relationships from grids. And a novel algorithm named STC_DeepFM is presented for offline pick-up area recommendation. Thirdly, we devise the architecture of offline-to-online (O2O) recommendation respectively based on DeepFM and FM model in order to tradeoff the accuracy and efficiency. Some experiments are designed on the DiDi dataset to evaluate step by step the performance of spatio-temporal contexts, different recommendation models, and the O2O architecture. The results show that the proposed STC_DeepFM algorithm exceeds several state-of-the-art methods, and the O2O architecture achieves excellent real-time performance.     

因子分解机模型研究综述

传统矩阵分解方法因其算法的高可扩展性和较好的性能等特点,在预测、推荐等领域有着广泛的应用.然而大数据环境下,更多上下文因素的获取变得可能,传统矩阵分解方法缺乏对上下文信息的有效利用.在此背景下,因子分解机模型提出并流行.为了更好地把握因子分解机模型的发展脉络,促进因子分解机模型与应用相结合,针对因子分解机模型及其算法进行了综述.首先,对因子分解机模型的提出进行了溯源,介绍了从传统矩阵分解到因子分解机模型的演化过程;其次,从模型准确率和效率两方面对因子分解机模型存在的基本问题和近年来的研究进展进行了总结,然后综述了适用于因子分解机模型求解的4种代表性优化算法;最后分析了因子分解机模型目前仍存在的问题,提出了可能的解决思路,并对未来的研究方向进行了展望.     

融合序列分解与Prophet模型的时序预测

传统时序预测方法其预测过程无法在相同数据集上推出共享模式, 而机器学习方法无法较好地处理非线性和大规模数据集, 并且需要手动设计特征工程. 深度学习方法弥补了传统预测方法需要高计算高人力的弊端, 用自动学习特征工程代替了手动设计特征工程. 但仅使用深度学习的预测方法所作结构假设较少, 通常需要较高的计算资源以及大量的数据来学习得到准确的模型. 针对上述问题, 本文提出通过采用融合t检验的EMD经验模态将序列分为高频分量和低频分量, 对高频分量使用传统STL序列分解方法进一步对数据做处理, 对高频、低频分量分别进行Prophet预测. 实验结果表明, 相较于传统的LSTM以及Prophet预测模型, 经过STL序列分解后的周期数据能够提升模型的整体预测精确度而融合EMD经验模态的Prophet模型则大大提升了训练效率.     

Collaborative Matrix Factorization with Soft Regularization for Drug-Target Interaction Prediction

Identifying the potential drug-target interactions (DTI) is critical in drug discovery.The drug-target interaction prediction methods based on collaborative filtering have demonstrated attractive prediction performance.However,many corresponding models cannot accurately express the relationship between similarity features and DTI features.In order to rationally represent the correlation,we propose a novel matrix factorization method,so-called collaborative matrix factorization with soft regularization (SRCMF).SRCMF improves the prediction performance by combining the drug and the target similarity information with matrix factorization.In contrast to general collaborative matrix factorization,the fundamental idea of SRCMF is to make the similarity features and the potential features of DTI approximate,not identical.Specifically,SRCMF obtains low-rank feature representations of drug similarity and target similarity,and then uses a soft regularization term to constrain the approximation between drug (target) similarity features and drug (target) potential features of DTI.To comprehensively evaluate the prediction performance of SRCMF,we conduct cross-validation experiments under three different settings.In terms of the area under the precision-recall curve (AUPR),SRCMF achieves better prediction results than six state-of-the-art methods.Besides,under different noise levels of similarity data,the prediction performance of SRCMF is much better than that of collaborative matrix factorization.In conclusion,SRCMF is robust leading to performance improvement in drug-target interaction prediction.     

一种基于文本卷积神经网络的推荐算法

传统的矩阵因子分解模型不能有效提取用户和物品特征,而基于深度学习模型可以很好地提取特征信息。当前,主流的基于深度学习推荐算法只是单一地将神经网络的输出或物品特征与用户特征乘积的形式来做推荐预测,不能充分挖掘用户和物品之间的关系。基于此,本文提出一种基于文本卷积神经网络与带偏置项的奇异值分解(BiasSVD)结合的推荐算法,利用文本卷积神经网络(TextCNN)来充分提取用户和物品的特征信息,然后用奇异值分解方法来做推荐,深层次理解文档上下文信息,进一步提高推荐的准确性。将该算法在MovieLens的2个真实数据集上做广泛的评估分析,推荐的准确度要明显优于ConvMF算法及主流深度学习推荐算法。     

跨模态表征与生成技术

多媒体数据持续呈现爆发式增长并显现出异源异构的特性,因此跨模态学习领域研究逐渐引起学术和工业界的关注。跨模态表征与生成是跨模态学习的两大核心基础问题。跨模态表征旨在利用多种模态之间的互补性剔除模态之间的冗余,从而获得更为有效的特征表示;跨模态生成则是基于模态之间的语义一致性,实现不同模态数据形式上的相互转换,有助于提高不同模态间的迁移能力。本文系统地分析了国际与国内近年来跨模态表征与生成领域的重要研究进展,包括传统跨模态表征学习、多模态大模型表示学习、图像到文本的跨模态转换和跨模态图像生成。其中,传统跨模态表征学习探讨了跨模态统一表征和跨模态协同表征,多模态大模型表示学习探讨了基于Transformer的模型研究,图像到文本的跨模态转换探讨了图像视频的语义描述、视频字幕语义分析和视觉问答等领域的发展,跨模态图像生成从不同模态信息的跨模态联合表示方法、图像的跨模态生成技术和基于预训练的特定域图像生成阐述了跨模态生成方面的进展。本文详细综述了上述各个子领域研究的挑战性,对比了国内外研究方面的进展情况,梳理了发展脉络和学术研究的前沿动态。最后,根据上述分析展望了跨模态表征与生成的发展趋势和突破口。