基于高阶偏差的因子分解机推荐算法

在推荐系统中,因评分尺度差异而造成的偏差问题一直影响着协同过滤算法的预测准确性。其中针对矩阵因子分解算法中的偏差问题,本文提出一种基于高阶偏差的因子分解机算法。该算法首先按照评分偏差的现实特征对用户和项目进行划分,再将偏差类别作为辅助特征集成到因子分解机中,实现了评分预测中不同偏差用户、项目的高阶交互。在Movielens数据集上的实验结果表明,相比传统矩阵因子分解算法,本文提出的算法具有更低的预测误差,体现了其更好的推荐性能。     

双曲因子分解机

因子分解机(FM)自提出以来已被广泛用于推荐系统,为了捕捉特征间的二阶交互,FM将任意两个特征的二阶系数表示成欧氏空间中对应嵌入向量的内积。考虑到推荐场景中的对象如商品、用户、属性、上下文信息等,可用具有层次结构的异构网络进行表达,而平坦的欧氏空间无法刻画这种层次结构,限制了FM的特征表示能力,为此提出了双曲因子分解机(HFM)。它将每维特征表示为双曲空间而非欧氏空间中的向量,并利用双曲距离度量评估特征间的二阶交互强度。选择双曲空间是因为其被证明更适合树、图和词汇等具有层次结构的对象嵌入。分别设计了基于庞加莱球和基于双曲面两种双曲空间模型的HFM,并导出了对应的黎曼梯度下降优化算法。在多个数据集上的实验结果表明,HFM在等量参数的情形下,获得了比FM更优的性能,同时揭示出了在FM中欠缺的特征间的层次关系,使之具有部分可解释性。     

基于时间动态性的场感知分解机模型

场感知分解机模型FFM能够有效解决高维数据特征组合的稀疏问题且具有较高的预测准确度和计算效率,广泛应用于推荐系统领域. FFM在建模时没有考虑时间动态性因素,而真实场景中部分特征值会随着时间发生变化,并在不同时间段对预测影响程度不同.鉴于此,提出一种基于时间动态性的场感知分解机模型tFFM.该模型考虑两类时间动态性:偏置动态性和特征动态性.前者从用户行为和物品流行趋势变化角度分别进行动态建模,并基于时间窗口技术设置不同粒度的时间因子;后者将特征细分为随时间变化的动态特征和保持稳定的静态特征,采用ReLU激活函数建立时间函数.采用统一特征编码方式,并设计一种样本数据生成和存取策略,能够大幅降低模型的训练和预测时间复杂度.利用随机优化方法 Adam对目标进行优化,实验结果表明, tFFM比目前广泛应用的FM和FFM相关方法具有更高的预测准确度.     

推荐系统中稀疏情景预测的特征-类别交互因子分解机

随着Web信息的不断增长与发展,对用户稀疏行为的预测已成为目前推荐系统的研究热点.近年来,因子分解机(factorization machine, FM)的提出在一定程度上缓解了稀疏场景下预测精度不准确的问题.它的主要思想是通过2阶特征交互来获取特征间丰富的语义关系.随后,感知交互因子分解机(interaction-aware factorization machines, IFM)在FM的特征交互基础上引入类别交互的概念来扩展潜在的交互特性,通过把特征和类别分别进行交互后再融合来得到更准确的预测结果.在IFM的基础上,提出了一种特征-类别交互因子分解机(FIFM)模型.FIFM不仅保留了特征交互和类别交互机制,还设计了一种新的特征-类别交互机制(FIM)来进一步挖掘交互信息中的有效信息,并利用融合交互感知来预测不同稀疏场景下的用户行为模式.此外,还基于深度学习提出了一种实现FIFM的神经网络模型GFIM.相比于FIFM,GFIM的参数量和时间复杂度更高,但同时也能捕获更多高阶的非线性特征交互信息,能适合算力较高的应用场景.在4个真实数据集上的实验结果表明,FIFM和GFIM在RMSE指标上超越了当前最好的方法IFM.实验工作探究了多类稀疏场景下的预测结果,记录了时间和空间复杂度的消耗情况,并进行了分析讨论.     

因子分解机模型的宽度和深度扩展研究

因子分解机（factorization machine,简称FM）模型因为能够有效解决高维数据特征组合的稀疏问题且具有较高的预测精度和计算效率,在广告点击率预测和推荐系统领域被广泛研究和应用.对FM及其相关模型的研究进展进行综述,有利于促进该模型的进一步改进和应用.通过比较FM模型与多项式回归模型和因子分解模型之间的关联关系,阐述FM模型的灵活性和普适性.从特征的高阶交互、特征的场交互、特征的分层交互以及基于特征工程的特征提取、合并、智能选择和提升等角度,总结模型在宽度扩展方面的方法、策略和关键技术.比较和分析了FM模型与其他模型的集成方式和特点,尤其是与深度学习模型的集成,为传统模型的深度扩展提供了思路.对FM模型的优化学习方法和基于不同并行与分布式计算框架的实现进行概括、比较和分析.最后,对FM模型中有待深入研究的难点、热点及发展趋势进行展望.     

融合注意力与深度因子分解机的时间上下文推荐模型

对于许多在线电商,预测用户购买商品的可能性至关重要。由于用户与商品的交互通常是高维且稀疏的,所以深度因子分解机算法（DeepFM）将因子分解机算法（FM）与深度神经网络（DNN）结合在一起,用FM处理低阶特征组合,用DNN处理高阶特征组合,通过并行的方式组合这2种方法,很好地解决了高维稀疏的问题。但是,它忽略了用户购买商品的先后性问题,也就是时间上下文信息。针对这一缺陷,本文提出一种融合注意力（Attention）与DeepFM的时间上下文推荐模型（DeepAFM）,更好地利用用户与商品交互的时间上下文信息,相比较于未加入时间上下文信息的DeepFM模型,AUC提升了1.84%。对比验证结果表明,DeepAFM模型具有更优越的性能。     

基于情境信息迁移的因子分解机推荐算法

传统推荐算法大多使用用户评分数据来推测用户偏好,仅用评分数据会导致推荐结果单一,缺乏多样性和个性化,同时评分数据还普遍存在严重的稀疏性问题.针对上述问题,提出了一种基于情境信息迁移的因子分解机推荐算法.根据情境信息对数据集进行划分,利用自适应增强方法对不同情境下的数据样本进行迁移处理,将处理后的数据集放入因子分解机,实...     

因子分解机模型研究综述

传统矩阵分解方法因其算法的高可扩展性和较好的性能等特点,在预测、推荐等领域有着广泛的应用.然而大数据环境下,更多上下文因素的获取变得可能,传统矩阵分解方法缺乏对上下文信息的有效利用.在此背景下,因子分解机模型提出并流行.为了更好地把握因子分解机模型的发展脉络,促进因子分解机模型与应用相结合,针对因子分解机模型及其算法进行了综述.首先,对因子分解机模型的提出进行了溯源,介绍了从传统矩阵分解到因子分解机模型的演化过程;其次,从模型准确率和效率两方面对因子分解机模型存在的基本问题和近年来的研究进展进行了总结,然后综述了适用于因子分解机模型求解的4种代表性优化算法;最后分析了因子分解机模型目前仍存在的问题,提出了可能的解决思路,并对未来的研究方向进行了展望.     

融合因子分解机和用户行为预测的音乐推荐

针对传统音乐评分推荐模式用户评分缺失和主观差异性较大等问题,通过提取用户行为数据构建行为特征模型,用以分析用户行为与兴趣的关联性,并采用因子分解机（Factorization Machine,FM）预测用户行为类型,作为音乐推荐的依据。将FM应用到该方法中,充分利用音乐和用户属性特征,并且通过模拟用户行为特征数据中的隐因子来填充推荐的稀疏矩阵,降低数据稀疏对预测的影响。与传统音乐推荐方法相比,从用户历史行为中挖掘用户兴趣倾向以解决评分模型带来的问题更具可行性,实验结果表明该方法用于音乐推荐也具有良好的效果。     

基于聚类的因子分解机推荐算法研究

随着电商行业的飞速发展,电商平台上产生的点击、评分、购买等行为日志数据朝着海量化、多样化、无序化的方向发展,使得获取有价值信息的复杂度增加,降低了信息生产者将信息传达给信息消费者的效率,使得用户体验变差。为了解决上述问题,本文提出一种基于用户行为聚类的分级因子分解机系统推荐模型。首先构建用户多维行为特征工程,将用户分为四种行为模式,随后对不同模式的用户分别采用因子分解机推荐算法进行推荐预测。最后仿真结果表明,本文提出的改进推荐算法不仅降低了推荐预测的均方根误差(RMSE),并且大大地减少了推荐时间,有利于实时推荐系统的应用。     

Ordinal factorization machine with hierarchical sparsity

Ordinal regression(OR)or classification is a machine learning paradigm for ordinal labels.To date,there have been a variety of methods proposed including kernel based and neural network based methods with significant performance.However,existing OR methods rarely consider latent structures of given data,particularly the interaction among covariates,thus losing interpretability to some extent.To compensate this,in this paper,we present a new OR method:ordinal factorization machine with hierarchical sparsity(OFMHS),which combines factorization machine and hierarchical sparsity together to explore the hierarchical structure behind the input variables.For the sake of optimization,we formulate OFMHS as a convex optimization problem and solve it by adopting the efficient alternating directions method of multipliers(ADMM)algorithm.Experimental results on synthetic and real datasets demonstrate the superiority of our method in both performance and significant variable selection.     

结合稀疏先验与多模式分解的低秩张量恢复方法

目的 各类终端设备获取的大量数据往往由于信息丢失而导致数据不完整,或经常受到降质问题的困扰。为有效恢复缺损或降质数据,低秩张量补全备受关注。张量分解可有效挖掘张量数据的内在特征,但传统分解方法诱导的张量秩函数无法探索张量不同模式之间的相关性;另外,传统张量补全方法通常将全变分约束施加于整体张量数据,无法充分利用张量低维子空间的平滑先验。为解决以上两个问题,提出了基于稀疏先验与多模式张量分解的低秩张量恢复方法。方法 在张量秩最小化模型基础上,融入多模式张量分解技术以及分解因子局部稀疏性。首先对原始张量施加核范数约束,以此捕获张量的全局低秩性,然后,利用多模式张量分解将整体张量沿着每个模式分解为一组低维张量和一组因子矩阵,以探索不同模式之间的相关性,对因子矩阵施加因子梯度稀疏正则化约束,探索张量子空间的局部稀疏性,进一步提高张量恢复性能。结果 在高光谱图像、多光谱图像、YUV（也称为YCbCr）视频和医学影像数据上,将本文方法与其他8种修复方法在3种丢失率下进行定量及定性比较。在恢复4种类型张量数据方面,本文方法与深度学习GP-WLRR方法（global prior refined weighted low-rank representation）的修复效果基本持平,本文方法的MPSNR（mean peak signal-to-noise ratio）在所有丢失率及张量数据上的总体平均高0.68dB,MSSIM（mean structural similarity）总体平均高0.01;与其他6种张量建模方法相比,本文方法的MPSNR及MSSIM均取得最优结果。结论 提出的基于稀疏先验与多模式张量分解的低秩张量恢复方法,可同时利用张量的全局低秩性与局部稀疏性,能够对受损的多维视觉数据进行有效修复。     

基于非负矩阵分解的托攻击检测算法

针对现有的无监督检测算法对正常用户误检率较高的问题,提出了一种基于矩阵分解的托攻击检测算法。对评分矩阵采用非负矩阵分解技术提取出用户的特征。采用K-means聚类方法对提取出的用户特征聚类,得到初始正常用户集和初始托用户集。利用初始正常用户集的特征对初始托用户集进行二次分类,进一步提高托攻击用户检测的准确率。实验结果表明,所提出的检测算法与其他检测算法相比较能够更有效地检测出托攻击。     

基于迭代稀疏组套索及SVM的高维分类研究

高维数据存在大量的冗余变量和噪声,传统的分类方法在高维情况下通常效果不佳.为提高分类性能,将迭代稀疏组套索和支持向量机结合,提出了一种新的高维分类方法iSGL-SVM.分别在pros-tate和Tox_171数据集上验证了所提出的方法,并与其它三种方法进行比较.实验结果表明,该方法具有更好的变量选择效果和较高的分类精度,可广泛应用于高维小样本数据集的分类.     

融合双重正则化机制的低秩矩阵分解推荐模型

基于矩阵分解技术的社会化推荐通过加入用户信任关系来加强学习准确性,但忽略了物品之间的关联信息在模型分解过程中对用户兴趣的影响。对此首先提出在物品相似度计算方法中加入用户参与度进行改进,并构建了融合物品关联正则项和信任用户正则项双重约束的矩阵分解推荐模型,在优化隐式特征矩阵过程中体现了物品之间的关联信息对推荐的重要影响。最后通过对两个不同稀疏级别的数据集的实验证明,相比主流的矩阵分解模型,提出的双重正则项的矩阵分解模型能够提高稀疏数据集上预测评分的准确性,并能明显缓解用户冷启动问题。     

基于评分相似性的群稀疏矩阵分解推荐算法

如何提高系统的推荐精度,是当前推荐系统面临的重要问题。对矩阵分解模型进行了研究,针对评分数据的群结构性问题,提出了一种基于评分相似性的群稀疏矩阵分解模型（SSMF-GS）。首先,根据用户的评分行为对评分数据矩阵进行分群,获得相似用户群评分矩阵;然后,通过SSMF-GS算法对相似用户群评分矩阵进行群稀疏矩阵分解;最后,采用交替优化算法对模型进行求解。所提模型可以筛选出不同用户群的偏好潜在项目特征,提升了潜在特征的可解释性。在GroupLens网站上提供的MovieLens数据集上进行仿真实验,实验结果表明,所提算法可以显著提高预测精度,平均绝对误差（MAE）及均方根误差（RMSE）指标均表现出良好的性能。     

非负矩阵分解特征提取技术的研究进展

非负矩阵分解（non-negative matrix factorization,NMF）算法是在矩阵中所有元素均为非负的条件下对其实现的非负分解,基于非负矩阵分解的图像特征提取技术通过将图像表示为一系列非负基图像非减的叠加组合来提取图像的特征,这种特征提取方法不但具有良好的局部表征特性、有一定的稀疏性,而且对遮挡、光照不均及图像质量较差等情形具有卓越的效果。自正式提出以来,该方法得到了许多改进,但目前关于这些改进的综述都只是罗列了这些方法,并没有系统深入地分析,因而在大量阅读文献的基础上分析其内部联系,分类总结了非负矩阵分解的研究进展和各种改进方法的实质。首先介绍非负矩阵分解的基本思想,以手指静脉图像为例说明其应用于图像特征提取的方式,然后重点深入讨论了非负矩阵分解方法的改进算法,提出了非负矩阵分解应用中有待进一步研究的新问题。     

结合灰色预测的动态概率矩阵分解

推荐系统的目标是找出符合用户喜好的物品, 但是用户的喜好和物品的特征是动态变化的, 这种变化会影响推荐系统的准确性. 很多推荐系统只是简单的使用概率矩阵分解模型, 缺乏对这个问题的有效解决. 本文利用灰色系统理论中的灰色预测模型对用户和物品的动态性建模, 继而提出了一个基于概率矩阵分解和灰色预测模型的动态推荐系统.首先, 利用概率矩阵分解模型生成各个连续时间窗中用户和物品的隐式向量. 接着, 利用灰色预测模型得到未来时间窗中用户和物品的隐式向量, 继而进行推荐. 实验结果说明本文的算法能够有效地对用户和商品的动态性进行建模, 且优于一些现存的最好的算法.     

引入评分偏置的二项矩阵分解推荐算法

针对推荐系统中的评分预测问题,在矩阵分解的基础上实现了一种修正的二项矩阵分解算法。假设用户对物品的评分基于二项分布,由于用户的评分习惯存在差异,物品的受欢迎程度也存在差异,导致用户—物品评分矩阵存在偏置量。通过引入偏置量对矩阵分解和评分预测进行修正,采用最大后验估计建模,并通过随机梯度下降算法优化模型。实验结果表明,在MovieLens 100K数据集上,引入评分偏置的二项矩阵分解算法在推荐精度、离线计算时间等方面均优于传统的二项矩阵分解算法。