一种基于Spark的改进协同过滤算法研究

为提高协同过滤算法在大数据环境下的可扩展性以及在高维稀疏数据下的推荐精度,基于Spark平台实现了一种分层联合聚类协同过滤算法。利用联合聚类对数据集进行稀疏性处理并构建聚类模型,运用层次分析模型并结合评分密集度分析联合聚类模型中用户和项目潜在类别权重,由此进行项目相似度计算并构建项目最近邻居集合,完成在线推荐。通过在GroupLens提供的不同规模MovieLens数据集上实验表明,改进后的算法能够明显提高推荐的准确度,并且在分布式环境下具有良好的推荐效率和可扩展性。     

Hadoop下基于聚类协同过滤推荐算法优化的研究

作为重要的个性化推荐算法之一,协同过滤推荐算法有其独特的优势,但同时存在数据稀疏性、冷启动和扩展性问题。针对数据稀疏性问题,对项目相似度进行改进,利用基于项目的协同过滤对原始评分矩阵进行填充,以此降低数据稀疏性对推荐质量的影响。针对冷启动问题,采用基于用户和项目属性分别进行聚类的方法,通过聚类模型建立新用户和新项目与现有用户和现有项目之间的联系,根据对现有用户和现有项目的推荐预测新用户和新项目的推荐。针对扩展性问题,利用云平台Hadoop的MapReduce框架完成相关算法的并行化,以此解决传统协同过滤推荐算法面临的严重扩展性问题。实验表明,改进后的算法较好地解决了以上问题。     

协同过滤推荐算法对比分析与优化应用

协同过滤推荐算法分为基于内存和基于模型的推荐算法,协同过滤推荐算法存在数据稀疏性、可扩展性、冷启动等问题。通过基于用户、基于项目协同过滤推荐算法以及SVD、Slope-One、KNN等基于模型协同过滤推荐算法对比分析。提出加入特征向量维度优化的SVD算法,通过降维改善数据稀疏性问题。利用Hadoop分布式平台改善推荐算法可扩展性问题。基于MovieLens数据集实验结果表明,引入基于Boolean相似性计算方法的推荐效果更优,引入数量权重和标准差权重的优化 Slope-One 算法和引入特征向量维度的优化 SVD 算法推荐效果更优。     

基于用户模糊聚类的协同过滤推荐研究

传统的协同过滤算法没有考虑用户的自身信息对评分的影响,存在的数据稀疏性、扩展性差等弊端直接影响了推荐系统的推荐质量。对此提出了一种基于用户情景模糊聚类的协同过滤推荐算法。首先根据用户情景信息利用模糊聚类算法得到情景相似的用户群分类,然后在进行协同过滤前预先通过Slope One算法填充用户一项目评分矩阵,以有效改善数据稀疏性和实时性。实验结果表明,改进后的算法在推荐精度上有较大提高。     

基于Hadoop平台协同过滤推荐算法

针对协同过滤推荐算法在数据稀疏性及在大数据规模下系统可扩展性的两个问题, 在分析研究Hadoop分布式平台与协同过滤推荐算法后, 提出了一种基于Hadoop平台实现协同过滤推荐算法的优化方案. 实验证明, 在Hadoop平台上通过MapReduce结合Hbase数据库实现算法, 能够有效地提高协同过滤推荐算法在大数据规模下的执行效率, 从而能够进一步地搭建低成本高性能、动态扩展的分布式推荐引擎.     

基于Spark的混合协同过滤算法改进与实现

针对传统协同过滤在推荐过程中存在的稀疏性、扩展性以及个性化问题,通过引入算法集成的思想,旨在优化和改进一种新型的基于Spark平台下的混合协同过滤。借鉴了Stacking集成学习思想,将多个弱推荐器线性加权组合,形成综合性强的推荐器。首先,算法基于近邻协同过滤,结合分类、流行度、好评度等对近邻相似度计算策略进行优化,旨在改善相似度的合理性以及相似度计算的复杂度,在一定程度上改善了评分稀疏性的问题;同时,该算法结合Spark分布式计算平台,充分借鉴分布式平台的优点,利用其流式处理以及分布式存储结构等特性,设计并实现一种推荐算法的增量迭型,解决协同过滤算法扩展性和实时性问题。实验数据采用UCI公用数据集MovieLens和NetFlix电影评分数据,实验结果表明,改进算法在推荐个性化、准确率以及扩展性上都有不错的表现,较以前同类型算法均有不同程度的提高,为推荐系统的应用提供一种可行的算法集成方案。     

基于用户谱聚类的协同过滤推荐算法

针对电子商务系统中传统协同过滤推荐算法面临的稀疏性、准确性、实时性等问题,提出了一种基于用户谱聚类的协同过滤推荐算法。首先利用非负矩阵分解的方法对原始稀疏评分矩阵进行平滑处理,然后利用改进相似度的谱聚类方法将用户聚类,最后在用户所属类中寻找最近邻并产生推荐。用户谱聚类过程可离线完成,加快了在线推荐速度。在数据集MovieLens上的实验结果表明,该算法在平均绝对偏差、召回率、准确率等方面都有了较大改善,提高了推荐质量。     

改进的协同过滤算法

协同过滤是众多推荐技术中最主流的推荐技术,在个性化推荐系统中起着主导作用,然而随着大数据时代的到来,信息过载问题日益严重,评分矩阵越来越稀疏,传统协同过滤算法遇到了瓶颈。为了提高稀疏矩阵下推荐系统的推荐质量,本文对传统协同过滤算法进行改进。首先对项目集进行聚类,然后利用Slope One算法对聚类后的矩阵进行填充,最后在计算相似度时引入用户对每个聚类的喜好程度作为权重。实验结果表明,改进后的算法提高了推荐系统的推荐质量,能够有效缓解评分矩阵稀疏问题。     

个性化推荐算法的分析与改进

大数据背景下，一般使用推荐算法获取目标用户。基于此，通过对各类推荐算法进行分析，比较各类算法的优缺点，并针对各类算法的特点和不足，提出一种混合推荐算法。首先，为解决算法初期的冷启动现象，将主题模型与协同过滤算法相结合，生成用户偏好概率预测矩阵；其次，为改善用户过少造成的稀疏性问题，采用聚类算法填充评分矩阵；最后，为进一步提高推荐精确度，改进各项权重参数，生成融合主题模型和协同过滤推荐算法的混合推荐方法。     

基于人口统计学的改进聚类模型协同过滤算法

针对传统基于用户的协同过滤推荐算法在大数据环境下存在评分高维稀疏性、推荐精度低的问题,提出一种基于人口统计学数据与改进聚类模型相结合的协同过滤推荐算法,以提高推荐系统精度和泛化能力。该方法首先通过用户人口统计学数据属性,结合用户-项目评分矩阵计算各个用户间的相似度;然后对用户、项目进行分层近邻传播聚类,根据用户对项目的评分数据计算用户或项目之间的相似性,产生目标用户或项目的兴趣近邻;最后根据兴趣最近邻进行推荐。对Epinions,MovieLents等数据集进行仿真实验,仿真的结果表明, 与传统的协同过滤算法相比, 提出的算法提高了推荐精度,为传统的协同过滤推荐算法提供了参考。     

基于聚类和用户偏好的协同过滤推荐算法

协同过滤推荐算法使用评分数据作为学习的数据源,针对协同过滤推荐算法中存在的评分数据稀疏以及算法的可拓展性问题,提出了一种基于聚类和用户偏好的协同过滤推荐算法。为了挖掘用户的偏好,该算法引入了用户对项目类型的平均评分到评分矩阵中,并加入了基于用户自身属性的相似度;同时,为了降低数据稀疏性,该算法使用Weighted Slope One算法填充评分数据中的未评分项,并通过融入密度和距离优化初始聚类中心的K-means算法聚类填充后的评分数据中的用户,缩小了相似用户的搜索空间;最后在聚类后的数据集中使用传统的协同过滤推荐算法生成目标用户的推荐结果。通过使用MovieLens100K数据集实验证明,提出的算法对推荐效果有所改善。     

一种基于聚类和协同过滤的组合推荐算法

协同过滤技术是目前电子商务推荐系统中最为主要的技术之一,但随着系统规模的日益扩大,它面临着算法可扩展性和数据稀疏性两大挑战。针对上述问题,本文提出了一种基于聚类和协同过滤的组合推荐算法。首先利用聚类对项目进行分类,在用户感兴趣的类里进行推荐计算,有效地解决了算法的可扩展性问题;接着在每一类中使用基于项目的协同过滤对未评价的项目进行预测,把较好的预测值填充到原用户-项集合中,有效地缓解了数据稀疏性问题;最后根据协同过滤推荐在相似项目的范围内计算邻居用户,给出最终的预测评分并产生推荐。实验结果表明,本算法有效地解决了上述两个问题,提高了推荐系统的推荐质量。     

基于用户聚类与Slope One填充的协同推荐算法

针对传统的用户个性化推荐中使用的协同过滤算法存在稀疏性和可扩展性不足的问题,提出了一种基于用户特征聚类和Slope One填充的协同过滤算法。该算法首先以用户属性特征作为聚类依据,利用基于最小生成树K-means聚类算法对用户进行聚类分析,生成K个相似用户集合;其次在聚类分析的基础上,利用Slope One算法预测填充生成的相似用户集下的用户评分矩阵;最后采用混合协同过滤算法对填充后的用户评分矩阵进行最近邻搜索,从而得到预测评分,产生推荐结果。对比实验结果表明,提出的算法显著提高了推荐的精度,有效缓解了稀疏性问题,具有良好的可扩展性。     

融合用户特征优化聚类的协同过滤算法

针对推荐系统领域中应用最广泛的协同过滤推荐算法仍伴随着数据稀疏性、冷启动和扩展性问题,基于用户冷启动和扩展性问题,提出了基于改进聚类的PCEDS(pearson correlation coefficient and euclidean distance similarity)协同过滤推荐算法。首先针对用户属性特征,采用优化的K-means聚类算法对其聚类,然后结合基于信任度的用户属性特征相似度模型和用户偏好相似度模型,形成一种新颖的PCEDS相似度模型,对聚类结果建立预测模型。实验结果表明:提出的PCEDS算法比传统的协同过滤推荐算法在均方根误差(RMSE)上降低5%左右,并且推荐准确率(precision)和召回率(recall)均有明显提高,缓解了冷启动问题,同时聚类技术可以节省系统内存计算空间,从而提高了推荐效率。     

融合内容与矩阵分解的混合推荐算法

传统的基于内容的推荐算法往往具有较低的准确性,而协同过滤推荐算法中普遍存在数据稀缺性和项目冷启动问题。为解决上述问题,提出了一种融合内容与协同矩阵分解技术的混合推荐算法。该算法实现了在共同的低维空间中分解内容和协同矩阵,同时保留数据的局部结构。在参数优化方面利用一种基于乘法更新规则的迭代方法,以此提高学习能力。实验结果表明,该算法优于其他具有代表性的项目冷启动推荐算法,有效缓解了数据稀疏性,提高了推荐准确性。     

基于协同回归模型的矩阵分解推荐

推荐系统是解决信息过载的有效途径。传统的推荐系统难以从海量数据中推选出 符合用户个性化偏好的项目,推荐质量不高。为此,通过优化传统的协同过滤推荐算法,针对 数据稀疏性等问题,提出协同回归模型的矩阵分解算法(CLMF)。通过机器学习算法发掘内容信 息的深层次特征,提升了原始数据的信息量;并构建辅助特征矩阵,通过融合特征矩阵,CLMF 最大化了特征标签的作用,并结合数据标签,语义信息和评分矩阵得到推荐算法框架。在真实 数据集上实验结果显示,新型推荐算法可有效解决特征值缺失问题,改善了数据稀疏性,提升 了算法扩展性,并显著增强覆盖性。     

大数据环境下基于概率矩阵分解的个性化推荐

概率矩阵分解是近几年广泛应用的协同过滤推荐方法。针对如何利用矩阵分解技术提高推荐质量以及在大数据环境下如何突破计算时间、计算资源瓶颈等问题进行研究,提出了Improved Probabilistic Matrix Factorization(IPMF)融入邻居信息的概率矩阵分解算法,并且提出了parallel-IPMF (p-IPMF)算法来解决融入邻居信息后计算复杂度高和难以并行化等问题。 在MapReduce并行计算框架下将p-IPMF算法加以实现,并在真实数据集上进行验证。实验结果表明,所提算法能有效提高推荐质量并缩短计算时间。     

基于MapReduce的矩阵分解推荐算法研究

矩阵分解是近几年提出的一种协同过滤推荐技术,但其每项预测评分的计算都要综合大量评分数据,同时在计算时还需要存储庞大的特征矩阵,用单一结点来进行推荐将会遇到计算时间和计算资源瓶颈。结合MapReduce分布式计算框架和矩阵分解推荐算法,设计了一种基于MapReduce的矩阵分解推荐算法来解决该问题,利用Hadoop的分布式缓存技术和MapFile文件结构解决了大特征矩阵在多结点间的高效共享问题并实现了多正则因子的并行处理。通过在Netflix数据集上的实验表明,该MapReduce算法及数据存储方案能带来较高的加速比,从而提高了推荐算法的计算效率。