Hadoop下基于聚类协同过滤推荐算法优化的研究

作为重要的个性化推荐算法之一,协同过滤推荐算法有其独特的优势,但同时存在数据稀疏性、冷启动和扩展性问题。针对数据稀疏性问题,对项目相似度进行改进,利用基于项目的协同过滤对原始评分矩阵进行填充,以此降低数据稀疏性对推荐质量的影响。针对冷启动问题,采用基于用户和项目属性分别进行聚类的方法,通过聚类模型建立新用户和新项目与现有用户和现有项目之间的联系,根据对现有用户和现有项目的推荐预测新用户和新项目的推荐。针对扩展性问题,利用云平台Hadoop的MapReduce框架完成相关算法的并行化,以此解决传统协同过滤推荐算法面临的严重扩展性问题。实验表明,改进后的算法较好地解决了以上问题。     

多聚类混合的加权协同过滤算法研究

协同过滤算法可根据用户的偏好,预测其感兴趣的项目,这项技术是目前商业领域中应用较为广泛且成功的。过去,使用协同过滤算法会因其数据的稀疏性及使用K-Means算法聚类时需要预先确定聚类个数等问题影响协同过滤算法的准确性。针对上述问题,提出了一种多聚类融合的协同过滤推荐算法。首先,构建用户-项目评分矩阵;其次,根据用户兴趣、偏好矩阵查找待估值项所对应的近邻用户,随后使用Slope One算法在对每一个簇内的稀疏矩阵进行填充,从而缓解数据稀疏性问题;再次,使用Canopy聚类算法进行粗聚类,将计算出的每个中心点作为K-Means算法的初始聚类点并进行K-Means细聚类;最后,优化后的协同过滤算法最终被用来预测每个簇中填充后的评分矩阵,并采用带时间加权的相似度公式。最终实验数据显示,优化后能够有效提升算法的效率与推荐质量。     

混合协同过滤算法中用户冷启动问题的研究

在推荐系统中,用户冷启动问题是传统协同过滤推荐系统中一直存在的问题。针对这个问题,在传统协同过滤算法的基础上,提出一种新的解决用户冷启动问题的混合协同过滤算法,该算法在计算用户相似性时引入用户信任机制和人口统计学信息,综合考虑用户的属性相似性和信任相似性。同时,算法还在用户近邻的选取上做了一些改进。实验表明该算法有效缓解了传统协同过滤推荐系统中的用户冷启动问题。     

基于减聚类的遗传模糊的协同过滤算法研究

通过对传统协同过滤算法中存在的问题以及解决情况进行分析,论文采用了一种混合减聚类的遗传模糊聚类的协同过滤推荐算法,利用混合减聚类的模糊聚类可以更有效地对数据进行柔性划分,更好地发挥遗传算法的全局搜索能力,加快收敛速度,同时也能够很好地解决数据稀疏性带来的冷启动问题.     

协同过滤算法中冷启动问题研究

为了解决传统协同过滤算法的冷启动问题,提高算法的推荐质量,本文针对协同过滤算法中的冷启动问题进行研究,提出了两种改进的算法.新用户冷启动：融合用户信息模型的基于用户的协同过滤算法;新项目冷启动：采用层次聚类的基于项目的协同过滤算法.将新算法在网络开源数据集MovieLens上进行实验验证,比较改进算法和传统算法在查全率和查准率上的差异,结果表明改进算法能够有效地提高算法的推荐质量,缓解新用户和新项目的冷启动问题.     

一种混合模式的协同过滤算法

当今是一个数据爆炸时期,促进信息过滤技术发展,个性化推荐系统作为其中一种重要的应用方式,已经成为很多网站一种个性化信息服务方式,但传统的协同过滤算法存在扩展性和稀疏性的问题。提出一种基于项目聚类、项目语义相似度和奇异值分解的混合推荐模型,来应对传统的协同过滤推荐系统面临的算法的伸缩性问题、数据稀疏性问题和推荐的精准度问题,进行推荐。结果表明,与传统的算法相比,使用该改进算法能显著地提高推荐系统的推荐质量。     

浅谈协同过滤算法的研究优化

随着互联网的飞速发展,推荐系统作为解决信息过载问题的重要手段被广泛应用.推荐系统中有许多算法,其中最经典、最常用的是协同过滤算法.协同过滤推荐算法简单易实现、数据依赖性低、推荐结果准确,但是也存在一些问题可以优化改进.本文主要就一些经过优化改进后的协同过滤推荐算法进行分析比较.     

基于Hadoop分布式改进聚类协同过滤推荐算法研究

为了改善协同过滤推荐算法在大数据下的稀疏性和可扩展性问题,提出一种基于Hadoop平台的分布式改进聚类协同过滤推荐算法。在分布式平台下,离线对高维稀疏数据采用矩阵分解算法预处理,改善数据稀疏性后通过改进项目聚类算法构建聚类模型,根据聚类模型和相似性计算形成推荐候选空间,在线完成推荐。实验验证该算法能够有效改善推荐系统的推荐质量并大大提高推荐效率,同时在云环境中具有良好可扩展性。     

稀疏数据集协同过滤算法的进一步研究

协同过滤算法是电子商务和信息系统中非常重要的一门技术。其中用户相似度度量方法的科学性至关重要。为了获得更好的精度,采用用户间共同评分数目来动态调节原相似度,以更准确地反映用户间相似度的真实性。在此基础上,根据社会网络中FTL模型(follow the leader)的思想,对新用户或找不到最近邻的用户采用基于专家信任度的预测算法代替传统相似度来预测用户的评分,弥补了传统算法的不足。实验表明,算法提高了预测评分的准确性和推荐质量,并缓解了新用户的冷启动问题。     

基于用户-项目的混合协同过滤算法

针对传统协同过滤方法中存在的冷启动和数据稀疏等问题,结合基于用户的协同过滤和基于项目的协同过滤提出一种混合协同过滤算法。在相似度的计算中提出改进算法来提高相似度计算的精确度;在预测未评分值时引入控制因子、平衡因子进行加权综合预测,最后再进行综合推荐。实验过程中采用Movie Lens数据集作为测试数据,同时采用平均绝对误差作为实验的测试标准。实验结果表明,基于用户-项目混合协同过滤算法在评分矩阵极度稀疏的环境下提高了推荐的性能,并能有效提高预测的精度。     

一种基于聚类和协同过滤的组合推荐算法

协同过滤技术是目前电子商务推荐系统中最为主要的技术之一,但随着系统规模的日益扩大,它面临着算法可扩展性和数据稀疏性两大挑战。针对上述问题,本文提出了一种基于聚类和协同过滤的组合推荐算法。首先利用聚类对项目进行分类,在用户感兴趣的类里进行推荐计算,有效地解决了算法的可扩展性问题;接着在每一类中使用基于项目的协同过滤对未评价的项目进行预测,把较好的预测值填充到原用户-项集合中,有效地缓解了数据稀疏性问题;最后根据协同过滤推荐在相似项目的范围内计算邻居用户,给出最终的预测评分并产生推荐。实验结果表明,本算法有效地解决了上述两个问题,提高了推荐系统的推荐质量。     

基于云填充和混合相似性的协同过滤推荐算法的研究

针对传统推荐算法的相似性度量准确性不高及数据极端稀疏性等问题,提出一种基于云填充和混合相似性的协同过滤推荐算法。首先通过云模型填充用户-项目评分矩阵,然后对相似性度量方法进行改进,将基于时间序列的用户间影响力融合到基于Jaccard系数的相似性度量方法中。在MovieLens数据集上的验证结果表明,改进后的算法提高了推荐精度同时在一定程度上克服了数据稀疏性的影响。     

基于遗传算法的聚类与协同过滤组合推荐算法

使用协同过滤进行推荐,在处理大数据集时存在效率问题和推荐结果质量不高的问题。k均值聚类在处理大数据集时有着较好的性能。针对使用协同过滤进行推荐存在的问题,通过使用遗传算法将聚类和协同过滤组合起来进行项目推荐,以此来提高推荐算法的推荐效率和推荐质量,降低组合聚类和协同过滤进行推荐的复杂度。使用组合得到的算法在MovieLens数据集上做推荐对比实验,结果表明,相比单纯使用协同过滤进行推荐,使用基于遗传算法的聚类与协同过滤组合推荐算法进行项目推荐,能得到质量更好的推荐结果。     

协同过滤算法在推荐系统中的应用

介绍了协同过滤算法,并对算法进行了改进,解决了用户稀疏的情况下传统算法的不足,同时通过引入评分阈值,显著提高了个性化协同过滤算法的推荐精度。     

基于矩阵分解的协同过滤算法的并行化研究

基于矩阵分解的协同过滤算法是近几年提出的一种协同过滤推荐技术,但其每项预测评分的计算都要综合大量评分数据,同时在计算时还需要存储庞大的特征矩阵,用单一节点来进行推荐将会遇到计算时间和计算资源的瓶颈。通过对现有的基于ALS(最小二乘法)的协同过滤算法在Hadoop上并行化实现的原理和特点进行深入的研究,得到了传统的迭代式算法在Hadoop上运算效率不高的原因。根据迭代式MapReduce思想,提出了循环感知任务调度算法、缓存静态数据、任务循环控制、迭代终止条件检测等方法。通过在Netflix数据集上的实验表明,迭代式MapReduce思想提高了基于ALS的协同过滤算法的并行化计算的效率。     

一种优化聚类的协同过滤推荐算法

针对传统的协同过滤推荐算法存在评分数据稀疏和推荐准确率偏低的问题,提出了一种优化聚类的协同过滤推荐算法。根据用户的评分差异对原始评分矩阵进行预处理,再将得到的用户项目评分矩阵以及项目类型矩阵构造用户类别偏好矩阵,更好反映用户的兴趣偏好,缓解数据的稀疏性。在该矩阵上利用花朵授粉优化的模糊聚类算法对用户聚类,增强用户的聚类效果,并将项目偏好信息的相似度与项目评分矩阵的相似度进行加权求和,得到多个最近邻居。融合时间因素对目标用户进行项目评分预测,改善用户兴趣变化对推荐效果的影响。通过在MovieLens 100k数据集上实验结果表明,提出的算法缓解了数据的稀疏性问题,提高了推荐的准确性。     

一种基于社区专家信息的协同过滤推荐算法

协同过滤推荐算法由于不受特定领域知识限制、简单易实现等优点,得到了广泛的应用.但是,在实际应用中,该类算法往往面临着数据稀疏性、可扩展性、冷启动等问题.为了解决其中的用户冷启动问题,将用户社交信息和评分信息进行融合,提出了一种基于社区专家信息的协同过滤推荐算法.首先,依据用户的社交关系将用户划分为不同的社区;其次,根据一定的准则确定各个社区的专家,并利用社交信息和评分信息对专家评分进行填充进而缓解稀疏性;最后,对冷启动用户根据其所属社区的专家信息进行预测评分.在数据集FilmTrust和Epinions上与已有协同过滤推荐算法进行了比较分析.实验结果表明,提出的算法可以有效缓解协同过滤推荐算法中的用户冷启动问题,并在平均绝对误差和均方根误差2个评价指标上优于已有算法.     

协同过滤中相似度算法研究进展

推荐算法通过历史数据发现用户的兴趣偏好,在数据资源中寻找用户的偏好信息,并对用户进行推荐。目前,推荐系统中的协同过滤算法在各领域应用广泛,由于数据稀疏性和冷启动,使得推荐质量有所下降,为提升推荐精度,有学者从相似度方向进行研究。总结了推荐系统中最广泛使用的协同过滤算法,以及推荐系统中常用的传统相似度算法;对比分析了基于Pearson相关系数的相似度、余弦相似度、修正的余弦相似度等的适用场景;从冷启动和数据稀疏等方面分析了相似度的研究现状,研究表明通过混合相似度计算用户相似性,提高了推荐质量。最后,总结了相关文献在改进后存在推荐效率低、复杂度增高的问题,在提高推荐精度和推荐效率方面对相似度改进进行了展望。