Hadoop下基于聚类协同过滤推荐算法优化的研究

作为重要的个性化推荐算法之一,协同过滤推荐算法有其独特的优势,但同时存在数据稀疏性、冷启动和扩展性问题。针对数据稀疏性问题,对项目相似度进行改进,利用基于项目的协同过滤对原始评分矩阵进行填充,以此降低数据稀疏性对推荐质量的影响。针对冷启动问题,采用基于用户和项目属性分别进行聚类的方法,通过聚类模型建立新用户和新项目与现有用户和现有项目之间的联系,根据对现有用户和现有项目的推荐预测新用户和新项目的推荐。针对扩展性问题,利用云平台Hadoop的MapReduce框架完成相关算法的并行化,以此解决传统协同过滤推荐算法面临的严重扩展性问题。实验表明,改进后的算法较好地解决了以上问题。     

一种融合聚类与用户兴趣偏好的协同过滤推荐算法

协同过滤推荐算法可以根据已知用户的偏好预测其可能感兴趣的项目,是现今最为成功、应用最广泛的推荐技术。然而,传统的协同过滤推荐算法受限于数据稀疏性问题,推荐结果较差。目前的协同过滤推荐算法大多只针对用户-项目评分矩阵进行数据分析,忽视了项目属性特征及用户对项目属性特征的偏好。针对上述问题,提出了一种融合聚类和用户兴趣偏好的协同过滤推荐算法。首先根据用户评分矩阵与项目类型信息,构建用户针对项目类型的用户兴趣偏好矩阵;然后利用K-Means算法对项目集进行聚类,并基于用户兴趣偏好矩阵查找待估值项所对应的近邻用户;在此基础上,通过结合项目相似度的加权Slope One算法在每一个项目类簇中对稀疏矩阵进行填充,以缓解数据稀疏性问题;进而基于用户兴趣偏好矩阵对用户进行聚类;最后,面向填充后的评分矩阵,在每一个用户类簇中使用基于用户的协同过滤算法对项目评分进行预测。实验结果表明,所提算法能够有效缓解原始评分矩阵的稀疏性问题,提升算法的推荐质量。     

基于模糊聚类的协同过滤算法

针对传统协同过滤算法普遍存在的稀疏性和扩展性问题,提出一种基于模糊聚类的协同过滤算法。利用模糊聚类的方法对项目进行聚类,通过用户-项目评分矩阵计算用户之间的相似度,从中选出与用户最相似的前k个用户,根据这k个用户对当前用户的未评分项目的打分进行预测,选出前n个推荐。实验结果证明,与基于用户的协同过滤算法相比,该算法能提高冷启动问题下的相似度计算精度。     

一种优化聚类的协同过滤推荐算法

针对传统的协同过滤推荐算法存在评分数据稀疏和推荐准确率偏低的问题,提出了一种优化聚类的协同过滤推荐算法。根据用户的评分差异对原始评分矩阵进行预处理,再将得到的用户项目评分矩阵以及项目类型矩阵构造用户类别偏好矩阵,更好反映用户的兴趣偏好,缓解数据的稀疏性。在该矩阵上利用花朵授粉优化的模糊聚类算法对用户聚类,增强用户的聚类效果,并将项目偏好信息的相似度与项目评分矩阵的相似度进行加权求和,得到多个最近邻居。融合时间因素对目标用户进行项目评分预测,改善用户兴趣变化对推荐效果的影响。通过在MovieLens 100k数据集上实验结果表明,提出的算法缓解了数据的稀疏性问题,提高了推荐的准确性。     

基于用户多属性与兴趣的协同过滤算法*

传统的协同过滤算法广泛应用于推荐系统领域,但该算法仍存在用户冷启动和数据稀疏性问题,造成算法的推荐质量较差。对此,提出一种基于用户多属性与兴趣的协同过滤算法AICF(Attributes and Interests Collaborative Filtering)。首先通过对多种用户属性分配权重计算出用户多属性相似度。其次利用改进的Slope One算法填充用户-项目评分矩阵,然后计算基于隐性标签的用户兴趣相似度。最后基于两种相似度的组合进行推荐。实验结果表明,AICF算法不仅明显提高了推荐结果的准确性,同时也解决了用户冷启动和数据稀疏性问题。     

缺失数据下基于SVDIFC的协同过滤推荐算法

为了提高个性化推荐的准确性和质量,针对传统推荐算法的信息过载和数据稀疏性问题,构建了基于SVD与直觉模糊聚类的协同过滤推荐算法(SVDIFC-CF).算法首先引入SVD将降维后的原始矩阵进行填充;再运用用户商品喜好矩阵将用户进行直觉模糊聚类;最后计算与目标用户相似度最高的前N个用户,找到用户最感兴趣的项目作为推荐结果.采用MovieLens与Jester数据集对算法的有效性进行验证,实验结果表明相对于传统推荐算法,该算法能有效解决数据稀疏和冷启动问题,提高推荐精度与质量.     

基于用户谱聚类的协同过滤推荐算法

针对电子商务系统中传统协同过滤推荐算法面临的稀疏性、准确性、实时性等问题,提出了一种基于用户谱聚类的协同过滤推荐算法。首先利用非负矩阵分解的方法对原始稀疏评分矩阵进行平滑处理,然后利用改进相似度的谱聚类方法将用户聚类,最后在用户所属类中寻找最近邻并产生推荐。用户谱聚类过程可离线完成,加快了在线推荐速度。在数据集MovieLens上的实验结果表明,该算法在平均绝对偏差、召回率、准确率等方面都有了较大改善,提高了推荐质量。     

结合用户聚类和项目类型的协同过滤算法

为了解决协同过滤算法中数据稀疏性问题,提高推荐效果,提出一种改进的协同过滤算法.该算法首先通过一种新的相似度计算方法来计算项目类型相似度,将相似度大于某阈值的项目作为目标项目的邻居;然后根据目标用户对邻居项目的评分信息来预测该用户对目标项目的评分值,并将预测值填入稀疏的用户项目评分矩阵;最后对填充后的评分矩阵采用基于用户聚类（K-means聚类）的协同过滤算法做出最终的预测评分进行推荐.在Movielens数据集上进行实验验证,结果表明该算法能够很好地缓解数据稀疏性、降低计算复杂度,提高推荐精度.     

一种基于情景的协同过滤推荐算法

针对协同过滤推荐算法中数据极端稀疏所带来的推荐精度低下的问题,文中提出一种基于情景的协同过滤推荐算法。通过引入项目情景相似度的概念,基于项目情景相似度改进了用户之间相似度的计算公式,并将此方法应用至用户离线聚类过程中,最终利用用户聚类矩阵和用户评分数据产生在线推荐。实验结果表明,该算法能够在数据稀疏的情况下定位目标用户的最近邻,一定程度上缓解数据极端稀疏性引起的问题,并减少系统在线推荐的时间。     

基于聚类和用户偏好的协同过滤推荐算法

协同过滤推荐算法使用评分数据作为学习的数据源,针对协同过滤推荐算法中存在的评分数据稀疏以及算法的可拓展性问题,提出了一种基于聚类和用户偏好的协同过滤推荐算法。为了挖掘用户的偏好,该算法引入了用户对项目类型的平均评分到评分矩阵中,并加入了基于用户自身属性的相似度;同时,为了降低数据稀疏性,该算法使用Weighted Slope One算法填充评分数据中的未评分项,并通过融入密度和距离优化初始聚类中心的K-means算法聚类填充后的评分数据中的用户,缩小了相似用户的搜索空间;最后在聚类后的数据集中使用传统的协同过滤推荐算法生成目标用户的推荐结果。通过使用MovieLens100K数据集实验证明,提出的算法对推荐效果有所改善。