Hadoop下基于聚类协同过滤推荐算法优化的研究

作为重要的个性化推荐算法之一,协同过滤推荐算法有其独特的优势,但同时存在数据稀疏性、冷启动和扩展性问题。针对数据稀疏性问题,对项目相似度进行改进,利用基于项目的协同过滤对原始评分矩阵进行填充,以此降低数据稀疏性对推荐质量的影响。针对冷启动问题,采用基于用户和项目属性分别进行聚类的方法,通过聚类模型建立新用户和新项目与现有用户和现有项目之间的联系,根据对现有用户和现有项目的推荐预测新用户和新项目的推荐。针对扩展性问题,利用云平台Hadoop的MapReduce框架完成相关算法的并行化,以此解决传统协同过滤推荐算法面临的严重扩展性问题。实验表明,改进后的算法较好地解决了以上问题。     

基于项目特征模型的协同过滤推荐算法

提出一种基于项目特征模型的协同过滤推荐算法.首先根据项目特征属性建立项目特征相似模型,在此模型基础上根据特征相似项目和用户评价相似项目,计算项目之间的综合相似度,弥补了以往协同过滤推荐算法在新项目推荐方面的不足.试验结果表明,该方法不但可以有效地改善传统协同过滤算法中新项目的冷启动问题,而且确实提高了推荐系统的推荐精度.     

混合协同过滤算法中用户冷启动问题的研究

在推荐系统中,用户冷启动问题是传统协同过滤推荐系统中一直存在的问题。针对这个问题,在传统协同过滤算法的基础上,提出一种新的解决用户冷启动问题的混合协同过滤算法,该算法在计算用户相似性时引入用户信任机制和人口统计学信息,综合考虑用户的属性相似性和信任相似性。同时,算法还在用户近邻的选取上做了一些改进。实验表明该算法有效缓解了传统协同过滤推荐系统中的用户冷启动问题。     

云计算环境下混合协同过滤优化技术研究

作为使用最广泛的个性化推荐算法之一,协同过滤有着其他推荐算法无法比拟的优势,但在实际的应用中也面临着一些亟待解决的问题。针对冷启动问题,通过K-means聚类与改进的遗传算法相结合的混合算法实现协同过滤算法中聚类模型的构建,自适应地获取聚类算法中的K值及初始聚类中心集,由新用户或新项目自身属性信息计算熵值,来对其进行归类及近邻搜索,最终实现新用户和新项目的最优推荐。针对扩展性问题,利用基于云计算平台MapReduce分布式框架,完成相关算法的并行化计算。最后,在UCI数据集上验证了用户或项目聚类模型构建的有效性,在MovieLens数据集上,分别进行单机环境和Hadoop平台上的实验,验证了改进算法的有效性及推荐质量。     

协同过滤系统项目冷启动的混合推荐算法

研究协同过滤推荐系统中的冷启动问题,运用基于内容预测的方法,对系统内未被用户评价过的项目进行评分预测,应用2种优化步骤,过滤掉预测不准确的用户的评分。在此基础上用协同过滤的方法产生推荐,使传统推荐算法中无法推荐给用户的项目得到推荐机会。通过一系列实验证明,该混合推荐算法能保证推荐准确性,提高了新项目的推荐概率。     

基于信任和项目偏好的协调过滤算法

针对传统协同过滤算法不能深度挖掘用户关系,以及无法对新项目进行用户推荐的问题,提出了基于信任和用户偏好的协同过滤（TIPCF）算法。首先,通过分析用户评分判断用户的可信度并量化用户间的信任程度,挖掘用户潜在的信任关系;其次,考虑到用户之间对于不同目标项目偏好程度的差异会对用户相似性产生影响,在传统用户相似性算法上添加用户偏好度改进相似性算法;然后,通过结合用户信任度和改进的相似度,使得最近邻的选取更加准确;最后,根据用户对项目属性的偏好对新项目进行推荐。Movielens数据集实验结果表明,与传统的协同过滤算法相比,TIPCF算法的平均绝对误差减少了6.7%;在推荐新项目时,TIPCF算法的平均绝对误差减少了10.7%。TIPCF算法不仅提高了推荐的准确度,而且增加了新项目的推荐概率。     

基于项目分层的个性化推荐方法

协同过滤目前较为成功地应用于个性化推荐系统中.但随着系统规模的扩大和待推荐项目的不断增加,协同过滤面临着稀疏性问题和新项目推荐问题,制约了推荐效果.在此分析了传统协同过滤推荐方法中存在的问题,提出一种基于项目分层的个性化推荐方法.采用了基于多层兴趣表示的用户相似性算法,并结合相似用户推荐项与项目相似性来推荐新项目.该推荐方法在稀疏数据集上能表现出较好的推荐质量,同时也能够有效地解决新项目推荐问题.     

基于用户多属性与兴趣的协同过滤算法*

传统的协同过滤算法广泛应用于推荐系统领域,但该算法仍存在用户冷启动和数据稀疏性问题,造成算法的推荐质量较差。对此,提出一种基于用户多属性与兴趣的协同过滤算法AICF(Attributes and Interests Collaborative Filtering)。首先通过对多种用户属性分配权重计算出用户多属性相似度。其次利用改进的Slope One算法填充用户-项目评分矩阵,然后计算基于隐性标签的用户兴趣相似度。最后基于两种相似度的组合进行推荐。实验结果表明,AICF算法不仅明显提高了推荐结果的准确性,同时也解决了用户冷启动和数据稀疏性问题。     

基于用户特征的协同过滤推荐算法

协同过滤算法是目前在电商系统中应用最广的推荐技术.为了缓解传统基于用户的协同过滤算法在冷启动、推荐准确性和数据稀疏性方面的缺点,本文提出基于用户特征的协同过滤推荐算法.此算法利用注册信息提取属性特征,并对已有的评分信息提取兴趣特征和信任度,综合以上各特征融合特征相似性进一步产生推荐.实验结果表明,与传统的基于用户的协同过滤算法做对比,基于用户特征的协同过滤算法对推荐的精度有大幅的提高.     

基于用户特征和项目属性的协同过滤推荐算法

在数据极度稀疏的环境下,仅仅依赖用户直接评分数据的传统协同过滤算法无法取得满意的推荐质量。提出基于用户特征和项目属性的协同过滤算法,在用户相似性计算过程中引入时间相关的兴趣度,使得最近邻的确定更加准确;预测评分时,通过衡量用户信任度来体现各邻居对目标用户最终推荐的贡献程度,并以用户对项目属性的偏好度代替评分数据对新项目进行推荐。基于MovieLens数据集进行的实验结果表明,改进后的算法有效解决了系统冷启动问题,明显提高了系统推荐的准确度。     

基于用户兴趣模型的推荐算法

传统的协同过滤算法虽然可以很容易地挖掘出用户的兴趣爱好,但存在数据冷启动和稀疏性问题.针对这些问题,提出一种基于用户兴趣模型的推荐算法.首先通过LDA主题模型训练数据集得到物品-主题概率分布矩阵,利用物品-主题概率分布矩阵得到用户历史兴趣模型,然后结合用户历史行为信息和物品内容信息得到用户兴趣模型,最后计算用户与候选集之间的相似度,进行TOP-N推荐.在豆瓣电影数据集上的实验结果表明,改进后的推荐算法能够更好地处理稀疏数据和冷启动问题,并且明显提高了推荐质量.     

Research on entropy-based collaborative filtering algorithm and personalized recommendation in e-commerce

Based on the introduction to the user-based and item-based collaborative filtering algorithms, the problems related to the two algorithms are analyzed, and a new entropy-based recommendation algorithm is proposed. Aiming at the drawbacks of traditional similarity measurement methods, we put forward an improved similarity measurement method. The entropy-based collaborative filtering algorithm contributes to solving the cold-start problem and discovering users’ hidden interests. Using the data selected from Movielens and Book-Crossing datasets and MAE accuracy metric, three different collaborative filtering recommendation algorithms are compared through experiments. The experimental scheme and results are discussed in detail. The results show that the entropy-based algorithm provides better recommendation quality than user-based algorithm and achieves recommendation accuracy comparable to the item-based algorithm. At last, a solution to B2B e-commerce recommendation applications based on Web services technology is proposed, which adopts entropy-based collaborative filtering recommendation algorithm.     

面向完全冷启动的深度混合协同过滤推荐算法

基于矩阵分解的协同过滤算法近年来获得了巨大的成功,但是依然存在冷启动,忽视用户及物品特征等问题,从而导致推荐质量不佳,用户体验度下降。论文提出了一种基于深度学习的混合协同过滤推荐算法,尝试引入堆栈降噪自编码器学习物品的隐含特征,同时结合半监督S4VM和隐含因子模型,综合考虑物品的内容特征及时间因素,以预测未评分的数据,解决冷启动问题。在标准数据集Movielens上进行的测试表明:该算法能有效预测冷启动物品的评分,性能提升显著,较传统推荐性能提升约为12%。     

协同过滤推荐算法对比分析与优化应用

协同过滤推荐算法分为基于内存和基于模型的推荐算法,协同过滤推荐算法存在数据稀疏性、可扩展性、冷启动等问题。通过基于用户、基于项目协同过滤推荐算法以及SVD、Slope-One、KNN等基于模型协同过滤推荐算法对比分析。提出加入特征向量维度优化的SVD算法,通过降维改善数据稀疏性问题。利用Hadoop分布式平台改善推荐算法可扩展性问题。基于MovieLens数据集实验结果表明,引入基于Boolean相似性计算方法的推荐效果更优,引入数量权重和标准差权重的优化 Slope-One 算法和引入特征向量维度的优化 SVD 算法推荐效果更优。     

融合协同过滤的XGBoost推荐算法

在推荐系统中,针对用户的冷启动问题,提出一种融合协同过滤的XGBoost推荐算法。根据基于用户相似度的协同过滤推荐算法进行粗粒度召回,得到部分用户的召回集,使用XGBoost算法对召回集中的项目进行预测。对于存在冷启动问题的用户,直接使用XGBoost算法对候选集中的项目进行预测。该算法采用CCIR2018个性化推荐评测的在线评测数据集,并将推荐结果投放到知乎提供的线上平台进行评测。评测结果表明,该算法可以解决用户的冷启动问题,具有很高的执行效率,准确度高,在线上评测中取得显著的推荐效果。     

优化的协作过滤推荐算法

基于用户的协作过滤推荐技术中存在的稀疏问题和冷开始问题,影响推荐系统的性能,使协作过滤的效果得不到充分的发挥,提出了一种优化的协作过滤推荐算法,对用户-项目评价矩阵进行降维预处理,对原始评价矩阵降低了噪音,有效地解决了稀疏问题,验证了使用相关相似度的度量标准所得到的算法要比余弦相似度算法的推荐质量要高,验证了采用中心加权求和的方法能很好地弥补协作过滤算法在冷开始中的新项目问题上的不足,可以提高推荐系统的推荐质量与推荐精度。     

基于上下文的餐饮推荐算法

互联网的发展,为餐饮用户的上下文信息获取提供了基础。在用户选择适合其餐饮模式的前提下,加入动态上下文因素以满足用户的需求。为改善传统的协同过滤方法应用于餐饮O2O推荐存在的稀疏矩阵、冷启动等问题,设计了基于上下文后过滤的协同过滤推荐方法。先通过转化基于项目属性效用的评分矩阵,计算出用户对项目评分的偏好相似度。根据用户的评分偏好和静态上下文信息构建相似组,结合上下文信息加权的贝叶斯模型,采用基于KL散度的加权方法进行动态偏好分析,解决上下文信息缺乏时难以构建概率模型以及推荐系统的用户冷启动问题。实验结果显示,随着邻居数目增加时,基于上下文的推荐算法与传统的协同过滤算法相比,能维持较高的准确率和召回率,验证了推荐算法的有效性。     

基于信任和矩阵分解的协同过滤推荐算法

针对传统协同过滤算法普遍存在的稀疏性和冷启动问题,提出一种基于信任和矩阵分解的协同过滤推荐算法。提出一种基于用户评分值的隐式信任计算方法,该方法综合考虑用户的相似性和交互经验,运用信任传播方法使不存在直接信任的用户获得间接信任;通过动态因子将显式信任和隐式信任融入到SVD++算法当中。FilmTrust数据集下的实验表明,与其他矩阵分解推荐算法相比,该方法具有更好的预测效果,在冷启动用户的评分预测上也有很好的表现。     

一种混合模式的协同过滤算法

当今是一个数据爆炸时期,促进信息过滤技术发展,个性化推荐系统作为其中一种重要的应用方式,已经成为很多网站一种个性化信息服务方式,但传统的协同过滤算法存在扩展性和稀疏性的问题。提出一种基于项目聚类、项目语义相似度和奇异值分解的混合推荐模型,来应对传统的协同过滤推荐系统面临的算法的伸缩性问题、数据稀疏性问题和推荐的精准度问题,进行推荐。结果表明,与传统的算法相比,使用该改进算法能显著地提高推荐系统的推荐质量。