Hadoop下基于聚类协同过滤推荐算法优化的研究

作为重要的个性化推荐算法之一,协同过滤推荐算法有其独特的优势,但同时存在数据稀疏性、冷启动和扩展性问题。针对数据稀疏性问题,对项目相似度进行改进,利用基于项目的协同过滤对原始评分矩阵进行填充,以此降低数据稀疏性对推荐质量的影响。针对冷启动问题,采用基于用户和项目属性分别进行聚类的方法,通过聚类模型建立新用户和新项目与现有用户和现有项目之间的联系,根据对现有用户和现有项目的推荐预测新用户和新项目的推荐。针对扩展性问题,利用云平台Hadoop的MapReduce框架完成相关算法的并行化,以此解决传统协同过滤推荐算法面临的严重扩展性问题。实验表明,改进后的算法较好地解决了以上问题。     

基于用户模糊聚类的协同过滤推荐研究

传统的协同过滤算法没有考虑用户的自身信息对评分的影响,存在的数据稀疏性、扩展性差等弊端直接影响了推荐系统的推荐质量。对此提出了一种基于用户情景模糊聚类的协同过滤推荐算法。首先根据用户情景信息利用模糊聚类算法得到情景相似的用户群分类,然后在进行协同过滤前预先通过Slope One算法填充用户一项目评分矩阵,以有效改善数据稀疏性和实时性。实验结果表明,改进后的算法在推荐精度上有较大提高。     

基于Mahout分布式协同过滤推荐算法分析与实现

随着信息技术和互联网的发展,在信息过载的时代,用户面对海量的信息,难以正确选择。协同过滤推荐是个性化推荐中比较成熟的算法,但其稀疏性、冷启动、可扩展性问题仍然存在,尤其是不能应用于分布式推荐。在Hadoop平台上,Mahout实现了分布式基于项目的协同过滤推荐算法,该算法能够有效解决传统算法的海量数据处理的效率问题和可扩展性问题。实验结果表明,Mahout上基于项目的协同过滤推荐算法具有较好的计算高效性和可扩展性。     

融合用户信任模型的协同过滤推荐算法

协同过滤推荐是电子商务系统中最为重要的技术之一.随着电子商务系统中用户数目和商品数目的增加,用户-项目评分数据稀疏性问题日益显著.传统的相似度度量方法是基于用户共同评分项目计算的,而过于稀疏的评分使得不能准确预测用户偏好,导致推荐质量急剧下降.针对上述问题,本文考虑用户评分相似性和用户之间信任关系对推荐结果的影响,利用层次分析法实现用户信任模型的构建,提出一种融合用户信任模型的协同过滤推荐算法.实验结果表明： 该算法能够有效反映用户认知变化,缓解评分数据稀疏性对协同过滤推荐算法的影响,提高推荐结果的准确度.     

一种混合模式的协同过滤算法

当今是一个数据爆炸时期,促进信息过滤技术发展,个性化推荐系统作为其中一种重要的应用方式,已经成为很多网站一种个性化信息服务方式,但传统的协同过滤算法存在扩展性和稀疏性的问题。提出一种基于项目聚类、项目语义相似度和奇异值分解的混合推荐模型,来应对传统的协同过滤推荐系统面临的算法的伸缩性问题、数据稀疏性问题和推荐的精准度问题,进行推荐。结果表明,与传统的算法相比,使用该改进算法能显著地提高推荐系统的推荐质量。     

基于GEP-RBF的协同过滤数据稀疏性问题研究

针对传统协同过滤推荐算法的数据稀疏性问题,提出了基于GEP-RBF的协同过滤推荐算法.该算法对目标用户偏好的分类范畴进行了分析,构建了局部用户-项目评分矩阵,同时利用GEP优化RBF神经网络,预测局部用户-项目评分矩阵的缺失评分,平滑评分矩阵,并给出了用户评分项目交集阈值修正相似度的方法,提高用户相似度计算的准确性.实验结果表明,该算法能有效地缓解数据稀疏性问题,从而提高了协同过滤推荐系统的推荐质量.     

一种融合项目特征和移动用户信任关系的推荐算法

协同过滤推荐系统中普遍存在评分数据稀疏问题.传统的协同过滤推荐系统中的余弦、Pearson 等方法都是基于共同评分项目来计算用户间的相似度;而在稀疏的评分数据中,用户间共同评分的项目所占比重较小,不能准确地找到偏好相似的用户,从而影响协同过滤推荐的准确度.为了改变基于共同评分项目的用户相似度计算,使用推土机距离（earth mover's distance,简称EMD）实现跨项目的移动用户相似度计算,提出了一种融合项目特征和移动用户信任关系的协同过滤推荐算法.实验结果表明：与余弦、Pearson 方法相比,融合项目特征的用户相似度计算方法能够缓解评分数据稀疏对协同过滤算法的影响.所提出的推荐算法能够提高移动推荐的准确度.     

一种结合项目属性的混合推荐算法

传统的协同过滤推荐算法中仅仅根据评分矩阵进行推荐,由于矩阵的稀疏性,存在推荐质量不高的问题.本文提出了一种结合项目属性相似性的混合推荐算法,该算法通过计算项目之间属性的相似性,并且与基于项目的协同过滤算法中的相似性动态结合,通过加权因子的变化控制两种相似性的比重来改善协同过滤中的稀疏性问题,并且将综合预测评分和基于用户的协同过滤预测评分相结合来提高推荐质量,最终根据综合评分来进行推荐.通过实验数据实验证明,该算法解决了协同过滤算法的矩阵稀疏性问题.     

基于领域知识的协同过滤推荐算法

传统协同过滤推荐算法中项目相似度的计算建立在用户评分项目交集之上,没有考虑不同项目之间所存在的语义关系,致使推荐准确率低。基于领域知识进行项目相似度计算的协同过滤算法在用户评分的共同项目很少的情况下仍能给出不错的推荐。实验结果表明,该算法可以有效地解决用户评分数据极端稀疏的问题,提高推荐系统的推荐质量。     

结合半监督AP聚类和改进相似度的推荐算法

寻找近邻用户或近邻项目是传统协同过滤推荐算法的关键内容.通常,数据稀疏性会导致推荐精度降低.基于项目类别偏好的混合协同过滤算法利用项目特征的低维性与二值性进行聚类,通过用户的类别偏好信息寻找近邻用户,此类方法可以在一定程度上缓解数据稀疏性问题.为了进一步提高近邻用户间的相似性,本文在项目类别偏好的混合协同过滤的算法基础...     

混合协同过滤算法中用户冷启动问题的研究

在推荐系统中,用户冷启动问题是传统协同过滤推荐系统中一直存在的问题。针对这个问题,在传统协同过滤算法的基础上,提出一种新的解决用户冷启动问题的混合协同过滤算法,该算法在计算用户相似性时引入用户信任机制和人口统计学信息,综合考虑用户的属性相似性和信任相似性。同时,算法还在用户近邻的选取上做了一些改进。实验表明该算法有效缓解了传统协同过滤推荐系统中的用户冷启动问题。     

面向个性化推荐系统的二分网络协同过滤算法研究

为提高个性化推荐系统的推荐效率和准确性, 提出了个性化推荐系统的二分网络协同过滤算法。协同过滤算法引入二分网络描述个性化推荐系统, 使用灰色关联度来度量用户相似性和项目相似性, 对灰色关联相似度加权求和预测用户对项目的预测打分值, 从而提供给用户排序后的项目列表。实验结果表明, 协同过滤算法有效提高了过滤推荐的精准度和可靠性, 具有良好的推荐效果。     

A hybrid collaborative filtering method for multiple-interests and multiple-content recommendation in E-Commerce

Recommender systems apply knowledge discovery techniques to the problem of making personalized recommendations for products or services during a live interaction. These systems, especially collaborative filtering based on user, are achieving widespread success on the Web. The tremendous growth in the amount of available information and the kinds of commodity to Web sites in recent years poses some key challenges for recommender systems. One of these challenges is ability of recommender systems to be adaptive to environment where users have many completely different interests or items have completely different content (We called it as Multiple interests and Multiple-content problem). Unfortunately, the traditional collaborative filtering systems can not make accurate recommendation for the two cases because the predicted item for active user is not consist with the common interests of his neighbor users. To address this issue we have explored a hybrid collaborative filtering method, collaborative filtering based on item and user techniques, by combining collaborative filtering based on item and collaborative filtering based on user together. Collaborative filtering based on item and user analyze the user-item matrix to identify similarity of target item to other items, generate similar items of target item, and determine neighbor users of active user for target item according to similarity of other users to active user based on similar items of target item.In this paper we firstly analyze limitation of collaborative filtering based on user and collaborative filtering based on item algorithms respectively and emphatically make explain why collaborative filtering based on user is not adaptive to Multiple-interests and Multiple-content recommendation. Based on analysis, we present collaborative filtering based on item and user for Multiple-interests and Multiple-content recommendation. Finally, we experimentally evaluate the results and compare them with collaborative filtering based on user and collaborative filtering based on item, respectively. The experiments suggest that collaborative filtering based on item and user provide better recommendation quality than collaborative filtering based on user and collaborative filtering based on item dramatically.     

Improving sparsity and new user problems in collaborative filtering by clustering the personality factors

In collaborative filtering recommender systems, items recommended to an active user are selected based on the interests of users similar to him/her. Collaborative filtering systems suffer from the ‘sparsity’ and ‘new user’ problems. The former refers to the insufficiency of data about users’ preferences and the latter addresses the lack of enough information about the new-coming user. Clustering users is an effective way to improve the performance of collaborative filtering systems in facing the aforementioned problems. In previous studies, users were clustered based on characteristics such as ratings given by them as well as their age, gender, occupation, and geographical location. On the other hand, studies show that there is a significant relationship between users’ personality traits and their interests. To alleviate the sparsity and new user problems, this paper presents a new collaborative filtering system in which users are clustered based on their ‘personality traits’. In the proposed method, the personality of each user is described according to the big-5 personality model and users with similar personality are placed in the same cluster using K-means algorithm. The unknown ratings of the sparse user-item matrix are then estimated based on the clustered users, and recommendations are found for a new user according to a user-based approach which relays on the interests of the users with similar personality to him/her. In addition, for an existing user in the system, recommendations are offered in an item-based approach in which the similarity of items is estimated based on the ratings of users similar to him/her in personality. The proposed method is compared to some former collaborative filtering systems. The results demonstrate that in facing the data sparsity and new user problems, this method reduces the mean absolute error and improves the precision of the recommendations.     

基于Mahout的新用户推荐算法的设计与实现

为了解决大数据背景下新用户因没有历史数据而导致推荐难和推荐效率低等问题,提出将基于Mahout的协同过滤算法与基于MapReduce的Top N算法相结合的技术方法,来实现新用户推荐算法,从而构建新用户推荐系统的架构,并对Hadoop Top N算法以及Mahout中协同过滤算法进行设计与实现。理论分析和实验验证表明,该新用户推荐算法在推荐效率、对大规模数据处理的伸缩性以及推荐质量上都明显优于单独使用协同过滤算法的新用户推荐。     

融合用户特征优化聚类的协同过滤算法

针对推荐系统领域中应用最广泛的协同过滤推荐算法仍伴随着数据稀疏性、冷启动和扩展性问题,基于用户冷启动和扩展性问题,提出了基于改进聚类的PCEDS(pearson correlation coefficient and euclidean distance similarity)协同过滤推荐算法。首先针对用户属性特征,采用优化的K-means聚类算法对其聚类,然后结合基于信任度的用户属性特征相似度模型和用户偏好相似度模型,形成一种新颖的PCEDS相似度模型,对聚类结果建立预测模型。实验结果表明:提出的PCEDS算法比传统的协同过滤推荐算法在均方根误差(RMSE)上降低5%左右,并且推荐准确率(precision)和召回率(recall)均有明显提高,缓解了冷启动问题,同时聚类技术可以节省系统内存计算空间,从而提高了推荐效率。     

基于重叠度和双重属性的协同过滤推荐算法

协同过滤是现行推荐系统中应用最广泛也是最成功的推荐技术之一,然而传统的协同过滤推荐算法存在着邻居选取片面性和推荐精度低的问题。针对上述问题,提出了一种基于重叠度和双重属性的协同过滤推荐算法。首先基于相似度和重叠度的共同计算结果选取推荐对象集;然后提出了双重属性的概念,分别计算推荐用户的信任度和目标项目的受欢迎度;最后兼顾两个群体,根据用户和项目两方面的评分信息完成对目标用户的推荐。实验结果证明该算法较传统的协同过滤推荐算法在邻居选取和推荐质量方面均有显著的提高。     

融合时间加权信任与用户偏好的协同过滤算法

针对现有的协同过滤推荐算法中存在评分数据稀疏和用户兴趣动态变化的问题,提出了融合时间加权信任与用户偏好的协同过滤算法.考虑到用户评分时间的不均匀,对时间权重进行改进,并将其融入到直接信任计算中,缓解用户兴趣动态变化的问题.通过信任传递得到的间接信任以及建立用户对项目标签的偏好矩阵得到用户之间的偏好相似度来缓解数据的稀疏...     

基于用户实时反馈的协同过滤算法

传统的基于内存的协同过滤算法存在可扩展性不足的问题,而基于模型的协同过滤算法由于模型数据的滞后,造成推荐质量不高。针对以上情况,提出一种基于用户实时反馈的协同过滤算法,该算法在用户提交项目评分之后能实现对推荐模型数据的实时更新,从而更精确地反映用户的兴趣变化。实验结果表明,该算法能够有效地提高推荐精确度并且大幅地缩短了推荐时间。     

融合社交网络信息的协同过滤推荐算法*

在推荐系统中,协同过滤推荐算法往往面临数据集的高度稀疏性和推荐精度有限的问题.为了解决上述问题,在基于物品的协同过滤推荐框架下,分别在物品相似度的计算和用户对物品的评分预测阶段,利用社交网络中朋友关系信息选择性地填充评分矩阵中的缺失值,最大化利用评分矩阵中的已有信息,提出融合社交网络信息的协同过滤推荐算法.最后,在Epinions数据集上的实验表明,文中算法在一定程度上缓解数据稀疏性问题,同时在评分误差和分类准确率两个指标上优于其它协同过滤算法.