基于Spark的矩阵分解推荐算法

针对传统矩阵分解算法在处理海量数据信息时所面临的处理速度和计算资源的瓶颈问题,利用Spark在内存计算和迭代计算上的优势,提出了Spark框架下的矩阵分解并行化算法。首先,依据历史数据矩阵初始化用户因子矩阵和项目因子矩阵;其次,迭代更新因子矩阵,将迭代结果置于内存中作为下次迭代的输入;最后,迭代结束时得到矩阵推荐模型。通过在GroupLens网站上提供的MovieLens数据集上的实验结果表明,加速比(Speedup)值达到了线性的结果,该算法可以提高协同过滤推荐算法在大数据规模下的执行效率。     

基于矩阵分解的社交网络正则化推荐模型

社交网站的快速发展和普及使得实现高效的好友推荐成为了一个热点问题,而矩阵分解算法是被业界广泛采用的方法.虽然传统的矩阵分解算法能够带来良好的效果,但是仍然存在一些问题.首先,算法没有充分利用用户之间的社交网络结构化关系;其次,算法依赖的用户-物品评分矩阵只有二级评分不能充分表达用户的喜好.提出了一种基于矩阵分解的社交网络正则化推荐模型,利用社交网络中用户的近邻关系进行建模,并将其作为一种辅助信息融合到矩阵分解模型当中,该模型能够解决传统矩阵分解面临的问题.通过在腾讯微博数据集上进行实验对比,验证了本文提出的方法与传统的推荐方法相比能取得更高的推荐平均准确度.     

基于聚类和Spark框架的加权Slope One算法

针对传统Slope One算法在相似性计算时未考虑项目属性信息和时间因素对项目相似性计算的影响,以及推荐在当前大数据背景下面临的计算复杂度高、处理速度慢的问题,提出了一种基于聚类和Spark框架的加权Slope One算法。首先,将时间权重加入到传统的项目评分相似性计算中,并引入项目属性相似性生成项目综合相似度;然后,结合Canopy-K-means聚类算法生成最近邻居集;最后,利用Spark计算框架对数据进行分区迭代计算,实现该算法的并行化。实验结果表明,基于Spark框架的改进算法与传统Slope One算法、基于用户相似性的加权Slope One算法相比,评分预测准确性更高,较Hadoop平台下的运行效率平均可提高3.5~5倍,更适合应用于大规模数据集的推荐。     

融入用户和项目特征的概率矩阵分解推荐算法

与传统的协同过滤推荐算法相比,概率矩阵分解(PMF)模型在大型、稀疏的数据集上表现良好,但其仅利用了用户对项目的评分信息,没有充分考虑用户和项目的特征,因此在推荐准确度等方面仍具有很大的提升空间.基于概率矩阵分解模型,融合用户属性特征、用户偏好特征和项目标签特征,提出一种新的推荐算法UFIF-PMF.首先,根据用户属性信息计算用户属性相似度,利用项目标签信息和用户评分信息计算用户偏好相似度,并通过加权构建用户相似度矩阵;然后,构建基于项目标签信息的项目相似度矩阵;接着,将用户相似度矩阵和项目相似度矩阵融入到概率矩阵分解模型中;最后,在电影公开数据集Movielens上进行模型训练和对比实验.实验结果表明,在训练集比例为90％、隐性特征维度为10的情况下,与PMF、基于用户偏好的概率矩阵分解推荐算法(USPMF)和融合物品相似度的概率矩阵分解推荐算法(ISPMF)相比,UFIF-PMF算法的均方根误差(RMSE)分别下降6.27％、3.65％和3.49％,平均绝对误差(MAE)分别下降8.46％、4.8％和4.67％,同时有效缓解了推荐系统的冷启动和数据稀疏问题,有较强的可扩展性.     

基于评分偏好和项目属性的协同过滤算法

针对传统的协同过滤推荐由于数据稀疏性导致物品间相似性计算不准确、推荐准确度不高的问题,文中提出了一种基于用户评分偏好模型、融合时间因素和物品属性的协同过滤算法,通过改进物品相似度度量公式来提高推荐的准确度。首先考虑到不同用户的评分习惯存在差异这一客观现象,引入评分偏好模型,通过模型计算出用户对评分类别的偏好,以用户对评分类别的偏好来代替用户对物品的评分,重建用户-物品评分矩阵;其次基于时间效应,引入时间权重因子,将时间因素纳入评分相似度计算中;然后结合物品的属性,将物品属性相似度和评分相似度进行加权,完成物品最终相似度的计算;最后通过用户偏好公式来计算用户对候选物品的偏好,依据偏好对用户进行top-N推荐。在MovieLens-100K和MovieLens-Latest-Small数据集上进行了充分实验。结果表明,相比已有的经典的协同过滤算法,所提算法的准确率和召回率在MovieLens-100K数据集上提高了9%~27%,在MovieLens-Latest-Small数据集上提高了16%~28%。因此,改进的协同过滤算法能有效提高推荐的准确度,有效缓解数据稀疏性问题。     

融合社交网络与关键用户的并行协同过滤推荐算法

为解决传统协同过滤推荐算法中存在的数据稀疏、冷启动以及推荐结果缺乏多样性等问题,提出一种融合社交网络与关键用户的协同过滤推荐算法。该算法在用户—项目评分矩阵基础上,融合用户社交网络信息得出社交信任矩阵,融合关键用户信息得出关键用户评分矩阵。利用三大评分矩阵,分配不同的权重比例,共同来预测用户对于目标项目评分。针对海量数据问题,采用Spark分布式集群实现该算法的计算并行化。实验结果表明,该算法能够有效缓解数据稀疏问题,提高处理速度和推荐准确度。     

基于FunkSVD矩阵分解和相似度矩阵的推荐算法

传统基于用户的协同过滤推荐算法在计算用户相似性时经常面临数据稀疏的问题,同时忽略了不同评分项目之间的差异。针对这些问题,提出一种基于FunkSVD矩阵分解和相似度矩阵的推荐算法。利用用户评分数据与物品标签数据计算出用户的相似度矩阵;利用FunkSVD对得到的相似度矩阵进行矩阵分解,生成新的用户相似度矩阵;根据用户之间评分数据对两个相似度矩阵中的用户相似度加权组合,并生成用户的综合相似度矩阵来对用户进行评分预测。经过Movielens数据集的实验表明,该算法提高了预测的准确性,优于传统的推荐算法。     

融合物品相似性与流形正则化的矩阵分解推荐模型

矩阵分解是推荐系统中应用最为广泛的方法之一,但其对物品隐因子及其相似性学习不够充分.社会网络分析中认为相互连接的个体有一定共性,受此启发提出一个能够借助近邻关系有效学习物品隐因子及其相似性的矩阵分解推荐模型.首先基于评分矩阵对物品相似性计算进行改良,综合同一用户和相似用户的评分共现信息对物品信息建模;然后通过构建相似性优化和流形局部保持正则化项,使物品相似性作用在矩阵分解中,从而充分学习物品隐因子特征及其相似性;最后根据用户和物品隐因子矩阵计算推荐指数.在公开数据集上的实验结果表明,通过流形正则化技术将改良的物品相似性作用在矩阵分解中,可以有效提升推荐效果.     

融合双重正则化机制的低秩矩阵分解推荐模型

基于矩阵分解技术的社会化推荐通过加入用户信任关系来加强学习准确性,但忽略了物品之间的关联信息在模型分解过程中对用户兴趣的影响。对此首先提出在物品相似度计算方法中加入用户参与度进行改进,并构建了融合物品关联正则项和信任用户正则项双重约束的矩阵分解推荐模型,在优化隐式特征矩阵过程中体现了物品之间的关联信息对推荐的重要影响。最后通过对两个不同稀疏级别的数据集的实验证明,相比主流的矩阵分解模型,提出的双重正则项的矩阵分解模型能够提高稀疏数据集上预测评分的准确性,并能明显缓解用户冷启动问题。     

Slope One算法的改进及其在大数据平台的实现

针对原始Slope One算法计算推荐预测值时忽略了项目之间的相似性,以及大数据时代下推荐效率低下的问题,提出基于Spark平台的聚类加权Slope One推荐算法。通过Canopy-K-medoids聚类算法生成最近邻居集合;在最近邻集中用Slope One算法上加权项目之间的相似性进行推荐预测;在Spark平台上实现并行化。通过在电影数据集上的实验得出,基于Spark平台的优化算法与传统Slope One算法、加权项目相似度的Slope One算法相比,提高了推荐精度。     

结合项目分类和云模型的协同过滤推荐算法

为了解决用户评分数据稀疏性问题和传统相似性计算方法因严格匹配对象属性而产生的弊端,结合项目分类和云模型提出了一种改进的协同过滤推荐算法。首先,按项目分类得到类别矩阵;然后利用云模型计算类内项目间的相似度并获取具有最高相似度的邻居项目的评分,为类内未评分项目进行预测填充;再利用云模型计算类内用户间的相似度得到用户邻居,最后给出最终的预测评分并产生推荐。实验结果表明,该算法不仅有效地解决了数据稀疏性及传统相似性方法存在的弊端,还提高了用户兴趣及最近邻寻找的准确性;同时,该算法只需计算新增用户或项目所在的类别即可,大大增强了系统的可扩展性。     

基于熵优化近邻选择的协同过滤推荐算法

协同过滤推荐系统的近邻选择环节中不仅没有考虑目标项目对用户间相似性计算的影响,而且也未考虑邻居用户对目标用户的推荐贡献能力,导致既降低了相似性计算的准确性,也提高了近邻集合中伪近邻的比例。针对这些问题,提出了一种基于熵优化近邻选择的协同过滤推荐算法。算法首先使用巴氏系数计算项目间相似性,并以此为权重加权计算用户间相似性。其次引入熵描述用户评分分布特性,根据评分分布差异性衡量邻居用户的推荐贡献能力。最后,利用双重准则共同计算推荐权重,并构建近邻集合。实验结果表明该算法能够在不牺牲时间复杂度的条件下准确地选取近邻集合,提升推荐准确度。     

基于Jaccard相似度和位置行为的协同过滤推荐算法

协同过滤是现今推荐系统中应用最为成功且最广泛的推荐方法之一,其中概率矩阵分解算法作为一类重要的协同过滤方式,能够通过学习低维的近似矩阵进行推荐。然而,传统的协同过滤推荐算法在推荐过程中只利用用户-项目评分信息,忽略了用户(项目)间的潜在影响力,影响了推荐精度。针对上述问题,首先利用Jaccard相似度对用户(项目)做预处理,而后通过用户(项目)间的位置信息挖掘出其间的潜在影响力,成功找到最近邻居集合;最后将该邻居集合融合到基于概率矩阵分解的协同过滤推荐算法中。实验证明该算法较传统的协同过滤推荐算法能够更有效地预测用户的实际评分,提高了推荐效果。     

融合信任用户的协同过滤推荐算法

推荐系统中普遍存在的数据稀疏性问题使得协同过滤算法所要求的近邻搜索准确性降低,以及搜索到的最近邻用户过少,这对整个推荐系统的推荐质量和推荐的准确性产生重要影响,而这个问题对于传统的协同过滤推荐是难以解决的.针对这个问题,通过将用户之间的信任关系与对项目的评分相似性相融合,提出一种融合信任用户的协同过滤推荐算法,利用有向网络图构建的用户之间的信任关系,弥补了仅仅依靠计算用户间相似性不能准确衡量用户之间关系的缺陷.实验结果证明,该算法能够提高系统的推荐质量和准确性.     

基于改进聚类和矩阵分解的协同过滤推荐算法

大数据背景下,对于传统的协同过滤推荐算法在电子商务系统中的数据稀疏性、准确性不高、实时性不足等问题,提出一种改进的协同过滤推荐算法。该算法首先通过矩阵分解实现对原始数据的降维及其数据填充,并引入了时间衰减函数预处理用户评分,用项目的属性向量来表征项目,用用户的兴趣向量来表征用户,通过k-means聚类算法对用户和项目分别进行聚类;然后使用改进相似性度量方法在簇中查找用户的最近邻和项目推荐候选集,产生推荐。实验结果表明,该算法不仅可以有效解决数据稀疏和新项目带来的冷启动问题,而且还可以在多维度下反映用户的兴趣变化,推荐算法的准确度明显提升。     

一种优化聚类的协同过滤推荐算法

针对传统的协同过滤推荐算法存在评分数据稀疏和推荐准确率偏低的问题,提出了一种优化聚类的协同过滤推荐算法。根据用户的评分差异对原始评分矩阵进行预处理,再将得到的用户项目评分矩阵以及项目类型矩阵构造用户类别偏好矩阵,更好反映用户的兴趣偏好,缓解数据的稀疏性。在该矩阵上利用花朵授粉优化的模糊聚类算法对用户聚类,增强用户的聚类效果,并将项目偏好信息的相似度与项目评分矩阵的相似度进行加权求和,得到多个最近邻居。融合时间因素对目标用户进行项目评分预测,改善用户兴趣变化对推荐效果的影响。通过在MovieLens 100k数据集上实验结果表明,提出的算法缓解了数据的稀疏性问题,提高了推荐的准确性。     

基于用户聚类与项目划分的优化推荐算法

针对传统协同过滤推荐算法没有充分考虑用户属性及项目类别划分等因素对相似度计算产生的影响,存在数据稀疏性,从而导致推荐准确度不高的问题.提出一种基于用户属性聚类与项目划分的协同过滤推荐算法,算法对推荐准确度有重要影响的相似度计算进行了充分考虑.先对用户采用聚类算法以用户身份属性聚类,进而再对项目进行类别划分,在相似度计算中增加类别相似度,考虑共同评分用户数通过加权系数进行综合相似度计算,最后结合平均相似度,采用阈值法综合得出最近邻.实验结果表明,所提算法能够有效提高推荐精度,为用户提供更准确的推荐项目.     

基于项目聚类的全局最近邻的协同过滤算法

用户评分数据极端稀疏的情况下,传统相似性度量方法存在弊端,导致推荐系统的推荐质量急剧下降。针对 此问题,提出了一种基于项目聚类的全局最近部的协同过滤算法。该算法根据项目之间的相似性进行聚类,使得相似 性较高的项目聚成一类,在项目聚类集的基础上,计算用户的局部相似度,使用一种新的最近部用户全局相似度作为 衡量用户间相似性的标准;其次,给出了一种利用重叠度因子来调节局部相似度的方法,以更准确地刻画用户之间的 相似性。实验结果表明,该算法可以提升预测结果的准确性,提高推荐质量,特别是在数据较为稀疏时,改善尤为明 显。     

一种基于改进的巴氏系数的协同过滤推荐算法

传统基于邻居的协同过滤推荐方法必须完全依赖用户共同评分项,且存在极为稀疏的数据集中预测准确性不高的问题。巴氏系数协同过滤算法通过利用一对用户的所有评分项进行相似性度量,可以有效改善上述问题。但该种方法也存在两个很明显的缺陷,即未考虑两个用户评分项个数不同时的情况以及没有针对性地考虑用户偏好。在巴氏系数协同过滤算法的基础上进行了改进,既能充分利用用户的所有评分信息,又考虑到用户对项目的积极评分偏好。实验结果表明,改进的巴氏系数协同过滤算法在数据集上获得了更好的推荐结果,提高了推荐的准确度。     

结合用户兴趣度聚类的协同过滤推荐算法

针对传统的协同过滤算法忽略了用户兴趣源于关键词以及数据稀疏的问题,提出了结合用户兴趣度聚类的协同过滤推荐算法。利用用户对项目的评分,并从项目属性中提取关键词,提出了一种新的RF-IIF （rating frequency-inverse item frequency）算法,根据目标用户对某关键词的评分频率和该关键词被所有用户的评分频率,得到用户对关键词的偏好,形成用户—关键词偏好矩阵,并在该矩阵基础上进行聚类。然后利用logistic函数得到用户对项目的兴趣度,明确用户爱好,在类簇中寻找目标用户的相似用户,提取邻居爱好的前◢N◣个物品对用户进行推荐。实验结果表明,算法准确率始终优于传统算法,对用户爱好判断较为准确,缓解了数据稀疏问题,有效提高了推荐的准确率和效率。