基于Spark的分层协同过滤推荐算法

协同过滤是推荐系统中最广泛使用的推荐算法。针对单机模型已经不能满足推荐系统的实时性与扩展性,提出一种基于Spark的分层协同过滤推荐算法。算法首先基于用户时间行为序列构建用户兴趣模型;其次基于RDD实现了并行化EM聚类算法,将用户划分为不同的用户簇;最后基于不同的用户簇实现了并行化Item-based协同过滤推荐算法。通过阿里巴巴天池数据集实验表明,该算法可明显减少推荐时间并提高了推荐准确度,具有良好的可扩展性。     

一种混合模式的协同过滤算法

当今是一个数据爆炸时期,促进信息过滤技术发展,个性化推荐系统作为其中一种重要的应用方式,已经成为很多网站一种个性化信息服务方式,但传统的协同过滤算法存在扩展性和稀疏性的问题。提出一种基于项目聚类、项目语义相似度和奇异值分解的混合推荐模型,来应对传统的协同过滤推荐系统面临的算法的伸缩性问题、数据稀疏性问题和推荐的精准度问题,进行推荐。结果表明,与传统的算法相比,使用该改进算法能显著地提高推荐系统的推荐质量。     

一种基于改进的层次聚类的协同过滤用户推荐算法研究

为了降低组用户推荐的计算时间,提出了一种改进的层次聚类协同过滤用户推荐算法。由于数据的稀疏性,传统的聚类方法在尝试划分用户群时效果不理想。考虑到传统聚类算法的聚类中心不变组内用户间相关度不高等问题,将用户进行聚类,然后按照分类计算出每个用户的推荐结果,在进行聚类的同时充分利用用户间的信息传递来增强组内用户的信息共享,最后将组内所有的用户的推荐结果进行聚合。最后仿真实验表明,本方法能够有效地提高推荐的准确度,比传统的协同过滤算法具有更高的执行效率。     

基于Spark的混合协同过滤算法改进与实现

针对传统协同过滤在推荐过程中存在的稀疏性、扩展性以及个性化问题,通过引入算法集成的思想,旨在优化和改进一种新型的基于Spark平台下的混合协同过滤。借鉴了Stacking集成学习思想,将多个弱推荐器线性加权组合,形成综合性强的推荐器。首先,算法基于近邻协同过滤,结合分类、流行度、好评度等对近邻相似度计算策略进行优化,旨在改善相似度的合理性以及相似度计算的复杂度,在一定程度上改善了评分稀疏性的问题;同时,该算法结合Spark分布式计算平台,充分借鉴分布式平台的优点,利用其流式处理以及分布式存储结构等特性,设计并实现一种推荐算法的增量迭型,解决协同过滤算法扩展性和实时性问题。实验数据采用UCI公用数据集MovieLens和NetFlix电影评分数据,实验结果表明,改进算法在推荐个性化、准确率以及扩展性上都有不错的表现,较以前同类型算法均有不同程度的提高,为推荐系统的应用提供一种可行的算法集成方案。     

基于模范用户的改进协同过滤算法

针对传统协同过滤算法普遍存在的稀疏性和扩展性问题,在传统协同过滤算法的基础上提出一种基于模范用户的协同过滤算法。通过对用户空间的聚类,自动选取模范用户聚类的最优粒度,利用模范用户产生推荐。实验结果表明,与传统协同过滤算法和其他基于聚类策略的算法相比,该算法在明显提高推荐效率的同时对推荐精度和稳定性都有所改进。     

一种改进的协同过滤推荐算法

推荐系统在电子商务中应用广泛,协同过滤是推荐系统中应用最为成功的推荐技术之一。随着电子商务系统数据不断增加,用户-项目评分矩阵稀疏性问题日趋明显,成为推荐系统的瓶颈。本文提出基于LDA的协同过滤改进算法,提升稀疏评分矩阵下的推荐质量。首先,根据用户与项目评分矩阵,建立LDA模型,得到用户-项目概率矩阵,作为协同过滤的原始数据;然后根据属性对项目聚类,对用户-项目概率矩阵进行裁剪;最后,考虑上下文信息,在传统协同过滤相似度计算基础上,通过引入时间因子函数改进相似度计算公式。在Movie Lens数据集上的实验结果表明,本文提出模型的MAE指标优于传统协同过滤算法。     

一种基于情景的协同过滤推荐算法

针对协同过滤推荐算法中数据极端稀疏所带来的推荐精度低下的问题,文中提出一种基于情景的协同过滤推荐算法。通过引入项目情景相似度的概念,基于项目情景相似度改进了用户之间相似度的计算公式,并将此方法应用至用户离线聚类过程中,最终利用用户聚类矩阵和用户评分数据产生在线推荐。实验结果表明,该算法能够在数据稀疏的情况下定位目标用户的最近邻,一定程度上缓解数据极端稀疏性引起的问题,并减少系统在线推荐的时间。     

基于改进Canopy聚类的协同过滤推荐算法

推荐系统通过建立用户和信息产品之间的二元关系,利用用户行为产生的数据挖掘每个用户感兴趣的对象并进行推荐,基于用户的协同过滤是近年来的主流办法,但存在一定局限性：推荐时需要考虑全部用户,而单个用户往往只与少部分用户类似。为了解决这个问题,提出了基于改进Canopy聚类的协同过滤推荐算法,将用户模型数据密度、距离与用户活跃度结合,计算用户数据权值,对用户模型数据进行聚类。由于结合了Canopy的聚类思想,同一用户可以属于不同的类,符合用户可能对多领域感兴趣的情况。最后对每个Canopy中的用户进行相应的推荐,根据聚类结果与用户评分预测用户可能感兴趣的对象。通过在数据集MovieLens和million songs上与对比算法进行MAE、RMSE、NDGG三个指标的比较,验证了该算法能显著提高推荐系统预测与推荐的准确度。     

基于Spark框架的改进协同过滤算法

随着互联网数据量的不断膨胀,单机已经无法在可接受的时间范围内计算完基于大规模数据的推荐算法,也无法存放海量的数据。利用Spark平台内存计算的优点,设计了一种分布式的基于项目的协同过滤算法,利用Spark提供的RDD(resilient distributed dataset)算子完成算法的设计。针对由于数据稀疏而导致的相似度计算不准确的问题,提出了一种利用两项目间公共用户数目进行加权的相似度计算公式,提高了最终推荐结果的准确度。为了改善计算中涉及到的数据表等值连接操作耗时太长的问题,利用自定义的Hash_join函数替代Spark自带的连接操作算子,提高了计算效率。采用UCI的公用数据集MovieLens对算法进行测试,并分别与改进前的算法以及单机运行的算法进行对比,结果表明,改进的算法在准确度和效率方面都有更好的表现。     

协同过滤算法中冷启动问题研究

为了解决传统协同过滤算法的冷启动问题,提高算法的推荐质量,本文针对协同过滤算法中的冷启动问题进行研究,提出了两种改进的算法.新用户冷启动：融合用户信息模型的基于用户的协同过滤算法;新项目冷启动：采用层次聚类的基于项目的协同过滤算法.将新算法在网络开源数据集MovieLens上进行实验验证,比较改进算法和传统算法在查全率和查准率上的差异,结果表明改进算法能够有效地提高算法的推荐质量,缓解新用户和新项目的冷启动问题.     

一种基于Spark的改进随机森林算法

提出一种改进随机森林算法(SP-RF).通过建立数据抽样索引表和随机特征索引表来实现随机森林算法在Spark上的并行化;通过计算随机森林算法中每个决策树的AUC值来给分类能力不同的决策树分配权重;提高随机森林算法在投票环节的分类精度.实验结果表明改进后的随机森林算法分类精度平均提高5％,运行时间平均减少25％以上.     

一种基于Spark的改进随机森林算法

提出一种改进随机森林算法(SP-RF).通过建立数据抽样索引表和随机特征索引表来实现随机森林算法在Spark上的并行化;通过计算随机森林算法中每个决策树的AUC值来给分类能力不同的决策树分配权重;提高随机森林算法在投票环节的分类精度.实验结果表明改进后的随机森林算法分类精度平均提高5％,运行时间平均减少25％以上.     

基于组合相似度的优化协同过滤算法

协同过滤算法是个性化推荐系统中应用最广泛的一种推荐技术。随着用户数量和项目数量的增加,数据的稀疏性成为影响推荐质量的重要因素。为此,将传统相似度指标修正余弦相似性、Pearson相似度,与结构相似度指标Jaccard系数、Salton系数、IUF系数进行组合,提出6种组合相似度。在Movie Lens上的实验表明,基于组合相似度的优化协同过滤算法在平均绝对偏差MAE、均方根误差RMSE、召回率、覆盖率和确率等性能上都有了较大提高,提高了推荐质量。     

一种巴氏系数改进相似度的协同过滤算法

针对传统协同过滤算法中评分数据稀疏性及所造成推荐质量不高的问题,提出一种巴氏系数(Bhattacharyya Coefficient)改进相似度的协同过滤算法。在基于近邻协同过滤算法基础上,首先利用Jaccard相似性来计算用户间的全局相似性;其次使用巴氏系数获得评分分布的整体规律,并结合Pearson相关系数来计算其局部相似性;最后融合全局相似性和局部相似性得到最终的相似度矩阵。实验结果表明,该算法在稀疏数据集上获得更好的推荐结果,有效地缓解了评分数据稀疏性问题,提高了推荐的准确度。     

基于时间加权的协同过滤算法研究

协同过滤算法是目前个性化推荐系统中应用最成功的推荐算法之一,但传统的算法没有考虑用户兴趣漂移的问题,导致推荐系统的推荐质量下降.针对这个问题,提出了基于时间加权的协同过滤算法.实验表明,改进的算法提高了推荐系统的推荐质量.     

改进相似性度量方法的协同过滤推荐算法

协同过滤推荐技术是电子商务推荐系统中应用最成功的个性化推荐技术。但随着电子商务规模的扩大,用户数目和商品数目呈指数级的增长,传统的推荐技术其性能越来越差。因此提出一种新的相似性度量方法,自动生成权重因子,以动态组合项目属性相似度和评分相似度,形成合理的项目相似度,产生项目最近邻居,实现用户评分推荐。实验结果表明,所提的算法在一定程度上提高了推荐的稳定性和精确度,同时解决冷启动问题。     

改进的基于用户数据的协同过滤推荐方法

协同过滤算法中最重要的一步是寻找相似用户,但用户评分数据的稀疏以及不诚实用户等问题,使仅仅依赖用户评分数据的传统协同过滤方法寻找的相似用户不够准确。在改进的基于用户数据的推荐算法中,用到用户评分数据和用户信息两种用户数据,通过对用户信息进行量化,得到用户信息矩阵。分别使用用户商品评分矩阵和用户信息矩阵来计算用户相似值,通过综合两种相似值来计算得到相似用户,并且通过加权来修正不诚实用户问题,通过筛选推荐用户来解决用户数据稀疏性问题。实验结果表明该方法能够有效地提高推荐精度。     

基于项目特征聚类的协同过滤推荐算法

提出基于项目特征聚类的Item-based协同过滤推荐算法.该算法首先根据项目的属性特征对项目进行聚类,形成其特征相似群,然后采用一种基于预评分的相似性度量方法计算目标项的最近邻居,最终产生推荐.经实验验证该算法可以有效解决用户评分数据稀疏性和冷启动的难题,而且可以显著提高系统推荐质量.     

基于用户兴趣模型的协同过滤推荐算法

协同过滤推荐算法是目前应用最广泛个性化推荐技术,其中用户相似度的计算方法是影响推荐算法质量的关键因素。针对传统协同过滤算法中稀疏评分数据造成的用户相似度计算不准确问题,提出一种基于用户兴趣模型的协同过滤推荐算法。该算法使用分布估计算法建立用户兴趣模型,并使用用户兴趣模型计算用户间相似度。实验表明,该算法的准确性受数据稀疏性影响较小,同时在收敛速度和推荐准确性方面有明显提高。     

改进PMVS三维重建点云滤波算法

针对在小范围场景进行单目视觉三维重建过程中,稠密点云模型存在大量离群点的现象,提出一种改进的点云滤波算法.将多视图稠密重建(Patch-based Multi-View Stereo,PMVS)算法与统计分析法相融合,对利用PMVS算法得到的稠密点云进行统计分析,设定标准距离并求解点云中每一个点到其所有邻近点的平均距离...