基于Spark的分层协同过滤推荐算法

协同过滤是推荐系统中最广泛使用的推荐算法。针对单机模型已经不能满足推荐系统的实时性与扩展性,提出一种基于Spark的分层协同过滤推荐算法。算法首先基于用户时间行为序列构建用户兴趣模型;其次基于RDD实现了并行化EM聚类算法,将用户划分为不同的用户簇;最后基于不同的用户簇实现了并行化Item-based协同过滤推荐算法。通过阿里巴巴天池数据集实验表明,该算法可明显减少推荐时间并提高了推荐准确度,具有良好的可扩展性。     

基于Spark的智能菜品推荐系统设计与实现

为解决人们“每天不知道吃什么”的烦恼,采用Spark分布式处理框架,结合分布式存储数据库(MongoDB)、日志收集系统(Flume)、分布式系统文件(HDFS)等工具,实现对菜品实时评分及特色化推荐。系统包含菜品评分及储存模块、评分数据处理模块、菜品推荐模块、推荐结果展示模块等,其中推荐模块采用协同过滤推荐算法。使用测评方法和指标验证3种推荐模型的有效性,根据测评结果设计并实现以基于物品的推荐模型为主、以基于Spark ALS的推荐模型为辅的智能菜品推荐系统。该系统能够快速准确地推荐顾客喜欢的菜品,提高了商家的服务效率和顾客的满意度,可用性较高。     

基于位置社交网络的地点推荐算法

目前基于协同过滤的地点推荐算法存在难以准确估算用户偏好、推荐结果准确性不高等问题。改进了传统协同过滤中相似用户计算方法,在迭代过程中分别计算用户相似度和地点相似度的值,并不断交叉调整对方的值,直至收敛。该方法能够在稀疏的数据集下准确计算用户相似性。此外,在top-N推荐阶段,同时考虑了用户的兴趣度和推荐地点离用户所在地距离的影响,并设置阈值控制二者的权重,自适应地产生推荐结果。实验表明,与其它方法相比该方法能够获得更好的推荐效果。     

Spark平台下基于上下文信息的影片混合推荐

响应速度较慢和推荐内容与用户上下文信息匹配程度低是当前影片推荐系统迫切需要解决的问题。针对上述挑战,提出Spark平台下基于上下文信息的影片混合推荐方法。它利用分布式并行计算技术Spark进行加速,来提高系统对于海量数据的检索与计算速度,从而减少了系统响应时间。同时该方法将“上下文推荐”和“交替最小二乘的协同过滤（ALS）”融合成一种混合推荐方法,提高了系统的推荐精度。实验结果表明,所提出的混合推荐方法有不错的效果。     

基于Spark的矩阵分解推荐算法

针对传统矩阵分解算法在处理海量数据信息时所面临的处理速度和计算资源的瓶颈问题,利用Spark在内存计算和迭代计算上的优势,提出了Spark框架下的矩阵分解并行化算法。首先,依据历史数据矩阵初始化用户因子矩阵和项目因子矩阵;其次,迭代更新因子矩阵,将迭代结果置于内存中作为下次迭代的输入;最后,迭代结束时得到矩阵推荐模型。通过在GroupLens网站上提供的MovieLens数据集上的实验结果表明,加速比(Speedup)值达到了线性的结果,该算法可以提高协同过滤推荐算法在大数据规模下的执行效率。     

基于Spark的并行化协同深度推荐模型

协同深度学习（Collaborative Deep Learning,CDL）利用神经网络极强的特征学习能力和模型拟合鲁棒性,解决了推荐系统在数据稀疏的情况下性能表现急剧下降的问题。但当推荐系统面临大量数据时,导致模型训练变得难以维护,进而出现多种不可预料的问题。为解决上述问题,对协同深度学习及其并行化方法进行了研究,提出了一种针对项目内容学习优化的改进模型协同深度推荐（CDL with item private node,CDL-i）,通过对传统CDL中的自编码网络进行改进,增加私有网络节点,在模型的网络参数共享情况下,为每个项目添加私有偏置项,使网络能够更针对性地学习到项目内容参数,改进了模型在推荐系统中对项目内容的探测性能。同时对算法进行并行化改进,通过对模型进行拆分,提出一种并行训练CDL-i的方法,将其移植到Spark分布式集群上,并行地对模型各部分参数进行训练优化,增强模型所能处理数据的规模和扩展性。通过在多个真实数据集上的实验,验证了提出的并行深度推荐算法的有效性和高效性。     

基于Spark的混合推荐算法研究

随着电子商务的发展,基于协同过滤的推荐算法越来越受欢迎,与此同时,该算法的缺陷也越来越明显,如数据稀疏性、系统可扩展性等。另外传统的单机计算模型也难以满足海量数据的实时推荐需求。为此,提出一种利用Spark计算模型实现分布式推荐的方法。该推荐方法采用基于谱聚类和朴素贝叶斯的混合推荐算法,同时使用增量式更新,在不全部重新训练模型的基础上,对模型进行局部修改。实验结果表明,较传统的单机模式推荐算法,基于Spark计算模型的分布式推荐算法,在一定程度上克服了数据稀疏性,提高了系统的可扩展性,降低了系统的响应时间。     

基于混合算法的图书馆个性化推荐系统

随着图书馆藏书数量的逐年增加,对于读者而言,从大量符合基本条件的图书中找出完全满足自己要求的已经越来越难了,特别是在这种检索只是基于标题或者作者等简单关键词的前提下。基于此,文章提出了一个基于混合算法的图书个性化推荐系统。首先研究了协同过滤和基于内容的推荐算法在图书推荐中的应用,包括用户分类及相似度的计算、建立条目评分矩以及构建向量空间模型。并针对高校图书和读者的特点,改进了用户条目评分矩阵,采用聚类方法来缓解数据稀疏性问题,利用混合算法对安庆师范大学图书馆的藏书数据集进行对比实验。结果表明,与传统方法相比,混合方法能提供更准确的建议。最后,利用Hadoop的Spark大数据平台实现个性化图书推荐系统架构设计。     

基于注意力模型的混合推荐系统

推荐系统作为信息爆炸时代下解决信息过载问题的重要方式受到了越来越大的关注。传统的推荐系统普遍存在精度不高、评价标准不明确等缺陷,将机器学习尤其是深度学习技术引入推荐系统将有效改善上述缺陷及瓶颈。提出了一种基于注意力模型的混合推荐系统,利用深度神经网络中的注意力模型对特定推荐商品的物品属性进行加权分配,获得预推荐商品的用户认可度评分;通过自适应增强模型替换传统的损失排序模型,使得精确度、召回率等相关评价指标获得较大提升。在现有推荐系统评价指标的基础上,首次引入了用户群体评价认可度指标,通过认可度指标可以在用户体验维度对推荐系统性能给出更精确的评价。     

基于Spark的矩阵分解与最近邻融合的推荐算法

随着当前移动互联网的快速发展,人们所面临的信息过载问题变得尤为严重,大数据场景下对特定用户的个性化推荐面临着巨大挑战. 为了进一步提高推荐的时效性、准确度以及缓解面临的大数据量. 提出了一种矩阵分解推荐算法在大数据环境下的优化算法模型. 该模型通过在传统矩阵分解推荐算法的基础上融合了用户以及物品的相似性计算,在训练目标函数的过程中,即融入用户以及物品的前k个最近邻居的相似性计算,增强了算法的推荐准确度. 利用Spark在内存计算以及迭代计算上的优势,设计了一种Spark框架下的矩阵分解与最近邻融合的推荐算法. 通过在经典数据集—MovieLens数据集上的实验结果表明,该算法与传统的矩阵分解推荐算法相比,可以很好的缓解数据稀疏性,提高推荐算法的准确度,并且在计算效率方面也优于现有的矩阵分解推荐算法.     

基于云填充和混合相似性的协同过滤推荐算法的研究

针对传统推荐算法的相似性度量准确性不高及数据极端稀疏性等问题,提出一种基于云填充和混合相似性的协同过滤推荐算法。首先通过云模型填充用户-项目评分矩阵,然后对相似性度量方法进行改进,将基于时间序列的用户间影响力融合到基于Jaccard系数的相似性度量方法中。在MovieLens数据集上的验证结果表明,改进后的算法提高了推荐精度同时在一定程度上克服了数据稀疏性的影响。     

协同过滤系统项目冷启动的混合推荐算法

研究协同过滤推荐系统中的冷启动问题,运用基于内容预测的方法,对系统内未被用户评价过的项目进行评分预测,应用2种优化步骤,过滤掉预测不准确的用户的评分。在此基础上用协同过滤的方法产生推荐,使传统推荐算法中无法推荐给用户的项目得到推荐机会。通过一系列实验证明,该混合推荐算法能保证推荐准确性,提高了新项目的推荐概率。     

基于协同过滤的图书推荐系统

在商业领域,推荐系统被广泛用于向用户推荐符合其个人偏好的产品、服务或内容。借助这一技术建立图书推荐系统可以有效提高图书馆的服务水平。所提出的图书推荐系统是使用协同过滤技术通过对具有相似阅读习惯读者的借书数据进行偏好评分计算,从而为指定读者推荐符合其偏好的图书列表。为了解决推荐系统中所存在的数据稀疏性、评分的系统偏差以及图书偏好的量化等问题,该研究采用了矩阵分解、在评分中引入偏差值以及使用带时间戳的借阅记录生成偏好量化数值等解决方法。实验结果表明该推荐系统具有较好的准确度。     

基于协同过滤和隐语义模型的混合推荐算法

协同过滤算法一般根据用户的评价信息来推测用户的喜好,但受到数据稀疏问题的影响,很多时候无法得到较为理想的推荐结果;除此之外,一般协同推荐算法忽略了用户兴趣的动态变化;文中提出的算法主要融合了相似度传递、用户兴趣迁移、隐语义模型等用以解决上述问题。首先提出了基于项目相似度的协同推荐算法。该算法深入研究了改进的余弦相似度方法,在执行过程中首先需要对项目进行信任关系建模,基于此来传递相似度,然后将这两部分相似度关系进行加权得到新的项目相似关系,可以将其应用到项目的评分中。其次,提出了基于用户兴趣迁移的隐语义模型推荐算法。该算法引入时间函数,重构用户的兴趣模型,实现对传统模型的修正,然后再使用梯度下降法来求解。最后,采用线性融合的办法,将以上两种算法进行融合。实验对比结果表明,混合推荐算法的推荐准确率较原先的算法有了较大的提高,因为它可以对丢失的信息进行补充,对于用户兴趣的变化能够较好的适应,同时大大弱化了数据的稀疏导致的一系列负面影响。     

基于项目和信任的协同过滤推荐算法

为解决冷启动用户的推荐问题,对TrustWalker算法在相似度计算、可能性项目选择和预测评分等方面进行改进,提出一种基于项目和信任的协同过滤推荐算法CoTrustWalker。采用云模型相似度方法计算项目间的相似度,通过选择最相似的若干个项目的聚合结果作为随机游走的返回结果,从而提高推荐结果的稳定性。实验结果表明,CoTrustWalker算法在小规模数据集上与TrustWalker算法相比,其推荐质量和推荐速度均有较大提高。     

基于聚类分析的电子商务推荐系统

协同过滤技术可以通过分析客户群共同的消费品味来形成推荐。数据稀缺性问题是协同过滤技术面临的主要挑战。文章利用ROCK聚类算法提出了一种基于协同过滤技术的推荐系统模型,该模型可以有效地解决基于协同推荐的数据稀缺性问题。     

基于KNN-GBDT的混合协同过滤推荐算法

针对传统基于单分类的推荐算法容易陷入单指标最优的困境和推荐精度低的问题,提出一种融合K-最近邻(KNN)和Gradient Boosting(GBDT)的协同过滤推荐算法.该算法利用K-最近邻法过滤出目标用户的多组候选最近邻居集,并综合集成学习的优点,采用多分类器对多组推荐结果进行集成.在相似度计算公式中引入了若只...     

基于深度神经网络的个性化混合商品推荐模型

针对推荐系统广泛采用的协同过滤算法存在的稀疏性和冷启动问题,提出了一种基于深度神经网络和动态协同滤波的推荐模型.该模型采用预训练BERT模型结合双向GRU从用户和商品评论中提取隐含特征向量,利用耦合CNN构建评分预测矩阵,通过动态协同滤波融入用户兴趣变化的时间特征.在亚马逊公开数据集上进行实验,结果表明该模型提高了商品...