基于IRGAN模型和Hadoop的电影推荐系统的设计

随着近几年人工智能技术的飞速发展,深度学习技术在推荐系统领域中的应用也已经成为研究热点之一。尤其是生成对抗网络(GAN)作为无监督学习中最具前景的方法之一,在图像处理和自然语言等领域取得突破性进展。针对目前存在的电影市场规模扩大、观影用户数量增长过快以及电影资源更新频繁等带来的数据利用率低、系统压力大、实时性差等弊端,结合Hadoop、Spark和Kafka等大数据处理技术,设计基于IRGAN算法模型的离线推荐模块和基于在线用户行为数据收集处理的在线推荐模块。实现了基于IRGAN模型和Hadoop的电影推荐系统。测试表明,该系统具有良好的推荐准确性、稳定性和实时性。     

基于Spark的分层协同过滤推荐算法

协同过滤是推荐系统中最广泛使用的推荐算法。针对单机模型已经不能满足推荐系统的实时性与扩展性,提出一种基于Spark的分层协同过滤推荐算法。算法首先基于用户时间行为序列构建用户兴趣模型;其次基于RDD实现了并行化EM聚类算法,将用户划分为不同的用户簇;最后基于不同的用户簇实现了并行化Item-based协同过滤推荐算法。通过阿里巴巴天池数据集实验表明,该算法可明显减少推荐时间并提高了推荐准确度,具有良好的可扩展性。     

电影推荐系统的设计与实现

采用Python作为主要开发语言,利用Scrapy抓取电影信息作为基础数据集,设计实现了一个电影推荐系统。该系统采用基于用户的协同过滤算法实现电影推荐,并包括以下几个主要功能:用户注册、用户登录、电影大厅(提供电影筛选服务)、标签管理、电影的个性化推荐、影评、详细影片信息查看、个人喜好列表维护、个人信息修改等,为用户提供个性化的电影推荐服务。     

基于Spark的智能菜品推荐系统设计与实现

为解决人们“每天不知道吃什么”的烦恼,采用Spark分布式处理框架,结合分布式存储数据库(MongoDB)、日志收集系统(Flume)、分布式系统文件(HDFS)等工具,实现对菜品实时评分及特色化推荐。系统包含菜品评分及储存模块、评分数据处理模块、菜品推荐模块、推荐结果展示模块等,其中推荐模块采用协同过滤推荐算法。使用测评方法和指标验证3种推荐模型的有效性,根据测评结果设计并实现以基于物品的推荐模型为主、以基于Spark ALS的推荐模型为辅的智能菜品推荐系统。该系统能够快速准确地推荐顾客喜欢的菜品,提高了商家的服务效率和顾客的满意度,可用性较高。     

基于专家系统的个性化推荐系统的设计与实现

随着互联网及物流运输行业的快速发展,越来越多的人选择在网上挑选服饰类商品。基于服饰类商品具有重复购买率低、搭配性强、受当季流行因素影响大等特点,提出了一种基于协同过滤与专家推荐的混合推荐策略,在为商品引入流行因子的基础之上,为用户提供了一种更为个性化、时尚化的推荐结果。由于业务系统涵盖了海量的商品及用户数据,单机计算系统难以满足推荐系统对计算资源的需求,在基于Hadoop平台的基础之上,构建了一套离线分布式推荐系统,为解决大数据应用背景下的数据计算问题提供了可行性案例。     

Spark平台下基于上下文信息的影片混合推荐

响应速度较慢和推荐内容与用户上下文信息匹配程度低是当前影片推荐系统迫切需要解决的问题。针对上述挑战,提出Spark平台下基于上下文信息的影片混合推荐方法。它利用分布式并行计算技术Spark进行加速,来提高系统对于海量数据的检索与计算速度,从而减少了系统响应时间。同时该方法将“上下文推荐”和“交替最小二乘的协同过滤（ALS）”融合成一种混合推荐方法,提高了系统的推荐精度。实验结果表明,所提出的混合推荐方法有不错的效果。     

基于Spark的实时广告推荐系统研究

随着信息技术及智能移动设备的发展和普及,广告的推送方式和投放平台呈现多样化。传统电商推荐系统的运行速度较慢,无法根据根据用户的实际需求进行推荐。实时广告推荐系统作为应对这些挑战的有效手段,成为个性化服务领域的研究热点之一。文章重点分析了基于Spark的实时广告推荐系统,以期为相关研究提供借鉴。     

基于Scala的电影推荐系统的设计与实现

为解决在大数据环境下,网络信息快速膨胀导致的“信息过载”问题,即用户无法从海量信息中快速准确获取有用信息。提出在基于Scala语言的Spark平台下,运用基于模型的协同过滤推荐算法,通过分析样本用户对电影的评分数据,建立电影的向量模型,最后根据与实时的用户数据的对比对用户进行电影推荐。实验结果表明基于模型的协同过滤算法的电影推荐系统能够准确地为用户推荐电影信息。     

基于Spark并行化改进混合地点推荐

推荐算法是数据挖掘中最重要的算法之一.地点推荐是推荐系统的重要研究内容.针对目前地点推荐面临的数据稀疏、冷启动、个性化程度低等问题,设计并实现了基于Spark并行化处理的改进混合地点推荐模型.该算法融合了基于内容的推荐和基于协同过滤的推荐,结合了用户当前的偏好和其他用户的意见.使用基于用户-地点属性偏好的矩阵填充方式,以此改善数据稀疏性问题;同时,对于海量数据,系统采用Spark分布式集群实现并行计算,缩短了模型训练时间.实验结果表明,与其他推荐算法相比,该算法能有效改善数据稀疏性、提升推荐效果.     

基于Spark的矩阵分解推荐算法

针对传统矩阵分解算法在处理海量数据信息时所面临的处理速度和计算资源的瓶颈问题,利用Spark在内存计算和迭代计算上的优势,提出了Spark框架下的矩阵分解并行化算法。首先,依据历史数据矩阵初始化用户因子矩阵和项目因子矩阵;其次,迭代更新因子矩阵,将迭代结果置于内存中作为下次迭代的输入;最后,迭代结束时得到矩阵推荐模型。通过在GroupLens网站上提供的MovieLens数据集上的实验结果表明,加速比(Speedup)值达到了线性的结果,该算法可以提高协同过滤推荐算法在大数据规模下的执行效率。     

基于协同过滤和NodeJS的电影推荐系统研究

随着时代的发展,越来越多的年轻人把电影当成解压的一种方式。但当前视频软件一般只推荐热度高、最新上映和评分较高的电影,不一定适合每个用户。笔者基于协同过滤和NodeJS构建简单的电影推荐系统,使用最小交替二乘法（Alternating Least Squares,ALS）构建电影推荐模型,使用Vue+Element-UI的组件化架构提升系统的可操作性。用户借助该系统可以及时找到感兴趣的电影,有利于节省时间,精准高效。     

基于Hadoop平台协同过滤推荐算法

针对协同过滤推荐算法在数据稀疏性及在大数据规模下系统可扩展性的两个问题, 在分析研究Hadoop分布式平台与协同过滤推荐算法后, 提出了一种基于Hadoop平台实现协同过滤推荐算法的优化方案. 实验证明, 在Hadoop平台上通过MapReduce结合Hbase数据库实现算法, 能够有效地提高协同过滤推荐算法在大数据规模下的执行效率, 从而能够进一步地搭建低成本高性能、动态扩展的分布式推荐引擎.     

基于Spark的并行化协同深度推荐模型

协同深度学习（Collaborative Deep Learning,CDL）利用神经网络极强的特征学习能力和模型拟合鲁棒性,解决了推荐系统在数据稀疏的情况下性能表现急剧下降的问题。但当推荐系统面临大量数据时,导致模型训练变得难以维护,进而出现多种不可预料的问题。为解决上述问题,对协同深度学习及其并行化方法进行了研究,提出了一种针对项目内容学习优化的改进模型协同深度推荐（CDL with item private node,CDL-i）,通过对传统CDL中的自编码网络进行改进,增加私有网络节点,在模型的网络参数共享情况下,为每个项目添加私有偏置项,使网络能够更针对性地学习到项目内容参数,改进了模型在推荐系统中对项目内容的探测性能。同时对算法进行并行化改进,通过对模型进行拆分,提出一种并行训练CDL-i的方法,将其移植到Spark分布式集群上,并行地对模型各部分参数进行训练优化,增强模型所能处理数据的规模和扩展性。通过在多个真实数据集上的实验,验证了提出的并行深度推荐算法的有效性和高效性。     

基于Hadoop的协同过滤推荐算法

在电子商务推荐系统中,协同过滤算法技术是主要的采用技术,而推荐系统的准确率受相似度方法的直接影响。本文通过对用户共同评分项的流行度和用户的特征之间的相关性的分析,给出了改进的相似度度量方法及相应的协同过滤推荐算法,设计并实现了基于Hadoop的协同过滤推荐系统。利用MAE分别对原始协同过滤推荐效果和改进后的推荐算法进行测评,结果表明,该算法在一定程度上提高了推荐的准确度。同时,对分布式推荐平台的整体性能实验表明,随着虚拟机节点的适度增加,协同过滤推荐引擎的计算时间不断减少,这表明推荐引擎的总体性能较传
　　统单机推荐引擎得到提升。     

基于Spark和微服务架构的电影推荐系统设计与实现

推荐系统广泛应用于人们生活的多个领域,日常生活中常见的有电商、电影、音乐和新闻推荐等.推荐系统根据用户的历史偏好主动推送相关的信息,节约了用户的时间,极大地提升了用户的体验.随着大数据技术的发展成熟,数据处理的速度变得更快.该文选取MovieLens电影数据集,并基于大数据分布式处理框架Spark和交替最小二乘法ALS...     

基于Spark的矩阵分解与最近邻融合的推荐算法

随着当前移动互联网的快速发展,人们所面临的信息过载问题变得尤为严重,大数据场景下对特定用户的个性化推荐面临着巨大挑战. 为了进一步提高推荐的时效性、准确度以及缓解面临的大数据量. 提出了一种矩阵分解推荐算法在大数据环境下的优化算法模型. 该模型通过在传统矩阵分解推荐算法的基础上融合了用户以及物品的相似性计算,在训练目标函数的过程中,即融入用户以及物品的前k个最近邻居的相似性计算,增强了算法的推荐准确度. 利用Spark在内存计算以及迭代计算上的优势,设计了一种Spark框架下的矩阵分解与最近邻融合的推荐算法. 通过在经典数据集—MovieLens数据集上的实验结果表明,该算法与传统的矩阵分解推荐算法相比,可以很好的缓解数据稀疏性,提高推荐算法的准确度,并且在计算效率方面也优于现有的矩阵分解推荐算法.     

基于混合算法的图书馆个性化推荐系统

随着图书馆藏书数量的逐年增加,对于读者而言,从大量符合基本条件的图书中找出完全满足自己要求的已经越来越难了,特别是在这种检索只是基于标题或者作者等简单关键词的前提下。基于此,文章提出了一个基于混合算法的图书个性化推荐系统。首先研究了协同过滤和基于内容的推荐算法在图书推荐中的应用,包括用户分类及相似度的计算、建立条目评分矩以及构建向量空间模型。并针对高校图书和读者的特点,改进了用户条目评分矩阵,采用聚类方法来缓解数据稀疏性问题,利用混合算法对安庆师范大学图书馆的藏书数据集进行对比实验。结果表明,与传统方法相比,混合方法能提供更准确的建议。最后,利用Hadoop的Spark大数据平台实现个性化图书推荐系统架构设计。