基于Spark平台的混合推荐系统研究

在信息化时代,海量的数据信息使得用户难以获取自身感兴趣的物品或许连用户自己都不知道的潜在物品信息,这时候就需要转变思维方式,让物品信息主动找到所需要它的用户.推荐系统就是实现这一理论的中介者,以Spark平台为基础和其他相关联的大数据技术,采用分布式日志收集框架Flume收集用户隐式的行为信息,再将获取的日志数据信息进...     

基于Spark的混合推荐算法研究

随着电子商务的发展,基于协同过滤的推荐算法越来越受欢迎,与此同时,该算法的缺陷也越来越明显,如数据稀疏性、系统可扩展性等。另外传统的单机计算模型也难以满足海量数据的实时推荐需求。为此,提出一种利用Spark计算模型实现分布式推荐的方法。该推荐方法采用基于谱聚类和朴素贝叶斯的混合推荐算法,同时使用增量式更新,在不全部重新训练模型的基础上,对模型进行局部修改。实验结果表明,较传统的单机模式推荐算法,基于Spark计算模型的分布式推荐算法,在一定程度上克服了数据稀疏性,提高了系统的可扩展性,降低了系统的响应时间。     

个性化广告推荐系统及其应用研究

近年来,随着互联网及智能移动设备的发展和普及,丰富了广告的推送方式和投放平台.但是传统的广告推送无法满足用户对个性化广告的需求,导致用户对广告产生抵触情绪,给广告推送带来极大的挑战.个性化广告推荐系统作为应对这些挑战的有效手段,成为个性化服务领域的研究热点之一.个性化广告推荐系统获取用户兴趣偏好,利用多种个性化广告推荐...     

Spark平台下基于上下文信息的影片混合推荐

响应速度较慢和推荐内容与用户上下文信息匹配程度低是当前影片推荐系统迫切需要解决的问题。针对上述挑战,提出Spark平台下基于上下文信息的影片混合推荐方法。它利用分布式并行计算技术Spark进行加速,来提高系统对于海量数据的检索与计算速度,从而减少了系统响应时间。同时该方法将“上下文推荐”和“交替最小二乘的协同过滤（ALS）”融合成一种混合推荐方法,提高了系统的推荐精度。实验结果表明,所提出的混合推荐方法有不错的效果。     

基于Spark的并行化协同深度推荐模型

协同深度学习（Collaborative Deep Learning,CDL）利用神经网络极强的特征学习能力和模型拟合鲁棒性,解决了推荐系统在数据稀疏的情况下性能表现急剧下降的问题。但当推荐系统面临大量数据时,导致模型训练变得难以维护,进而出现多种不可预料的问题。为解决上述问题,对协同深度学习及其并行化方法进行了研究,提出了一种针对项目内容学习优化的改进模型协同深度推荐（CDL with item private node,CDL-i）,通过对传统CDL中的自编码网络进行改进,增加私有网络节点,在模型的网络参数共享情况下,为每个项目添加私有偏置项,使网络能够更针对性地学习到项目内容参数,改进了模型在推荐系统中对项目内容的探测性能。同时对算法进行并行化改进,通过对模型进行拆分,提出一种并行训练CDL-i的方法,将其移植到Spark分布式集群上,并行地对模型各部分参数进行训练优化,增强模型所能处理数据的规模和扩展性。通过在多个真实数据集上的实验,验证了提出的并行深度推荐算法的有效性和高效性。     

基于Spark的分层协同过滤推荐算法

协同过滤是推荐系统中最广泛使用的推荐算法。针对单机模型已经不能满足推荐系统的实时性与扩展性,提出一种基于Spark的分层协同过滤推荐算法。算法首先基于用户时间行为序列构建用户兴趣模型;其次基于RDD实现了并行化EM聚类算法,将用户划分为不同的用户簇;最后基于不同的用户簇实现了并行化Item-based协同过滤推荐算法。通过阿里巴巴天池数据集实验表明,该算法可明显减少推荐时间并提高了推荐准确度,具有良好的可扩展性。     

浅析基于微博内容的商家广告推荐系统

微博数据挖掘所要做的工作就是从这些随机的、模糊的、有噪声的、不完全的、大量的数据中提取潜在有用的信息。通过分析把握重点博友、热点词语、传播规律等来对微博传播规律进行体会,精炼这些数据,从而提高微博内容传播的广度和速度,另外,也可以从中发现商机,获得相应的商业利益。本文首先阐述了微博的特点及在我国的发展;其次,分析了传统微博广告营销的弊端,同时,结合笔者的工作经验,就基于微博内容的商家广告推荐系统的应用进行了深入的探讨,提出了自己的建议和看法,具有一定的参考价值。     

基于Spark和微服务架构的电影推荐系统设计与实现

推荐系统广泛应用于人们生活的多个领域,日常生活中常见的有电商、电影、音乐和新闻推荐等.推荐系统根据用户的历史偏好主动推送相关的信息,节约了用户的时间,极大地提升了用户的体验.随着大数据技术的发展成熟,数据处理的速度变得更快.该文选取MovieLens电影数据集,并基于大数据分布式处理框架Spark和交替最小二乘法ALS...     

基于Spark的智能菜品推荐系统设计与实现

为解决人们“每天不知道吃什么”的烦恼,采用Spark分布式处理框架,结合分布式存储数据库(MongoDB)、日志收集系统(Flume)、分布式系统文件(HDFS)等工具,实现对菜品实时评分及特色化推荐。系统包含菜品评分及储存模块、评分数据处理模块、菜品推荐模块、推荐结果展示模块等,其中推荐模块采用协同过滤推荐算法。使用测评方法和指标验证3种推荐模型的有效性,根据测评结果设计并实现以基于物品的推荐模型为主、以基于Spark ALS的推荐模型为辅的智能菜品推荐系统。该系统能够快速准确地推荐顾客喜欢的菜品,提高了商家的服务效率和顾客的满意度,可用性较高。     

基于Spark的矩阵分解推荐算法

针对传统矩阵分解算法在处理海量数据信息时所面临的处理速度和计算资源的瓶颈问题,利用Spark在内存计算和迭代计算上的优势,提出了Spark框架下的矩阵分解并行化算法。首先,依据历史数据矩阵初始化用户因子矩阵和项目因子矩阵;其次,迭代更新因子矩阵,将迭代结果置于内存中作为下次迭代的输入;最后,迭代结束时得到矩阵推荐模型。通过在GroupLens网站上提供的MovieLens数据集上的实验结果表明,加速比(Speedup)值达到了线性的结果,该算法可以提高协同过滤推荐算法在大数据规模下的执行效率。     

基于Spark的实时视频分析系统

视频监控技术在交通管理、公共安全、智慧城市等方面有着广泛的应用前景,且向着智能识别、实时处理、大数据分析的方向发展. 本文针对大规模实时视频监控提出了新的解决方案. 基于Spark streaming流式计算、分布式存储及OLAP框架,使多路视频处理在可扩展性、容错性及数据多维聚合分析上具有明显的优势. 系统根据视频处理算法划分为单机处理与分布式处理. 并将视频图像处理与数据分析耦合,利用Kafka消息队列与Spark streaming完成对多路视频输出数据的进一步操作. 结合分布式存储方案,并利用OLAP框架实现对海量数据实时多维聚合分析与高效实时查询.     

基于内容过滤的电子商务推荐系统研究

个性化推荐在网络应用中能有效提高服务质量,在电子商务中的表现更加突出.论述了基于内容过滤的电子商务推荐系统,利用向量空间模型挖掘用户独特的兴趣特征,然后根据产品信息特征的量化值产生推荐序列,并根据用户的反馈信息自适应学习,以提高系统的综合性能.实验结果表明,基于内容过滤的推荐方法其总体性能随时间的推移得到了提高.     

基于多模信息融合的个性化推荐系统的研究

为了解决信息过载的问题,我们可以通过在用户和产品之间建立二元关系的方法,利用已经拥有的比较相似的关系或者选择过程,挖掘出各用户可能感兴趣的对像。目前解决信息过载问题最有效的工具就是个性化推荐,该文利用不同的推荐算法,简单介绍了协同过滤系统,基于内容的推荐系统,基于用户—产品二部图网络结构的推荐系统,混合推荐系统。并分析这些推荐系统的特点以及存在的缺陷,帮助读者了解这个研究领域。     

基于用户访问序列的实时网页推荐研究

应用序列模式挖掘的网页推荐系统具有较高的准确率。但是,目前广泛应用的基于树型结构的序列模式挖掘在页面推荐前需花费大量时间来统计历史访问页面的访问次数,降低了推荐效率。本文介绍了一种智能化网页推荐系统模型,该方法无需统计每个页面的访问次数,避免了重复访问数据库,且利用用户即时访问的滑动窗口,直接在模式树中搜索相匹配的访问规则,加快了推荐速度,较好地满足页面推荐实时快速的要求,最后试验表明其具有较好的推荐效果。     

基于Spark并行化改进混合地点推荐

推荐算法是数据挖掘中最重要的算法之一.地点推荐是推荐系统的重要研究内容.针对目前地点推荐面临的数据稀疏、冷启动、个性化程度低等问题,设计并实现了基于Spark并行化处理的改进混合地点推荐模型.该算法融合了基于内容的推荐和基于协同过滤的推荐,结合了用户当前的偏好和其他用户的意见.使用基于用户-地点属性偏好的矩阵填充方式,以此改善数据稀疏性问题;同时,对于海量数据,系统采用Spark分布式集群实现并行计算,缩短了模型训练时间.实验结果表明,与其他推荐算法相比,该算法能有效改善数据稀疏性、提升推荐效果.     

基于协同过滤技术的音乐推荐系统的研究

推荐系统中,协同过滤技术的使用是推荐系统当中最好的技术,使得推荐系统的推荐质量得到很大的提高。本文主要介绍了当前比较流行的几种推荐算法,并主要讨论了在音乐推荐系统中,对协同过滤技术的使用,并分析了这几种推荐技术在使用中所存在的优缺点,以及协同过滤的发展方向。     

资源自适应的实时新闻推荐系统

为解决新闻推荐系统性能差、效率低等问题,更好地满足商业应用的需要,设计了基于内容的资源自适应实时新闻推荐系统EagleNews.该系统自动监控系统负载情况,通过自动调整被推荐新闻集合的时间窗口,控制新闻数量,调整文档向量和用户模型向量的维度,优化相似度计算速度,提高系统性能,同时兼顾了推荐效果.最后,在原型系统上对提出的方法进行了评测,获得了系统运行的最佳参数,表明该系统不仅具有良好的性能,同时能够提供较好的推荐效果.     

基于用户兴趣行为模型的个性化广告推荐研究

随着移动互联网和网络终端的快速发展,产品的营销方式发生了重大变化,在互联网上投放广告已成为商家的重要宣传和销售渠道。然而,在线广告能否进行准确推荐是困扰产品厂家和广告代理商的一个主要问题。文章通过分析在线广告的非结构化特征和搜索用户行为数据,提出一种基于用户兴趣行为模型的个性化广告推荐方法,该方法可以通过主题模型提取用户的兴趣偏好,并基于最近邻算法和用户行为生成广告推荐列表。实验结果表明,基于最近邻算法和用户行为的个性化广告推荐方法可以推荐个性化广告,并且比基于内容的推荐方法具有更好的性能。