一种大数据推荐系统

本文在Hadoop大数据平台之上,采用协同过滤算法,分析用户对商品的原始评分信息.根据两种商品被一同购买的次数计算商品的相似性,并参考用户对商品的评分情况,计算商品对某一用户的推荐指数,根据推荐指数高低进行推荐.该方法在当今的互联网和大数据时代,在诸如电影推荐、音乐推荐、新闻推荐、商品推荐等需要进行个性化推荐的场景下具...     

面向大数据的开源推荐系统分析

处在大数据时代,人们面临的重要问题是如何处理庞大的过量信息,并且如何应对数据惊人的增长趋势。论文重点讨论了面向大数据的推荐系统（RS）,分析现有的开源推荐系统,然后通过评价指标（以及大数据的4V定义）阐述开源推荐系统如何应对大数据时代不断变换的挑战。     

基于深度学习的矩阵分解推荐模型

通过对深度学习和矩阵分解技术进行结合,设计一个深度神经网络对用户和物品进行特征提取,形成用户隐向量和物品隐向量的方法,计算这两个隐向量的内积得到用户对物品的评分预测.为提高推荐精度,提出使用显式数据和隐式数据并设计新的损失函数能够同时计算这两类数据损失的方法.在两个公开数据集上的实验结果表明,该方法比基线模型在HR和N...     

分布式地球系统科学数据共享平台研究

科学数据共享平台是科学数据共享活动的重要支撑,既是标准规范和数据资源物化的平台,又是用户服务的窗口,其关键是要实现数据资源由数据生产者向数据使用者的流动。在分析分布式地球系统科学数据共享平台内涵的基础上,提出了以“总中心、认证中心和若干分中心”为构架的“物理上分布、逻辑上统一”的分布式软件体系。对用户单点登录与权限认证、数据中心信息同步、元数据汇交与同步收割、多源异地数据资源透明访问等关键技术进行了详细的论述。基于Java EE环境,研制开发了分布式地球系统科学数据共享平台,软件平台能够实现跨部门、跨操作系统的部署。目前,软件平台已经部署在总中心和13家分中心,为用户提供了稳定的“一站式”数据共享服务。     

ConvFNN:一种基于深度学习的个性化推荐算法

最近这几年,随着深度学习快速发展,在图像处理、自然语言处理等领域有了很多应用,而在推荐系统领域,深度学习的应用还不是很常见,并且现在传统的推荐算法也遇到了一些瓶颈,由于现在的评分数据非常稀疏,传统的矩阵分解模型,在一些评分预测领域效果不是很理想。本论文为了解决这些问题,提出一种基于深度学习的个性化推荐算法,考虑利用深度学习来解决评分预测不准的问题。     

一种用于大数据的改进的ItemBased推荐算法

为了改善传统ItemBased推荐算法在大数据环境下的数据稀疏性问题和可扩展性问题,论文提出了一种基于Hadoop平台的ItemBased推荐算法.通过Pearson相关系数公式获取数据项之间的相关度,并根据数据集中的数据稀疏程度赋予一定的权值.在此基础上,将该算法在Hadoop平台上分布式并行化,在保证算法的平均绝对...     

基于大数据的互联网社交平台个性化推荐探析

随着信息技术和互联网的发展,人们逐渐从以前的信息匮乏演变到如今的信息过载.进入大数据时代以来,互联网社交平台在为用户提供便捷的产品和服务的同时,也加大了用户在过量信息当中找到自己感兴趣的信息的难度.本文以互联网社交平台为例,研究大数据环境下的互联网社交平台的个性化推荐服务问题,探讨未来的发展趋势,具有一定的理论意义和现实意义.     

基于大数据技术的人才智能推荐方法

复杂多样的岗位信息使得很多求职人员很难查找到适合自己的岗位信息,为了提高人力资源的推荐质量,本文基于梯度提升树和混合卷积神经网络设计一种有针对性的人才市场推荐模型.利用流式分布式方法收集求职人员信息并将其转换为可用于算法分析的独热编码,使用梯度提升树提取求职人员特征.混合卷积神经网络在经过训练之后可实现有针对性的人才推...     

面向推荐系统的图卷积网络

图卷积网络是一种针对图信号的深度学习模型,由于具有强大的特征表征能力得到了广泛应用.推荐系统可视为图信号的链接预测问题,因此近年来提出了使用图卷积网络解决推荐问题的方法.推荐系统中存在用户与商品间的异质顶点交互和用户(或商品)内部的同质顶点交互,然而,现有方法中的图卷积操作要么仅在异质顶点间进行,要么仅在同质顶点间进行,留下了提升此类推荐系统性能的空间.考虑到这一问题,提出了一种新的基于图卷积网络的推荐算法,使用两组图卷积操作同时利用两种不同的交互信息,其中异质顶点卷积用于挖掘交互图谱域中存在的连接信息,同质顶点卷积用于使相似顶点具有相近表示.实验结果表明,该算法比现有算法具有更优的精度.     

基于大数据的高效并行推荐系统

协同过滤算法广泛应用于电子商务网站的推荐系统中,它基于对大量用户历史行为数据的分析,挖掘用户的兴趣并向用户推荐合适的产品.为了能够处理大数据文件,使用Apache Mahout、MapReduce并行框架和和协同过滤进行有效并行查询处理.实验结果表明,该系统能够在大数据集上实现高效率和高可靠性.系统不仅限于电影推荐,还...     

基于大数据的个性化音乐推荐系统仿真

笔者以million song dataset为音乐数据集,以taste profile为用户数据集,采用改进的基于用户喜好特征的协同过滤算法,实现了一个基于大数据的个性化音乐推荐系统。系统首先根据用户近期的听歌记录为用户生成听歌偏好模型,进而计算用户与歌曲的相似度,然后为用户推荐与其偏好最相近的歌曲。     

图神经网络推荐方法研究

图神经网络因其特性在许多应用领域展露锋芒,将图神经网络与推荐相结合成为研究热点之一.在推荐中使用图神经网络方法,能够在复杂环境中显著提高推荐的水平.对图神经网络的方法、个性化推荐和群组推荐分别进行总结介绍;对基于图神经网络的推荐方法进行概述,重点对图神经网络及其近年来在推荐领域的研究成果进行归纳总结;分析了推荐研究现状...     

基于循环时间卷积网络的序列流推荐算法

针对循环神经网络(Recurrent Neural Network,RNN)模型在序列流推荐中只能从宏观上捕捉序列的演变模式,忽略了物品(Item)间内部的微观联系,无法长程建模序列数据的变化规律的问题,提出了多维度序列建模算法循环时间卷积网络(Recurrent Temporal Convolutional Network,RTCN)。首先,将每个物品表示成定长向量,采用多层因果卷积和扩张卷积操作扩大感受野范围,建立序列元素间的长程依赖关系。利用残差连接网络提取不同层次的特征信息,解决反向传播中梯度衰减甚至消失的问题。综合设计时间卷积网络(Temporal Convolutional Network,TCN)提取序列流中前后物品间的局部特征,将物品信息映射到隐藏空间,得到细粒度的特征向量。为进一步建立元素间的宏观联系,将特征向量依次输入门限循环单元(Gated Recurrent Unit,GRU),迭代更新现有隐藏状态并预测下一时刻的输出。RTCN通过时间卷积网络,从输入序列流提取出长时间、多维度、细粒度的局部关联特征;经过门限循环网络,建模序列间的长距离依赖关系,捕捉序列元素的演变模式,并预测下一个出现的物品。利用网站、手机应用和音乐3个不同场景中的数据对模型进行了实验。实验结果显示,RTCN模型在召回率(Recall)和平均排序倒数(MRR)两个指标上比RNN模型高出6%~13%,比传统推荐算法高出9%~59%。通过对比不同的损失函数,模型在交叉熵损失函数下表现最优。此外,由于TCN中的卷积层具有多通道的结构,当数据维度丰富时,该模型对物品和用户的上下文信息具有很强的综合能力。     

类图像处理面向大数据XSS入侵智能检测研究

通过类图像处理方法对访问流量语料库大数据进行词向量化处理,实现面向大数据XSS入侵智能检测研究。利用类图像处理方法进行数据获取、数据清洗、数据抽样、特征提取等数据预处理;设计基于神经网络的词向量化算法,实现词向量化得到词向量大数据;通过理论分析和推导,实现多种不同深度的深层神经网络智能检测算法;设计不同的超参数并进行反复的实验,分别得到最高识别率、最低识别率、识别率均值、方差、标准差、识别率变化曲线图和平均绝对误差变化曲线图等结果。实验结果表明,该方法具有识别率高、稳定性好、总体性能优良等特点。     

深度学习推荐模型中的注意力机制研究综述

探讨注意力机制如何帮助推荐模型动态关注有助于执行当前推荐任务输入的特定部分.分析注意力机制网络框架及其输入数据的权重计算方法,分别从标准注意力机制、协同注意力机制、自注意力机制、层级注意力机制和多头注意力机制这五个角度出发,归纳分析其如何采用关键策略、算法或技术来计算当前输入数据的权重,并通过计算出的权重以使推荐模型可...     

知识增强的图神经网络序列推荐模型

现有基于图神经网络的序列推荐模型大多仅关注用户与项目交互的结构性信息,序列偏好的学习仅涉及项目交互顺序,缺乏项目自身的内容信息,并且未有效利用用户信息及挖掘项目之间更深层的语义关系。提出一种知识增强的图神经网络序列推荐模型KGGNN,引入知识图谱,并结合用户交互数据构建协同知识图谱,学习得到项目语义关联辅助信息以及用户关联辅助信息。将交互序列构建成有向序列图,利用门控图神经网络以及用户关联辅助信息学习序列中项目节点的结构性信息。通过注意力机制组合项目向量作为全局序列偏好,将最近交互的项目作为当前兴趣偏好,融合两者形成最终序列偏好,并结合项目语义关联辅助信息进行模型预测。在Amazon-Book、Last-FM、Yelp2018这3个公开数据集上的实验结果表明,辅助信息能有效提升序列推荐的准确性,该模型在命中率（HIT@K）和归一化折损累计增益（NDCG@K）2个指标上相较于GRU4Rec、NARM、SASRec等模型均有显著提升。当评估指标K值选取10时,与KGSR模型相比,其HIT@10指标在3个数据集上分别提升12.9%、4.5%、6.9%,NDCG@10指标在3个数据集上分别提升...     

构建地球科学研究的时空数据平台

在统一的数据标准和规范下,系统集成了中国陆地表层的自然要素的空间数据库群及人口和社会经济空间数据库及其元数据库。研究空间数据集成的尺度效应与尺度转换、空间数据挖掘的算法与工具等关键技术。为地球陆地表层过程的基础研究提供了时空数据平台,为海量的资源环境时空数据共享提供了技术上的支持。     

一种面向多源异构数据的协同过滤推荐算法

随着电子商务网站的快速发展,数据特征和现实需求均发生了较大变化.以大规模、多源性、异构性为主要特征的数据发挥着更加重要的作用.然而,电子商务系统中数据所具有的特性使得大多数协同过滤方法较难直接用于物品推荐.如何整合多源异构数据来实现数据的价值最大化是当前推荐系统亟待解决的问题.针对这一问题,首先分析了多源异构数据中各类数据的特点,并根据各自特点为其设计了不同的建模方式.其次,提出一种新颖的推荐模型用于评分预测任务,它通过融合多关系数据和视觉信息来缓解数据稀疏问题.最后,设计了一种高效的算法MSRA(multi-source heterogeneous information based recommendation algorithm)用于求解所提模型的参数.在多个亚马逊数据集上的实验结果表明:1)面向多源异构数据的推荐算法其性能明显优于当前主流协同过滤算法; 2)该算法不仅可以有效缓解物品的冷启动问题,而且能够更好地预测不同类型物品的实际评分.     

推荐系统综述

随着网络应用的不断发展,网络资源呈指数型增长,信息过载现象日益严重,如何高效获取符合需求的资源成为困扰人们的问题之一。推荐系统能对海量信息进行有效过滤,为用户推荐符合其需求的资源。对推荐系统的研究现状进行详细介绍,包括基于内容的推荐、协同过滤推荐和混合推荐这三种传统推荐方式,并重点分析了基于卷积神经网络（CNN）、深度神经网络（DNN）、循环神经网络（RNN）和图神经网络（GNN）这四种常见的深度学习推荐模型的研究进展;归纳整理了推荐领域常用的数据集,同时分析对比了传统推荐算法和基于深度学习的推荐算法的差异。最后,总结了实际应用中具有代表性的推荐模型,讨论了推荐系统面临的挑战和未来的研究方向。