融合评分矩阵和评论文本的深度学习推荐模型

用户对项目评分数据的稀疏性是影响推荐质量的主要因素之一,提出了融合评分数据和评论文本的深度学习模型,通过引入辅助信息缓解评分数据稀疏性的影响.利用评论文本可以获取用户的偏好信息和项目特征,而评分数据中又包含了用户和项目之间的潜在关联.现有的融合模型对评分数据的处理大多数都是采用矩阵分解方法,为了更好地利用评分数据中的有...     

基于Spark的并行化协同深度推荐模型

协同深度学习（Collaborative Deep Learning,CDL）利用神经网络极强的特征学习能力和模型拟合鲁棒性,解决了推荐系统在数据稀疏的情况下性能表现急剧下降的问题。但当推荐系统面临大量数据时,导致模型训练变得难以维护,进而出现多种不可预料的问题。为解决上述问题,对协同深度学习及其并行化方法进行了研究,提出了一种针对项目内容学习优化的改进模型协同深度推荐（CDL with item private node,CDL-i）,通过对传统CDL中的自编码网络进行改进,增加私有网络节点,在模型的网络参数共享情况下,为每个项目添加私有偏置项,使网络能够更针对性地学习到项目内容参数,改进了模型在推荐系统中对项目内容的探测性能。同时对算法进行并行化改进,通过对模型进行拆分,提出一种并行训练CDL-i的方法,将其移植到Spark分布式集群上,并行地对模型各部分参数进行训练优化,增强模型所能处理数据的规模和扩展性。通过在多个真实数据集上的实验,验证了提出的并行深度推荐算法的有效性和高效性。     

基于标签卷积神经网络的文本推荐算法

在面向用户的文章收集系统中,用户会将自己喜欢的文章收集起来构成自己的偏好文章集合,理解用户为何喜欢特定文章、如何精确的找到用户喜欢的文章目前成为了一个重要的研究课题.本文通过基于面向用户的文章收集系统中的一些相关信息,比如文本信息、标签等,来辅助推荐系统更好的进行文章的推荐.文中提出了基于标签卷积神经网络的文本推荐算法,结合神经网络和协同过滤算法的同时,将标签加入到神经网络的设计中.通过在真实的citeulike数据集进行的实验和验证,使用本文的模型可以有效的提高对用户偏好文章预测的准确性.     

深度学习中基于注意力机制的推荐模型研究

通过筛选深度学习中结合注意力机制的推荐模型相关文献,将文献从注意力机制结合自编码器、图神经网络这两个方面进行归纳整理,分析了各模型在推荐应用中的特点和不足,展望了该领域的研究方向.     

基于深度学习的隐语义协同过滤推荐模型研究

隐语义模型是一种基于协同过滤的推荐模型,由于其较好的推荐性能已在各个领域广泛应用。近些年机器学习的一个重要研究分支深度学习也在各个领域大放异彩。为进一步提高推荐系统的推荐性能,设计了一种结合隐语义模型和深度学习技术的模型。通过对隐语义模型表示形式的等价转换,可以用深度神经网络表示隐语义模型,提出了基于深度学习的隐语义协同过滤推荐模型。实验结果表明,提出的模型在precision和recall评价指标上明显优于其他协同过滤推荐模型。     

基于图神经网络与深度学习的商品推荐算法

基于图神经网络的推荐算法可以提取传统方法无法提取用户与商品之间的关联关系.目前此类算法大多忽略了用户和商品的评论数据中所存在的一般偏好.针对这一问题,提出了一种方法,在利用图神经网络提取关联关系的同时,利用深度学习提取评论的优势提取用户和商品的一般偏好,并进行特征融合来提升推荐效果.在四组公共数据集中进行了对比实验,使用召回率和归一化折损累计增益作为评价指标,并通过消融实验验证了方法的有效性.实验表明该方法比已有相关算法的效果更好.两种网络的特征融合对推荐效果有提升作用.     

基于注意力机制与评论文本深度模型的推荐方法

传统推荐系统依赖人工进行规则设计和特征提取,对评论文本内容的特征和隐信息的提取能力有限。针对该问题,融合注意力机制并基于深度学习对推荐系统进行改进,提出一种对评论文本深度建模的推荐方法。使用词嵌入模型表达数据集评论中的语义,引入注意力机制对输入内容进行重新赋权,通过并行的卷积神经网络挖掘用户和项目评论数据中的隐含特征,将两组特征耦合输入并采用因子分解机进行评分预测,得到推荐结果。实验结果表明,该方法可有效提高推荐准确率,均方误差较DeepCoNN方法提升2%以上。     

基于深度神经网络的个性化混合商品推荐模型

针对推荐系统广泛采用的协同过滤算法存在的稀疏性和冷启动问题,提出了一种基于深度神经网络和动态协同滤波的推荐模型.该模型采用预训练BERT模型结合双向GRU从用户和商品评论中提取隐含特征向量,利用耦合CNN构建评分预测矩阵,通过动态协同滤波融入用户兴趣变化的时间特征.在亚马逊公开数据集上进行实验,结果表明该模型提高了商品...     

结合自监督学习的图神经网络会话推荐

基于会话的推荐方法由于短期用户交互数据有限,与传统推荐方法相比,其性能更容易受到数据稀疏性问题的影响。为增强会话数据以缓解数据稀疏对会话推荐性能的影响,提出一种结合自监督学习的图神经网络会话推荐（Ss-GNN）模型。构建会话图并建立基于图注意力网络的会话推荐任务来获取项目级表示和会话级表示;从会话级表示的角度出发,利用用户的一般兴趣和当前兴趣来构建辅助任务获取自监督信号;利用自监督学习实现推荐任务和辅助任务之间的互信息最大化,以增强会话数据,从而提升推荐性能。在Yoochoose和Tmall两个公开数据集上进行实验,与基线模型相比,提出的模型在Yoochoose上P@20和MRR@20至少提升了0.94%和0.79%,在Tmall上P@20和MRR@20至少提升了9.61%和4.67%,证明了Ss-GNN模型的有效性。     

基于邻域感知图神经网络的会话推荐

在基于会话的推荐中,图神经网络及其改进模型将会话内复杂的交互关系建模为图结构并从中捕获项目特征,是现有推荐模型中性能较好的一类方法。然而大多数模型都忽略了不同会话之间可能存在的有效信息,仅对当前会话建模难以利用其他会话,也无法发挥邻域信息的辅助作用。因此提出基于邻域感知图神经网络的会话推荐（NA-GNN）。该模型构建会话层和全局邻域层的图结构捕获项目表示,结合注意力机制聚合两种项目表征,将会话序列之间的互信息最大化地结合到网络训练中。在真实的数据集Yoochoose和Diginetica上进行实验,与性能最优的基准模型相比,模型P@20在Yoochoose上提高了1.85%,在Diginetica上提升了7.19%;MRR@20分别提升了0.48%和8.36%,证明模型的有效性和合理性。     

基于并行深度卷积神经网络的图像美感分类

随着计算机和社交网络的飞速发展, 图像美感的自动评价产生了越来越大的需求并受到了广泛关注. 由于图像美感评价的主观性和复杂性, 传统的手工特征和局部特征方法难以全面表征图像的美感特点, 并准确量化或建模. 本文提出一种并行深度卷积神经网络的图像美感分类方法, 从同一图像的不同角度出发, 利用深度学习网络自动完成特征学习, 得到更为全面的图像美感特征描述; 然后利用支持向量机训练特征并建立分类器, 实现图像美感分类. 通过在两个主流的图像美感数据库上的实验显示, 本文方法与目前已有的其他算法对比, 获得了更好的分类准确率.     

基于ROI-KNN卷积神经网络的面部表情识别

深度神经网络已经被证明在图像、语音、文本领域具有挖掘数据深层潜在的分布式表达特征的能力. 通过在多个面部情感数据集上训练深度卷积神经网络和深度稀疏校正神经网络两种深度学习模型, 对深度神经网络在面部情感分类领域的应用作了对比评估. 进而, 引入了面部结构先验知识, 结合感兴趣区域(Region of interest, ROI)和K最近邻算法(K-nearest neighbors, KNN), 提出一种快速、简易的针对面部表情分类的深度学习训练改进方案——ROI-KNN, 该训练方案降低了由于面部表情训练数据过少而导致深度神经网络模型泛化能力不佳的问题, 提高了深度学习在面部表情分类中的鲁棒性, 同时, 显著地降低了测试错误率.     

New Results for Prediction of Chaotic Systems Using Deep Recurrent Neural Networks

Neural Processing Letters - Prediction of nonlinear and dynamic systems is a challenging task, however with the aid of machine learning techniques, particularly neural networks, is now possible to...     

基于文本深层语义特征的亚马逊商品推荐

商品评论挖掘在商品推荐领域取得了越来越多的成果。传统的评论挖掘方法只集中在挖掘评论中隐含的浅层语义,其语义表达效果不理想。因此,目前商品推荐领域的一大挑战是如何挖掘商品评论的深层语义,提升语义表达能力,以及最大化地利用商品评论来提升商品的推荐效果。文中使用深度学习中的跨思维向量模型(Skip-Thought Vectors,STV)来学习评论的潜在语义特征。为了提升评论的语义表达能力,把深度学习中的长短记忆模型(Long Short-Term Memory,LSTM)应用于STV,结合双向信息流挖掘方法、用户情感偏好挖掘方法以及深度层级模型,引入了一种深层语义特征挖掘模型。该模型不仅能挖掘评论的深层语义特征,还能挖掘发表评论的用户的情感偏好。然后,将深层语义特征挖掘模型与矩阵分解模型(Singular Value Decomposition,SVD)相结合来实现商品推荐。在两个亚马逊数据集上的实验结果证明,所提模型在深度语义挖掘能力上优于传统的评论挖掘模型,相比使用传统评论挖掘模型的商品推荐系统提升了商品推荐的效果。     

深度神经网络的压缩研究

深度神经网络中过多的参数使得自身成为高度计算密集型和内存密集型的模型,这使得深度神经网络的应用不能轻易地移植到嵌入或移动设备上以解决特殊环境下的实际需求。为了解决该问题,提出了基于网络删减、参数共享两者结合的神经网络压缩方案：首先通过删减掉权重小于阈值的网络连接,保留其重要的连接;然后使用k-means聚类算法将删减后每层的参数进行聚类,每簇内的各个参数共享该簇的中心值作为其权重。实验在MINST数据集上完成手写数字识别功能的LeNet-300-100网络和修改得到的LeNet-300–240-180-100网络分别压缩了9.5×和12.1×。 基于网络删减、参数共享两者结合的神经网络压缩方案为未来在特殊环境下更丰富的基于深度神经网络的智能应用提供了可行方案。     

基于深度卷积神经网络的车型识别研究

近年来,深度学习中的卷积神经网络已经广泛运用于图像识别领域,它不仅显著提升了识别准确率,同时在特征提取速度方面也优于许多传统方法。本文针对高速公路环境下的车型识别问题,引入卷积神经网络（CNNs）理论,设计相应特征提取算法,并结合SVM分类器构建识别系统。通过对高速公路上主要三种车型（小车、客车、货车）的分类实验显示,本文方法在识别精度及速度上均取得较显著的提高。