基于注意力机制的深度学习推荐算法

针对目前基于评论文本的推荐算法存在文本特征和隐含信息提取能力不足的问题, 提出一种基于注意力机制的深度学习推荐算法. 通过分别构建用户和项目的评论文本表示, 利用双向门控循环单元提取文本的上下文依赖关系以获得文本特征表示, 引入注意力机制, 更准确的获取用户兴趣偏好和项目属性特征. 将生成的用户和项目评论数据的两组隐含特征分别输入全连接层处理, 再合并到同一个向量空间进行评分预测, 得到推荐结果. 在Yelp和Amazon两个公开数据集中进行实验, 结果表明所提出的算法与其他算法相比, 具有更好的推荐性能.     

基于评论文本和融入专业度评分的跨域混合推荐

为解决基于用户评论文本的跨域推荐方法产生的评论信息稀疏性问题,提出一种基于评论文本和融入专业度评分的跨域混合推荐方法。采用注意力机制和门控机制对评论文本进行方面特征抽取,构建全局跨域方面相关矩阵进行匹配,结合评论文本中的评分信息,生成一个跨域粗矩阵以降低原始评分矩阵的稀疏度。为强调不同用户对项目评分的重要性,引入用户专业度细化聚合后用户对项目的评分。实验结果表明,该方法可以提高推荐的准确性。     

互联网技术支持下针对评论文本的个性化推荐算法设计

针对评论文本的个性化推荐算法包括多个功能层。数据预处理层将用户对物品的评语转化为词向量，从而降低算法的计算效率。卷积神经网络层对预处理后的数据进行卷积操作，形成评论语句的上下文表达方法。注意力层分为三层注意力机制和协同注意力机制两种运行模式，用于提取用户和物品的个性化特征。预测评论层以量化方式对个性化推荐算法进行评价，相关评价指标为均方误差。经数据检验，该推荐算法的性能优于PMF、UserCF等同类推荐算法。     

融合短文本层级注意力和时间信息的推荐方法

信息过载造成的数据稀疏性问题制约着基于评分数据的矩阵分解模型的推荐性能,融合评论文本的推荐模型能够有效缓解评分数据稀疏性.当前的推荐系统利用评论文本为用户和项目建模时,大多仅将用户对项目的评论作为数据来源,而忽视了时间信息对用户和项目属性的影响.针对此问题,提出了一种融合短文本层级注意力和时间信息的推荐方法(RHATR),该方法能够充分地挖掘评论文本潜在的语义信息,并为用户偏好和项目特征的动态变化进行建模.通过对单条评论文本应用单词级注意力,挖掘单条评论文本中情感词和关键词等有效信息,学习用户和项目表示;对含有时间因素的用户评论集和项目评论集分别应用评论级注意力,提取有效的评论,进一步学习用户偏好和项目特征动态表示.将从评论文本中学到的用户和项目表示以及基于ID的项目和用户嵌入作为最终特征,来捕获各用户和项目的潜在因素.实验结果表明,提出的方法相对于当前基线方法在Amazon和Yelp数据集上的均方根误差(RMSE)取得了较好的效果.     

基于文本注意力的推荐系统可解释性研究

可解释性能够提高用户对推荐系统的信任度并且提升推荐系统的说服力和透明性,因此有许多工作都致力于实现推荐系统的可解释性。由于评论中包含了丰富的信息,能够体现用户偏好与情感信息,同时包含了对应商品所具有的特性,最近的一些基于评论的深度推荐系统有效地提高了推荐系统的可解释性。这些基于评论的深度推荐系统中内置的注意力机制能够从对应的评论中识别出有用的语义单元（例如词、属性或者评论）,而推荐系统通过这些高权重的语义单元做出决策,从而增强推荐系统的可解释性。但可解释性在很多工作中仅作为一个辅助性的子任务,只在一些案例研究中来做出一些定性的比较,来说明推荐系统是具有可解释性的,到目前为止并没有一个能够综合地评估基于评论推荐系统可解释性的方法。本文首先根据在注意力权重计算机制的不同,将这些具有可解释性的基于评论的推荐系统分为三类：基于注意力的推荐系统,基于交互的推荐系统,基于属性的推荐系统,随后选取了五个最先进的基于评论的深度推荐系统,通过推荐系统内置的注意力机制获得的评论权重文档,在三个真实数据集上进行了人工标注,分别量化地评价推荐系统的可解释性。标注的结果表明不同的基于评论的深度推荐系统的可解释性是具有优劣之分的,但当前的基于评论的深度推荐系统都有超过一半的可能性能够捕捉到用户对目标评论的偏好信息。在评估的五个推荐系统中,并没有哪个推荐系统在所有的数据中具有绝对的优势。也就是说,这些推荐系统在推荐可解释性方面是相互补充的。通过进一步的数据分析发现,如果推荐系统具有更精确的分数预测结果,那推荐系统通过注意力机制获得的高权重的信息确实更能够体现用户的偏好或者商品特征,说明推荐系统内置的注意力机制在提高可解释性的同时也能够提高预测精度;并且发现相较于长评论,推荐系统更容易捕捉到较短的评论中的特征信息;而可解释性评分高的推荐系统会更可能地为形容词赋予较高的权重。本文也为推荐系统可解释性评估进一步研究和探索更好的基于评论的推荐系统解决方案提供了一些启示。     

基于注意力交互机制的层次网络情感分类

目前关于商品评论的深度网络模型难以有效利用评论中的用户信息和产品信息。提出一种基于注意力交互机制的层次网络（HNAIM）模型。该模型利用层次网络对不同粒度语义信息进行提取,并通过注意力交互机制在层次网络中通过捕捉用户、产品中的重要特征来帮助提取文本特征。最终将用户视角下的损失值和产品视角下的损失值作为辅助分类信息,并利用层次网络输出的针对用户或产品的关键文本特征进行训练和分类。三个公开数据集上对比结果表明,该模型较相关模型而言效果均有提升。     

基于多层注意力机制的服装电商评论情感分析

互联网购物逐渐走进人们生活,人们在购物的同时也会留下海量评论文本,这些文本蕴含着巨大的价值和情感倾向,通过分析这些服装电商评论文本情感倾向,为推荐系统提供了参考。传统的算法难以提取到文本更深层次的情感特征,难以达到很好的效果。因此,该文提出了一种基于多层注意力机制BiGRU-SD-Attention的算法模型。首先,通过分布式爬虫采集服装电商评论文本,将文本数据进行清洗,划分为词语级别和句子级别数据集;利用BiGRU网络提取文本的正、负情感特征,然后对词语和句子分别运用注意力机制进行情感特征的重新加权计算;通过多层递进的权重计算,最后分类输出服装电商文本的情感特征倾向。实验结果表明,该算法的准确率达到了94.23%,对比传统的SVM算法(81.67%)以及单一注意力机制的BiLSM-Attention算法(93.50%),在各方面都有了显著的提升。     

基于评论文本图表示学习的推荐算法

基于卷积或循环神经网络的推荐系统主要捕捉评论文本中相邻词之间的局部和连续依赖关系,对长期、全局、非连续的依赖关系的捕捉能力有限。针对该问题,提出一种基于评论文本图表示学习的推荐算法RGP。将每个用户或项目的评论文本表示成图,图的节点为评论文本的词,图的边为词与词的连接关系。针对图中的每个节点,使用基于连接关系的图注意力网络加权融合其邻点信息,利用基于交互关系的注意力机制对节点重新赋权,并加权融合图中所有节点的表征从而得到整个图的表征。在此基础上,将基于用户和项目ID的嵌入表征及其评论图表征耦合输入并采用因子分解机进行评分预测,以得到最终的推荐结果。实验结果表明,与NARRE、DAML等算法相比,RGP算法可有效提高推荐精度。     

注意力协同辅助变分推荐算法

针对推荐算法中辅助信息和用户评论输入的高维度和样本不足的问题,基于变分自动编码器的非线性建模能力,与注意力机制的关联数据增强的特质,提出了注意力协同辅助变分自编码器推荐模型（sVAE-a）。该模型采用协同辅助变分自动编码来对辅助信息进行建模;同时通过注意力机制将辅助信息结合到协同变分自动编码器架构中,对隐变量进行加强,为解码器提供更干净的特征;最后通过变分推断来对辅助信息和用户评论近似分布,通过训练参数得到推荐模型。在MovieLens-20M数据集上的实验结果表明,该方法无论在基本的召回率,还是进一步的覆盖率和归一化折损累计增益度（NDCG）指标上都有相应的提升。该模型易于实现,可结合不同类型的输入与辅助信息,提升推荐效能。     

融合三重注意力和评论评分的深度推荐算法

许多购物网站中存在用户编写的大量评论信息,大部分推荐系统虽然利用了评论信息,但仍有很大的改进空间。一方面是评论中信息参差不齐,掺杂了很多无用信息;另一方面是大多数现有的推荐系统都假设一个用户对于某一商品特征的关注对于所有的商品都是相同的,无法准确体现用户偏好。本文提出一种融合三重注意力和评论评分的方面感知深度推荐模型ANAP（Attention and Neural Aspect Perception）,从词和特征2个层面出发,通过构造2种不同的注意力网络提取评论文本中的重要信息,降低无用信息的影响;为了准确体现用户偏好,通过构造注意力交互网络捕捉用户对不同项目各个方面的不同关注度,实现方面感知的细粒度建模。本文在6个真实数据集上进行实验,同时设计了注意力机制对比实验,结果表明ANAP模型有效提高了评分预测精度,平均绝对误差（Mean Absolute Error, MAE）比现有最佳算法降低了4.86个百分点。