基于层次型文本交互的表示学习研究

传统的推荐系统面临着诸如数据稀疏性、无法解释的推荐等几个挑战。为了解决这些问题,许多研究通过挖掘评论文本语义信息来提高推荐性能。然而,这些方法在文本特征建模和文本交互方面存在问题。在文本建模方面,它们简单地将用户/物品的所有评论拼接成一个单一的评论。然而,单词/短语级别的语义信息可能与评论文本的整体语义信息相悖。在文本交互方面,它们将交互推迟到预测层,无法捕捉用户和物品之间复杂的相关性。为了解决这些问题,我们提出了一种新颖的基于层次型文本交互的表示学习方法。在该方法中,我们以层级方式对低级单词语义和高级评论文本进行建模,以便在不同粒度上挖掘文本信息。为了进一步捕捉复杂的用户-物品的交互关系,我们提出在不同层次上挖掘用户-物品之间的语义关联。在单词级别上,我们提出了一种针对每对用户-物品个性化的注意力机制,来捕捉表示每个评论的重要单词。在文本级别上,我们在用户和物品之间相互传播文本语义信息,并捕捉针对目标任务有用的评论文本。最后,我们通过协同过滤框架,将该方法应用于评分预测应用场景,并通过在公开数据集上的对比实验,证明该方法在评分预测方面的性能优于现有方法。     

融合三重注意力和评论评分的深度推荐算法

许多购物网站中存在用户编写的大量评论信息,大部分推荐系统虽然利用了评论信息,但仍有很大的改进空间。一方面是评论中信息参差不齐,掺杂了很多无用信息;另一方面是大多数现有的推荐系统都假设一个用户对于某一商品特征的关注对于所有的商品都是相同的,无法准确体现用户偏好。本文提出一种融合三重注意力和评论评分的方面感知深度推荐模型ANAP（Attention and Neural Aspect Perception）,从词和特征2个层面出发,通过构造2种不同的注意力网络提取评论文本中的重要信息,降低无用信息的影响;为了准确体现用户偏好,通过构造注意力交互网络捕捉用户对不同项目各个方面的不同关注度,实现方面感知的细粒度建模。本文在6个真实数据集上进行实验,同时设计了注意力机制对比实验,结果表明ANAP模型有效提高了评分预测精度,平均绝对误差（Mean Absolute Error, MAE）比现有最佳算法降低了4.86个百分点。     

基于注意力机制的深度学习推荐算法

针对目前基于评论文本的推荐算法存在文本特征和隐含信息提取能力不足的问题, 提出一种基于注意力机制的深度学习推荐算法. 通过分别构建用户和项目的评论文本表示, 利用双向门控循环单元提取文本的上下文依赖关系以获得文本特征表示, 引入注意力机制, 更准确的获取用户兴趣偏好和项目属性特征. 将生成的用户和项目评论数据的两组隐含特征分别输入全连接层处理, 再合并到同一个向量空间进行评分预测, 得到推荐结果. 在Yelp和Amazon两个公开数据集中进行实验, 结果表明所提出的算法与其他算法相比, 具有更好的推荐性能.     

融合短文本层级注意力和时间信息的推荐方法

信息过载造成的数据稀疏性问题制约着基于评分数据的矩阵分解模型的推荐性能,融合评论文本的推荐模型能够有效缓解评分数据稀疏性.当前的推荐系统利用评论文本为用户和项目建模时,大多仅将用户对项目的评论作为数据来源,而忽视了时间信息对用户和项目属性的影响.针对此问题,提出了一种融合短文本层级注意力和时间信息的推荐方法(RHATR),该方法能够充分地挖掘评论文本潜在的语义信息,并为用户偏好和项目特征的动态变化进行建模.通过对单条评论文本应用单词级注意力,挖掘单条评论文本中情感词和关键词等有效信息,学习用户和项目表示;对含有时间因素的用户评论集和项目评论集分别应用评论级注意力,提取有效的评论,进一步学习用户偏好和项目特征动态表示.将从评论文本中学到的用户和项目表示以及基于ID的项目和用户嵌入作为最终特征,来捕获各用户和项目的潜在因素.实验结果表明,提出的方法相对于当前基线方法在Amazon和Yelp数据集上的均方根误差(RMSE)取得了较好的效果.     

基于评论文本图表示学习的推荐算法

基于卷积或循环神经网络的推荐系统主要捕捉评论文本中相邻词之间的局部和连续依赖关系,对长期、全局、非连续的依赖关系的捕捉能力有限。针对该问题,提出一种基于评论文本图表示学习的推荐算法RGP。将每个用户或项目的评论文本表示成图,图的节点为评论文本的词,图的边为词与词的连接关系。针对图中的每个节点,使用基于连接关系的图注意力网络加权融合其邻点信息,利用基于交互关系的注意力机制对节点重新赋权,并加权融合图中所有节点的表征从而得到整个图的表征。在此基础上,将基于用户和项目ID的嵌入表征及其评论图表征耦合输入并采用因子分解机进行评分预测,以得到最终的推荐结果。实验结果表明,与NARRE、DAML等算法相比,RGP算法可有效提高推荐精度。     

融合知识图谱和评论文本的个性化推荐模型

推荐系统的目的是解决“信息过载”的问题,然而目前的研究方法大多利用用户和商品信息对用户兴趣进行建模,没有同时利用知识图谱构建用户模型来增强推荐系统的性能,因此提出了融合知识图谱和评论文本的个性化推荐模型。首先,通过不同类型的知识图谱分别关联用户项目和用户评论文本,扩展用户的兴趣和提取评论文本中的实体;其次,通过构造用户兴趣网络得到带有用户兴趣偏好的兴趣特征;然后,通过构造画像模块和情感模块的画像网络提取到带有用户情感倾向的画像特征;利用决策层进行点击率预测。最后在Amazon数据集上进行了实验比较,对所提模型的性能进行了评估,并与目前的融合知识图谱和评论文本的推荐模型进行比较,验证了所提模型的有效性。     

面向电子商务平台用户意图预测的时间感知分层自注意力网络

在推荐系统领域,了解电商平台中在线用户的行为意图至关重要。目前的一些方法通常将用户与商品之间的交互历史数据视为有序的序列,却忽视了不同交互行为之间的时间间隔信息。另外,一个用户的在线行为可能不仅仅包含一种意图,而是包含多种意图。例如,当一位用户在浏览运动品类下的商品时,其可能同时有购买足球和运动衫这两种商品的意图。但是现有的一些电商平台用户意图预测方法很难有效对用户-商品交互对时间间隔信息进行建模,也难以捕捉用户多方面的购物意图。为了解决上述问题,我们提出了一种时间感知分层自注意力网络模型THSNet,以更有效对电商平台的用户意图进行预测。具体而言,THSNet模型采用一种分层注意力机制来有效地捕获用户-商品交互历史中的时间跨度信息以更有效建模用户的多种意图。THSNet模型的注意力层分为两层,底层的注意力层用于建模每个会话内部的用户-商品交互,上层的注意力层学习不同会话之间的长期依赖关系。另外,为了提高预测结果的鲁棒性和准确度,我们采用BERT预训练的方法,通过随机遮盖部分会话的特征表示,构造了一个完形填空任务,并将该任务与用户意图预测任务耦合成为多任务学习模型,这种多任务预测方法有助于模型学到一个具有鲁棒性和双向性的会话特征表示。我们在两个真实数据集上对所提方法对有效性进行了验证。实验结果表明,我们所提出的THSNet模型要明显优于目前最先进的方法。     

基于注意力交互机制的层次网络情感分类

目前关于商品评论的深度网络模型难以有效利用评论中的用户信息和产品信息。提出一种基于注意力交互机制的层次网络（HNAIM）模型。该模型利用层次网络对不同粒度语义信息进行提取,并通过注意力交互机制在层次网络中通过捕捉用户、产品中的重要特征来帮助提取文本特征。最终将用户视角下的损失值和产品视角下的损失值作为辅助分类信息,并利用层次网络输出的针对用户或产品的关键文本特征进行训练和分类。三个公开数据集上对比结果表明,该模型较相关模型而言效果均有提升。     

基于多头注意力机制和位置信息的xDeepFM推荐模型

为了解决推荐模型中无法挖掘用户兴趣多样性和捕捉用户行为序列之间的顺序信息,以及交互发生在元素级并非特征向量之间等问题,提出一种基于多头注意力机制和位置信息的xDeepFM推荐模型(extreme deep multiple attention and location information factorization machine,xDMALFM).首先通过多头注意力机制进行不同子空间的特征深度提取,然后利用位置信息去捕捉用户行为序列之间的顺序关系.最后,利用三个公开数据集进行对比实验,以AUC指标进行评估.实验结果表明所提算法相比xDeepFM模型具有更好的推荐性能,验证了其有效性与可行性.     

基于自注意力网络的时间感知序列化推荐

随着信息技术的发展, 推荐系统作为信息过载时代的重要工具, 正扮演着越来越重要的角色. 基于内容和协同过滤的传统推荐系统, 倾向于以静态方式对用户与商品交互进行建模, 以获取用户过去的长期偏好. 考虑到用户的偏好往往是动态的, 且具有非持续性和行为依赖性, 序列化推荐方法将用户与商品的交互历史建模为有序序列, 能有效捕获商品的依赖关系和用户的短期偏好. 然而多数序列化推荐模型过于强调用户-商品交互的行为顺序, 忽视了交互序列中的时间信息, 即隐式假设了序列中相邻商品具有相同的时间间隔, 在捕捉包含时间动态的用户偏好上具有局限性. 针对以上问题, 文中提出基于自注意力网络的时间感知序列化推荐(self-attention-based network for time-aware sequential recommendation, SNTSR)模型, 该模型将时间信息融入改进的自注意力网络中, 以探索动态时间对下一商品预测的影响. 同时, SNTSR独立计算位置相关性, 以消除可能引入的噪声相关性, 增强捕获用户序列模式的能力. 在两个真实世界数据集上的大量实验表明, SNTSR始终优于一组先进的序列化推荐模型.     

融合评分与评论的深度评分预测模型

近年来，基于评论推荐模型的出现有效缓解了传统推荐算法存在的数据稀疏性问题.该类模型主要利用文本中丰富的语义信息更好地捕捉用户的偏好特征以及物品的属性特征，以补充更多的相关信息，提高推荐性能.文本特征的提取往往存在语义信息提取不精准的问题，导致推荐效果不理想.本文提出了融合评分与评论的深度评分预测模型(Deep Model combining Rating and Review, DMRR).一方面，该模型融合了评分数据与评论信息，利用评分矩阵引入物品可推荐度与用户偏好程度，使评论文本特征得到增强.另一方面，该模型有效结合了CNN与GRU进行文本信息特征提取，考虑了文本之间密切的依赖关系，以克服传统文本特征提取方法忽略上下文关系的不足.在Amazon上的4个子数据集和Yelp数据集的实验结果表明，该方法与已有的相关算法相比较，均有效地提高了评分预测准确性.     

一种融合用户动态偏好和注意力机制的跨领域推荐方法

作为当今电子商务中的一项重要技术,推荐系统的重要性日益提升.在项目空间上用户的评分数据十分稀疏,导致推荐系统的质量不佳.商品评论中蕴含着丰富的信息,通过提取评论文本信息能够有效地减少数据稀疏性带来的影响.事实上,用户的偏好并非一成不变的,将不同时间段设置不同的权重能更有效地描述用户的整体状况.在神经网络算法广泛应用的背景下,将神经网络引入到跨领域推荐中可以发现不同领域用户偏好的映射关系.此外,注意力机制是一种流行的深度学习方法,将注意力机制与主题模型结合,提出一种基于注意力机制的跨领域推荐方法.首先,使用LDA(Latent Dirichlet Allocation)主题模型分别提取源领域和目标领域的项目主题分布.接着,将其与用户评分、时间权重因子、注意力机制结合,得到用户的动态偏好.然后,使用BP(Back Propagation)神经网络学习用户偏好的映射关系,并将用户在源领域与目标领域的偏好结合.最后,通过协同过滤的方法进行评分预测.实验结果表明,提出的推荐方法在亚马逊电子商品、影视与以及音乐的评分评论数据集上较其它传统推荐策略有着更好的推荐效果.     

基于RoBERTa和图增强Transformer的序列推荐方法

自推荐系统出现以来,有限的数据信息就一直制约着推荐算法的进一步发展。为降低数据稀疏性的影响,增强非评分数据的利用率,基于神经网络的文本推荐模型相继被提出,但主流的卷积或循环神经网络在文本语义理解和长距离关系捕捉方面存在明显劣势。为了更好地挖掘用户与商品之间的深层潜在特征,进一步提高推荐质量,提出一种基于Ro BERTa和图增强Transformer的序列推荐(RGT)模型。引入评论文本数据,首先利用预训练的Ro BERTa模型捕获评论文本中的字词语义特征,初步建模用户的个性化兴趣,然后根据用户与商品的历史交互信息,构建具有时序特性的商品关联图注意力机制网络模型,通过图增强Transformer的方法将图模型学习到的各个商品的特征表示以序列的形式输入Transformer编码层,最后将得到的输出向量与之前捕获的语义表征以及计算得到的商品关联图的全图表征输入全连接层,以捕获用户全局的兴趣偏好,实现用户对商品的预测评分。在3组真实亚马逊公开数据集上的实验结果表明,与Deep FM、Conv MF等经典文本推荐模型相比,RGT模型在均方根误差(RMSE)和平均绝对误差(MAE)2种指标上有显著...     

基于双重注意力机制和时间因子的深度推荐模型

现阶段大多数基于评论文本的推荐模型没有从多个视角充分挖掘用户评论的价值,忽略了评论文本在不同层面的重要度信息。基于此,论文提出一种基于双重注意力机制和时间因子的深度推荐模型DATCoNN。该模型使用并行的卷积神经网络结合两层注意力层分别挖掘单词层面和评论层面的重要度信息,然后使用时间因子进一步拟合用户对项目兴趣度的变化情况,最终采用因子分解机实现评分预测。模型在Amazon的三组不同领域数据集上进行对比实验评估,发现论文提出的推荐模型性能最优,同时该模型具有较好的可解释性。     

基于评论文本和融入专业度评分的跨域混合推荐

为解决基于用户评论文本的跨域推荐方法产生的评论信息稀疏性问题,提出一种基于评论文本和融入专业度评分的跨域混合推荐方法。采用注意力机制和门控机制对评论文本进行方面特征抽取,构建全局跨域方面相关矩阵进行匹配,结合评论文本中的评分信息,生成一个跨域粗矩阵以降低原始评分矩阵的稀疏度。为强调不同用户对项目评分的重要性,引入用户专业度细化聚合后用户对项目的评分。实验结果表明,该方法可以提高推荐的准确性。     

融合评论文本与评分交互特征的推荐方法

为缓解协同过滤推荐算法中评分数据稀疏问题对推荐结果的影响，提出一种融合文本评论和用户评分交互的推荐算法。通过将用户和商品评论各自潜在主题向量与用户、商品的潜在因子向量进行融合并各自进行评分，经过动态线性加权融合做出整体评分预测。在公开的多组数据集上，以推荐结果的均方根误差(RMSE)和平均绝对误差(MAE)为评估指标进行实验验证。实验结果表明，提出算法可以更好地刻画用户偏好和商品特征，有效缓解了评论数据稀疏性影响，提高推荐结果的准确性。     

结合动态多类信息的兴趣点推荐

利用用户的历史签到数据的同时考虑用户的长期偏好和短期偏好已成为当今兴趣点（Point-of-Interest,POI）推荐的主流方法之一。然而,现有方法往往忽略了用户评论中隐含的用户偏好信息,忽视了不同用户在对长期偏好和短期偏好的依赖上所存在的差异性。针对上述局限,本文提出一种结合动态多类信息的兴趣点推荐方法DMGCR。首先,利用注意力机制捕获用户对不同兴趣点的关注程度,定量刻画用户对兴趣点的长期偏好。其次,将评论信息与已有的位置和类别信息相结合,并利用双向长短期记忆网络学习评论文本中隐含的语义特征,在捕获用户对兴趣点情感倾向的基础上准确刻画用户的短期偏好。最后,设计融合动态多类信息的用户偏好综合预测函数,实现下一个兴趣点推荐概率的定量计算。多个数据集上的实验结果验证了该方法在推荐性能上的有效性和优越性。     

基于细粒度特征交互的推荐模型

随着电子商务的兴起,用户在网购的同时留下了大量的评论。用户评论通常包含丰富的用户兴趣和项目属性等语义信息,反应了用户对项目特征的偏好。近年来,许多基于深度学习的方法通过利用评论进行推荐,并取得了巨大成功。这些工作主要是采用注意机制来识别对评分预测很重要的词或方面。它们单一的从评论中提取特征信息,并通过用户和物品的特征交互得到预测分数。然而,过度的聚合可能会导致评论中细粒度信息的丢失。此外,现有的模型要么忽略了用户和项目评论的相关性,要么只在单个粒度上构建评论特性交互,这导致用户和项目的特征信息不能被有效而全面地捕获。针对上述问题,在本文我们考虑通过从评论的多个粒度捕获特征信息,然后为用户和物品进行多粒度下的特征交互,可以实现更好的评分预测和解释性。
为此,我们提出了一种新的用于评分预测的细粒度特征交互网络（FFIN）。首先,模型并没有将用户的所有评论聚合成一个统一的向量,而是将用户和物品的每条评论单独建模,通过堆叠的扩展卷积分层地为每个评论文本构建多层次表示,充分地捕获了评论的多粒度语义信息;其次,模型在每个语义层次上构建用户和物品评论的细粒度特征交互,这有效避免了单粒度交互导致的次级重要信息被忽略的问题;最后,由于用户的评论行为通常是主观且个性化的,我们没有使用注意力机制来识别重要信息,而是通过类似于图像识别的层次结构来识别高阶显著信号,并将其用于最终的评分预测。我们在6个来自Amazon和Yelp的具有不同特征的真实数据集上进行了广泛的实验。我们的结果表明,与最近提出的最先进的模型相比,所提出的FFIN在预测精度方面获得了显著的性能提升。进一步的实验分析表明,多粒度特征的交互,不仅突出了评论中的相关信息,还大大提高了评分预测的可解释性。     

基于词向量模型的情感分析

随着移动互联网的发展,以商品评论等带有主观性的短文本信息急剧增加.海量的文本信息使得人工管理越来越困难.本文以商品评论为研究对象进行情感分析.针对商品评论为短文本的特点,本文在词向量的基础上提出了词向量叠加方法和加权词向量方法进行文本特征的提取,从而更深层次的提取短文本特征.在进行评论情感分析模型性能的比较中,说明了本文所提方法的有效性.基于情感分析技术可以解决人工难以胜任的海量商品评论的分类,方便用户快速获取有效信息.     

互联网技术支持下针对评论文本的个性化推荐算法设计

针对评论文本的个性化推荐算法包括多个功能层。数据预处理层将用户对物品的评语转化为词向量，从而降低算法的计算效率。卷积神经网络层对预处理后的数据进行卷积操作，形成评论语句的上下文表达方法。注意力层分为三层注意力机制和协同注意力机制两种运行模式，用于提取用户和物品的个性化特征。预测评论层以量化方式对个性化推荐算法进行评价，相关评价指标为均方误差。经数据检验，该推荐算法的性能优于PMF、UserCF等同类推荐算法。