一种语义感知的细粒度App评论缺陷挖掘方法

手机用户提交的App评论为开发者提供了一个了解用户满意度的沟通渠道.许多用户通常使用“senda video”和“crash”等关键短语来描述有缺陷的功能(即用户操作)和App的异常行为(即异常行为),而这些短语可能会与其他琐碎信息(如用户的抱怨)一起交杂在评论文本中.掌握这些细粒度信息可以帮助开发者理解来自用户的功能需求或缺陷报告,进而有利于提升App的质量.现有的基于模式的目标短语提取方法只能对评论的高层主题/方面进行总结,并且由于对评论的语义理解不足,短语提取的性能较差.提出了一种语义感知的细粒度App评论缺陷挖掘方法(Arab),来提取用户操作和异常行为,并挖掘两者之间的关联关系.设计了一种新颖的用于提取细粒度目标短语的神经网络模型,该模型将文本描述和评论属性相结合,能更好地建模评论的语义.Arab还根据语义关系对提取的短语进行聚类,并将用户操作和异常行为之间的关联关系进行了可视化.使用6个App的3426条评论进行评估实验,实验结果证实了Arab在短语提取方面的有效性.进一步使用Arab对15个热门App的301 415条评论进行了案例研究,以探索其潜在的应用,并验证其在大规...     

多头注意力评论量化的聚类优化推荐算法

为了解决推荐算法中无法挖掘用户深层兴趣偏好,从而导致提取准确度低下,以及相似用户聚类准确率低下时间复杂度高等问题,提出评论量化模型优化差分进化的聚类优化推荐算法(MT-QRPD)。首先利用BiGRU网络的特征时序性与CNN的强局部特征有效性联合提取评论深度特征,并利用多头注意力机制的多维语义特征筛选对评论进行深度语义特征挖掘;然后经过多层感知机非线性转换进行多特征融合完成准确量化;最后使用PCA对差分进化变异选择进行优化完成相似用户聚类优化操作,寻找相似用户完成项目推荐。通过多项实验分析表明,所提推荐算法在量化评分准确度、时间复杂度以及推荐性能上都有较好的提升。     

基于RoBERTa和图增强Transformer的序列推荐方法

自推荐系统出现以来,有限的数据信息就一直制约着推荐算法的进一步发展。为降低数据稀疏性的影响,增强非评分数据的利用率,基于神经网络的文本推荐模型相继被提出,但主流的卷积或循环神经网络在文本语义理解和长距离关系捕捉方面存在明显劣势。为了更好地挖掘用户与商品之间的深层潜在特征,进一步提高推荐质量,提出一种基于Ro BERTa和图增强Transformer的序列推荐(RGT)模型。引入评论文本数据,首先利用预训练的Ro BERTa模型捕获评论文本中的字词语义特征,初步建模用户的个性化兴趣,然后根据用户与商品的历史交互信息,构建具有时序特性的商品关联图注意力机制网络模型,通过图增强Transformer的方法将图模型学习到的各个商品的特征表示以序列的形式输入Transformer编码层,最后将得到的输出向量与之前捕获的语义表征以及计算得到的商品关联图的全图表征输入全连接层,以捕获用户全局的兴趣偏好,实现用户对商品的预测评分。在3组真实亚马逊公开数据集上的实验结果表明,与Deep FM、Conv MF等经典文本推荐模型相比,RGT模型在均方根误差(RMSE)和平均绝对误差(MAE)2种指标上有显著...     

基于神经网络和信息检索的源代码注释生成

源代码注释生成旨在为源代码生成精确的自然语言注释,帮助开发者更好地理解和维护源代码.传统的研究方法利用信息检索技术来生成源代码摘要,从初始源代码选择相应的词或者改写相似代码段的摘要;最近的研究采用机器翻译的方法,选择编码器-解码器的神经网络模型生成代码段的摘要.现有的注释生成方法主要存在两个问题:一方面,基于神经网络的方法对于代码段中出现的高频词更加友好,但是往往会弱化低频词的处理;另一方面,编程语言是高度结构化的,所以不能简单地将源代码作为序列化文本处理,容易造成上下文结构信息丢失.因此,本文为了解决低频词问题提出了基于检索的神经机器翻译方法,使用训练集中检索到的相似代码段来增强神经网络模型;为了学习代码段的结构化语义信息,本文提出结构化引导的Transformer,该模型通过注意力机制将代码结构信息进行编码.经过实验,结果证明该模型在低频词和结构化语义的处理上对比当下前沿的代码注释生成的深度学习模型具有显著的优势.     

融合评分与评论的深度评分预测模型

近年来，基于评论推荐模型的出现有效缓解了传统推荐算法存在的数据稀疏性问题.该类模型主要利用文本中丰富的语义信息更好地捕捉用户的偏好特征以及物品的属性特征，以补充更多的相关信息，提高推荐性能.文本特征的提取往往存在语义信息提取不精准的问题，导致推荐效果不理想.本文提出了融合评分与评论的深度评分预测模型(Deep Model combining Rating and Review, DMRR).一方面，该模型融合了评分数据与评论信息，利用评分矩阵引入物品可推荐度与用户偏好程度，使评论文本特征得到增强.另一方面，该模型有效结合了CNN与GRU进行文本信息特征提取，考虑了文本之间密切的依赖关系，以克服传统文本特征提取方法忽略上下文关系的不足.在Amazon上的4个子数据集和Yelp数据集的实验结果表明，该方法与已有的相关算法相比较，均有效地提高了评分预测准确性.     

融合信任关系与评论文本的矩阵分解推荐算法

针对推荐系统中用户评分数据稀疏所导致推荐结果不精确的问题,本文尝试将用户评分、信任关系和项目评论文本信息融合在概率矩阵分解方法中以缓解评分数据稀疏性问题.首先以共同好友数目及项目流行度改进皮尔逊用户偏好相似程度并将其作为用户间的直接信任值,然后考虑用户间信任传播过程中所有路径的影响构建新的信任网络;其次通过BERT预训练(Pre-training of Deep Bidirectional Transformers for Language Understanding)模型提取项目的评论文本向量,构造项目的评论文本特征矩阵;最后基于概率矩阵分解(Probabilistic Matrix Factorization,PMF)模型融合用户的评分数据、用户的信任关系以及项目的评论文本信息进行推荐.通过不断的理论分析并在真实的Yelp数据集上进行实验验证,均表明本文算法的有效性.     

基于细粒度特征交互的推荐模型

随着电子商务的兴起,用户在网购的同时留下了大量的评论。用户评论通常包含丰富的用户兴趣和项目属性等语义信息,反应了用户对项目特征的偏好。近年来,许多基于深度学习的方法通过利用评论进行推荐,并取得了巨大成功。这些工作主要是采用注意机制来识别对评分预测很重要的词或方面。它们单一的从评论中提取特征信息,并通过用户和物品的特征交互得到预测分数。然而,过度的聚合可能会导致评论中细粒度信息的丢失。此外,现有的模型要么忽略了用户和项目评论的相关性,要么只在单个粒度上构建评论特性交互,这导致用户和项目的特征信息不能被有效而全面地捕获。针对上述问题,在本文我们考虑通过从评论的多个粒度捕获特征信息,然后为用户和物品进行多粒度下的特征交互,可以实现更好的评分预测和解释性。
为此,我们提出了一种新的用于评分预测的细粒度特征交互网络（FFIN）。首先,模型并没有将用户的所有评论聚合成一个统一的向量,而是将用户和物品的每条评论单独建模,通过堆叠的扩展卷积分层地为每个评论文本构建多层次表示,充分地捕获了评论的多粒度语义信息;其次,模型在每个语义层次上构建用户和物品评论的细粒度特征交互,这有效避免了单粒度交互导致的次级重要信息被忽略的问题;最后,由于用户的评论行为通常是主观且个性化的,我们没有使用注意力机制来识别重要信息,而是通过类似于图像识别的层次结构来识别高阶显著信号,并将其用于最终的评分预测。我们在6个来自Amazon和Yelp的具有不同特征的真实数据集上进行了广泛的实验。我们的结果表明,与最近提出的最先进的模型相比,所提出的FFIN在预测精度方面获得了显著的性能提升。进一步的实验分析表明,多粒度特征的交互,不仅突出了评论中的相关信息,还大大提高了评分预测的可解释性。     

融合语义依存关联对的句子相似度的负面在线评论案例推理

及时有效地处理负面在线评论能提高企业的声誉和维护消费者对企业的信任,而面对大量的负面在线评论,企业很难在短期内及时有效回复.根据在线评论是短文本的特点,运用基于句子相似度的负面在线评论进行案例推理处理.针对负面在线评论句子相似度计算问题,抽取句子中评价对象词和评价词作为关键词,同时考虑评价词的修饰词和句子语义依存关联对.除提出的关键词、修饰词、语义依存分析关联对三个特征外,再融入句子中的公共词、语义等两个特征,提出一种融合公共词、关键词、修饰词、语义、语义依存分析关联对等五个特征的句子相似度计算方法,检索相似负面评论句子的案例.通过实验验证,融入多特征的句子相似度计算优于常见句子相似度计算方法,其准确率为83.3％,有效地检索案例句子集并自动推荐回复方案.     

基于用户评论评分与信任度的协同过滤算法

针对现有基于评论分析推荐算法中的评论真实度问题和传统协同过滤算法中的数据稀疏问题,通过分析用户评论所包含的主题分布和反馈信息,将改进的用户偏好和信任度引入传统协同过滤算法中,提出了基于用户评论评分与信任度的协同过滤算法。该算法以用户评论为基础,学习物品特征在不同主题上的分布及用户对物品不同特征的偏好程度,生成用户评论主题分布,根据用户评分计算评论差异度来放大主题分布中的突出特征,并利用评论反馈数据生成评论帮助度,进一步矫正用户偏好,以减少虚假评论的影响;引入信任度用于计算更精确的用户相似度,进而对用户进行评分预测和物品推荐。在真实数据集上进行了实验验证,结果表明该算法有效提高了系统的评分预测性能和推荐效果。     

基于检索结果融合机制的对话生成模型

对话生成模型是对话系统中十分重要的组件.传统的对话生成模型仅利用用户的输入信息生成回复,这导致在生成过程中常会出现无意义的万能回复.最近有工作尝试将检索的方法融入生成模型从而提高模型的生成质量,但这些方法往往将重点放在如何编辑检索结果上,没有考虑检索结果与用户查询之间的语义空间差别.为解决这一问题,该文提出了基于检索结...     

基于TRF-IM模型的个性化酒店评论摘要生成

针对传统的酒店评论摘要生成模型在生成摘要过程中存在对评论的上下文理解不够充分、并行能力不足和长距离文本依赖缺陷的问题,提出了一种基于TRF-IM(improved mask for transformer)模型的个性化酒店评论摘要生成方法。该方法利用Transformer译码器结构对评论摘要任务进行建模,通过改进其结构中的掩码方式,使得源评论内容都能够更好地学习到上下文语义信息;同时引入了用户类型的个性化词特征信息,使其生成高质量且满足用户需求的个性化酒店评论摘要。实验结果表明,该模型相比传统模型在ROUGE指标上取得了更高的分数,生成了高质量的个性化酒店评论摘要。     

基于SBERT模型的代码片段推荐

在当前的软件开发环境中,海量的低质量、无意义的代码知识为开发人员进行代码复用造成了阻碍,大大降低了软件开发效率。为了快速准确地为开发人员推荐高质量的代码知识,提出了基于SBERT（sentence-BERT）模型的代码片段推荐方法CSRSB（code snippets recommendation based on sentence-BERT）。该方法首先获取海量的高质量数据来构建代码语料库,并基于深度学习模型SBERT为代码片段对应的自然语言描述和用户输入的自然语言查询生成具有丰富语义的句向量,通过比较点积相似度来实现代码片段的推荐。使用命中率、平均倒数排名和平均准确率这三个常用推荐评估指标与现有相关研究中的方法进行对比来验证该方法的有效性。实验结果表明,CSRSB在有效提高代码片段推荐准确度的同时也能够做到快速推荐。     

融合评论文本和图像语义特征的兴趣点推荐

用户-兴趣点签到数据的高度稀疏性让传统的推荐算法的推荐效果大打折扣。基于此,提出评论文本和图像语义信息融合的兴趣点推荐新算法。该算法同时考虑用户评论对评分数据的可解释性和图像语义信息对兴趣点外观的描述性,充分利用评论文本和图像数据辅助用户偏好特征和兴趣点属性特征的学习。使用神经网络抽取与用户和兴趣点相关的评论文本和图像语义特征,分别建模用户-文本语义特征关系、兴趣点-图像语义特征关系,将两种关系与用户-兴趣点评分矩阵进行融合,基于概率矩阵分解构建统一的推荐模型。在Yelp数据集上实验表明,该算法有效地缓解了签到数据稀疏性带来的推荐准确性问题,在MAE和RMSE两项指标上均优于主流方法。     

中文网络评论观点词汇语义褒贬倾向性判断

由于网络评论信息的庞大,因此通过计算机自动识别出用户评论观点的褒贬倾向性具有重要意义。以基于HowNet的词汇语义相似度方法的词汇语义倾向性分析为基础,根据观点词的褒贬特性改进词汇语义相似度计算方法以适用于评论词汇的倾向性判断,并且考虑词汇与多个基准词相似度较小时弱化个别有价值的较大相似度,从而提高倾向性判断的准确率。实验结果表明,改进后的方法在计算观点词词汇语义相似度时更为合理,并且判断倾向性时准确率有一定的提高。     

基于分层注意力机制的神经网络垃圾评论检测模型

针对现有垃圾评论识别方法很难揭示用户评论的潜在语义信息这一问题,提出一种基于层次注意力的神经网络检测（HANN）模型。该模型主要由以下两部分组成：Word2Sent层,在词向量表示的基础上,采用卷积神经网络（CNN）生成连续的句子表示;Sent2Doc层,基于上一层产生的句子表示,使用注意力池化的神经网络生成文档表示。生成的文档表示直接作为垃圾评论的最终特征,采用softmax分类器分类。此模型通过完整地保留评论的位置和强度特征,并从中提取重要的和综合的信息（文档任何位置的历史、未来和局部上下文）,挖掘用户评论的潜在语义信息,从而提高垃圾评论检测准确率。实验结果表明,与仅基于神经网络的方法相比,该模型准确率平均提高5%,分类效果显著改善。     

融合短文本层级注意力和时间信息的推荐方法

信息过载造成的数据稀疏性问题制约着基于评分数据的矩阵分解模型的推荐性能,融合评论文本的推荐模型能够有效缓解评分数据稀疏性.当前的推荐系统利用评论文本为用户和项目建模时,大多仅将用户对项目的评论作为数据来源,而忽视了时间信息对用户和项目属性的影响.针对此问题,提出了一种融合短文本层级注意力和时间信息的推荐方法(RHATR),该方法能够充分地挖掘评论文本潜在的语义信息,并为用户偏好和项目特征的动态变化进行建模.通过对单条评论文本应用单词级注意力,挖掘单条评论文本中情感词和关键词等有效信息,学习用户和项目表示;对含有时间因素的用户评论集和项目评论集分别应用评论级注意力,提取有效的评论,进一步学习用户偏好和项目特征动态表示.将从评论文本中学到的用户和项目表示以及基于ID的项目和用户嵌入作为最终特征,来捕获各用户和项目的潜在因素.实验结果表明,提出的方法相对于当前基线方法在Amazon和Yelp数据集上的均方根误差(RMSE)取得了较好的效果.     

融合情感极性与信任函数的虚假评论检测方法

在线评论是用户判断商品质量的一个依据。虚假评论严重影响了消费者的购买行为,现有的虚假评论检测方法从文本出发,忽略了评分的虚假性,评分通常是不精确和不确定的,对虚假评论检测效果不佳。提出融合情感极性与信任函数的虚假评论检测方法(EP-BFRD),利用信任函数处理给定评论者评分中的不确定性和不准确性,考虑与其他评分者提供的评分的相似性,以检测误导性,并判断评论文本情感极性与评分一致性。综合考虑信任函数处理的结果以及评分与文本情感一致性的结果来判断评论的虚假性。在一个真实的数据库上进行实验,实验表明该方法可有效解决虚假评论检测问题。     

基于用户兴趣变化和评论的协同过滤算法研究

传统协同过滤算法中,随着用户和商品数量的日益增多,用户-项目评分矩阵越来越稀疏。针对这一问题,提出了一种基于用户兴趣变化和评论的协同过滤算法。该算法将用户评论和遗忘曲线引入传统协同过滤算法中,将评论文本作为商品特征描述文本,使用主题模型计算商品主题特征,引入艾宾浩斯遗忘曲线来协同计算用户的评论分布及评论相似度。将用户评论相似度和用户评分相似度相结合,以得到最终的用户相似度,进而对商品评分进行预测。对网络爬取的真实数据进行验证,结果显示该算法能够在稀疏数据集上获得较好的推荐结果。     

基于主题交互图的案件话题摘要

从案件相关的话题评论中生成简短的话题描述对于快速了解案件舆情有着重要作用, 其可以看做是基于用户评论的多文档摘要任务. 然而用户评论中含有较多噪声且生成摘要所需的重要信息分散在不同的评论句中, 直接基于序列模型容易生成错误或不相关的摘要. 为了缓解上述问题, 提出一种基于主题交互图的案件话题摘要方法, 将嘈杂的用户评论组织为主题交互图, 利用图来表达不同用户评论之间的关联关系, 从而过滤重要的用户评论信息. 具体来说, 首先从评论句中抽取案件要素, 然后构造以案件要素为节点, 包含案件要素的句子为内容的主题交互图; 然后利用图Transformer网络生成图中节点的表征, 最后生成简短的话题描述. 在收集的案件话题摘要数据集上的实验结果表明, 所提方法是一种有效的数据选择方法, 能够生成连贯、事实正确的话题摘要.     

基于评论和物品描述的深度学习推荐算法

评论文本中蕴含着丰富的用户和物品信息,将其应用于推荐算法有助于缓解数据稀疏问题,提高推荐准确度.然而,现有的基于评论的推荐模型对评论文本的挖掘不够充分和有效,并且大多忽视了用户兴趣随时间的迁移和蕴含物品属性的物品描述文档,使得推荐结果不够准确.基于此,文中提出了一种基于深度语义挖掘的推荐模型(Deep Semantic...