基于位置感知交叉注意力网络的方面情感分析

针对目前大多数基于深度学习的模型忽略了位置信息在识别方面术语情感任务上起着重要作用的事实,提出了一种基于双向门控循环网络(Bi-GRU)的位置感知交叉注意力模型(PAOAN).该模型先获得文本词向量和方面词向量,并在文本词向量上融合位置信息,通过Bi-GRU网络后,分别得到上下文隐藏表示和方面隐藏表示,再通过交叉注意力机制(Attention-Over-Attention)得到方面术语与句子之间的相互关系,最后通过Softmax层获得其情感标签.实验在SemEval2014数据集上进行,结果表明,本文提出的PAOAN模型相比于其他模型是有效的.     

联合con-GRU与ATGAT模型的情感分析三元组方法

情感分析三元组任务是情感分析任务的研究热点,其目的在于将方面词、情感词与情感极性组成三元组。图神经网络是提取句子特征的有效手段,但其无法关注节点与节点之间的关系,并且注意力权重赋予不合理。为此,提出一种联合双向对抗GRU与基于句法注意力机制的GAT模型。利用依存句法树的句子向量和ATGAT模型提取句子情感词,并将句子用syn-str更新向量表示;再融合句法结构的向量,通过双向对抗GRU提取特征进行情感判断。在三个公开英文数据集中开展实验,结果表明,所提模型相对其他基线模型具有更优异的性能。消融实验和对比实验也说明,所提出的各个网络模型组件比其他组件能更有效地将句法信息与原句向量融合。     

基于图卷积网络的双语多文档差异性摘要抽取

针对现有方法利用机器翻译在双语新闻中抽取差异性摘要存在的语义转换偏差问题，提出一种基于图卷积网络的双语多文档差异性摘要抽取方法。首先，对已抽取的双语多文档摘要构建句子关系图，并将GRU模型获得的句向量和句子关系图作为图卷积网络的输入，以获得图卷积相关性聚合之后的句子节点表征；然后，计算句子节点表征和GRU模型获得中英文文档向量之间的显著性得分；最后，按照显著性得分高低进行降序排序，分别抽取出中英文的差异性摘要。实验结果表明，所提出的方法能够有效抽取双语多文档差异性摘要。     

基于Bi-GRU和双层注意力机制的商品评论情感分析

本文针对现有商品评论情感分析模型均没有对商品评论文本进行细粒度划分的缺点,提出一种基于双向门控循环网络(Bi-GRU)和双层注意力机制的商品评论情感分类模型。该模型将商品评论文本划分成词级和句子级,通过Bi-GRU提取商品评论在词级和句子级的特征,同时在词级和句子级分别应用注意力机制对相应信息进行权重重分布,通过层级递进的方式获取到商品评论的情感倾向。实验结果表明,本研究提出的商品评论情感分析模型在评论数据集中取得了93.78%的准确率,相对于使用单层注意力机制的Bi-GRU提升了2.6%。     

基于知识图谱信息协同传播的推荐模型

针对当前基于知识图谱的推荐模型没有充分挖掘知识图谱语义结构信息的问题,提出一种融合知识图谱表示学习方法和信息协同传播机制的推荐模型KCOD。KCOD基于经典的知识图谱表示学习模型DistMult与TransR建模并推理实体三元组的语义关系,然后通过交叉计算每一阶历史交互实体向量推理结果与候选物品实体向量推理结果的相似度,进行模型训练及偏好预测。实验结果显示KCOD的性能优于经典对比模型。     

基于ERNIE-BiLSTM的社交网络文本情感分析

社交网络文本情感分析任务中,因短文本信息模糊等特点,传统的词向量模型无法更好地表示词的语义特征,当前短文本情感分类任务多以二分类研究为主,将结果分类为积极情感与消极情感,未能对分类结果更细入的划分。文中提出一种舆情情感分析的ERNIE-BiLSTM方法,实现了对用户评论情感的七种情绪分类,包括恐惧、厌恶、乐观、惊喜、感恩、悲伤和愤怒。ERNIE-BiLSTM方法利用ERNIE预训练模型获取文本的语义信息,结合BiLSTM提取文本的双向特征,最后使用softmax函数获得最终的情感分类结果。实验结果表明,ERNIE-BiLSTM方法具有87.7%的精确率、86.9%的召回率和86.8%的F1得分,比其他方法得到了有效提升。     

基于注意力机制和多关系事件的时序知识图谱推理

时序知识图谱推理是将时序信息引入知识表征学习和知识推理任务中,旨在推断事件在未来的演变趋势.针对大多数时序知识图谱推理方法存在跨时间实体与关系推理能力有限的问题,提出基于多关系事件和注意力机制的时序知识图谱推理模型（Attention Events Network,Attn-Net）.为利用时序知识图谱中推理任务与时序事件的关联信息,往往需要设计专门的、复杂度高的时序编码器.然而循环神经网络作为最常用的一类序列编码器,忽略了序列节点与任务之间的关联程度,并不能很好适用于知识推理.文中提出了使用自注意力机制序列编码模型来融合序列的历史信息,计算推理任务与时序历史信息的注意力标量,从而得到更准确的历史事件关联信息编码.在此基础上,使用注意力机制优化多关系邻域聚合器,根据不同关系下事件关注程度计算得到实体的邻域表示,从而获得更准确的事件编码,最终获取了更准确的实体邻域向量表示.在WIKI和YAGO数据集上实验表明,Attn-Net的效果分别提升了1.5%和2%,且有效提高了时序知识图谱推理的能力.     

面向图表示社区检测的新型聚类覆盖算法

图表示社区检测使用图表示方法学习网络节点的向量表示,然后对节点向量进行聚类获得社团结构.然而经典的聚类算法在聚类节点向量时,得到的结果往往不能够体现社区的特性.提出一种新型的聚类覆盖算法,将聚类所得覆盖视为社区划分结果.首先在节点向量空间中计算得到每个簇的覆盖中心;然后根据覆盖中心到同类样本的平均距离作为覆盖半径,在向量空间中形成覆盖;最后对未覆盖的点做二次划分得到社区结构.在多个有真实和无真实标签网络的实验表明,所提出的算法可以得到更合理的社区结果.     

基于Albert和句法树的方面级情感分析

方面级情感分析是情感分析的子任务,具体目标是识别不同方面词的情感极性。先前的工作大部分采用静态词向量和循环神经网络进行这个任务的建模。然而由于自然语言表达的多样性,静态词向量不能够准确地找到修饰方面词的上下文信息,并且以往的工作在对上下文的位置信息编码时存在不足。同时发现中性标签的数据表达的不确定性,本文认为会存在一定的标签不可靠情况。所以本文提出了基于预训练模型Albert和引入句法树的模型Albert-DP,并且在损失函数中加入了标签平滑。通过该设计,本模型能够很好地表示方面词对象及其上下文,有助于情感分类。本文在公开的笔记本电脑数据集、餐馆数据集以及推特数据集上的实验表明,本文的方法优于传统的模型。     

基于XLNet-BiLSTM的中文电子病历命名实体识别方法

中文临床电子病历命名实体识别是实现智慧医疗的基本任务之一.本文针对传统的词向量模型文本语义表示不充分,以及循环神经网络(RNN)模型无法解决长时间依赖等问题,提出一个基于XLNet的中文临床电子病历命名实体识别模型XLNet-BiLSTM-MHA-CRF,将XLNet预训练语言模型作为嵌入层,对病历文本进行向量化表示,解决一词多义等问题;利用双向长短时记忆网络(BiLSTM)门控制单元获取句子的前向和后向语义特征信息,将特征序列输入到多头注意力层(multi-head attention,MHA);利用MHA获得特征序列不同子空间表示的信息,增强上下文语义的关联性,同时剔除噪声;最后输入条件随机场CRF识别全局最优序列.实验结果表明,XLNet-BiLSTM-Attention-CRF模型在CCKS-2017命名实体识别数据集上取得了良好的效果.     

融合TextCNN-BiGRU的多因子权重文本情感分类算法研究

随着深度学习技术在自然语言处理领域的广泛应用,短文本情感分类技术得到显著发展。该文提出了一种融合TextCNN-BiGRU的多因子权重文本情感分类算法。算法通过引入词语情感类别分布、情感倾向以及情感强度三个关键因子改进了词语的向量表示。将基于词向量表示的短文本分别作为TextCNN和BiGRU模型的输入,提取文本关键局部特征以及文本上下文的全局特征,将两种特征进行线性融合,实现中文短文本的情感分类。在公开的两个情感分类数据集上验证了多因子权重向量表示方法和融合TextCNN-BiGRU的情感分类模型的有效性,实验结果表明,文中提出的算法较单一模型在短文本情感分类准确率上提高了2%。     

面向方面级情感分析的交互图注意力网络模型

方面级情感分析目前主要采用注意力机制与传统神经网络相结合的方法对方面与上下文词进行建模.这类方法忽略了句子中方面与上下文词之间的句法依存信息及位置信息,从而导致注意力权重分配不合理.为此,该文提出一种面向方面级情感分析的交互图注意力网络模型(IGATs).该模型首先使用双向长短期记忆网络(BiLSTM)学习句子的语义特征表示,并结合位置信息生成新的句子特征表示,然后在新生成的特征表示上构建图注意力网络以捕获句法依存信息,再通过交互注意力机制建模方面与上下文词之间的语义关系,最后利用soft-max进行分类输出.在3个公开数据集上的实验结果表明,与其他现有模型相比,IGATs的准确率与宏平均F1值均得到显著提升.     

面向方面级情感分析的交互图注意力网络模型

方面级情感分析目前主要采用注意力机制与传统神经网络相结合的方法对方面与上下文词进行建模。这类方法忽略了句子中方面与上下文词之间的句法依存信息及位置信息,从而导致注意力权重分配不合理。为此,该文提出一种面向方面级情感分析的交互图注意力网络模型(IGATs)。该模型首先使用双向长短期记忆网络(BiLSTM)学习句子的语义特征表示,并结合位置信息生成新的句子特征表示,然后在新生成的特征表示上构建图注意力网络以捕获句法依存信息,再通过交互注意力机制建模方面与上下文词之间的语义关系,最后利用softmax进行分类输出。在3个公开数据集上的实验结果表明,与其他现有模型相比,IGATs的准确率与宏平均F1值均得到显著提升。     

基于部分匹配的XML文本文档向量检索模型

本文提出了部分匹配模式的XML文本文档向量检索模型,给出了XML文本文档树以及子文档树的向量表示和查询以及子查询的向量表示,并由此提出了查询中的祖先-后代关系映射到文档中的祖先-后代关系的部分匹配模式的检索方式,给出了基于此匹配处理过程的相似度计算,以判断文档与查询的相关程度.在构造的检索原型系统中的实验表明,该检索模型具有较好的查全率和查准率.     

关联模式挖掘与词向量学习融合的伪相关反馈查询扩展

针对自然语言处理中查询主题漂移和词不匹配问题,提出基于CSC(Copulas-based Support and Confidence)框架的关联模式挖掘与规则扩展算法,并将基于统计学分析的关联模式与具有上下文语义信息的词向量融合,提出关联模式挖掘与词向量学习融合的伪相关反馈查询扩展模型.该模型对伪相关反馈文档集挖掘规则扩展词,对初检文档集进行词嵌入学习训练得到词向量,计算规则扩展词与原查询的向量相似度,提取向量相似度不低于阈值的规则扩展词作为最终扩展词.实验结果表明,所提扩展模型能有效地减少查询主题漂移和词不匹配问题,提高检索性能,与现有基于关联模式的和基于词向量的查询扩展方法比较,MAP(Mean Average Precision)平均增幅最大可达17.52％,对短查询更有效.所提挖掘方法可用于其他文本挖掘任务和推荐系统,以提高其性能.     

基于多层级视觉融合的图像描述模型

传统方法在视觉策略网络中只关注实体,不能够推理出实体和属性之间的联系,在语言策略网络存在暴露偏差和误差累计问题.为此,提出了一个基于强化学习的多层级视觉融合网络模型.在视觉策略网络中通过多层级神经网络模块将视觉特征转化为视觉知识的特征集.融合网络生成使描述语句更加流畅的虚词,用于视觉策略网络和语言策略网络的互动.在语言策略网络中使用基于强化学习的自批评策略梯度算法对视觉融合网络实现端到端的优化.实验结果表明,该模型在MS?COCO数据集取得不错效果,将Karpathy分割测试中的CIDEr值从120.1提高到124.3.     

融入对抗训练的中文电子病历命名实体识别

为提高中文电子病历中命名实体识别模型鲁棒性和准确性,为此提出一种基于BERT模型融入对抗网络的中文电子命名实体识别模型,该方法使用BERT预训练模型动态生成字向量,通过对抗训练生成扰动,将字向量与扰动相加生成对抗样本,再通过膨胀卷积网络（IDCNN）捕捉句子单词间的依赖,最后通过条件随机场（CRF）得到最终预测结果。在CCKS2019数据集上的实验表明,模型的F1值达到83.19%,证明该模型的有效性。     

基于稀疏表示的红外小目标跟踪

针对云天背景下红外小目标跟踪易受噪声影响,传统目标模型对噪声敏感等问题,提出一种贝叶斯推理框架下使用稀疏表示建模红外小目标的跟踪算法。该算法结合目标模板向量和正负琐碎向量构建目标稀疏表示模型,在贝叶斯推理框架下使用图像子块系数向量的目标模板重构误差作为观测模型,实现小目标的跟踪。实验证明了算法的有效性和鲁棒性。     

基于深度学习的体育评论文本情感分类研究

体育赛事作为公共话题，是网络舆情的来源之一。针对传统词向量语义表示质量不高，深度学习模型特征提取能力不强等问题，提出了基于ERNIE-BiSRU-AT的体育赛事评论文本分类模型。利用预训练模型ERNIE提取词的动态向量表示，BiSRU-AT模块捕获文本的上下文序列特征，并聚焦于对情感极性贡献较大的词。在真实微博女排赛事评论数据集进行实验，ERNIE-BiSRU-AT模型F1分数达到92.35%,高于实验对比的其他模型，验证了模型的有效性。     

基于SVM算法的在线评论情感分类研究

在线评论情感分析是商户和消费者共同关注的热点,基于词典的传统情感分类方法不适用于在线评论的分类,因此提出基于SVM算法的在线评论情感分类模型.首先通过清洗、分词、标注情感标签对在线评论进行预处理,然后进行词向量表示,最后使用SVM算法进行分类.实验结果表明,该模型具有较为理想的分类准确率.