基于多头注意力的电网调度领域命名实体识别

针对电网调度领域实体识别准确率较低的问题,提出一种融合多头注意力机制和双向长短时记忆网络的电网调度领域中文命名实体识别方法。利用词向量表示电网调度语音识别后语句,并将生成的词向量序列输入双向长短时记忆网络(BiLSTM)挖掘其上下文语义特征,引入多头注意力机制重点关注文本中的实体词,挖掘其隐藏特征,同时通过条件随机场(CRF)计算序列标签的联合概率标注出实体识别结果。根据电网调度语音识别后文本特点自建标注数据集,并将电网调度语音识别文本中的命名实体细粒度划分为参数、设备、操作、系统、组织5个类别进行实验。其结果表明,该方法对电网调度领域实体识别具有更高的准确率和召回率,且F1值可达到93.63%,切实解决了电网调度领域实体识别任务中标注数据稀少和精度较低的问题,有助于电网调度领域知识图谱的构建。     

基于BERT的中文简历命名实体识别

为了充分发掘中文简历数据中所蕴含的信息,提高构建社交网络知识图谱和档案知识图谱的实体丰富度,提出了基于BERT的中文简历命名实体识别技术.该技术模型首先通过BERT网络将大规模未标注文本生成具有语义特征的字符向量,接着通过嵌入条件随机场(CRF)的双向长短时记忆(BiLSTM)神经网络模型获取输入文本序列的上下文特征,解码标注提取出相应的8个实体类型.实验结果表明,该网络模型在个人中文简历数据集上取得了97.07％的平均F1值,可以运用于中文简历数据的实体识别任务.     

语义增强的图神经网络方面级文本情感分析

方面级情感分析是一种细粒度文本情感分析技术,可以判断文本目标方面的情感倾向,被广泛应用于商品评价、教育评价等领域,可以辅助用户更全面地了解实体属性并做出精准决策。但是现有方面级情感分析技术大多存在文本句法依存关系特征以及外部知识特征提取不充分的问题,为此,利用图卷积神经网络可以处理异构数据的特点,构建一种语义增强的方面级文本情感分析模型。将文本的词嵌入向量输入双向门控循环神经网络以提取文本和目标方面词的上下文语义信息,依据句法依存关系类型构建加权句法依存图,根据文本单词和外部知识库构建知识子图,使用图卷积神经网络处理加权句法依存图和知识子图,从而获取融合文本句法结构信息的文本特征和体现外部知识信息的目标方面特征,在此基础上,拼接两组特征向量完成情感极性分类。实验结果表明,在Laptop14、Restaurat14和Restaurat15数据集上,该模型的F1值分别达到77.34%、76.58%和68.57%,相比ATAELSTM、TD-LSTM、ASGCN等基线模型,其F1值分别平均提高7.28%、5.71%和6.28%,所提模型通过提取文本句法依存关系特征以及外部知识特征获得了更好的...     

基于预训练模型的文博数据命名实体识别方法

在对文博数据进行知识图谱的构建时,从文本中抽取出有效的三元组尤为重要,因而命名实体识别成为挖掘文博数据的首要任务。传统的中文实体命名识别方法多采用深度神经网络模型,此类方法在对词进行向量化处理时只是将词映射成单一的词向量,并不能很好地表示词的多义性。预训练语言模型能够有效地对字进行向量化表示,将语义信息充分地结合。因此,针对文博数据提出一种基于BERT的预训练实体识别模型,采用BERT预训练模型进行词嵌入,通过利用双向长短期记忆网络（BiLSTM）模型结合上下文信息来增强词向量的语义信息,然后利用条件随机场（CRF）模型进行解码。与传统长短期记忆（LSTM）网络和BiLSTM-CRF模型相比,该模型在微软公开数据集（MSRA）以及自行标注文博知识数据集上表现突出,在文博知识数据集中,模型的准确率达到93.57%,召回率达到75.00%,F1值达到73.58%。     

一种用于方面级情感分析的知识增强双图卷积网络

近年来,深度神经网络特别是图神经网络在方面级情感分析任务上取得了较大进展,但是仍存在未充分利用外部知识信息、句法依赖树的边关系信息以及知识图谱结构信息的缺陷.针对上述问题,本文提出了一种知识增强的双图卷积网络BGCN-KE(Knowledge-enhanced Bi-Graph Convolutional Network).首先,提出一种融合句法依赖关系与外部知识的子图构造算法,得到节点间语义关系更紧密的知识子图.其次,提出了双图卷积网络,分别利用两个图卷积网络在句法依赖知识子图中引导评论文本的节点学习邻接节点的外部知识,以及在评论文本的句法依赖图中融合特定方面相关的语义信息,从而增强评论文本的特定方面知识表示和语义表示.再次,BGCN-KE引入边关系注意力机制,更好地捕获特定方面和上下文词语间的语义关系.最后,提出了一种多级特征融合机制,充分融合特定方面相关的外部知识、语义信息和边关系特征.多个公共数据集上的实验证明,BGCN-KE的性能优于最新的对比模型.     

基于注意力机制特征融合的中文命名实体识别

命名实体识别是自然语言处理领域中信息抽取、信息检索、知识图谱等任务的基础。在命名实体识别任务中,Transformer编码器更加关注全局语义,对位置和方向信息不敏感,而双向长短期记忆（BiLSTM）网络可以提取文本中的方向信息,但缺少全局语义信息。为同时获得全局语义信息和方向信息,提出使用注意力机制动态融合Transformer编码器和BiLSTM的模型。使用相对位置编码和修改注意力计算公式对Transformer编码器进行改进,利用改进的Transformer编码器提取全局语义信息,并采用BiLSTM捕获方向信息。结合注意力机制动态调整权重,深度融合全局语义信息和方向信息以获得更丰富的上下文特征。使用条件随机场进行解码,实现实体标注序列预测。此外,针对Word2Vec等传统词向量方法无法表示词的多义性问题,使用RoBERTa-wwm预训练模型作为模型的嵌入层提供字符级嵌入,获得更多的上下文语义信息和词汇信息,增强实体识别效果。实验结果表明,该方法在中文命名实体识别数据集Resume和Weibo上F1值分别达到96.68%和71.29%,相比ID-CNN、BiLSTM、CAN-NER等...     

基于细粒度多通道卷积神经网络的文本情感分析

以词向量为输入的单通道卷积神经网络无法充分利用文本的特征信息,并且不能准确识别中文文本的多义词。针对上述问题,建立一种细粒度的多通道卷积神经网络模型。采用word2vec进行词向量的预训练,利用3个不同的通道做卷积运算,分别为原始词向量、词向量与词性表示相结合的词性对向量以及细粒度的字向量。通过词性标注进行词义消歧,利用细粒度的字向量发现深层次的语义信息。在此基础上,设置不同尺寸的卷积核以学习句子内部更高层次抽象的特征。仿真结果表明,该模型较传统卷积神经网络模型在情感分类的准确率和F1值上性能均有明显提升。     

融合知识感知和时间感知的用户偏好网络

在知识感知推荐领域,基于嵌入传播的方式可以挖掘知识图谱的结构化信息,也能够获取n跳实体间的语义信息,但随着传播范围的增加,嵌入传播方式会丢失部分结构化信息,且以这种方式所获得的用户向量表示是粗粒度的,不能充分表征用户的偏好。针对以上问题,提出了一种融合知识感知和时间感知的用户偏好网络(FKTUPN)。首先在嵌入层生成知识图谱的一阶嵌入向量,同时单独为用户偏好进行细粒度的建模;然后用随机游走的方式划分时间槽,进行时间上下文编码,获取图结构的上下文信息,并将该结构化信息嵌入到关系向量中;随后通过知识感知注意力机制区分嵌入表示的贡献并递归传播;最终在预测层中聚合不同传播层次的用户和项目表示,将两种表示相乘后得到推荐结果。实验表明,该模型在Amazon-book、Last-FM以及Yelp三个数据集上的recall@20、NDCG@20指标得分均高于对比的基线模型,细粒度的用户偏好表示以及结构化信息的充分利用能够有效提高推荐的准确度。     

基于词性特征的CNN_BiGRU文本分类模型

传统词嵌入通常将词项的不同上下文编码至同一参数空间,造成词向量未能有效辨别多义词的语义;CNN网络极易关注文本局部特征而忽略文本时序语义,BiGRU网络善于学习文本时序整体语义,造成关键局部特征提取不足.针对上述问题,提出一种基于词性特征的CNN_BiGRU文本分类模型.引入词性特征构建具有词性属性的词性向量;将词性向量与词向量交叉组合形成增强词向量,以改善文本表示;采用CNN网络获取增强词向量的局部表示,利用BiGRU网络捕获增强词向量的全局上下文表示;融合两模型学习的表示形成深度语义特征;将该深度语义特征连接至Softmax分类器完成分类预测.实验结果表明,该模型提高了分类准确率,具有良好的文本语义建模和识别能力.     

基于BERT的嵌入式文本主题模型研究

主题模型能够从海量文本数据中挖掘语义丰富的主题词,在文本分析的相关任务中发挥着重要作用。传统LDA主题模型在使用词袋模型表示文本时,无法建模词语之间的语义和序列关系,并且忽略了停用词与低频词。嵌入式主题模型（ETM）虽然使用Word2Vec模型来表示文本词向量解决上述问题,但在处理不同语境下的多义词时,通常将其表示为同一向量,无法体现词语的上下文语义差异。针对上述问题,设计了一种基于BERT的嵌入式主题模型BERT-ETM进行主题挖掘,在国内外通用数据集和《软件工程》领域文本语料上验证了所提方法的有效性。实验结果表明,该方法能克服传统主题模型存在的不足,主题一致性、多样性明显提升,在建模一词多义问题时表现优异,尤其是结合中文分词的WoBERT-ETM,能够挖掘出高质量、细粒度的主题词,对大规模文本十分有效。     

基于BERT的电机领域中文命名实体识别方法

针对电机领域实体识别精度较低的问题,提出一种融合BERT预训练语言模型的中文命名实体识别方法。利用BERT预训练语言模型增强字的语义表示并按照上下文特征动态生成字向量,将字向量序列输入双向长短期记忆神经网络进行双向编码,同时通过条件随机场算法标注出实体识别结果。根据电机文本特点对自建数据集进行标注,并将电机领域实体划分为实物、特性描述、问题/故障、方法/技术等4个类别。实验结果表明,与基于BiLSTM-CRF、BiLSTM-CNN和BiGRU的实体识别方法相比,该方法具有更高的准确率、召回率和F1值,并且有效解决了电机领域命名实体识别任务中标注数据不足及实体边界模糊的问题。     

神经网络与组合语义在文本相似度中的应用

为了更好地提高短文本语义相似度分析能力,提出了基于神经网络和组合语义的短文本语义相似度分析算法。利用神经网络构建词义表示模型,结合局部和全局上下文信息学习词语在实际语境下的表示;通过句法分析,得到文本的依存关系,并依此构建组合关系树,使用组合语义模型得到整个文本的语义表示;通过计算两个语义表示结果之间的相似性来计算文本的语义相似度。实验分析结果表明,该方法能够在一定程度上提高文本语义分析能力。     

基于词特征与语义特征的评价对象识别

网络评论短文本的细粒度情感分析是文本挖掘的研究热点,评价对象作为细粒度情感分析的基础,在识别文本过程中具有重要作用,如何充分利用上下文信息并对其进行有效表示是评价对象识别的难点所在。提出一种结合词特征与语义特征的评价对象识别方法。针对商品评论语料,使用条件随机场进行评价对象识别,在词特征、依存句法特征的基础上引入语义特征,并将各特征进行组合,以充分利用上下文信息,提高评价对象的识别准确性。在手机评论和酒店评论2个数据集上进行实验,结果表明,该方法的识别准确性较高,且F值分别高达75.36%和82.64%。     

基于差分融合句法特征的英语语法纠错模型

当前的英文语法纠错模型往往忽略了有利于语法纠错的文本句法知识, 从而使得英语语法纠错模型的纠错能力受到影响. 针对上述问题, 提出一种基于差分融合句法特征的英语语法纠错模型. 首先, 本文提出的句法编码器不仅可以直接从文本中无监督地生成依存关系图和成分句法树信息, 而且还能将上述两种异构的句法结构进行特征融合, 编码成高维的句法表征. 其次, 为了同时利用文本中的语义和句法信息, 差分融合模块先使用差分正则化加强语义编码器捕获句法编码器未能生成的语义特征, 然后采用协同注意力将句法表征和语义表征进一步融合, 作为Transformer编码端的输出特征, 最终输入到解码端, 从而生成语法正确的文本. 在CoNLL-2014 英文纠错任务数据集上进行对比实验, 结果表明, 该方法的准确率和F_0.5值优于基于Copy-Augmented Transformer的语法纠错模型, 其F_0.5值提升了5.2个百分点, 并且句法知识避免了标注数据过少问题, 具有更优的文本纠错效果.     

基于图上下文的知识表示学习

在知识图谱的知识表示学习中,绝大多数方法都是将知识图谱中实体和关系映射到低维的连续向量空间中,但数据的稀疏和信息的不足仍会导致实体和关系语义表示的不完整性.针对这个问题,提出基于图上下文的知识表示学习模型(Context_RL).将知识图谱中实体和关系的上下文信息作为可靠数据来源和输入.通过计算实体和关系的语义相似度,将图上下文信息融入向量表示中,在语义的层面上提高了知识图谱表示学习的能力.通过实体预测和三元组分类实验,在有关数据集上,Context_RL的实验结果比其他模型更好.     

基于交互式学习与多头注意力机制的金融文本情感分类

针对现有的金融文本情感分类模型在对文本表示进行建模时忽略了上下文语义和情感倾向之间交互关系的问题,本文提出了基于交互式学习与多头注意力机制的金融文本情感分类模型（Interactive learning and multi-head attention mechanism,ILMA）。该模型首先利用BERT模型来获得上下文和情感倾向信息的词嵌入表示;然后分别使用两个双向GRU(BiGRU)神经网络来学习上下文语义和情感倾向信息的随机依赖性;之后利用交互式学习机制和多头注意力机制来学习文本语境语义与情感倾向信息之间的交互表示;最后将生成的上下文语义和情感倾向信息的表示序列进行连接后,作为softmax分类器的输入进行分类。在四个公开的金融数据集上进行了实验,将ILMA模型与其他方法进行比较,结果表明ILMA模型的分类准确性相对于其他模型有了显著提升。     

基于知识图谱路径最优化的自然语言推理方法

外部知识库为自然语言推理模型提供了更多的推理知识,而传统融合知识图谱的自然语言推理模型在子图构建的过程中会引入大量噪声,影响最终模型准确率。对此提出一种基于知识图谱路径最优化的自然语言推理方法,首先结合权重信息和路径长度信息进行子图过滤,从而减少图中未匹配实体的数量,增加子图的上下文相关度,然后运用图神经网络编码子图得到图向量来进一步获取子图中的知识信息,最后将图向量和文本向量相结合送入分类器做判别。采用中文语料库作为实验数据集,结果表明论文模型测试准确率相比基线模型提升1.2%～4.4%,实现了比基线模型更好的识别性能。     

基于门控化上下文感知网络的词语释义生成方法

传统的词典编纂工作主要采用人工编纂的方式,效率较低且耗费大量的资源。为减少人工编纂的时间和经济成本,该文提出一种基于门控化上下文感知网络的词语释义生成方法,利用门控循环神经网络(GRU)对词语释义生成过程进行建模,自动为目标词生成词语释义。该模型基于编码器—解码器架构。编码器首先利用双向GRU对目标词的上下文进行编码,并采用不同的匹配策略进行目标词与上下文的交互,结合注意力机制分别从粗粒度和细粒度两个层次将上下文信息融合到目标词的向量表示中,最终获得目标词在特定语境中的编码向量。解码器则同时基于目标词的语境与语义信息为目标词生成上下文相关的词语释义。此外,通过向模型提供目标词字符级特征信息,进一步提高了生成释义的质量。在英文牛津词典数据集上进行的实验表明,该文提出的方法能够生成易于阅读和理解的词语释义,在释义建模的困惑度和生成释义的BLEU值上分别超出此前模型4.45和2.19,性能有显著提升。     

融合句法信息的无触发词事件检测方法

事件检测（ED）是信息抽取领域中最重要的任务之一,旨在识别文本中特定事件类型的实例。现有的ED方法通常采用邻接矩阵来表示句法依存关系,然而邻接矩阵往往需要借助图卷积网络（GCN）进行编码来获取句法信息,由此增加了模型的复杂度。为此,提出了融合句法信息的无触发词事件检测方法。通过将依赖父词及其上下文转换为位置标记向量,并在模型源端以无参数的方式融入依赖子词的单词嵌入来加强上下文的语义表征,而不需要经过GCN进行编码;此外,针对触发词的标注费时费力的问题,设计了基于多头注意力机制的类型感知器,以对句子中潜在的触发词进行建模,实现无触发词的事件检测。为了验证所提方法的性能,在ACE2005数据集以及低资源越南语数据集上进行了实验。其中,在ACE2005数据集上与图变换网络事件检测（GTN-ED）方法相比,所提方法的F1值提升了3.7%;在越南语数据集上,与二分类的方法类型感知偏差注意机制神经网络（TBNNAM）相比,所提方法的F1值提升了9%。结果表明,通过在Transformer中融入句法信息能有效地连接句子中分散的事件信息来提高事件检测的准确性。     

基于方面语义和门控过滤网络的方面级情感分析

方面级情感分析(Aspect-based Sentiment Analysis, ABSA)是一项细粒度的情感分析任务，旨在预测文本中特定方面的情感极性。目前，鉴于循环神经网络在序列建模方面的卓越性能以及卷积神经网络学习局部模式的出色表现，部分工作将两者相结合来挖掘情感信息，并且取得了不错的效果。但是，少有工作在将两者结合后应用到方面级情感分析任务中的同时考虑方面信息。在方面级情感分析任务中，大部分工作将方面视作一个独立整体与上下文进行交互，但是对于方面的表示过于简单，缺乏真实语义。针对上述问题，文中提出了一种基于方面语义和门控过滤网络(Aspect Semantic and Gated Filtering Network, ASGFN)的神经网络模型，用于挖掘方面级情感信息。首先，设计了方面编码模块，用于捕捉特定语境下的方面语义信息，该模块基于全局上下文融合多头注意机制与图卷积神经网络构建包含特定语义的方面表示。其次，设计门控过滤网络连接循环神经网络和卷积神经网络，以此增强方面与上下文的交互，同时结合循环神经网络与卷积神经网络的优势，进而提取情感特征。最后，将情感特征与方面表示相结合...