融合词向量和主题模型的领域实体消歧*

针对Skip-gram词向量计算模型在处理多义词时只能计算一个混合多种语义的词向量,不能对多义词不同含义进行区分的问题,文中提出融合词向量和主题模型的领域实体消歧方法.采用词向量的方法从背景文本和知识库中分别获取指称项和候选实体的向量形式,结合上下位关系领域知识库,进行上下文相似度和类别指称相似度计算,利用潜在狄利克雷分布(LDA)主题模型和Skip-gram词向量模型获取多义词不同含义的词向量表示,抽取主题领域关键词,进行领域主题关键词相似度计算.最后融合三类特征,选择相似度最高的候选实体作为最终的目标实体.实验表明,相比现有消歧方法,文中方法消歧结果更优.     

基于BiLSTM和ResCNN的实体关系抽取方法

当前大多数实体关系抽取方法无法获取较长句子中的远距离依赖信息,并且由于远程监督数据噪声的干扰导致关系抽取性能下降。因此本文提出一种基于双向长短期记忆网络（BiLSTM）和残差卷积神经网络（ResCNN）的实体关系抽取模型,该模型在向量表示阶段采用BiLSTM获取词语的上下文信息向量,利用残差网络将卷积神经网络中低层的特征传递到高层,有效解决梯度消失问题。同时将挤压-激励块嵌入残差网络中,能大幅降低数据噪声,强化特征传递,在池化阶段采用分段最大化池化方法来捕捉实体对的结构信息。设计在NYT-Freebase数据集上的验证实验,实验结果表明,该模型能够充分学习特征,显著提升实体关系抽取的效果。     

基于循环卷积神经网络的实体关系抽取方法研究

针对目前大多数关系抽取中对于文本语料中较长的实体共现句,往往只能获取到局部的特征,并不能学习到长距离依赖信息的问题,提出了一种基于循环卷积神经网络与注意力机制的实体关系抽取模型。将擅长处理远距离依赖关系的循环神经网络GRU加入到卷积神经网络的向量表示阶段,通过双向GRU学习得到词语的上下文信息向量,在卷积神经网络的池化层采取分段最大池化方法,在获取实体对结构信息的同时,提取更细粒度的特征信息,同时在模型中加入基于句子级别的注意力机制。在NYT数据集的实验结果表明提出方法能有效提高实体关系抽取的准确率与召回率。     

基于位置编码与实体交互信息的关系抽取方法

关系抽取作为信息抽取领域的重要研究课题, 其主要目的是抽取句子中已标记实体对之间的语义关系, 对句子语义理解及知识库构建有着重要作用. 针对现有抽取方法中未能充分利用单词位置信息和实体间的交互信息导致重要特征丢失的问题, 本工作提出一种基于位置编码与实体交互信息的关系抽取方法(BPI-BERT). 首先将新型位置编码融入BERT预训练语言模型生成的词向量中后使用平均池化技术得到实体和句子向量, 再利用哈达玛乘积构造实体交互信息, 最后将实体向量、句子向量及交互信息向量拼接得到关系向量并输入到Softmax分类器进行关系分类. 实验结果表明BPI-BERT在精准率和 F1上较现有方法有提高, 证明了BPI-BERT的有效性.     

中文实体关系抽取研究

针对基于特征向量的实体关系抽取方法中特征向量一般构造方法存在的不足,提出了基于互信息的实体对特征向量构造方法.该方法引入词和实体关系类别之间的互信息作为一个句子中实体对左右两边上下文特征提取的判断标准,并对实体关系类别特征词条进行编码,在此基础上再对实体对左右两边的上下文信息进行编码.这样做压缩了实体对上下文信息编码的维数,突出了实体关系各类别特性.实验结果表明本文的实体关系特征向量构造方法提高了中文实体关系抽取的准确率和召回率.     

融合ERNIE和注意力机制的中文关系抽取模型

关系抽取任务是要在实体识别的基础上确定无结构文本中实体对间的关系类别,即判断实体间的关系.针对目前中文关系抽取精度不足以及静态词向量无法很好地解读文本的问题,本文提出一种融合ERNIE预训练模型和注意力机制的TEXTCNN中文关系抽取模型.ERNIE词向量针对中文的特点以词组为单位做掩盖进行模型训练,实现了对中文文本更好的语义表达,再通过TEXTCNN模型对输入数据进行特征提取,融合注意力机制聚焦于影响最终结果的关键特征,从而实现特征优化提取.本文在百度发布的SKE数据集上进行实验,重点探索ERNIE模型结合注意力机制对中文文本的特征表达效果,结果表明本文模型可以更好地学习中文文本中的特征并用于关系抽取,有效提高关系抽取任务的准确率.     

基于多通道卷积神经网的实体关系抽取

针对实体关系抽取任务中,传统基于统计学习的方法构建特征费时费力、现有深度学习方法依赖单一词向量的表征能力的问题,提出多通道卷积神经网模型。首先使用不同的词向量将输入语句进行映射,作为模型不同通道的输入;然后使用卷积神经网自动提取特征;最后通过softmax分类器输出关系类型,完成关系抽取任务。和其他模型相比,该模型可以获取输入语句更丰富的语义信息,自动学习出更具有区分度的特征。在SemEval-2010 Task 8 数据集上的实验结果表明提出的多通道卷积神经网模型较使用单一词向量的模型更适合处理关系抽取任务。     

多特征混合模型文本情感分析方法

近年来,深度学习被广泛应用于文本情感分析。其中文本卷积神经网络（TextCNN）最具代表性,但是TxetCNN的语义特征提取存在词嵌入维度语义特征丢失、最大池化算法特征提取不足和文本长期依赖关系丢失的问题。针对以上问题,提出多特征混合模型（BiLSTM-MFCNN）的文本情感分析方法。该方法使用双向长短记忆网络（BiLSTM）学习文本的长期依赖关系;改进TextCNN的卷积层和池化层提出多特征卷积神经网络（MFCNN）,卷积层利用五种不同的卷积算法,分别从句子维度、整个词嵌入维度、单个词嵌入维度、相邻词向量维度和单个词向量维度提取文本的语义特征,池化层利用最大池化算法和平均池化算法,获取文本的情感特征。在中文NLPCC Emotion Classification Challenge和COAE2014数据集、英文Twitter数据集进行对比实验,实验结果表明该混合模型在文本情感分析任务中能够取得更好的效果。     

基于图注意力和表指针网络的中文事件抽取方法

现有的中文事件抽取方法存在触发词和论元依赖建模不足的问题，削弱事件内的信息交互，导致论元抽取性能低下，特别是论元角色存在重叠的情况下.对此，文中提出基于图注意力和表指针网络的中文事件抽取方法(Chinese Event Extraction Method Based on Graph Attention and Table Pointer Network, ATCEE).首先，融合预训练字符向量和词性标注向量作为特征输入，并利用双向长短期记忆网络，得到事件文本的强化语义特征.再将字符级建模的依存句法图引入图注意力网络，捕获文本中各组成成分的长距离依赖关系.然后，使用表填充的方法进行特征融合，进一步增强触发词和其对应的所有论元之间的依赖性.最后，将学习得到的表特征输入全连接层和表指针网络层，进行触发词和论元的联合抽取，使用表指针网络对论元边界进行解码，更好地识别长论元实体.实验表明：ATCEE在ACE2005和DuEE1.0这两个中文基准数据集上都有明显的性能提升，并且字符级依存特征和表填充策略在一定程度上可以解决论元角色重叠问题.ATCEE源代码地址如下：https://github....     

基于依存关系和双通道卷积神经网络关系抽取方法

关系抽取是自然语言中的一项重要任务,其结果对后续的信息抽取和自动问答系统有重要的影响。随着深度学习的日益火热,基于卷积神经网络的实体关系抽取已取得了不错的结果。不过词向量表示比较单一,提取的特征也有限。针对这个问题,将Word2vec训练的词向量和由自然语言处理工具得出的依存关系对分别作为模型两通道的输入向量,使用双通道卷积神经网络提取特征来实现实体关系抽取。该模型可以提取更深层的语义信息,并取得了比传统词向量更好的效果。     

基于双通道卷积神经网络的文本情感分类算法

针对现有深度学习方法在文本情感分类任务中特征提取能力方面的不足,提出基于扩展特征和动态池化的双通道卷积神经网络的文本情感分类算法.首先,结合情感词、词性、程度副词、否定词和标点符号等多种影响文本情感倾向的词语特征,形成一个扩展文本特征.然后,把词向量特征与扩展文本特征分别作为卷积神经网络的两个输入通道,采用动态k-max池化策略,提升模型提取特征的能力.在多个标准英文数据集上的文本情感分类实验表明,文中算法的分类性能不仅高于单通道卷积神经网络算法,而且相比一些代表性算法也具有一定的优势.     

用于关系抽取的注意力图长短时记忆神经网络

关系抽取是信息获取中一项关键技术。句子结构树能够捕获单词之间的长距离依赖关系,已被广泛用于关系抽取任务中。但是,现有方法存在过度依赖句子结构树本身信息而忽略外部信息的不足。本文提出一种新型的图神经网络模型,即注意力图长短时记忆神经网络(attention graph long short term memory neural network, AGLSTM)。该模型采用一种软修剪策略自动学习对关系抽取有用的句子结构信息;通过引入注意力机制,结合句法图信息学习句子的结构特征;并设计一种新型的图长短时记忆神经网络,使得模型能够更好地融合句法图信息和句子的时序信息。与10种典型的关系抽取方法进行对比,实验验证了该模型的优异性能。     

基于词向量和卷积神经网络的垃圾短信识别方法

对垃圾短信进行过滤识别研究具有重要的社会价值和时代背景意义。针对传统的人工设计短信特征选择方法中存在数据稀疏、特征信息共现不足和特征提取困难的问题,提出一种基于词向量和卷积神经网络（CNN）的垃圾短信识别方法。首先,使用word2vec的skip-gram模型根据维基中文语料库训练出短信数据集中每个词的词向量,并将每条短信中各个词组所对应的词向量组成表示短信的二维特征矩阵;然后,把特征矩阵作为卷积神经网络的输入,通过卷积层的不同尺度卷积核提取多尺度短信特征,以及利用1-max pooling池化策略得到局部最优特征;最后,将局部最优特征组成融合特征向量放入softmax分类器中得出分类结果。在10万条短信数据上进行的实验结果表明,在特征提取方式相同的情况下,基于卷积神经网络模型的识别准确率能够达到99.5%,比传统的机器学习模型提高了2.4%~5.1%,且各模型的识别准确率均保持在94%以上。     

基于深度半监督的柬语句子级情感分类

针对柬语标注数据较少、语料稀缺,柬语句子级情感分析任务进步缓慢的问题,提出了一种基于深度半监督CNN(convolutional neural networks)的柬语句子级情感极性分类方法.该方法通过融合词典嵌入的分开卷积CNN模型,利用少量已有的柬语情感词典资源提升句子级情感分类任务性能.首先构建柬语句子词嵌入和词典嵌入,通过使用不同的卷积核对两部分嵌入分别进行卷积,将已有情感词典信息融入到CNN模型中去,经过最大延时池化得到最大输出特征,把两部分最大输出特征拼接后作为全连接层输入;然后通过结合半监督学习方法——时序组合模型,训练提出的深度神经网络模型,利用标注与未标注语料训练,降低对标注语料的需求,进一步提升模型情感分类的准确性.结果 证明,通过半监督方法时序组合模型训练,在人工标记数据相同的情况下,该方法相较于监督方法在柬语句子级情感分类任务上准确率提升了3.89％.     

以关键词抽取为核心的文摘句选择策略

针对面向查询的多文档自动文摘,该文提出了一种以关键词抽取为核心的文摘句选择策略。通过查询扩展的相关技术得到相关多文档集中词语的查询相关性特征,利用最大似然估计法得到语料中词语的话题相关性特征,并将这两个特征值进行特征融合得到词语的重要度以确定关键词。然后通过关键词的重要度来给候选句打分,进一步利用改进的MMR(Maximal Marginal Relevance)技术来调整候选句的得分,最后生成文摘。该文将特征融合引入到词语层面,在DUC2005的语料中测试取得了较好的效果。     

面向文本标题的人物关系抽取

为了克服文本标题的人物关系抽取中非人物实体的干扰、关系特征词的选取以及标题中多人物实体对目标实体的关系判定的影响,提出基于决策树的人物实体判别、基于最小集合覆盖的关系特征词生成以及基于三层句式规则统计方法。首先,针对中国机器学习会议(CCML)竞赛中人物关系属性文件中对人物的描述,提取18种特征,采用C4.5分类器,获得了98.2%的查全率和92.6%的查准率,其结果作为下一步人物关系判定的条件;其次,为了保证特征词集合的规模维持在合适的水平,采用了基于最小集合覆盖的特征词覆盖的算法,结果表明,随着特征词集合达到一定的规模,特征词集合完成对所有类别关系的集合覆盖,用以判定文本标题中人物关系类型;最后,采用三层句式规则统计方法,用以生成过滤掉比重较小的句子规则和根据关系正负比例判定的进一步细分句式规则,以判定文本标题关系与否。实验结果表明,在19种人物关系判定上取得82.9%的查全率、74.4%的查准率以及78.4%的F1测度。所提方法可以有效用于新闻标题人物关系提取,用以构建人物关系知识图谱。     

基于注意力机制的混合神经网络关系分类方法

关系分类是自然语言处理领域的一项重要语义处理任务。传统的关系分类方法通过人工设计各类特征以及各类核函数来对句子内部2个实体之间的关系进行判断。近年来,关系分类方法的主要工作集中于通过各类神经网络获取句子的语义特征表示来进行分类,以减少手动构造各类特征。在句子中,不同关键词对关系分类任务的贡献程度是不同的,然而重要的词义有可能出现在句子中的任意位置。为此,提出了一种基于注意力的混合神经网络关系分类模型来捕获重要的语义信息,用来进行关系分类,该方法是一种端到端的方法。实验结果表明了该方法的有效性。