融合预训练模型与注意力机制的军事实体关系抽取方法

军事实体关系抽取是军事信息抽取的主要任务之一,目的在于识别非结构化军事文本中两个命名实体的关系类别.传统的军事关系抽取方法难以解决人工特征不充分、军事领域中文分词不准确以及未能充分利用句子间的实体关系特征等问题.因此,提出了一种融合预训练语言模型(BERT)和注意力机制的军事关系识别方法.该方法能够有效学习上下文语义特...     

基于Affix-Attention的命名实体识别语义补充方法

针对现有命名实体识别方法存在的语义信息获取不全面问题,提出基于Affix-Attention的命名实体识别语义补充方法。将句子和句子中每个单词对应的词缀输入到编码层,使用Bi-LSTM提取上下文特征。在编码层设计特征融合模块、建模文本特征与词缀特征的对应关系,使用Affix-Attention同时关注文本信息和词缀信息进行语义补充。解码层使用CRF层得到目标序列。在生物医学领域的JNLPBA-2004和BC2GM基准数据集上的试验结果综合评价指标F₁达到81.73%、84.73%;在公共数据集CONLL-2003中试验结果综合评价指标F₁达到91.35%。试验结果表明,本研究方法能够有效获取词的内部语义特征,融合文本信息和词缀信息,达到语义补充的效果,提升命名实体识别的性能。     

实体关系抽取研究综述

实体关系抽取作为信息抽取的核心任务和重要环节,能够实现实体对间语义关系的识别,对句子语义理解及实体语义知识库构建有着重要作用。回顾了实体关系抽取的发展史,总结了有监督实体关系抽取、无监督实体关系抽取、半监督实体关系抽取和开放式实体关系抽取4类方法的原理和代表性研究,并对各类方法进行了详细比较。     

基于实体消歧的中文实体关系抽取

针对开放文本中中文实体关系抽取的一词多义问题,提出一种基于实体消歧的中文实体关系抽取方法。首先,从知网中挖掘出具有潜在语义关系的实体对,并利用贝叶斯分类的语义消歧方法实现从知网到维基百科的实体映射,以获取高质量的关系实例;然后,根据这些关系实例抽取出其对应文本中共现的句子实例,构建基本的抽取模式;最后通过模式合并的方法生成新模式,再使用新模式来抽取新实例。实验结果表明,该方法与没有进行语义消歧和模式合并的方法相比准确率有所提高。     

基于决策树的现代汉语中任职关系抽取研究

在命名实体识别的研究基础之上,论文把抽取人名实体与机构实体间的任职关系看成分类问题．即根据现代汉语句子中任职动词的类别属性将任职关系信息抽取模式分类．应用决策树的方法确定句子的抽取模式,实现人在机构中的任职关系信息抽取．并对建立的基于该决策树的任职关系抽取系统进行开放测试,平均召回率和精确率分别为91．47％和89．15％,实验结果表明,基于决策树的现代汉语中任职关系抽取是一种值得继续探讨的方法．     

融合多元实体信息的关系分类模型

关系分类是自然语言处理中一项重要的基础性任务,目的是识别实体对之间的语义关系.目前的方法主要依赖于句子特征,忽视了句子中实体的信息,而句子中的实体位置信息、实体类型信息以及实体依存信息等多元实体信息有助于识别实体间关系.为充分利用实体信息,提出一种融入多元实体信息关系分类模型BERT-MEI.首先标记实体类型和提取实体...     

铝硅合金实体关系抽取数据集的构建方法

针对材料领域没有适合材料实体关系抽取技术研究工作的公开数据集这一问题,通过研究高硅铝合金喷射沉积文献提出铝硅合金实体关系抽取数据集的构建方法. 在材料领域专家的指导下制定铝硅合金实体关系抽取数据集的构建标准,并根据构建标准对收集的数据进行实体标注和关系标注. 在标注完成后,通过数据预处理生成铝硅合金实体关系抽取数据集. 通过实体关系联合抽取模型进行实验,验证该数据集可以应用于实体关系抽取任务. 与公开数据集相比,材料数据集句子的语义和语法更为复杂,长句更多,导致实体关系联合抽取模型在材料数据集上的表现略差. 针对上述问题,在实体关系联合抽取模型上加入自注意力机制,使该模型整体的F1值提高了约5.8%. 该数据集的构建方法具有普适性,可以通过该构建方法构建材料数据集.     

基于实体对弱约束的远监督关系抽取

为缓解远监督关系抽取中的假阳性问题并进一步提高关系抽取的准确率和召回率,提出基于实体对弱约束的远监督关系抽取模型。首先,从知识库和文本中获取实体对的约束信息,约束信息由实体对关键词和实体类型两部分组成;然后,通过训练神经网络模型自动获取不同关系所对应的实体对约束信息的特征;最后,将这些特征用作弱约束联合语句特征一起进行关系预测。在对比实验中,基于实体对弱约束的模型达到了更高的准确率和召回率,表明了实体对弱约束能有效缓解假阳性问题、加强关系抽取。     

基于密集连接网络和多维特征融合的文本匹配模型

针对文本匹配过程中存在语义损失和句子对间信息交互不充分的问题,提出基于密集连接网络和多维特征融合的文本匹配方法. 模型的编码端使用BiLSTM网络对句子进行编码,获取句子的上下文语义特征;密集连接网络将最底层的词嵌入特征和最高层的密集模块特征连接,丰富句子的语义特征;基于注意力机制单词级的信息交互,将句子对间的相似性特征、差异性特征和关键性特征进行多维特征融合,使模型捕获更多句子对间的语义关系. 在4个基准数据集上对模型进行评估,与其他强基准模型相比,所提模型的文本匹配准确率显著提升,准确率分别提高0.3%、0.3%、0.6%和1.81%. 在释义识别Quora数据集上的有效性验证实验结果表明,所提方法对句子语义相似度具有精准的匹配效果.     

基于FastBert的水稻病虫害实体关系抽取研究

针对水稻病虫害知识图谱构建所需实体和关系,提出了一种基于FastBert模型的中文实体关系抽取方法. 首先,在中文语料收集的基础上,使用Hanlp工具和农业词典提取了与水稻病虫害相关的领域实体,并依据实体间关系的特点定义了病虫害别名、为害部位、为害地区、防治方法等7种类型. 然后,在词嵌入和句子嵌入的基础上通过FastBert模型实现水稻病虫害关系的抽取. 该模型与Robert、Electra、Distilbert等其它Bert相关模型的关系抽取结果比较显示,基于FastBert模型的中文水稻病虫害关系抽取效果更好,模型获得的实体间关系F1值达0.72,模型精度达0.69. 该方法为中文农业病虫害知识图谱的自动化构建提供了参考.     

基于句子语义距离的释义识别研究

针对释义识别任务如何学习上下文语义的问题,提出了利用词向量来表示句子语义距离的模型。首先,利用word2vec训练大规模的词向量模型,把词的语义信息利用向量分布式表示;然后通过欧氏距离来计算句子间词的移动开销;最后基于EMD模型实现了从词语义距离到句子语义距离的建模,通过采用句子变换矩阵来实现句子间语义距离的度量,进而从语义相似性方面进行句子释义识别。实验基于SemEval-2015 PIT任务,与作为实验基线的逻辑回归和加权矩阵因数分解方法进行比较,提出的模型采用有监督实验时, 值非常接近实验基线,而采用无监督方法实验时, 值提高了5.8%。     

Novel Apriori-Based Multi-Label Learning Algorithm by Exploiting Coupled Label Relationship

It is a key challenge to exploit the label coupling relationship in multi-label classification (MLC) problems. Most previous work focused on label pairwise relations, in which generally only global statistical information is used to analyze the coupled label relationship. In this work, firstly Bayesian and hypothesis testing methods are applied to predict the label set size of testing samples within their k nearest neighbor samples, which combines global and local statistical information, and then apriori algorithm is used to mine the label coupling relationship among multiple labels rather than pairwise labels, which can exploit the label coupling relations more accurately and comprehensively. The experimental results on text, biology and audio datasets shown that, compared with the state-of-the-art algorithm, the proposed algorithm can obtain better performance on 5 common criteria.     

基于BERT的复合网络模型的中文文本分类

针对自然语言在语句结构上有着较强的前后依赖关系,提出一种基于BERT的复合网络模型进行中文新闻分类。首先利用BERT的基于注意力机制的多层双向transformer特征提取器获得字词以及句子之间更加全局的特征关系表达。然后将所得数据输入门结构更加简单的双向门控循环神经网络层将特征增强的同时减少时间代价,加强数据特征的选取精确度。最后将不同权重的文本特征信息输入softmax函数层进行新闻分类。通过在cnews新浪新闻数据集上进行实验,获得97.21%的F1值,结果表明所提特征融合模型较其他模型分类效果更好。     

基于高速多核网络的远监督关系抽取方法

远监督作为一种能够快速大量产生标注数据的技术,在关系抽取任务中的应用愈加广泛,但仍存在文本特征提取不足、包内噪声过多等问题.对此,提出了一种基于高速多核网络的远监督关系抽取方法.首先通过高速网络和多核卷积对句子特征进行深层提取;然后采用包内注意力机制提高包内正确标注的句子权重,降低包内噪声,实现包级向量化;使用包间注意力机制降低包间噪声,得到组级向量化;最后,将组作为训练样本训练分类器,实现关系抽取.实验结果表明,该方法比现有方法具有更好的关系抽取性能.     

基于域对抗网络和BERT的跨领域文本情感分析

跨领域文本情感分析时,为了使抽取的共享情感特征能够捕获更多的句子语义信息特征,提出域对抗和BERT(bidirectional encoder representations from transformers)的深度网络模型。利用BERT结构抽取句子语义表示向量,通过卷积神经网络抽取句子的局部特征。通过使用域对抗神经网络使得不同领域抽取的特征表示尽量不可判别,即源领域和目标领域抽取的特征具有更多的相似性;通过在有情感标签的源领域数据集上训练情感分类器,期望该分类器在源领域和目标领域均能达到较好的情感分类效果。在亚马逊产品评论数据集上的试验结果表明,该方法具有良好的性能,能够更好地实现跨领域文本情感分类。