基于大语言模型与语义增强的文本关系抽取算法

关系抽取是一项基础且重要的任务,旨在从非结构化文本中提取出实体之间的关系。最近研究证明,大型语言模型(LLM)和基础模型相结合可以改进许多自然语言处理(NLP)任务的性能。这些模型利用深度学习和预训练模型的语言表示能力,能够自动学习关系的语义特征。有效利用大模型来解决实体重叠和信息交互差等问题仍是一个挑战。针对以上问题,提出基于大语言模型的关系抽取算法。对大型语言模型Meta AI(LLa MA)进行微调训练,使其更加适应关系抽取的任务,在提取关系的基础上,使用自注意力机制增强实体对之间关联程度,增强关系和实体之间的信息共享,接着使用平均池化泛化到整个句子中。针对实体对设计一个过滤矩阵,并引入词性信息进行语义增强,根据过滤矩阵中实体对的相关性过滤掉无效的三元组。实验结果表明,该算法在纽约时报(NYT)和Web NLG公开数据集上的F1值结果分别为93.1%、90.4%。在微调之后的LLa MA模型作为编码器的情况下,所提算法在准确率和F1值指标上均优于基线模型,验证了算法的有效性。     

融合预训练模型和注意力的实体关系抽取方法

实体关系抽取旨在从无结构的文档中检测出实体和实体对的关系,是构建领域知识图谱的重要步骤。针对现有抽取模型语义表达能力差、重叠三元组抽取准确率低的情况,研究了融合预训练模型和注意力的实体关系联合抽取问题,将实体关系抽取任务分解为两个标记模块。头实体标记模块采用预训练模型对句子进行编码,为了进一步学习句子的内在特征,利用双向长短时记忆网络（BiLSTM）和自注意力机制组成特征加强层。采用二进制分类器作为模型的解码器,标记出头实体在句子中的起止位置。为了加深两个标记模块之间的联系,在尾实体标记任务前设置特征融合层,将头实体特征与句子向量通过卷积神经网络（CNN）和注意力机制进行特征融合,通过多个相同且独立的二进制分类器判定实体间关系并标记尾实体,构建出融合预训练模型和注意力的联合抽取模型（JPEA）。实验结果表明,该方法能显著提升抽取的效果,对比不同预训练模型下抽取任务的性能,进一步说明了模型的优越性。     

融合预训练语言模型和标签依赖知识的关系抽取方法

关系抽取旨在从未经标注的自由文本中抽取实体间的关系.然而,现有的方法大都孤立地预测每一个关系而未考虑关系标签相互之间的丰富语义关联.该文提出了一种融合预训练语言模型和标签依赖知识的关系抽取模型.该模型通过预训练模型BERT编码得到句子和两个目标实体的语义信息,使用图卷积网络建模关系标签之间的依赖图,并结合上述信息指导最...     

基于大模型的事件抽取技术及军事应用思考

事件抽取旨在从非结构化文本中抽取出结构化事件信息,以便清晰、方便、直观地掌握并利用相关的关键信息。传统机器学习方法依赖于特征工程,利用人工构建的特征来进行事件抽取。而基于深度学习的方法利用CNN、RNN、GNN等深层神经网络通过提取重要特征来展开,但其依赖于大量的标注数据。近年来,研究者开始利用基于Transformer架构的大规模语言模型如BERT、GPT等采用预训练+微调范式来进行事件抽取并取得显著成效。而最近推出的大模型ChatGPT采用预训练+提示学习范式在自然语言处理领域取得显著成效,可以实现高效准确地抽取出关键的事件信息,将其应用到军事领域会产生重大影响。     

基于提示学习的维吾尔语文本分类研究

维吾尔语属于低资源语言和黏着性语言，现有维吾尔语文本分类方法缺少足够的语料来训练维吾尔语预训练模型。因此，维吾尔语无法基于预训练模型提取有效的句向量信息。现有的文本分类方法利用深度学习模型提取词向量，然而，维吾尔语具有特征稀疏且维度偏高的特点，使得其在文本分类上的效果较差。为此，提出基于提示学习的维吾尔语文本分类方法。基于提示学习，采用多语言预训练模型Cino构造不同的模板，利用模型的掩码预测能力对不同的掩码位置进行预测。为避免掩码预测的词汇信息具有多样性，将模板掩盖掉的词向量代替整体的句向量，利用掩码模型的预测能力，以有限大小的向量表示当前句子的语义信息，将下游任务靠近模型的预训练任务，减少在微调阶段两者不同所造成的影响。在爬取维吾尔语网站所构建新闻数据集上进行的文本分类实验结果表明，相比Cino微调预训练模型，融合提示学习的Cino模型的F1值最高可达到92.53%，精准率和召回率分别提升了1.79、1.04个百分点，具有更优的维吾尔语文本分类效果。     

面向中文网络对话文本的论辩挖掘——基于微调与提示学习的大模型算法

随着互联网技术的飞速发展,即时通信、在线论坛等应用广泛普及,网络上产生了了大量非结构化或半结构化的网络对话论辩文本,对这些文本进行论辩挖掘研究具有重要的学术价值与现实意义。该文首先构建了中文网络对话论辩语料库,以子句作为标注的粒度;然后,基于此语料库使用预训练语言模型微调和提示方法分别进行论辩元素及其关系的识别,分别使用了目前受到广泛认可的BERT、XLNet、RoBERTa及其衍生的预训练语言模型,通过预训练微调的方式进行实验。在GPT、BERT、RoBERTa预训练模型上进行提示学习,通过P-tuning自动构建连续模板,进行论辩挖掘。实验结果显示,提示学习用于论辩挖掘任务是可行的,且准确率与现今取得很好效果的预训练微调方法相近,有时准确率甚至更高,同时在小样本或零样本数据集上有着更好的效果。实验还显示GPT与Prompt结合可以较好地完成论辩关系识别任务。     

一个实体关系与事件抽取的通用模型

信息提取的目的是从自然语言文件中找到具体信息,现有研究在信息抽取的实体关系和事件抽取任务中仅解决事件论元重叠和实体关系重叠的问题,未考虑两个任务共有的角色重叠问题,导致抽取结果准确率降低。提出一个两阶段的通用模型用于完成实体关系抽取和事件抽取子任务。基于预训练语言模型RoBERTa的共享特征表示,分别对实体关系/事件类型和实体关系/事件论元进行预测。将传统抽取触发词任务转化为多标签抽取事件类型任务,利用多尺度神经网络进一步提取文本特征。在此基础上,通过抽取文本相关类型的事件论元,根据论元角色的重要性对损失函数重新加权,解决数据不平衡、实体关系抽取和事件抽取中共同存在论元角色重叠的问题。在千言数据集中事件抽取和关系抽取任务测试集上的实验验证了该模型的有效性,结果表明,该模型的F1值分别为83.1%和75.3%。     

结合预训练模型和语言知识库的文本匹配方法

针对文本匹配任务,该文提出一种大规模预训练模型融合外部语言知识库的方法。该方法在大规模预训练模型的基础上,通过生成基于WordNet的同义—反义词汇知识学习任务和词组—搭配知识学习任务引入外部语言学知识。进而,与MT-DNN多任务学习模型进行联合训练,以进一步提高模型性能。最后利用文本匹配标注数据进行微调。在MRPC和QQP两个公开数据集的实验结果显示,该方法可以在大规模预训练模型和微调的框架基础上,通过引入外部语言知识进行联合训练有效提升文本匹配性能。     

重叠实体关系抽取综述

实体关系抽取能够从文本中提取事实知识,是自然语言处理领域中重要的任务。传统关系抽取更加关注于单实体对的关系,但是句子内包含不止一对实体且实体间存在重叠现象,因此重叠实体关系抽取任务具有重大研究价值。任务发展至今,总体可以分为基于序列到序列、基于图和基于预训练语言模型三种方式。基于序列到序列的方式主要以标注策略和复制机制的方法为主,基于图的方式主要以静态图和动态图的方法为主,基于预训练语言模型的方式主要以BERT挖掘潜在语义特征的方法为主。回顾该任务的发展历程,讨论分析每种模型的优势及不足点;结合目前研究的最近动态,对未来的研究方向进行展望。     

基于藏文Albert预训练语言模型的图采样与聚合实体关系抽取

实体关系抽取任务是对句子中实体对间的语义关系进行识别。该文提出了一种基于Albert预训练语言模型结合图采样与聚合算法(Graph Sampling and Aggregation, GraphSAGE)的实体关系抽取方法,并在藏文实体关系抽取数据集上实验。该文针对藏文句子特征表示匮乏、传统藏文实体关系抽取模型准确率不高等问题,提出以下方案：(1)使用预先训练的藏文Albert模型获得高质量的藏文句子动态词向量特征;(2)使用提出的图结构数据构建与表示方法生成GraphSAGE模型的输入数据,并通过实验证明了该方法的有效性;(3)借鉴GraphSAGE模型的优势,利用其图采样与聚合操作进行关系抽取。实验结果表明,该文方法有效提高了藏文实体关系抽取模型的准确率,且优于基线实验效果。     

基于CWHC-AM的实体及关系联合抽取方法

实体及关系抽取是从非结构化自然语言文本中抽取三元组。传统流水线的方法先抽取实体再抽取关系,容易造成误差传播,也忽略了两个子任务的内在联系和依赖关系,抽取多元关系及重叠关系效果较差。针对上述问题,该文首先将多元关系问题转换成多个二元关系问题进行抽取,充分考虑两个子任务之间的联系,提出一种基于CWHC-AM(character word hybrid coding and attention mechanism)的实体及关系联合抽取模型,采用多层指针网络标注方案,将实体及关系联合抽取任务转化为序列标注问题,实现重叠关系抽取。最后,引入对抗训练提高模型的鲁棒性。在百度DuIE 2.0中文数据集上进行实验,结果表明该文方法可有效地同时抽取多元关系及二元关系,取得比基线模型都要好的效果。     

基于知识协同微调的低资源知识图谱补全方法

知识图谱补全能让知识图谱变得更加完整.现有的知识图谱补全工作大多会假设知识图谱中的实体或关系有充足的三元组实例.然而,在通用领域,存在大量长尾三元组;在垂直领域,较难获得大量高质量的标注数据.本文针对这一问题,提出了一种基于知识协同微调的低资源知识图谱补全方法.本文通过已有的结构化知识来构造初始的知识图谱补全提示,并提出一种协同微调算法来学习最优的模板、标签和模型的参数.本文的方法同时利用了知识图谱中的显式结构化知识和语言模型中的隐式事实知识,且可以同时应用于链接预测和关系抽取两种任务.实验表明,本文的方法在3个知识图谱推理数据集和5个关系抽取数据集上都取得了目前最优的性能.     

一种基于span的实体和关系联合抽取方法

基于span的联合抽取模型在命名实体识别和关系抽取上取得了优异的效果。这些模型将文本span作为候选实体,并将span元组视为候选关系元组。span的语义表示在实体识别和关系分类中共享。然而现有基于span的模型无法很好地捕获这些候选实体和关系的语义,为了解决这些问题,提出了一种融合attention机制的span的联合抽取模型。特别地,attention用于计算相关语义表示,包括span特定特征语义表示和句子上下文的语义表示。实验结果表明,所提出的模型优于以前的模型,并在ACE2005、CoNLL2004和ADE 3个基准数据集上达到了当前最优的结果。     

基于位置编码与实体交互信息的关系抽取方法

关系抽取作为信息抽取领域的重要研究课题, 其主要目的是抽取句子中已标记实体对之间的语义关系, 对句子语义理解及知识库构建有着重要作用. 针对现有抽取方法中未能充分利用单词位置信息和实体间的交互信息导致重要特征丢失的问题, 本工作提出一种基于位置编码与实体交互信息的关系抽取方法(BPI-BERT). 首先将新型位置编码融入BERT预训练语言模型生成的词向量中后使用平均池化技术得到实体和句子向量, 再利用哈达玛乘积构造实体交互信息, 最后将实体向量、句子向量及交互信息向量拼接得到关系向量并输入到Softmax分类器进行关系分类. 实验结果表明BPI-BERT在精准率和 F1上较现有方法有提高, 证明了BPI-BERT的有效性.     

利用提示调优融合多种信息的低资源事件抽取方法

针对现有流水线式事件抽取方法依靠大量训练数据、在低资源情况下难以快速迁移运用等问题,利用提示调优技术,提出适用于低资源场景下的流水线式事件抽取方法（low-resource event extraction method using the multi-information fusion with prompt tuning,IFPT）。该方法通过构造语义映射和提示模板充分利用事件类型描述、实体类型等多种信息,能够高效使用有限训练数据,流水线式地完成事件检测和论元抽取。实验结果表明,在低资源情况下,IFPT方法论元抽取性能超过了所有基准模型,采取流水线方式能够达到与SOTA模型相媲美的性能。     

基于BSTTC模型的中文命名实体识别

大多数中文命名实体识别模型中, 语言预处理只关注单个词和字符的向量表示, 忽略了它们之间的语义关系, 无法解决一词多义问题; Transformer特征抽取模型的并行计算和长距离建模优势提升了许多自然语言理解任务的效果, 但全连接结构使得计算复杂度为输入长度的平方, 导致其在中文命名实体识别的效果不佳. 针对这些问题, 提出一种基于BSTTC (BERT-Star-Transformer-TextCNN-CRF)模型的中文命名实体识别方法. 首先利用在大规模语料上预训练好的BERT模型根据其输入上下文动态生成字向量序列; 然后使用星型Transformer与TextCNN联合模型进一步提取句子特征; 最后将特征向量序列输入CRF模型得到最终预测结果. 在MSRA中文语料上的实验结果表明, 该模型的精确率、召回率和F1值与之前模型相比, 均有所提高. 与BERT-Transformer-CRF模型相比,训练时间大约节省了65％.     

基于关系自适应解码的实体关系联合抽取

基于编码器-解码器的实体关系联合抽取模型解决了流水线模型存在的误差传递问题,但是以往基于编码器-解码器的模型还是存在两点问题:一是在解码阶段同时生成实体和关系,而两者是不同的对象,使得同一语义空间的映射降低了抽取效果;二是没有考虑不同关系之间的交互信息.针对这两点问题,提出了关系自适应解码模型.所提模型将实体关系联合抽...     

一种改进的实体关系抽取算法——OptMultiR

作为知识图谱构建过程中的关键步骤,关系抽取这一从海量自然语言文本中抽取实体间关系的任务近年来得到了越来越广泛的关注。如今,远程监督(distant supervision)方法通过与已有知识库(knowledge base)中的实体和关系进行对齐,可以直接使用源文本进行训练从而省去了人工标记数据的过程。其中,使用了多实例多标签(multi-instance multi-label)模型的MultiR算法取得了很好的抽取效果。但该算法存在两个问题: 抽取过程中未考虑实体对之间可能已存在的关系,以及概率图匹配计算中使用的贪心算法无法获得最优解。该文针对上述问题进行了改进。首先,在关系抽取的打分过程中,考虑到同一实体对可能存在的多个关系之间具有一定关联性,该文引入了关系权重矩阵,使其在抽取过程中将实体对已知的关系转换为权重向量对打分进行干预,以此减少个别文本特征的干扰,提高抽取准确率。其次,在概率图匹配过程中,为了将图的匹配从局部最优值提升为全局最优值,该文将原有的贪心算法替换为基于状态压缩的动态规划算法。实验结果证明,优化后的MultiR模型,称之为OptMultiR,其关系抽取性能得到了显著提升。     

Global Exponential Synchronization of Memristive Competitive Neural Networks with Time-Varying Delay via Nonlinear Control

Automatically describing contents of an image using natural language has drawn much attention because it not only integrates computer vision and natural language processing but also has practical applications. Using an end-to-end approach, we propose a bidirectional semantic attention-based guiding of long short-term memory (Bag-LSTM) model for image captioning. The proposed model consciously refines image features from previously generated text. By fine-tuning the parameters of convolution neural networks, Bag-LSTM obtains more text-related image features via feedback propagation than other models. As opposed to existing guidance-LSTM methods which directly add image features into each unit of an LSTM block, our fine-tuned model dynamically leverages more text-conditional image features, acquired by the semantic attention mechanism, as guidance information. Moreover, we exploit bidirectional gLSTM as the caption generator, which is capable of learning long term relations between visual features and semantic information by making use of both historical and future contextual information. In addition, variations of the Bag-LSTM model are proposed in an effort to sufficiently describe high-level visual-language interactions. Experiments on the Flickr8k and MSCOCO benchmark datasets demonstrate the effectiveness of the model, as compared with the baseline algorithms, such as it is 51.2% higher than BRNN on CIDEr metric.