融合预训练模型和注意力的实体关系抽取方法

实体关系抽取旨在从无结构的文档中检测出实体和实体对的关系，是构建领域知识图谱的重要步骤。针对现有抽取模型语义表达能力差、重叠三元组抽取准确率低的情况，研究了融合预训练模型和注意力的实体关系联合抽取问题，将实体关系抽取任务分解为两个标记模块。头实体标记模块采用预训练模型对句子进行编码，为了进一步学习句子的内在特征，利用双向长短时记忆网络（BiLSTM）和自注意力机制组成特征加强层。采用二进制分类器作为模型的解码器，标记出头实体在句子中的起止位置。为了加深两个标记模块之间的联系，在尾实体标记任务前设置特征融合层，将头实体特征与句子向量通过卷积神经网络（CNN）和注意力机制进行特征融合，通过多个相同且独立的二进制分类器判定实体间关系并标记尾实体，构建出融合预训练模型和注意力的联合抽取模型（JPEA）。实验结果表明，该方法能显著提升抽取的效果，对比不同预训练模型下抽取任务的性能，进一步说明了模型的优越性。