面向文本推理的知识增强预训练语言模型

该文聚焦于利用丰富的知识对预训练语言模型进行增强以进行文本推理。预训练语言模型虽然在大量的自然语言处理任务上达到了很高的性能表现，具有很强的语义理解能力，但是大部分预训练语言模型自身包含的知识很难支撑其进行更高效的文本推理。为此，该文提出了一个知识增强的预训练语言模型进行文本推理的框架，使得图以及图结构的知识能够更深入地与预训练语言模型融合。在文本推理的两个子任务上，该文框架的性能超过了一系列的基线方法，实验结果和分析验证了模型的有效性。