融合局部特征的多知识库常识问答模型

当前的多知识库融合常识推理模型的输入和特征组合的方式过于简单,导致模型丢失了一些与问题和答案相关的重要信息,限制了融合外部知识的常识推理模型的效果.另外,在进行常识问答的任务时,预训练语言模型输出的问题和答案表示存在的向量各向异性问题没有得到解决.这些问题都是导致常识问答推理性能不够高的因素.针对以上问题,提出了一种基于局部特征融合的多知识库常识问答模型,改进外部知识库和问答文本的融合方式.模型将局部的问题和答案特征融入预训练语言模型全局特征,以丰富模型的特征信息,并在预测层结合了多种维度的特征进行预测;模型对于待匹配的问题和答案句子表示进行了白化处理,然后执行匹配任务.通过白化操作,模型增强了句子表示的各向同性,提升了句子向量的表征能力;还探索了不同预训练编码器(如:ALBERT、ELECTRA)在模型上的效果,以加强对知识文本的特征抽取能力,并证明了模型的稳定性.实验结果证明,在相同BERT-base编码器的实验下,模型的准确率达到78.6%,相较于基线模型,准确率提升了3.5个百分点;在ELECTRA-base编码器的实验下,模型的准确率达到80.1%.