运用多模态学习改进张量分解的知识补全方法

基于单一模态实体之间建立关联所形成的语义关系网难以准确理解现实世界中的多模态语义。为增强多源知识图谱的补全能力以及解决知识图谱语义缺失问题，提出一种基于多模态嵌入张量分解的方法 ME-TD (multimodal embedding tensor decomposition)。利用由图像、描述文本和知识构成的三元组作为张量分解模型的输入，分别对图像和文本进行特征提取，研究3种融合方法：相加融合、相乘融合以及连接映射方法，通过高维映射形成一个多模态的三阶张量；经过三模式分解，产生一个核心张量与每一个维度因子矩阵的乘积，通过链接预测计算三元组正确的概率。实验结果表明，ME-TD方法在知识补全中对多模态矩阵预测效果相较于其它方法有较为明显提升。