基于DCNN分类的图像相关度度量

在衡量图像之间的相关度时,图像的物理特征（颜色分布、灰度值等）所能表达的内容可能并非十分全面,因此有必要参考图像视觉所包含的语义信息衡量图像之间的相关度。为此提出了一种基于深度卷积神经网络（deep convolutional neural network,DCNN）分类模型的度量图像相关度的方法,利用模型为图像绑定来自于WordNet的语义标签,并参照WordNet结构对标签进行过滤和扩展,利用概念集合计算图像相关度。与人工判定的样本数据作比较,Pearson相关系数峰值能够达到0.73,证明该方法在衡量图像相关度时具有一定的效果。     

基于联合知识表示学习的多模态实体对齐

基于知识表示学习的实体对齐方法是将多个知识图谱嵌入到低维语义空间,通过计算实体向量之间的相似度实现对齐.现有方法往往关注文本信息而忽视图像信息,导致图像中实体特征信息未得到有效利用.对此,提出一种基于联合知识表示学习的多模态实体对齐方法(ITMEA).该方法联合多模态(图像、文本)数据,采用TransE与TransD相结合的知识表示学习模型,使多模态数据能够嵌入到统一低维语义空间.在低维语义空间中迭代地学习已对齐多模态实体之间的关系,从而实现多模态数据的实体对齐.实验结果表明, ITMEA在WN18-IMG数据集中能够较好地实现多模态实体对齐.