图像—文本多模态指代表达理解研究综述

指代表达理解（referring expression comprehension,REC）作为视觉—语言相结合的多模态任务，旨在理解输入指代表达式的内容并在图像中定位其所描述的目标对象，受到计算机视觉和自然语言处理两个领域的关注。REC任务建立了人类语言与物理世界的视觉内容之间的桥梁，可以广泛应用于视觉理解系统和对话系统等人工智能设备中。解决该任务的关键在于对复杂的指代表达式进行充分的语义理解；然后利用语义信息对包含多个对象的图像进行关系推理以及对象筛选，最终在图像中唯一地定位目标对象。本文从计算机视觉的视角出发对REC任务进行了综述，首先介绍该任务的通用处理流程。然后，重点对REC领域现有方法进行分类总结，根据视觉数据表征粒度的不同，划分为基于区域卷积粒度视觉表征、基于网格卷积粒度视觉表征以及基于图像块粒度视觉表征的方法；并进一步按照视觉—文本特征融合模块的建模方式进行了更细粒度的归类。此外，本文还介绍了该任务的主流数据集和评估指标。最后，从模型的推理速度、模型的可解释性以及模型对表达式的推理能力3个方面揭示了现有方法面临的挑战，并对REC的发展进行了全面展望。本文希望通过对REC...

Multimodal referring expression comprehension based on image and text: a review