|
|||||
|
|
| 知识驱动的多模态语义理解研究综述 | |
| 作者姓名： | 郑祎豪 郭奕君 毋立芳 黄岩 |
| 作者单位： | 1. 北京工业大学信息学部;2. 中国科学院自动化研究所智能感知与计算研究中心;3. 中国科学院自动化研究所多模态人工智能系统全国重点实验室 |
| 基金项目： | 国家自然科学基金项目(No.62236010,62276261)资助~~； |
| 摘 要： | 基于深度学习模型的多模态学习方法已在静态、可控等简单场景下取得较优的语义理解性能，但在动态、开放等复杂场景下的泛化性仍然较低.近期已有不少研究工作尝试将类人知识引入多模态语义理解方法中，并取得不错效果.为了更深入了解当前知识驱动的多模态语义理解研究进展，文中在对相关方法进行系统调研与分析的基础上，归纳总结关系型和对齐型这两类主要的多模态知识表示框架.然后选择多个代表性应用进行具体介绍，包括图文匹配、目标检测、语义分割、视觉-语言导航等.此外，文中总结当前相关方法的优缺点并展望未来可能的发展趋势. |
| 关 键 词： | 机器学习 深度学习 多模态语义理解 多模态知识表示 多模态语义分析 知识驱动 |