Transformer在计算机视觉场景下的研究综述

Transformer是一种基于注意力的编码器-解码器架构，其凭借长距离建模能力与并行计算能力在自然语言处理领域取得了重大突破，并逐步拓展应用至计算机视觉领域，成为了计算机视觉任务的重要研究方向。文中重点回顾与总结了Transformer在图像分类、目标检测与图像分割三大计算机视觉任务中的应用和改进。首先，以图像分类任务为切入点，从数据规模、结构特点、计算效率等方面深入分析了当前视觉Transformer存在的关键问题，并基于关键问题对解决方法和思路进行了分类。其次，全面梳理了视觉Transformer在目标检测与图像分割两大领域的研究进展，并根据结构特点、设计动机来组织这些方法，分析对比代表性方法的优点与不足。最后，对Transformer在计算机视觉任务中亟待解决的问题以及发展趋势进行了总结和探讨。