注意力机制及其在医学视觉任务中的作用研究

注意力机制模仿人类对特定信息的认知机制，放大关键细节，更多地关注数据本身，其本质就是定位感兴趣的信息，抑制无用信息。注意力也是一种对输入分配偏好的资源分配机制，计算一系列的注意力系数或权重参数。在计算机视觉领域中，注意力基于原有数据觅求信息间的关联，突出待处理对象的重要特征并捕捉图像感受野。本文基于注意力机制一般原理，阐释注意力之于神经网络的重要性，提升了神经网络近似复杂函数的能力，一定程度上缓解了深度神经网络“黑匣子”的不可解释问题。本文重点分析了基于自注意机制的Transformer：模型容量大、能更好地学习信息表征、可提取更高维的信息，以“长程依赖”的优势建模，克服CNN不能捕获图像全局信息的缺憾，是一种较强大的视觉识别工具。鉴于局部和全局特征对于医学图像分割这种密集的预测任务而言缺一不可，未来结合Transformer的整体捕获和CNN的局部提取工作将推动医学视觉任务的进一步突破。