基于深度学习的Attention机制文献综述

主要对机器学习中深度学习内应用较广、效果较好的一种Attention注意力机制的相关知识进行了总结。首先从背景、原理、分类、比较、应用场景等方面入手，参考了多篇文献；背景方面，介绍了深度学习、自然语言处理（natural language processing,NLP）的相关技术的研究现状，并明确了Attention在其中的定位；原理方面，由于self-attention的优越性和广泛应用，主要对self-attention进行了阐述；最后对不同的Attention类别进行了整理，依据不同的分类标准，划分了6大类别，并分别对其进行介绍。此外，将经典的卷积神经网络（convolutional neural network,CNN）、循环神经网络（recurrent neural network,RNN）与Attention机制进行对比，进一步明确了Attention在当前的深度学习中的地位，最后对应用场景进行了简要的介绍。