| 注意力机制综述 |
| |
| 引用本文： | 任欢,王旭光.注意力机制综述[J].计算机应用,2021,41(z1):1-6. |
| |
| 作者姓名： | 任欢 王旭光 |
| |
| 作者单位： | 华北电力大学自动化系,河北保定071003 |
| |
| 摘 要： | 现在注意力机制已广泛地应用在深度学习的诸多领域.基于注意力机制的结构模型不仅能够记录信息间的位置关系,还能依据信息的权重去度量不同信息特征的重要性.通过对信息特征进行相关与不相关的抉择建立动态权重参数,以加强关键信息弱化无用信息,从而提高深度学习算法效率同时也改进了传统深度学习的一些缺陷.从图像处理、自然语言处理、数据预测等不同应用方面介绍了一些与注意力机制结合的算法结构,并对近几年大火的基于注意力机制的transformer和reformer算法进行了综述.鉴于注意力机制的重要性,综述了注意力机制的研究发展,分析了注意力机制目前的发展现状并探讨了该机制未来可行的研究方向.
|
| 关 键 词： | 注意力机制 深度学习 位置关系 信息特征 关键信息 transformer reformer |
Review of attention mechanism |
| |
| REN Huan,WANG Xuguang.Review of attention mechanism[J].journal of Computer Applications,2021,41(z1):1-6. |
| |
| Authors: | REN Huan WANG Xuguang |
| |
| Abstract: | |
| |
| Keywords: | |
| 本文献已被 万方数据 等数据库收录！ |
|
