| 分布式单词表示综述 |
| |
| 引用本文： | 孙飞,郭嘉丰,兰艳艳,徐君,程学旗.分布式单词表示综述[J].计算机学报,2019,42(7):1605-1625. |
| |
| 作者姓名： | 孙飞 郭嘉丰 兰艳艳 徐君 程学旗 |
| |
| 作者单位： | 中国科学院网络数据科学与技术重点实验室 北京 100190;中国科学院计算技术研究所 北京 100190;中国科学院大学 北京100190;中国科学院网络数据科学与技术重点实验室 北京 100190;中国科学院计算技术研究所 北京 100190 |
| |
| 基金项目： | 国家重点基础研究发展计划（973计划）;国家重点基础研究发展计划（973计划）;国家自然科学基金;国家自然科学基金;国家自然科学基金;国家自然科学基金;中国科学院青年创新促进会项目;中国科学院青年创新促进会项目 |
| |
| 摘 要： | 单词表示作为自然语言处理的基本问题,一直广受关注.传统的独热表示丢失了单词间的语义关联,因而在实际使用中易受数据稀疏问题困扰.而分布式表示通过将单词表示为低维稠密实数向量,捕捉单词间的关联信息.该表示方式可在低维空间中高效计算单词间的语义关联,有效解决数据稀疏问题.作为神经网络模型的基本输入,单词分布式表示伴随着深度学习被广泛应用于自然语言处理领域的方方面面.从早期的隐式语义分析,到最近的神经网络模型,研究人员提出了各种各样的模型来学习单词的分布式表示.本文梳理了单词分布式表示学习的发展脉络,并从模型利用上下文入手,将这些模型统一在分布语义假设框架下,它们的区别只在于建模了单词不同的上下文.以隐式语义分析为代表的话题模型,利用文档作为上下文,建模了单词间的横向组合关系;以神经网络语言模型为代表的工作,则利用单词周围单词作为上下文,建模了单词间的纵向聚合关系.此外,本文还总结了单词分布式表示目前面临的主要挑战,包括多义词的表示、稀缺单词表示学习、细粒度语义建模、单词表示的解释性以及单词表示的评价,并介绍了最新的已有解决方案.最后,本文展望了单词表示未来的发展方向与前景。
|
| 关 键 词： | 单词表示 分布式表示 分布式单词表示 表示学习 深度学习 |
A Survey on Distributed Word Representation |
| |
| SUN Fei,GUO Jia-Feng,LAN Yan-Yan,XU Jun,CHENG Xue-Qi.A Survey on Distributed Word Representation[J].Chinese Journal of Computers,2019,42(7):1605-1625. |
| |
| Authors: | SUN Fei GUO Jia-Feng LAN Yan-Yan XU Jun CHENG Xue-Qi |
| |
| Affiliation: | (CAS Key Lab of Network Data Science and Technology, Beijing 100190;Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190;University of Chinese Academy of Sciences, Beijing 100190) |
| |
| Abstract: | SUN Fei;GUO Jia-Feng;LAN Yan-Yan;XU Jun;CHENG Xue-Qi(CAS Key Lab of Network Data Science and Technology, Beijing 100190;Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190;University of Chinese Academy of Sciences, Beijing 100190) |
| |
| Keywords: | word representation distributed representation distributed word representation representation learning deep learning |
| 本文献已被 维普 万方数据 等数据库收录！ |
|
