首页 | 本学科首页   官方微博 | 高级检索  
     

基于时序卷积网络的词级语言模型研究与应用
引用本文:李大舟,于广宝,高巍,孟智慧.基于时序卷积网络的词级语言模型研究与应用[J].计算机工程与设计,2021,42(2):449-454.
作者姓名:李大舟  于广宝  高巍  孟智慧
作者单位:沈阳化工大学 计算机科学与技术学院,辽宁 沈阳 110142;沈阳化工大学 计算机科学与技术学院,辽宁 沈阳 110142;沈阳化工大学 计算机科学与技术学院,辽宁 沈阳 110142;中国移动集团设计院有限公司河北分公司 山西综合生产所,山西 太原 030000
基金项目:辽宁省教育厅科学研究基金项目 ;辽宁省教育厅科学技术研究基金项目 ;辽宁省博士启动基金项目
摘    要:提出一种卷积神经网络——时序卷积神经网络.将该网络应用于语言模型,时序卷积神经网络的基本结构由输入层、扩大卷积层、因果卷积层、Relu层、Dropout层、输出层组成,将扩大卷积应用在语言模型中.实验结果表明,将语言模型的复杂度降到83.21,误差降到3.87,该网络同RNN比较复杂度下降14%、误差下降0.69,该网络同LSTM比较复杂度下降13%、误差下降0.4,综合复杂度、误差两个指标,时序卷积网络优于其它基准模型.

关 键 词:语言模型  扩大卷积  时序卷积神经网络  因果卷积  复杂度

Research and application of word-level language model based on time series convolutional network
LI Da-zhou,YU Guang-bao,GAO Wei,MENG Zhi-hui.Research and application of word-level language model based on time series convolutional network[J].Computer Engineering and Design,2021,42(2):449-454.
Authors:LI Da-zhou  YU Guang-bao  GAO Wei  MENG Zhi-hui
Abstract:
Keywords:
本文献已被 万方数据 等数据库收录!
设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号