基于序列卷积网络的Twitter情感分类

为解决传统用于文本分类等时序性问题的循环神经网络无法留住长远记忆及模型框架复杂的问题,提出一种基于序列卷积神经网络的分类模型。利用卷积的思想处理时序性问题,将因果卷积和扩张卷积结合作为卷积层来保证网络具有足够大的感受野,应用残差模块和批处理加深神经网络并消除层数增加误差增大和模型难训练的问题,用卷积层代替全连接层以改善网络特征选取的局限性。实验结果表明,序列卷积分类模型用于Twitter情感分类任务中可获得更优的分类效果,验证了卷积网络的思想可以处理时序性问题。     

基于时序卷积网络的词级语言模型研究与应用

提出一种卷积神经网络——时序卷积神经网络.将该网络应用于语言模型,时序卷积神经网络的基本结构由输入层、扩大卷积层、因果卷积层、Relu层、Dropout层、输出层组成,将扩大卷积应用在语言模型中.实验结果表明,将语言模型的复杂度降到83.21,误差降到3.87,该网络同RNN比较复杂度下降14％、误差下降0.69,该网络同LSTM比较复杂度下降13％、误差下降0.4,综合复杂度、误差两个指标,时序卷积网络优于其它基准模型.