深度置信网络的Spark并行化在微博情感分类中的应用研究

中文微博情感分析可以发现公众对热点事件的态度掌握网络舆情,因此成为文本挖掘的一个热点研究。采用一种基于Spark并行化的深度置信网络的情感分类方法,该方法利用Word2Vec工具表示微博文本和建立情感词典;使用深度置信网络构建微博情感分类模型;通过Spark集群对深度置信神经网络进行并行化处理。实验结果表明,基于深度置信网络的微博情感分类模型在Spark平台下并行化,训练时间大幅缩短,情感分类的准确率比传统的浅层学习方法高5%。

RESEARCH ON SPARK PARALLELIZATION OF DEEP CONFIDENCE NETWORK IN MICROBLOGGING EMOTION CLASSIFICATION