基于MAC-LSTM的问题分类研究

针对问句文本通常较短、语义信息与词语共现信息不足等问题,提出一种多层级注意力卷积长短时记忆模型（multi-level attention convolution LSTM neural network,MAC-LSTM）的问题分类方法。相比基于词嵌入的深度学习模型,该方法使用疑问词注意力机制对问句中的疑问词特征重点关注。同时,使用注意力机制结合卷积神经网络与长短时记忆模型各自文本建模的优势,既能够并行方式提取词汇级特征,又能够学习更高级别的长距离依赖特征。实验表明,该方法较传统的机器学习方法和普通的卷积神经网络、长短时记忆模型有明显的效果提升。     

基于双通道特征融合的WPOS-GRU专利分类方法

为提高专利文本自动分类的效率和准确度,提出一种基于双通道特征融合的WPOS-GRU（word2vec and part of speech gated recurrent unit）专利文本自动分类方法。首先获取专利摘要文本,并进行清洗和预处理;然后对专利文本进行词向量表示和词性标注,并将专利文本分别映射为word2vec词向量序列和POS词性序列;最后使用两种特征通道训练WPOS-GRU模型,并对模型效果进行实验分析。通过对比传统专利分类方法和单通道专利分类方法,双通道特征融合的WPOS-GRU专利分类方法提高了分类效果。提出的方法节省了大量的人力成本,提高了专利文本分类的准确度,更能满足大量专利文本分类任务自动化高效率的需要。