基于一维卷积混合神经网络的文本情感分类

针对情感分类中传统二维卷积模型对特征语义信息的损耗以及时序特征表达能力匮乏的问题，提出了一种基于一维卷积神经网络（CNN）和循环神经网络（RNN）的混合模型。首先，使用一维卷积替换二维卷积以保留更丰富的局部语义特征；再由池化层降维后进入循环神经网络层，整合特征之间的时序关系；最后，经过softmax层实现情感分类。在多个标准英文数据集上的实验结果表明，所提模型在SST和MR数据集上的分类准确率与传统统计方法和端到端深度学习方法相比有1至3个百分点的提升，而对网络各组成部分的分析验证了一维卷积和循环神经网络的引入有助于提升分类准确率。     

CNN-ELM混合短文本分类模型

针对目前自然语言处理研究中,使用卷积神经网络（CNN）进行短文本分类任务时可以结合不同神经网络结构与分类算法以提高分类性能的问题,提出了一种结合卷积神经网络与极速学习机的CNN-ELM混合短文本分类模型。使用词向量训练构成文本矩阵作为输入数据,然后使用卷积神经网络提取特征并使用Highway网络进行特征优化,最后使用误差最小化极速学习机(EM-ELM)作为分类器完成短文本分类任务。与其他模型相比,该混合模型能够提取更具代表性的特征并能快速准确地输出分类结果。在多种英文数据集上的实验结果表明提出的CNN-ELM混合短文本分类模型比传统机器学习模型与深度学习模型更适合完成短文本分类任务。     

基于多样化特征卷积神经网络的情感分析

深度网络模型在微博情感倾向性分析过程中难以有效利用情感特征信息,为此,提出一种基于多样化特征信息的卷积神经网络(MF-CNN)模型。结合词语多样化的抽象特征和2种网络输入矩阵计算方法,利用句中的情感信息,以优化情感分类效果。在COAE2014和微博语料数据集上进行文本情感分析,结果表明,MF-CNN模型的情感分类效果优于传统的分类器和深度卷积神经网络模型。     

融合通道特征的混合神经网络文本分类模型

基于卷积神经网络与循环神经网络的混合文本分类模型通常使用单通道词嵌入。单通道词嵌入空间维度低,特征表示单一,导致一维卷积神经网络不能充分学习文本的空间特征,影响了模型的性能。因此,该文提出一种融合通道特征的混合神经网络文本分类模型。该模型使用了双通道词嵌入丰富文本表示,增加了空间维度,在卷积的过程中融合了通道特征,优化了空间特征与时序特征的结合方式,最终提高了混合模型的分类性能。在IMDB、20NewsGroups、复旦中文数据集、THUC数据集上进行实验,该模型的分类准确率相比于传统卷积神经网络平均提升了1%,在THUC数据集上准确率最高提升了1.3%。     

基于卷积-LSTM网络的广告点击率预测模型研究

点击率预测是计算广告学的核心算法之一。传统浅层模型没有充分考虑到数据之间存在的非线性关系，且使用人工特征提取方法费时费力。针对这些问题，提出了基于卷积（Convolutional Neural Networks）-LSTM（Long Short Term Memory）混合神经网络的广告点击率预测模型。该模型使用卷积神经网络提取高影响力特征，并通过LSTM神经网络的时序性进行预测分类。实验结果证明：与浅层模型或单一结构的神经网络模型相比，基于卷积-LSTM的混合神经网络模型能有效提高广告点击事件的预测准确率。     

针对文本分类的神经网络模型

文本分类是自然语言处理领域的一项重要任务,具有广泛的应用场景,比如知识问答、文本主题分类、文本情感分析等.解决文本分类任务的方法有很多,如支持向量机（Support Vector Machines,SVM）模型和朴素贝叶斯（Naïve Bayes）模型,现在被广泛使用的是以循环神经网络（Recurrent Neural Network,RNN）和文本卷积网络（TextConventional Neural Network,TextCNN）为代表的神经网络模型.本文分析了文本分类领域中的序列模型和卷积模型,并提出一种组合序列模型和卷积模型的混合模型.在公开数据集上对不同模型进行性能上的对比,验证了组合模型的性能要优于单独的模型.     

基于CNN的智慧农场图像分类方法

为解决新疆兵团农业现代化建设中有感知无决策的问题，提出一种基于注意力机制模块（SENet）与卷积神经网络混合模型迁移学习的图像分类方法（TL-DA-SE-CNN）。该方法选择4种不同的CNN模型进行权重采集，包括VGGNet、ResNet、InceptionNet和MobileNet。模型使用SENet分类器代替卷积神经网络的全连接层，提取图像的结构性高阶统计特征进行主题分类，并使用BP算法进行参数调整，分类准确度达98.20%。实验结果表明，将CNN与迁移学习、数据增强和SENet相结合的技术提高了牲畜图像分类的性能，是卷积神经网络在农场自动化分群中的有效应用。     

基于CNN-BIGRU的中文文本情感分类模型

在当今商业领域,对网络评论的情感分类一直是一个比较热门的研究方向,而为了克服传统机器学习方法所构建分类器会产生较大计算开销,精度表现较差的缺点,提出一种基于深度学习模型中卷积神经网络(CNN)与循环神经网络(RNN)模型的情感分类方法。在以往的研究中,卷积神经网络往往被用来提取文本的局部特征信息,但却容易忽视文本的长距离特征,而RNN则往往被用来提取句子的长距离依赖信息,但容易陷入梯度爆炸问题。因此,结合卷积神经网络对于局部特征信息的良好提取能力与循环神经网络对于长距离依赖信息的记忆能力,构建了一个CNN-BIGRU混合模型,用以提取文本的局部特征以及文本的长距离特征。其中循环神经网络模型使用了双向GRU模型,以避免RNN模型的梯度爆炸与梯度消失问题。在谭松波的酒店评论数据集上的实验结果表明,利用该模型,实验分类的准确率比单独使用卷积神经网络模型最高提升了26.3%,比单独使用循环神经网络模型最高提升了7.9%,从而提高了对中文文本情感分类的精度,并减少了计算开销。     

基于BiLSTM-CNN串行混合模型的文本情感分析

针对现有文本情感分析方法准确率不高、实时性不强以及特征提取不充分的问题,构建了双向长短时记忆神经网络和卷积神经网络（BiLSTM-CNN）的串行混合模型。首先,利用双向循环长短时记忆（BiLSTM）神经网络提取文本的上下文信息;然后,对已提取的上下文特征利用卷积神经网络（CNN）进行局部语义特征提取;最后,使用Softmax得出文本的情感倾向。通过与CNN、长短时记忆神经网络（LSTM）、BiLSTM等单一模型对比,所提出的文本情感分析模型在综合评价指标F1上分别提高了2.02个百分点、1.18个百分点和0.85个百分点;与长短时记忆神经网络和卷积神经网络（LSTM-CNN）、BiLSTM-CNN并行特征融合等混合模型对比,所提出的文本情感分析模型在综合评价指标F1上分别提高了1.86个百分点和0.76个百分点。实验结果表明,基于BiLSTM-CNN的串行混合模型在实际应用中具有较大的价值。     

结合卷积神经网络和词语情感序列特征的中文情感分析

目前基于词嵌入的卷积神经网络文本分类方法已经在情感分析研究中取得了很好的效果。此类方法主要使用基于上下文的词嵌入特征,但在词嵌入过程中通常并未考虑词语本身的情感极性,同时此类方法往往缺乏对大量人工构建情感词典等资源的有效利用。针对这些问题,该文提出了一种结合情感词典和卷积神经网络的情感分类方法,利用情感词典中的词条对文本中的词语进行抽象表示,在此基础上利用卷积神经网络提取抽象词语的序列特征,并用于情感极性分类。该文提出的相关方法在中文倾向性分析评测COAE2014数据集上取得了比目前主流的卷积神经网络以及朴素贝叶斯支持向量机更好的性能。     

结合图卷积的深层神经网络用于文本分类

随着图卷积网络的发展,图卷积网络已经应用到很多任务中,其中就包含文本分类任务.通过将文本数据表示成图数据,进而在图上应用图卷积,从而捕获文本的结构信息和单词间的长距离依赖关系获得了良好的分类效果.但将文本建模成图模型后,图卷积网络面临着文本上下文语义信息和局部特征信息表示不充分的问题.提出一种新的模型,利用双向长短时记...     

基于CNN和GRU的混合股指预测模型研究

针对股票数据共线性和非线性的特点,提出了一种基于卷积神经网络（Convolutional Neural Network,CNN）和门控循环单元（Gated Recurrent Unit,GRU）神经网络的混合预测模型,并对沪深300指数、上证综指和深证成指进行了预测。该模型首先采用CNN提取特征向量,对原始数据进行降维,然后利用GRU神经网络学习特征动态变化规律进行股指预测。仿真结果表明,与GRU神经网络、长短时记忆（Long-Short-Term Memory,LSTM）神经网络和CNN相比,该模型能够挖掘历史数据中蕴含的信息,有效提高股指预测的准确率,并可为股指交易提供一些参考。     

基于改进的CBOW与ABiGRU的文本分类研究

文本的表示与文本的特征提取是文本分类需要解决的核心问题,基于此,提出了基于改进的连续词袋模型（CBOW）与ABiGRU的文本分类模型。该分类模型把改进的CBOW模型所训练的词向量作为词嵌入层,然后经过卷积神经网络的卷积层和池化层,以及结合了注意力（Attention）机制的双向门限循环单元（BiGRU）神经网络充分提取了文本的特征。将文本特征向量输入到softmax分类器进行分类。在三个语料集中进行的文本分类实验结果表明,相较于其他文本分类算法,提出的方法有更优越的性能。     

融合BERT的多层次语义协同模型情感分析研究

由于基于变换器的双向编码器表征技术（Bidirectional Encoder Representations from Transformers,BERT）的提出,改变了传统神经网络解决句子级文本情感分析问题的方法。目前的深度学习模型BERT本身学习模式为无监督学习,其需要依赖后续任务补全推理和决策环节,故存在缺乏目标领域知识的问题。提出一种多层协同卷积神经网络模型（Multi-level Convolutional Neural Network,MCNN）,该模型能学习到不同层次的情感特征来补充领域知识,并且使用BERT预训练模型提供词向量,通过BERT学习能力的动态调整将句子真实的情感倾向嵌入模型,最后将不同层次模型输出的特征信息同双向长短期记忆网络输出信息进行特征融合后计算出最终的文本情感性向。实验结果表明即使在不同语种的语料中,该模型对比传统神经网络和近期提出的基于BERT深度学习的模型,情感极性分类的能力有明显提升。     

结合概率型神经网络(PNN)和学习矢量量化(LVQ)算法的文本分类方法

针对文本自动分类问题,提出一种基于概率型神经网络(PNN)和学习矢量量化(LVQ)相结合的文本分类算法,该方法借助TFIDF方法提取文本特征及特征值,形成文本分类特征向量,利用概率型神经网络构建分类模型,并利用LVQ学习算法对神经网络模型竞争层网络进行学习,使相应模式向量相互靠拢,远离其他模式,从而实现文本分类.实验结果表明,提出的该方法在文本分类中表现了很好的效果,不仅具有很好的分类准确率,还表现出很好的学习效率.     

融合CNN-SAM与GAT的多标签文本分类模型

现有基于神经网络的多标签文本分类研究方法存在两方面不足,一是不能全面提取文本信息特征,二是很少从图结构数据中挖掘全局标签之间的关联性。针对以上两个问题,提出融合卷积神经网络-自注意力机制（CNNSAM）与图注意力网络（GAT）的多标签文本分类模型（CS-GAT）。该模型利用多层卷积神经网络与自注意力机制充分提取文本局部与全局信息并进行融合,得到更为全面的特征向量表示;同时将不同文本标签之间的关联性转变为具有全局信息的边加权图,利用多层图注意力机制自动学习不同标签之间的关联程度,将其与文本上下文语义信息进行交互,获取具有文本语义联系的全局标签信息表示;使用自适应融合策略进一步提取两者特征信息,提高模型的泛化能力。在AAPD、RCV1-V2与EUR-Lex三个公开英文数据集上的实验结果表明,该模型所达到的多标签分类效果明显优于其他主流基线模型。     

基于神经网络的文本分类方法研究

海量文本分析是实现大数据理解和价值发现的重要手段,其中文本分类作为自然语言处理的经典问题受到研究者广泛关注,而人工神经网络在文本分析方面的优异表现使其成为目前的主要研究方向。在此背景下,介绍卷积神经网络、时间递归神经网络、结构递归神经网络和预训练模型等主流方法在文本分类中应用的发展历程,比较不同模型基于常用数据集的分类效果,表明利用人工神经网络结构自动获取文本特征,可避免繁杂的人工特征工程,使文本分类效果得到提升。在此基础上,对未来文本分类的研究方向进行展望。