基于LSTM的中文文本多分类应用研究

随着互联网的发展,网上购物成为主流消费方式,随之产生了大量的商品文本数据,需要对商品进行准确而高效的分类。利用机器学习进行文本分类需要进行复杂的人工设计特征和提取特征过程。随着深度学习领域的发展,基于深度学习的文本分类技术效果显著。设计了一个基于长短期记忆网络（LSTM）的中文文本多分类器。首先对数据进行预处理,利用Tokenizer分词技术将文本处理为计算机可理解的词向量传入LSTM网络,并加入Dropout算法以防止过拟合得出最终的分类模型。将该模型与逻辑回归、多项式朴素贝叶斯、线性支持向量机、随机森林模型进行对比发现,基于LSTM的中文文本多分类方法具有较好的效果。     

基于MGCNN的商品评论情感分析

为了解决传统的深度学习模型会忽略语料库中全局词共现信息所包含的非连续和长距离语义的问题。本文提出记忆图卷积神经网络（MGCNN）引入注意力机制的商品评论情感分析方法。首先提取词与词、词与文档之间的关系,以全部的词和文档作为节点,将整个数据集构造成一个异构文本图。再基于图卷积网络（GCN）来构建用于图结构数据的神经网络,利用长短期记忆网络（LSTM）提取上下文相关特征,并使用注意力层获取重要特征。多组对比实验结果表明,本方法的分类效果更好,且随着训练集数据所占比例的降低,其优势更加显著。     

融合Stacking 和深度学习的中文产品评论情感分析

大量涌现的电商产品评论对企业制定商业决策十分有利, BERT 应用在英语文本情感分析中取得了不错的效果。针对中文电商产品文本评论提出了一个新的融合Stacking 集成思想和深度学习算法模型。首先在文本信息特征提取层使用Chinese-BERT-wwm 生成含有丰富语义信息的动态句子表征向量, Chinese-BERT-wwm 是专门针对中文特点改进后的预训练模型, 具有稳健的中文文本特征信息提取能力, 其次该层同时设计了TextCNN 和BiLSTM捕获文本中局部关键信息特征与语序信息特征, 并将这些特征拼接在一起以获得更全面丰富的句子信息, 最后基于Stacking 集成学习思想使用SVM 对该特征进行分类。为了评估模型效果, 人工标注3 万条具有三类情感极性的中文电商产品文本数据进行实验, 该数据集可广泛用于中文情感分析领域。实验结果表明, 与基线模型相比, 提出的模型可以有效提高中文文本情感极性分类任务的准确率。     

基于AM的BLSTM网络电商评论情感倾向分类

针对电商评论中所包含的消费者情感倾向信息问题,提出一种基于注意力机制和双向长短期记忆(bidirectional long-short term memory,BLSTM)网络的情感倾向分类模型。该模型使用预训练的字向量作为输入特征,通过双向长短期记忆网络来学习文本的语义特征。依此特征,设计了一种新的注意力机制来捕捉BLSTM模型生成的文本语义特征中重要的信息,以降低文本中冗余噪声对于情感倾向分类的影响。实验结果表明,与传统机器学习方法以及长短期记忆模型和双向长短期记忆模型相比,所提出模型在电商评论的情感倾向分类上取得了较好的结果。     

结合上下文和注意力机制的特定目标情感分析

在模型中引入评价目标的上下文信息,通过LSTM对其进行独立语义编码,同时引入基于评价目标的注意力机制,改善得到的情感特征信息。最后在SemEval2014Task4的Restaurant和Twitter两个不同领域的数据集上进行了实验。     

基于CNN-BiLSTM网络引入注意力模型的文本情感分析

为了解决单一卷积神经网络（CNN）缺乏利用文本上下文信息的能力和简单循环神经网络（RNN）无法解决长时依赖的问题,提出CNN-BiLSTM网络引入注意力模型的文本情感分析方法。首先利用CNN的特征强学习能力提取局部特征,再利用双向长短时记忆网络（BiLSTM）提取上下文相关特征的能力进行深度学习,最后,增加注意力层获取重要特征,使模型提取到有效的特征。在IMDB数据集上Accuracy值和均方根误差（RMSE）值分别达到90.34%和0.296 7,在Twitter数据集上Accuracy值和RMSE值分别达到76.90%、0.417 4,且模型时间代价小。结果表明,本文提出的模型有效提升了文本分类的准确率。     

融合多粒度动态语义表征的文本分类模型

在对化工领域类文本进行分类任务时,由于文本的专业性以及复杂多样性,仅仅依靠现有的词向量表征方式,很难对其中的专业术语以及其他化工领域内相关字词的语义进行充分表征,从而导致分类任务的准确率不高.本文提出一种融合多粒度动态语义表征的文本分类模型,首先在词嵌入层使用动态词向量表征语义信息并引入对抗扰动,使得词向量具有更好的表征能力,然后利用多头注意力机制进行词向量权重分配,获得带有关键语义信息的文本表示,最后使用提出的多尺度残差收缩深层金字塔形的卷积神经网络与混合注意力胶囊双向LSTM网络模型分别提取不同粒度的文本表示,融合后对得到的最终文本表示进行分类.实验结果表明,相比于现有模型,所提出的模型使用不同词向量表示时,在化工领域文本数据集上F1-Score最高可达84.62%,提升了0.38～5.58个百分点;在公开中文数据集THUCNews和谭松波酒店评论数据集ChnSentiCorp上进行模型泛化性能评估,模型也有较好表现.     

基于域对抗网络和BERT的跨领域文本情感分析

跨领域文本情感分析时,为了使抽取的共享情感特征能够捕获更多的句子语义信息特征,提出域对抗和BERT(bidirectional encoder representations from transformers)的深度网络模型。利用BERT结构抽取句子语义表示向量,通过卷积神经网络抽取句子的局部特征。通过使用域对抗神经网络使得不同领域抽取的特征表示尽量不可判别,即源领域和目标领域抽取的特征具有更多的相似性;通过在有情感标签的源领域数据集上训练情感分类器,期望该分类器在源领域和目标领域均能达到较好的情感分类效果。在亚马逊产品评论数据集上的试验结果表明,该方法具有良好的性能,能够更好地实现跨领域文本情感分类。     

一种面向目标的情感极性分析方法

面向目标的情感分析是细粒度情感分析的重要任务之一,旨在预测句子中给定目标实体的情感极性.当前大多数研究方法忽略了句法结构信息,在情感判别时往往会关注无关词汇,从而使分类性能下降.为此,设计了一种新的引入句法结构的模型,该模型利用双向预训练编码器和作用于依存句法树的图卷积网络分别捕获文本的上下文信息和句法结构信息,并使用多头注意力机制进行信息聚合得到目标的情感分类表征.此外,还将该模型与现有的领域自适应方法相结合,同时向模型中引入领域知识和句法结构知识,进一步提升了模型效果.在几个常用的标准数据集上的实验结果表明了上述模型的有效性.     

基于多模态判别性嵌入空间的图像情感分析

为了解决图像情感分析中存在的情感鸿沟和大的类内方差问题,提出了一种可以同时利用视觉模态和文本模态之间的深度潜在关联、视觉模态的深度线性判别和图像中层语义融合的弱监督方法.利用多模态深度网络结构找到一个视觉模态和文本模态之间最大深度关联且视觉模态具有深度判别性的潜在嵌入空间,并在该潜在空间中将文本的语义映射特征迁移到图像的判别性视觉映射特征中;结合注意力机制,设计涵盖潜在空间中映射特征的注意力网络,用于情感分类.在真实数据集上的实验结果表明,所提出的方法获得了更好的情感分类准确率.     

基于双注意力卷积神经网络模型的情感分析研究

卷积神经网络（Convolutional Neural Networks,CNN）无法判别输入文本中特征词与情感的相关性.因此提出一种双注意力机制的卷积神经网络模型（Double Attention Convolutional Neural Networks,DACNN）,将词特征与词性特征有效融合后得到本文的特征表示,确定情感倾向.本文提出局部注意力的卷积神经网络模型,改进卷积神经网络的特征提取能力,采用双通道的局部注意力卷积神经网络提取文本的词特征和词性特征.然后使用全局注意力为特征分配不同的权重,有选择地进行特征融合,最后得到文本的特征表示.将该模型在MR和SST-1数据集上进行验证,较普通卷积神经网络和传统机器学习方法,在准确率上分别取得0.7%和1%的提升.     

用于心律失常识别的LSTM和CNN并行组合模型

心脏病是导致人类死亡的首要原因,而大部分心血管疾病往往伴随着心律失常出现.为实现对不同类型心电图信号的自动分析、识别异常心律,研究并提出了一种基于深度学习的心拍分类算法.考虑到心电图自身的特性,使用长短时记忆网络来捕捉心电序列数据的前后依赖关系,结合卷积神经网络提取局部相关特征,自动识别5种不同类型的心拍.基于LSTM和CNN的深度学习方法将经过预处理的心电信号后直接作为网络的输入,将心电分类的特征提取、分类两个步骤融合为单个学习器.针对类别数据不平衡问题,通过对少数类样本滑窗采样获得更多训练数据.使用MIT-BIH数据集验证模型的有效性,最终在测试集2万多个心拍记录中分类结果准确率达到99.11%,特异性为99.44%,灵敏度为97.27%,此外滑窗采样操作对少数类样本的灵敏度有明显改善.实验结果表明,相比传统的SVM和随机森林等方法,基于LSTM和CNN的并行组合模型不需要人工提取复杂特征,且达到了更好的分类性能,适合用于可穿戴式心电设备和远程监护领域.     

基于DRSN-CW和LSTM的轴承故障诊断

利用深度残差网络中逐通道不同阈值的残差收缩模块(DRSN-CW)的降噪能力和特征提取能力,结合长短时记忆网络(LSTM)和注意力机制,设计了一个端到端的基于振动信号的轴承故障诊断模型DRSNCW-LSTM。其中,LSTM模块很好地利用了信号的时序特点,充分提取振动信号的内部时域特征。同时,注意力机制的引入可以使得模型自动提取出重要的时域特征用于后续的故障类型识别。在凯斯西储大学(CWRU)数据集上对提出的模型进行了测试,实验表明提出的方法在无降噪处理的情况下,相比于最新的MCNN-LSTM模型能更准确地诊断轴承故障。在训练数据不足的情况下,提出的方法依旧能较好地实现轴承故障诊断,平均准确率能达到98.16%,比MCNN-LSTM平均提升了2.62%。     

基于BI-LSTM-CRF模型的中文分词法

递归神经网络能够很好地处理序列标记问题,已被广泛应用到自然语言处理(NLP)任务中。提出了一种基于长短期记忆(LSTM)神经网络改进的双向长短期记忆条件随机场(BI-LSTM-CRF)模型,不仅保留了LSTM能够利用上下文信息的特性,同时能够通过CRF层考虑输出标签之间前后的依赖关系。利用该分词模型,通过加入预训练的字嵌入向量,以及使用不同词位标注集在Bakeoff2005数据集上进行的分词实验,结果表明:BI-LSTM-CRF模型比LSTM和双向LSTM模型具有更好的分词性能,同时具有很好地泛化能力;相比四词位,采用六词位标注集的神经网络模型能够取得更好的分词性能。     

基于空间注意力和卷积神经网络的视觉情感分析

为了解决现有基于深度学习方法的视觉情感分析忽略了图像各局部区域情感呈现的强度差异问题,提出一种结合空间注意力的卷积神经网络spatial attention with CNN, SA-CNN用于提升视觉情感分析效果。设计一个情感区域探测神经网络用于发现图像中诱发情感的局部区域;通过空间注意力机制对情感映射中各个位置赋予注意力权重,恰当抽取各区域的情感特征表示,从而有助于利用局部区域情感信息进行分类;整合局部区域特征和整体图像特征形成情感判别性视觉特征,并用于训练视觉情感的神经网络分类器。该方法在3个真实数据集TwitterⅠ、TwitterⅡ和Flickr上的情感分类准确率分别达到82.56%、80.23%、79.17%,证明利用好图像局部区域情感表达的差异性,能提升视觉情感分类效果。     

基于迁移学习的电力短文本情感分类研究

为了有效提高客服效率与主动服务意识,从电力短文本中挖掘客户的情感状态,提出了一种基于迁移学习的情感分析方法,将具有丰富标注信息的商品评论语料库作为源域,提高了目标域中的电力短文本的情感分类性能。在现有基于注意力机制的双向长短型记忆网络模型之上引入域适应层,以学习跨域知识并保留特定域的知识。实验结果表明,与其他算法相比较,该算法对电力短文本进行情感分类的效果优于非迁移学习方法,具有更好的分类性能。     

融合表情符号与短文本的微博多维情感分类

表情符号已成为网络语言重要组成部分,是分析社交媒体情感的主要特征之一.目前分析社交媒体情感符号的方法多针对Emoji,对颜文字的情感倾向没有相应分析.为获取中文媒体的多维度情感并分析热点话题的群体情感走向,本文以微博为例提出一种新的融合表情符号与短文本的多维情感分类方法.在该框架中,采用深度学习模型分析文本与Emoji组合部分、颜文字部分,分别计算两部分的7种情感强度,挖掘各部分与情感标签的深层次关联,并设计计算模型来反映语句包含的多维情感属性,实现对语句多维情感强度的检测.实验选择NLPCC2014数据集和爬取的带有颜文字的微博数据集进行验证,实验证明当文本与Emoji组合、颜文字占比分别为0.6和0.4时情感分类效果最好,且含颜文字的语句情感分类性能指标始终高于不含颜文字的语句,这表明融合表情符号和短文本的形式有效提高了情感检测精度.该方法为研究群体情感趋势提供了更细粒度的分析,为中文社交媒体的情感分析提供了新思路.     

基于并行架构和时空注意力机制的心电分类方法

为了有效提取心电信号 (ECG) 的时空特征和提高分类准确性,提出基于深度学习的并行架构心电分类模型. 该模型采用基于GCA Block和GTSA Block模块实现多路特征融合的时空注意力机制. 使用双向长短时记忆网络和卷积神经网络作为基特征提取器,分别捕捉心电信号序列数据的前后依赖关系和不同尺度上的局部相关特征,实现对5种不同类型的心电信号的自动分类. 在MIT-BIH数据集上验证的结果表明,该方法对5种不同心电信号的总体分类准确率、特异性、敏感度、精确度和Macro-F1分别为99.50%、99.61%、96.20%、98.02%和97.08%. 相较于其他心电分类模型,该模型不仅能够有效地缩短网络模型深度,防止模型过拟合,而且能够更准确地提取心电信号的时空特征,获得更好的分类性能.