融合Stacking 和深度学习的中文产品评论情感分析

大量涌现的电商产品评论对企业制定商业决策十分有利, BERT 应用在英语文本情感分析中取得了不错的效果。针对中文电商产品文本评论提出了一个新的融合Stacking 集成思想和深度学习算法模型。首先在文本信息特征提取层使用Chinese-BERT-wwm 生成含有丰富语义信息的动态句子表征向量, Chinese-BERT-wwm 是专门针对中文特点改进后的预训练模型, 具有稳健的中文文本特征信息提取能力, 其次该层同时设计了TextCNN 和BiLSTM捕获文本中局部关键信息特征与语序信息特征, 并将这些特征拼接在一起以获得更全面丰富的句子信息, 最后基于Stacking 集成学习思想使用SVM 对该特征进行分类。为了评估模型效果, 人工标注3 万条具有三类情感极性的中文电商产品文本数据进行实验, 该数据集可广泛用于中文情感分析领域。实验结果表明, 与基线模型相比, 提出的模型可以有效提高中文文本情感极性分类任务的准确率。     

融合对抗训练与ERNIE的短文本情感分析模型

使用深度学习技术进行文本情感分类是近年来自然语言处理领域的研究热点,好的文本表示是提升深度学习模型分类性能的关键因素。由于短文本蕴含情感信息较少、训练时易受噪声干扰,因此提出一种融合对抗训练的文本情感分析模型PERNIE RCNN。该模型使用ERNIE预训练模型对输入文本进行向量化,初步提取文本的情感特征。随后在ERNIE预训练模型的输出向量上添加噪声扰动,对原始样本进行对抗攻击生成对抗样本,并将生成的对抗样本送入分类模型进行对抗训练,提高模型面临噪声攻击时的鲁棒性。实验结果表明, PERNIE RCNN模型的文本分类性能更好,泛化能力更优。     

基于AM的BLSTM网络电商评论情感倾向分类

针对电商评论中所包含的消费者情感倾向信息问题,提出一种基于注意力机制和双向长短期记忆(bidirectional long-short term memory,BLSTM)网络的情感倾向分类模型。该模型使用预训练的字向量作为输入特征,通过双向长短期记忆网络来学习文本的语义特征。依此特征,设计了一种新的注意力机制来捕捉BLSTM模型生成的文本语义特征中重要的信息,以降低文本中冗余噪声对于情感倾向分类的影响。实验结果表明,与传统机器学习方法以及长短期记忆模型和双向长短期记忆模型相比,所提出模型在电商评论的情感倾向分类上取得了较好的结果。     

基于情感分析的虚假信息识别模型

以微博为代表的社交平台已经成为人们获取信息和发布信息的重要途径,也成为虚假信息滋生的温床。包含虚假信息的微博往往含有明显的情感偏向。文章从情感分析角度出发,提出一种Bert模型结合BI-LSTM模型的虚假信息识别模型（LableBert模型）:首先利用情感词典给情感词添加权重,改进Bert的预训练任务,以提升对于隐式情感特征的提取能力,并批量标注被掩盖单词的文本情感极性,以加强对文本中上下文的情感特征获取能力;然后结合BI-LSTM模型进行全连接操作,从而识别虚假信息。实验结果表明,该模型的准确率达到了91.36%,F₁值达到了91.03%,相比原Bert模型,该模型的准确率和F₁值都有所提升。     

基于双向传播框架的客服对话文本挖掘算法

针对电力客服对话文本存在的错误文本较多、口语化程度高和标注数据少等问题,提出了一种基于双向传播框架的电力客服对话文本挖掘算法.该算法使用外部语料获取情感词和评价属性来扩展电力客服对话评价要素,使用基于词向量的语料相似度计算方法识别长尾词,挖掘出电力客服对话文本的情感词和评价属性.实验结果表明,所提出的算法相比于传统反向...     

采用 SVM 方法的文本情感极性分类研究

文本情感极性分类是文本情感分析首先要解决的关键问题。在分析影响文本情感分类的各类因素的基础上,首先构建了情感词典,并进行情感特征选取以及情感特征加权,然后使用SVM分类的方法对文本进行情感识别及分类,最后在语料数据集的基础上,在单机平台上和Spark分布式计算平台上执行分类模型,对比分析其分类精度和时间代价。实验结果验证了本文构建的情感极性分类模型在单机和分布式云平台上中的有效性。     

一种面向观点挖掘的多粒度话题情感联合模型

为了提高文本观点挖掘的效率,通过扩展标准话题模型,提出了一种新颖的多粒度话题情感联合模型(MG-TSJ).模型将文本话题区分为全局和局部两类,同时挖掘文本中涉及的多层次话题信息和情感倾向信息.该模型采用非监督的学习方法,解决了现有方法存在的领域依赖问题.通过在测试语料库上进行实验,该模型在文本情感倾向性分类任务中的准确率达到82.6%,具有和监督分类系统相当的性能;挖掘话题集合呈现层次化、语义相关的特点,证明了MG-TSJ模型对观点挖掘是可行的和有效的.     

一种面向目标的情感极性分析方法

面向目标的情感分析是细粒度情感分析的重要任务之一,旨在预测句子中给定目标实体的情感极性.当前大多数研究方法忽略了句法结构信息,在情感判别时往往会关注无关词汇,从而使分类性能下降.为此,设计了一种新的引入句法结构的模型,该模型利用双向预训练编码器和作用于依存句法树的图卷积网络分别捕获文本的上下文信息和句法结构信息,并使用多头注意力机制进行信息聚合得到目标的情感分类表征.此外,还将该模型与现有的领域自适应方法相结合,同时向模型中引入领域知识和句法结构知识,进一步提升了模型效果.在几个常用的标准数据集上的实验结果表明了上述模型的有效性.     

基于知识嵌入式预训练语言模型的文本分类方法研究

为解决一般预训练语言表示模型在语义理解和推理过程中存在不足的问题,提出了一种知识嵌入式预训练语言模型,使用知识嵌入和预训练语言表示的统一模型将事实知识集成到增强的语言表示模型中,充分利用知识图谱中包含的丰富的结构化知识事实来增强文本表示,从而提高预训练模型的效果。该模型利用大规模文本语料库和知识图谱进行训练优化,在THUCNews数据集上的文本分类的准确率和召回率分别达到了96.51%和90.36%,优于文本循环神经网络、基于变换器的双向编码器表征、增强语言表示模型的实验结果,验证了经知识图谱优化后的预训练语言模型在文本分类任务上的优越性。     

使用有序词语移动距离特征进行中文文本蕴含识别

提出了一种基于有序词语移动距离的中文文本蕴含识别方法,该方法基于word2vec词向量计算有序词语移动距离特征,进而利用有序词语移动距离特征和传统语言学特征通过支持向量机生成分类模型,然后使用分类模型进行蕴含识别,最终得到蕴含结果.该方法在RITE-VAL评测任务的CS数据上的MacroF1为0.629,超过RITE-VAL的最优评测结果(BUPTTeam,0.615).实验结果表明,该方法可以提升中文文本蕴含识别系统的性能.     

基于CLIP和交叉注意力的多模态情感分析模型

针对多模态情感分析中存在的标注数据量少、模态间融合不充分以及信息冗余等问题,提出了一种基于对比语言-图片训练(CLIP)和交叉注意力(CA)的多模态情感分析(MSA)模型CLIP-CA-MSA。首先,该模型使用CLIP预训练的BERT模型、PIFT模型来提取视频特征向量与文本特征;其次,使用交叉注意力机制将图像特征向量和文本特征向量进行交互,以加强不同模态之间的信息传递;最后,利用不确定性损失特征融合后计算输出最终的情感分类结果。实验结果表明：该模型比其他多模态模型准确率提高5百分点至14百分点,F1值提高3百分点至12百分点,验证了该模型的优越性,并使用消融实验验证该模型各模块的有效性。该模型能够有效地利用多模态数据的互补性和相关性,同时利用不确定性损失来提高模型的鲁棒性和泛化能力。     

基于注意力与双通道网络的方面级情感分析

针对方面级情感分析任务不能充分兼顾句法全面性与语义关联性,且大多数研究中使用的图卷积仅考虑信息自上而下的传播,忽略了信息自下而上的聚合等问题,本文提出了基于注意力与双通道网络的情感分析模型.该模型在扩展依存表示的同时使用自注意力获取具有语义关联的信息矩阵,使用双通道网络结合全局句法与语义关联信息,双通道网络分别侧重于自上而下传播的语义特征与自下而上聚合的结构特征.通道内的图卷积输出会与信息矩阵进行交互注意力起到残差互补的作用,然后通过平均池化完成通道内的任务.最后将基于语义与基于结构的决策融合得到最终的情感分类特征.实验结果表明该模型在三个公开数据集上的准确率与F1值均有提升.     

基于迁移学习的电力短文本情感分类研究

为了有效提高客服效率与主动服务意识,从电力短文本中挖掘客户的情感状态,提出了一种基于迁移学习的情感分析方法,将具有丰富标注信息的商品评论语料库作为源域,提高了目标域中的电力短文本的情感分类性能。在现有基于注意力机制的双向长短型记忆网络模型之上引入域适应层,以学习跨域知识并保留特定域的知识。实验结果表明,与其他算法相比较,该算法对电力短文本进行情感分类的效果优于非迁移学习方法,具有更好的分类性能。     

本体和深度学习融合的在线评论细粒度情感分析

为了解决细粒度情感识别效果欠佳和深度学习方法可解释性差等问题，提出一种将本体与深度学习融合的细粒度情感分析模型。在模型中，将领域本体与卷积神经网络相融合，以识别文本中的显式和隐式主题。同时，将情感词典、双向长短时记忆网络和注意力机制相结合，用于分析在线评论文本的细粒度情感。实验结果表明，与其他方法相比，所提的细粒度情感分析方法在准确率、召回率和F1值等方面均具有一定的优势。     

基于机器阅读理解的事件检测方法

为提高事件检测任务的性能,将该任务重定义为一种提示范式,该范式使用问答对的形式将事件检测转化为机器阅读问题。同时,设计了一种名为WLBert-BiGRU的学习模型对问答对中的事件触发词进行预测,该模型使用Weight-Layers策略丰富Bert模型的语义表征能力,并使用双向门控循环单元神经网络（Bi-GRU）方法强化模型对事件触发词的识别能力。在ACE 2005数据集上的实验结果表明,本文方法在事件触发词识别和分类上的F1指标分别达到了78.1%和75.1%,较现有的工作平均提高了4.18%和4.3%。     

融合知识图谱的医疗领域命名实体识别

为了改善通用预训练模型不适应医疗领域的命名实体识别任务这一不足,提出了一种融合医疗领域知识图谱的神经网络架构,该架构利用弹性位置和遮盖矩阵使预训练模型计算自注意力时避免语义混淆和语义干扰,在微调时使用多任务学习的思想,利用回忆学习的优化算法使预训练模型均衡通用语义表达和目标任务的学习,最终得到更为高效的向量表示并进行标签预测。实验结果表明：本文提出的命名实体识别架构在医疗领域上取得了优于主流预训练模型的效果,在通用领域也有较为良好的效果。该架构避免了重新训练针对某个领域的预训练模型和引入额外的编码结构从而精简了计算代价和模型大小。此外,通过消融实验对比,医疗领域对于知识图谱的依赖程度较通用领域依赖程度更大,这说明在医疗领域中融合知识图谱方法的有效性。通过参数分析,证明本文使用回忆学习的优化算法可以有效控制模型参数的更新,使模型可以保留更多的通用语义信息并得到更符合语义的向量表达。本文也通过实验分析说明了所提方法在实体数量少的种类上具有更优的表现。     

基于BiRNN的维吾尔语情感韵律短语注意力模型

当前维吾尔语情感语音合成采用韵律边界预测方法来实现情感语音转换。通过该方法合成出来的语音,虽然可表现出相应的情感,然而其情感表现力不够理想。针对此问题,该文提出一种基于BiRNN的维吾尔语情感韵律短语注意力模型。在情感韵律转换前使用该模型进行情感分类,并将其分类结果作为韵律边界预测的输入,改进了情感韵律转换方法。使用改进的词性特征向量和韵律短语向量作为词向量的补充,从而有效提升维吾尔文文本情感分类的准确率。实验结果表明,该模型由两个单词构成的韵律短语作为特征时,准确率在维吾尔五分类情感数据集上达到了很好的分类效果。     

基于强化学习和注意力机制的朝鲜语文本结构发现

将注意力机制与深度强化学习相结合,利用标签信息研究如何自主学习出有效的朝鲜语文本结构化表示,提出了两种结构化表示模型:信息蒸馏注意力模型(ID-Attention)和层次结构注意力模型(HS-Attention)。ID-Attention选择与任务相关的重要单词,而HS-Attention在句中发现短语结构。两种表示模型中的结构发现是一个顺序决策问题,使用强化学习中的Policy Gradient实现。实验结果表明:ID-Attention能够识别朝鲜语重要单词;HS-Attention能够很好地提取出句子结构,在文本分类任务上有很好的性能表现,同时,两模型的结果对语料库的标注有很好的辅助作用。     

基于LOTClass模型的弱监督中文短文本分类算法

基于全监督学习的文本分类算法需要使用大量的标签数据,而文本数据的标注任务耗时耗力且标注难度较大。针对上述问题,提出了一种基于LOTClass模型的弱监督中文短文本分类算法。首先,使用少量的标签数据构建类别种子词表;其次,使用类别种子词表指导训练中文伪标签生成模型,并使用该模型生成大量伪标签数据;最后,利用优质伪标签数据训练一个中文短文本分类模型。在THUCNews新闻标题数据集和论文标题数据集上进行实验,结果表明,该算法在仅使用少量标签数据的情况下,其性能优于主流的半监督分类算法,同时不逊于一般的全监督分类算法,为无标签数据分类任务提供了一种较好的解决方案。     

上下文感知的判别式主题模型

为了解决主题识别过程中词的上下文语境缺失问题,通过卷积神经网络将特定的上下文信息嵌入到词向量中,再将词向量输入到判别式主题模型中。本方法可以融合附加标签信息进行有监督的训练,处理文档分类等下游任务。通过与现有判别式主题模型进行对比和分析,能够获取到更加连贯的主题,同时在文本分类任务上表现出更好的预测性能,从而验证了方法的有效性和准确性。