基于特征融合和集成学习的建议语句分类模型

建议挖掘作为一项新兴研究任务近年来逐渐受到了研究者的关注。与英文相比,中文的建议表达形式更为丰富,呈现出许多不同特点,因此有必要在中文环境下开展建议挖掘研究。针对建议挖掘中的建议语句检测这一核心任务,提出一种综合应用Stacking和Bagging方法的集成学习模型来进行建议语句分类。使用Stacking组合分类器来构建概率特征空间,分别使用卷积神经网络(convolutional neural network, CNN)和段落向量模型(paragraph vector, PV)构建评论文本的CNN特征空间和段落向量特征空间,对上述特征进行融合,并训练Bagging分类器来对建议语句分类。在中文数据集上的试验结果验证了本研究模型的有效性。     

基于AM的BLSTM网络电商评论情感倾向分类

针对电商评论中所包含的消费者情感倾向信息问题,提出一种基于注意力机制和双向长短期记忆(bidirectional long-short term memory,BLSTM)网络的情感倾向分类模型。该模型使用预训练的字向量作为输入特征,通过双向长短期记忆网络来学习文本的语义特征。依此特征,设计了一种新的注意力机制来捕捉BLSTM模型生成的文本语义特征中重要的信息,以降低文本中冗余噪声对于情感倾向分类的影响。实验结果表明,与传统机器学习方法以及长短期记忆模型和双向长短期记忆模型相比,所提出模型在电商评论的情感倾向分类上取得了较好的结果。     

基于域对抗网络和BERT的跨领域文本情感分析

跨领域文本情感分析时,为了使抽取的共享情感特征能够捕获更多的句子语义信息特征,提出域对抗和BERT(bidirectional encoder representations from transformers)的深度网络模型。利用BERT结构抽取句子语义表示向量,通过卷积神经网络抽取句子的局部特征。通过使用域对抗神经网络使得不同领域抽取的特征表示尽量不可判别,即源领域和目标领域抽取的特征具有更多的相似性;通过在有情感标签的源领域数据集上训练情感分类器,期望该分类器在源领域和目标领域均能达到较好的情感分类效果。在亚马逊产品评论数据集上的试验结果表明,该方法具有良好的性能,能够更好地实现跨领域文本情感分类。     

基于集成学习框架的用户画像方法

针对已有算法中特征构建效果不佳以及泛化能力不足的问题,提出一种基于集成学习框架的用户画像方法。该方法将整体架构分为集成学习模块与语义编码模块,并在决策时加入了投票机制。集成学习模块采用两层Stacking完成特征构建以及模型融合;语义编码模块使用BERT模型对文本进行编码,提取深层语义信息;然后对两个模块的输出结果进行投票,从而产生最终结果。对两组数据进行实验,结果显示:该方法与基于单模型的方法对比,在用户查询词数据集上,用户性别、年龄、学历标签分类准确率平均提高了1.27%、3.52%、3.42%;在微博用户数据集上,用户性别、年龄、学历标签的分类准确率平均分别提高了5.61%、6.49%、5.96%。这表明该方法对于用户画像任务有较好的效果,并且对不同形式的文本具有很好的适应性。     

基于迁移学习的电力短文本情感分类研究

为了有效提高客服效率与主动服务意识,从电力短文本中挖掘客户的情感状态,提出了一种基于迁移学习的情感分析方法,将具有丰富标注信息的商品评论语料库作为源域,提高了目标域中的电力短文本的情感分类性能。在现有基于注意力机制的双向长短型记忆网络模型之上引入域适应层,以学习跨域知识并保留特定域的知识。实验结果表明,与其他算法相比较,该算法对电力短文本进行情感分类的效果优于非迁移学习方法,具有更好的分类性能。     

面向短文本情感分析的词扩充LDA模型

针对短文本在情感极性判断上准确率不高的缺点,在隐含狄利克雷分配(latent Dirichlet allocation, LDA)的基础上提出一种适用于短文本的情感分析模型。该模型在短文本中按词性寻找情感词汇,并对其进行有约束的词语扩充形成扩充集合,增强情感词汇之间的共现频率。将扩充集合加入文本中已发现的情感词汇,使得短文本长度增加并且模型可以提取到情感信息,模型通过这种方法将主题聚类变成情感主题聚类。该模型使用4 000条带有正负情感极性的短文本进行验证,结果表明该模型准确率比情感主题联合模型提高约11%,比隐含情感模型提高约9.5%,同时可以发现更多的情感词汇,证明该模型对于短文本能够提取更丰富的情感特征并在情感极性分类上准确率较高。     

用于目标情感分类的多跳注意力深度模型

文本情感分类是近年来自然语言处理领域的研究热点,旨在对文本蕴含的主观倾向进行分析,其中,基于特定目标的细粒度情感分类问题正受到越来越多的关注。在传统的深度模型中加入注意力机制,可以使分类性能显著提升。针对中文的语言特点,提出一种结合多跳注意力机制和卷积神经网络的深度模型（MHA-CNN）。该模型利用多维组合特征弥补一维特征注意力机制的不足,可以在没有任何先验知识的情况下,获取更深层次的目标情感特征信息。相对基于注意力机制的LSTM网络,该模型训练时间开销更小,并能保留特征的局部词序信息。最后在一个网络公开中文数据集（包含6类领域数据）上进行实验,取得了比普通深度网络模型、基于注意力机制的LSTM模型以及基于注意力机制的深度记忆网络模型更好的分类效果。     

基于深度学习的录音文本分类方法

为了提高具有关联工单数据的录音文本的分类精确率,根据录音文本及关联数据的特点,设计基于深度学习的录音文本分类方法. 针对录音文本,通过双向词嵌入语言模型（ELMo）获得录音文本及工单信息的向量化表示,基于获取的词向量,利用卷积神经网络（CNN）挖掘句子局部特征;使用CNN分别挖掘工单标题和工单的描述信息,将CNN输出的特征进行加权拼接后,输入双向门限循环单元（GRU）,捕捉句子上下文语义特征;引入注意力机制,对GRU隐藏层的输出状态赋予不同的权重. 实验结果表明,与已有算法相比,该分类方法的收敛速度快,具有更高的准确率.     

电子商务产品评论的情感特征提取与关注点分析

为挖掘大量的电子商务产品评论数据隐藏的巨大潜在价值,构建产品评论数据库,提取特征-情感词集,对情感极性进行计算并对关注点进行挖掘。实验结果表明:该方法得到的产品热门特征标签与官网热门标签高度吻合,可以推广到其他中文在线网络评论。     

基于结构化处理的评论文本情感量化分析模型

由于传统褒贬二值分类模型缺乏对文本主题之间以及主题与观点持有者之间的关系挖掘,不能很好的处理具有不规则、口语化、极性强等特点的评论文本.通过提取网站的文本评论,对评论对象进行结构化处理,以How Net公布的情感词典为基础,完善了评论情感倾向性词典.结合五元组模型量化文本情感信息,建立了适合处理评论文本的模型,深度挖掘了用户对商品或消费行为的主观感受.并通过实验验证了该模型的准确度和有效性.     

融合表情符号与短文本的微博多维情感分类

表情符号已成为网络语言重要组成部分,是分析社交媒体情感的主要特征之一.目前分析社交媒体情感符号的方法多针对Emoji,对颜文字的情感倾向没有相应分析.为获取中文媒体的多维度情感并分析热点话题的群体情感走向,本文以微博为例提出一种新的融合表情符号与短文本的多维情感分类方法.在该框架中,采用深度学习模型分析文本与Emoji组合部分、颜文字部分,分别计算两部分的7种情感强度,挖掘各部分与情感标签的深层次关联,并设计计算模型来反映语句包含的多维情感属性,实现对语句多维情感强度的检测.实验选择NLPCC2014数据集和爬取的带有颜文字的微博数据集进行验证,实验证明当文本与Emoji组合、颜文字占比分别为0.6和0.4时情感分类效果最好,且含颜文字的语句情感分类性能指标始终高于不含颜文字的语句,这表明融合表情符号和短文本的形式有效提高了情感检测精度.该方法为研究群体情感趋势提供了更细粒度的分析,为中文社交媒体的情感分析提供了新思路.     

基于情感分析的虚假信息识别模型

以微博为代表的社交平台已经成为人们获取信息和发布信息的重要途径,也成为虚假信息滋生的温床.包含虚假信息的微博往往含有明显的情感偏向.文章从情感分析角度出发,提出一种Bert模型结合BI-LSTM模型的虚假信息识别模型(LableBert模型):首先利用情感词典给情感词添加权重,改进Bert的预训练任务,以提升对于隐式情...     

一种基于多重词典的中文文本情感特征抽取方法

情感特征抽取是文本情感分类的重要步骤,正确的选择情感特征并赋予合理的情感权重是保障分类精度的前提。利用基础情感词词典、连词词典及词语距离,提出了一种基于多重词典的中文文本情感特征抽取算法,实验证明该方法优于HM,SO-PMI和词语语义距离等经典的特征抽取算法。     

一种结合深度学习和集成学习的情感分析模型

随着社交媒体的不断发展,用户评价已成为网络决策的关键因素.为了准确分析社交媒体用户评价的情感倾向性,更好地推进舆情分析、推荐算法等工作,本文通过对Bi-LSTM模型和Bagging算法的改进,提出了一种新的情感分析模型—Bi-LSTMM-B模型.该模型的特点在于将深度学习模型可提取抽象特征的优势和集成学习多分类器共同决策的思想相结合.一方面在Bi-LSTM模型的基础上引入Maxout神经元,构建Bi-LSTMM模型,解决随机梯度下降算法中存在的梯度弥散问题,更好地优化训练过程.另一方面,模型基于Bagging算法训练多个情感分类器,根据分类器性能优劣利用袋外数据为每个分类器分配指定类别的权重,并提出相应的改进投票策略,增强了模型的泛化能力.实验结果表明:本文提出的Bi-LSTMM-B模型相比于传统的LSTM模型准确率提高12.08%,其中Maxout神经元的引入对情感分析准确率有8.28%的相对改善效果,改进后的投票策略对准确率有4.06%的相对改善效果,并在召回率和F值两项指标上均优于其他对比模型.由此证明,深度学习模型和集成学习思想相结合可提高情感分析的准确率,并具有一定的研究价值.     

融合对抗训练与ERNIE 的短文本情感分析模型

使用深度学习技术进行文本情感分类是近年来自然语言处理领域的研究热点,好的文本表示是提升深度学习模型分类性能的关键因素。由于短文本蕴含情感信息较少、训练时易受噪声干扰,因此提出一种融合对抗训练的文本情感分析模型PERNIE RCNN。该模型使用ERNIE预训练模型对输入文本进行向量化,初步提取文本的情感特征。随后在ERNIE预训练模型的输出向量上添加噪声扰动,对原始样本进行对抗攻击生成对抗样本,并将生成的对抗样本送入分类模型进行对抗训练,提高模型面临噪声攻击时的鲁棒性。实验结果表明, PERNIE RCNN模型的文本分类性能更好,泛化能力更优。     

一种基于动态词典和三支决策的情感分析方法

提出了一种新的特征提取方式,与三支决策思想相结合,运用在文本情感分析中,以提高分类器的效率。根据训练集合创建动态情感词典,然后根据情感词典提取文本的抽象特征,形成特征矩阵。在分类过程中,如果分类器对于目标文本的所属分类确信程度不够高,那么分类器会利用三支决策的思想,将文本置于边界域中,等待别的处理方法。实验结果表明,在英文影评数据集上,基于动态词典的特征提取方法可以取得更好的分类准确率,而且三支决策规则可将一些样例放入边界域,提高了分类准确率。