基于逐步优化分类模型的跨领域文本情感分类

跨领域文本情感分类已成为自然语言处理领域的一个研究热点。针对传统主动学习不能利用领域间的相关信息以及词袋模型不能过滤与情感分类无关的词语,提出了一种基于逐步优化分类模型的跨领域文本情感分类方法。首先选择源领域和目标领域的公共情感词作为特征,在源领域上训练分类模型,再对目标领域进行初始类别标注,选择高置信度的文本作为分类模型的初始种子样本。为了加快目标领域的分类模型的优化速度,在每次迭代时,选取低置信度的文本供专家标注,将标注的结果与高置信度文本共同加入训练集,再根据情感词典、评价词搭配抽取规则以及辅助特征词从训练集中动态抽取特征集。实验结果表明,该方法不仅有效地改善了跨领域情感分类效果,而且在一定程度上降低了人工标注样本的代价。     

融合BERT的多层次语义协同模型情感分析研究

由于基于变换器的双向编码器表征技术（Bidirectional Encoder Representations from Transformers,BERT）的提出,改变了传统神经网络解决句子级文本情感分析问题的方法。目前的深度学习模型BERT本身学习模式为无监督学习,其需要依赖后续任务补全推理和决策环节,故存在缺乏目标领域知识的问题。提出一种多层协同卷积神经网络模型（Multi-level Convolutional Neural Network,MCNN）,该模型能学习到不同层次的情感特征来补充领域知识,并且使用BERT预训练模型提供词向量,通过BERT学习能力的动态调整将句子真实的情感倾向嵌入模型,最后将不同层次模型输出的特征信息同双向长短期记忆网络输出信息进行特征融合后计算出最终的文本情感性向。实验结果表明即使在不同语种的语料中,该模型对比传统神经网络和近期提出的基于BERT深度学习的模型,情感极性分类的能力有明显提升。     

基于改进BERT的景点评论情感分析

针对景点推荐领域评论的情感信息未得到充分利用的现状,文章融合残差网络和双向长短期记忆网络提出了一种改进的BERT模型。深度学习模型BERT以无监督的学习方式,通过后续的任务来完成推理和判断,而在语义层面忽略特定领域知识。该文研究多头残差网络（Multi-head residual network,MRN）,可以从多个层面上学习情绪特征,在补充领域知识的同时避免深度神经网络退化,利用BERT预训练模型提供语义特征,动态地将语句的情感嵌入到模型中,并将各层次模型输出的特征与双向长短期记忆网络的输出数据进行特征融合,得到最终的文本情感。该模型对比BERT预训练模型、BERT-BiLSTM模型、BiLSTM模型和卷积神经网络CNN的实验结果,最后得到的F1值和准确率都有显著提高。由此认为,BERT-MRN模型的情感极性分析能力有较好的提升,可以更好地分析景点评论的情感信息。     

基于注意力机制的双BERT有向情感文本分类研究

在计算社会科学中,理解政治新闻文本中不同政治实体间的情感关系是文本分类领域一项新的研究内容。传统的情感分析方法没有考虑实体之间情感表达的方向,不适用于政治新闻文本领域。针对这一问题,本文提出了一种基于注意力机制的双变换神经网络的双向编码表示(bi-directional encoder representations from transformers, BERT)有向情感文本分类模型。该模型由输入模块、情感分析模块、政治实体方向模块和分类模块四部分组成。情感分析模块和政治实体方向模块具有相同结构,都先采用BERT预训练模型对输入信息进行词嵌入,再采用三层神经网络分别提取实体之间的情感信息和情感方向信息,最后使用注意力机制将两种信息融合,实现对政治新闻文本的分类。在相关数据集上进行实验,结果表明该模型优于现有模型。     

基于BERT和超图对偶注意力网络的文本情感分析

针对网络短文本存在大量的噪声和缺乏上下文信息的问题,提出一种基于BERT和超图对偶注意力机制的文本情感分析模型。首先利用BERT预训练模型强大的表征学习能力,对情感文本进行动态特征提取;同时挖掘文本的上下文顺序信息、主题信息和语义依存信息将其建模成超图,通过对偶图注意力机制来对以上关联信息进行聚合;最终将BERT和超图对偶注意力网络两个模块提取出的特征进行拼接,经过softmax层得到对文本情感倾向的预测结果。该模型在电商评论二分类数据集和微博文本六分类数据集上的准确率分别达到95.49%和79.83%,相较于基准模型分别提高2.27%～3.45%和6.97%～11.69%;同时还设计了消融实验验证模型各部分对分类结果的增益。实验结果表明,该模型能够显著提高针对中文网络短文本情感分析的准确率。     

基于胶囊网络的方面级跨领域情感分析

在跨领域情感分析任务中,目标领域带标签样本严重不足,并且不同领域间的特征分布差异较大,特征所表达的情感极性也有很大差别,这些问题都导致了分类准确率较低。针对以上问题,提出一种基于胶囊网络的方面级跨领域情感分析方法。首先,通过BERT预训练模型获取文本的特征表示;其次,针对细粒度的方面级情感特征,采用循环神经网络（RNN）将上下文特征与方面特征进行融合;然后,使用胶囊网络配合动态路由来区分重叠特征,并构建基于胶囊网络的情感分类模型;最后,利用目标领域的少量数据对模型进行微调来实现跨领域迁移学习。所提方法在中文数据集上的最优的F1值达到95.7%,英文数据集上的最优的F1值达到了91.8%,有效解决了训练样本不足造成的准确率低的问题。     

基于对抗学习的自适应加权方面级情感分类算法

方面级情感分类是自然语言处理研究领域的一个热点问题,旨在分类出文本中不同方面的情感.目前,大多数深度神经网络情感分类模型都采用均值注意力机制,这导致情感词不能有效获得相应权重的问题.为此,提出一种基于对抗学习的自适应加权方面级情感分类模型AWSCM(Adaptive Weighted aspect-level Sentiment Classification Model based on adversarial learning),旨在自适应地学习文本权重.首先,将训练文本预处理成方面词、句子、句子对形式的输入,通过BERT对输入编码.然后,通过对抗学习算法和训练文本计算扰动生成对抗样本.最后,通过注意力机制提取训练文本和对抗样本编码后的深层文本特征和自适应权重,再进行联合学习.实验结果表明,和大多数深度神经网络情感分类模型相比,AWSCM能提升情感分类的准确性.同时,通过消融实验,证明了AWSCM结构设计的合理性.     

基于异构二部图的对话情感分析

对话情感分析旨在分析识别一段对话中用户在发言终止时的情绪状态。与传统的文本情感分析不同,对话过程中的上下文语境和用户之间的交互会对用户的情绪产生重要影响,且对话文本的语法结构复杂,多存在较远距离的语法成分的依赖关系,因而是一项十分具有挑战性的任务。为解决上述问题,该文将文本的句法依存关系引入模型中,通过图卷积网络提取句法结构信息,并与文本情感分析模型相结合,提出了两种同时建模语义和句法结构的模型H-BiLSTM+HGCL和BERT+HGCL。在构建的中文对话情感分析数据集上的实验表明,与不采用依存关系的基线模型相比,该文所提出的模型取得了更好的实验性能。     

基于BERT的金融文本情感分析与应用

针对金融文本情感倾向模糊问题,设计了一种基于BERT(Bidirectional Encoder Representations from Transformers,基于Transformer的双向编码技术)和Bi-LSTM(Bidirectional Long Short-Term Memory Network,双向长短时记忆网络)的金融文本情感分析模型,以BERT模型构建词向量,利用全词掩盖方法,能够更好地表达语义信息。为搭建金融文本数据集,提出一种基于深度学习模型的主题爬虫,利用BERT+Bi-GRU(双门控循环单元)判断网页内文本主题相关性,以文本分类结果计算网页的主题相关度。实验结果表明:本文所设计的情感分析模型在做情感分析任务时取得了87.1%的准确率,能有效分析文本情感倾向。     

结合BERT和BiSRU-AT的中文文本情感分类

针对传统语言模型的词向量表示无法解决多义词表征的问题,以及现有情感分析模型不能充分捕获长距离语义信息的问题,提出了一种结合BERT和BiSRU-AT的文本情感分类模型BERT- BiSRU-AT。首先用预训练模型BERT获取融合文本语境的词向量表征;然后利用双向简单循环单元（BiSRU）二次提取语义特征和上下文信息;再利用注意力机制对BiSRU层的输出分配权重以突出重点信息;最后使用Softmax激励函数得出句子级别的情感概率分布。实验采用中文版本的推特数据集和酒店评论数据集。实验结果表明,结合BERT和BiSRU-AT的文本情感分析模型能够获得更高的准确率,双向简单循环模型和注意力机制的引入能有效提高模型的整体性能,有较大的实用价值。     

融合多层注意力的方面级情感分析模型

方面情感分析旨在分析给定文本中特定方面的情感极性。针对目前的研究方法存在对方面情感注意力引入不足问题,提出了一种融合BERT和多层注意力的方面级情感分类模型（BERT and Multi-Layer Attention,BMLA）。模型首先提取BERT内部多层方面情感注意力信息,将编码后的方面信息与BERT隐藏层表征向量融合设计了多层方面注意力,然后将多层方面注意力与编码输出文本进行级联,进而增强了句子与方面词之间的长依赖关系。在SemEval2014 Task4和AI Challenger 2018数据集上的实验表明,强化目标方面权重并在上下文进行交互对方面情感分类是有效的。     

基于BERT-BiGRU模型的智慧医疗问答系统

针对医疗问答系统在处理复杂问题时面临上下文语义理解的局限,提出一种基于BERT-BiGRU的模型。通过预训练语言模型BERT和双向门控循环单元BiGRU建立医疗问答系统,其中BERT提取文本语义特征,BiGRU学习文本的顺序依赖信息,进而全面表示文本语义结构信息。在CBLUE医疗问答数据集上与基准方法相比,该模型在意图识别任务上的精确率提高到79.22%,召回率提高到81.23%,F1值(精确率和召回率的调和平均值)提高到79.82%。研究表明,结合BERT和BiGRU的模型可以更好地理解医疗问句的语义和结构信息,显著地提升了医疗问答系统的性能。     

面向中文网络对话文本的论辩挖掘——基于微调与提示学习的大模型算法

随着互联网技术的飞速发展,即时通信、在线论坛等应用广泛普及,网络上产生了了大量非结构化或半结构化的网络对话论辩文本,对这些文本进行论辩挖掘研究具有重要的学术价值与现实意义。该文首先构建了中文网络对话论辩语料库,以子句作为标注的粒度;然后,基于此语料库使用预训练语言模型微调和提示方法分别进行论辩元素及其关系的识别,分别使用了目前受到广泛认可的BERT、XLNet、RoBERTa及其衍生的预训练语言模型,通过预训练微调的方式进行实验。在GPT、BERT、RoBERTa预训练模型上进行提示学习,通过P-tuning自动构建连续模板,进行论辩挖掘。实验结果显示,提示学习用于论辩挖掘任务是可行的,且准确率与现今取得很好效果的预训练微调方法相近,有时准确率甚至更高,同时在小样本或零样本数据集上有着更好的效果。实验还显示GPT与Prompt结合可以较好地完成论辩关系识别任务。     

基于BERT和LDA模型的酒店评论文本挖掘

通过主题模型对酒店评论文本进行文本挖掘,有利于引导酒店管理者和客户对评论信息做出合适的鉴别和判断。提出一种基于预训练的BERT语言模型与LDA主题聚类相结合的方法;利用中文维基百科语料库训练BERT模型并从中获取文本向量,基于深度学习算法对评论文本进行情感分类;通过LDA模型对分类后的文本进行主题聚类,分别获取不同情感极性文本的特征主题词,进而挖掘出酒店客户最为关注的问题,并对酒店管理者提出具有参考价值的建议。实验结果表明,通过BERT模型获取的文本向量在情感分类任务中表现较好,且BERT-LDA文本挖掘方法能使酒店评论文本的主题更具表达性。     

关于短文本匹配的泛化性和迁移性的研究分析

自然语言理解中的许多任务,比如自然语言推断任务、机器问答和复述问题,都可以看作是短文本匹配问题.近年来,大量的数据集和深度学习模型的涌现使得短文本匹配任务取得了长足的进步,然而,很少有工作去分析模型在不同数据集之间的泛化能力,以及如何在新领域中有效地利用现有不同领域中的大量带标注的数据,达到减少新领域的数据标注量和提升性能的目标.为此,重点分析了不同数据集之间的泛化性和迁移性,并且通过可视化的方式展示了影响数据集之间泛化性的因素.具体地,使用深度学习模型ESIM(enhanced sequential inference model)和预训练语言模型BERT(bidirectional encoder representations from transformers)在10个通用的短文本匹配数据集上进行了详尽的实验.通过实验,发现即使是在大规模语料预训练过的BERT,合适的迁移仍能带来性能提升.基于以上的分析,也发现通过在混合数据集预训练过的模型,在新的领域和少量样本情况下,具有较好的泛化能力和迁移能力.     

基于共享BERT和门控多任务学习的事件检测方法

事件检测任务的目标是从文本中自动获取结构化的事件信息。目前基于表示学习的神经事件检测方法能够有效利用潜在语义信息,但人工标注数据集的语义知识含量有限,制约了神经网络模型的认知广度。相对地,多任务表示学习框架,有助于模型同时学习不同任务场景中的语义知识,从而提升其认知广度。BERT预训练模型得益于大规模语言资源的充沛语义信息,具有高适应性(适应不同任务)的语义编码能力。因此,该文提出了一种基于BERT的多任务事件检测模型。该方法将BERT已经包含的语义知识作为基础,进一步提升多任务模型的表示、学习和语义感知能力。实验表明,该方法有效提高了事件检测的综合性能,其在ACE2005语料集上事件分类的F₁值达到了76.7%。此外,该文在实验部分对多任务模型的训练过程进行了详解,从可解释性的层面分析了多任务架构对事件检测过程的影响。     

基于深度表示学习和高斯过程迁移学习的情感分析方法

情感分析是自然语言处理领域的重要研究问题。现有方法往往难以克服样本偏置与领域依赖问题,严重制约了情感分析的发展和应用。为此,该文提出了一种基于深度表示学习和高斯过程知识迁移学习的情感分析方法。该方法首先利用深度神经网络获得文本样本的分布式表示,而后基于深度高斯过程,从辅助数据中迁移与测试集数据分布相符的高质量样例扩充训练数据集用于分类器训练,以此提高文本情感分类系统性能。在COAE2014文本情感分类数据集上进行的实验结果显示,该文提出的方法可以有效提高文本情感分类性能,同时可以有效缓解训练数据的样本偏置以及领域依赖问题的影响。     

基于图注意力网络的方面级别文本情感分析

方面级别文本情感分析旨在分析文本中不同方面所对应的情感趋向。传统基于神经网络的深度学习模型在文本情感分析的过程中,大多直接使用注意力机制而忽略了句法关系的重要性,即不能充分利用方面节点的上下文语义信息,导致情感趋向预测效果不佳。针对该问题,设计一种融合句法信息的图注意力神经网络模型,并将其应用于文本情感分析任务。利用预训练模型BERT进行词嵌入得到初始词向量,将初始词向量输入双向门控循环神经网络以增强特征向量与上下文信息之间的融合,防止重要上下文语义信息丢失。通过融合句法信息的图注意力网络加强不同方面节点之间的交互,从而提升模型的特征学习能力。在SemEval-2014数据集上的实验结果表明,该模型能够充分利用句法信息进行情感分析,其准确率较LSTM及其变种模型至少提升3%,对Restaurant评论进行情感分类预测时准确率高达83.3%。     

跨领域文本的可迁移情绪分析方法

随着移动互联网的迅猛发展,社交网络平台充斥着大量带有情绪色彩的文本数据,对此类文本中的情绪进行分析研究不仅有助于了解网民的态度和情感,而且对科研机构和政府掌握社会的情绪变化及走向有着重要作用。传统的情感分析主要对情感倾向进行分析,无法精确、多维度地描述出文本的情绪,为了解决这个问题,文中对文本的情绪分析进行研究。首先针对不同领域文本数据集中情绪标签缺乏的问题,提出了一个基于深度学习的可迁移情绪分类的情感分析模型FMRo-BLA,该模型对通用领域文本进行预训练,然后通过基于参数的迁移学习、特征融合和FGM对抗学习,将预训练模型应用于特定领域的下游情感分析任务中,最后在微博的公开数据集上进行对比实验。结果表明,该方法相比于目前性能最好的RoBERTa预训练语言模型,在目标领域数据集上F1值有5.93%的提升,进一步加入迁移学习后F1值有12.38%的提升。     

双通道的BCBLA情感分类模型

针对传统情感分类模型的词向量表示无法解决多义词表征的问题,以及目前基于BERT的多通道情感分类模型研究较少的问题,提出了一种基于BERT的双通道情感分类模型BCBLA.该模型有BERT+CNN和BERT+BiLSTM-Attention两个通道,首先用预训练模型BERT获取融合文本语境的词向量表征;然后利用通道1的CNN网络增强对文本局部特征提取的能力和通道2的BiLSTM-Attention模型增强对长序列文本处理以及关键情感分类特征提取的能力;最后使用Softmax激励函数对通道1和通道2的融合特征进行分类.为了验证本文提出的模型的有效性,本文在中文谭松波酒店评论和英文Yelp Dataset Challenge两种数据集进行实验,设置了与当前流行的情感分类模型对比、减少通道后的模型对比和更换预训练模型后的对比等3种实验对比方式,最终实验结果表明,本文BCBLA模型在中文和英文两种数据集上测试结果中值分别取得了92.86%和95.55%的最佳效果.