非独立同分布文本情感表示学习方法

非独立同分布文本的情感分析往往极具挑战,因其是一类包含词句间耦合关系和同词（句）多义性特点的复杂文本。现有方法中,几乎没有可以全面捕获非独立同分布文本特性的方法用于情感分析。面向情感分析的非独立同分布文本表示学习方法对文本中层次化存在的耦合关系和多义性问题进行建模,将这些决定着情感极性的非独立同分布特点嵌入到文本的向量表示中。非独立同分布文本表示学习方法通过一种带注意力机制的多尺度层次化深度神经网络实现。该神经网络利用多尺度卷积循环结构捕获文本中的耦合关系,利用注意力机制消除文本中的多义性。同时,该神经网络层次化地融合了由深度学习生成的隐式特征表示和由文本情感先验知识构造的显示特征表示,以防止数据过拟合问题并强化情感表示能力。充分的实验表明,非独立同分布文本表示学习方法可以显著增强文本情感分析的性能。     

基于自注意力机制的方面情感分类

基于方面的情感分类方法判断句子中给定实体或属性的情感极性。针对使用全局注意力机制计算属性词和句子其他词的注意力分数时,会导致模型关注到与属性词不相关的词,并且对于长距离的依赖词、否定词关注不足,不能检测到并列关系和短语的问题,提出了基于自注意力机制的语义加强模型（SRSAM）。该模型首先使用双向长短时记忆神经网络模型（bidirectional long short-term memory,BiLSTM）获取文本编码,其次用自注意力机制计算文本编码的多个语义编码,最后将属性词和语义编码交互后判断属性词在句中的情感极性。使用SemEval 2014数据集的实验表明,由于模型能发现长距离依赖和否定词,对并列关系和短语有一定检测效果,相比基础模型在分类精度上有0.6%~1.5%的提升。     

多头注意力记忆网络的对象级情感分类

细粒度的情感分类任务需要识别文本当中与评论对象相关度最高的观点词并进行情感极性分类.文中利用多头注意力机制改进记忆网络,提取不同对象情感分类特征,实现对象级情感分类.将文本的词嵌入向量存储在记忆组件中,使用多头注意力机制在多个特征空间同时建模文本整体语义与对象相关语义.利用前馈网络层整合多个特征空间下的信息作为分类特征.在SemEval-2014数据集及扩充的数据集上实验表明,文中方法有利于缓解方法的选择性偏好.     

基于卷积注意力机制的情感分类方法

为提取文本的局部最优情感极性、捕捉文本情感极性转移的语义信息,提出一种基于卷积注意力机制的神经网络模型(CNN_attention_LSTM)。使用卷积操作提取文本注意力信号,将其加权融合到Word-Embedding文本分布式表示矩阵中,突出文本关注重点的情感词与转折词,使用长短记忆网络LSTM来捕捉文本前后情感语义关系,采用softmax线性函数实现情感分类。在4个数据集上进行的实验结果表明,在具有情感转折词的文本中,该模型能够更精准捕捉文本情感倾向,提高分类精度。     

计算文本的情感描述值的算法

随着互联网信息的高速发展,越来越多的人参与到信息的制造者队伍中,对于信息处理提出了更高的要求。计算文本的情感描述值对于衡量文本的极性信息具有重要的意义。首先对文本内容进行预处理,挑选出可以决定文本极性的句子;然后对各个子句进行情感描述值的计算;最后将子句的情感进行综合计算,得出文本的情感描述值。并且对文本长度、句法结构等因素进行了综合分析。实验结果表明,采用该算法计算文本信息具有较高的准确率和速度,对于大规模处理流数据情况下的情感信息值的计算具有较好的适用性。     

改进CNN的多通道语义合成情感分类模型研究

为了解决传统神经网络由于上下文语序变化而导致的情感歧义问题,提出一种多通道语义合成卷积神经网络（SFCNN）。使用改进的情感倾向注意力机制对词向量进行情感加权操作;将情感倾向词向量进行多通道语义合成,生成带有文本上下文语义信息的深度语义向量,构建情感分类模型;使用自适应学习率的梯度下降算法对模型参数进行优化,完成行情感分类任务。为了验证改进算法的有效性,使用多种微博数据样本集在提出的模型上进行对比实验。实验结果表明,改进的情感倾向注意力机制结合多通道语义合成卷积神经网络具有较好的情感分类能力,并且自适应学习率的梯度下降算法可以更快地完成模型收敛工作。     

结合注意力机制和句子排序的情感分析研究

针对传统的深度学习算法作情感分析未充分考虑文本特征和输入优化的问题，提出了结合注意力机制和句子排序的双层CNN-BiLSTM模型（DASSCNN-BiLSTM）。利用情感词典对文档数据进行情感极性排序，得到优化的文档数据；将优化的文档数据输入第一层模型（由CNN和BiLSTM组成）生成句子表示；将句子表示输入第二层模型（由BiLSTM和注意力机制组成）生成文档表示，作为分类的依据，由此解决了输入优化的问题并且充分捕获了句子之间的语义信息，提升了情感分类精度。实验结果表明，该模型在分类精度上相对于现有的方法有明显的提升，且拥有较好的MSE值，能够较好应用于一般的情感分析任务。     

基于BiGRU-attention神经网络的文本情感分类模型

针对双向长短时记忆神经（BiLSTM）模型训练时间长、不能充分学习文本上下文信息的问题,提出一种基于BiGRU-attention的文本情感分类模型。首先,利用双向门控循环（BiGRU）神经网络层对文本深层次的信息进行特征提取;其次,利用注意力机制（attention）层对提取的文本深层次信息分配相应的权重;最后,将不同权重的文本特征信息放入softmax函数层进行文本情感极性分类。实验结果表明,所提的神经网络模型在IMDB数据集上的准确率是90.54%,损失率是0.2430,时间代价是1100 s,验证了 BiGRU-attention模型的有效性。     

融合位置权重的基于注意力交叉注意力的长短期记忆方面情感分析模型

针对传统的基于注意力机制的神经网络模型不能对方面特征和情感信息进行有效关注，以及不同距离或不同方向的上下文词对方面词的情感极性判断有不同的贡献等问题，提出一种融合位置权重的基于注意力交叉注意力的长短期记忆方面情感分析模型（LWAOA-LSTM）。首先，为词向量加入位置权重信息；然后，使用长短期记忆（LSTM）网络同时对方面和句子进行建模以生成方面表示和句子表示，同时通过注意力交叉注意力模块共同学习方面和句子的表示以获得方面到文本和文本到方面的交互关注，并自动关注句子中的重要部分；最后，在景点、餐饮、住宿不同主题数据集上进行实验，验证了该模型对方面情感分析的准确性。实验结果表明，所提模型在景点、餐饮、住宿主题数据集上的准确率分别达到78.3%、80.6%和82.1%，取得了比传统LSTM网络模型更好的效果。     

融合BERT的多层次语义协同模型情感分析研究

由于基于变换器的双向编码器表征技术（Bidirectional Encoder Representations from Transformers,BERT）的提出,改变了传统神经网络解决句子级文本情感分析问题的方法。目前的深度学习模型BERT本身学习模式为无监督学习,其需要依赖后续任务补全推理和决策环节,故存在缺乏目标领域知识的问题。提出一种多层协同卷积神经网络模型（Multi-level Convolutional Neural Network,MCNN）,该模型能学习到不同层次的情感特征来补充领域知识,并且使用BERT预训练模型提供词向量,通过BERT学习能力的动态调整将句子真实的情感倾向嵌入模型,最后将不同层次模型输出的特征信息同双向长短期记忆网络输出信息进行特征融合后计算出最终的文本情感性向。实验结果表明即使在不同语种的语料中,该模型对比传统神经网络和近期提出的基于BERT深度学习的模型,情感极性分类的能力有明显提升。     

生成对抗网络GAN的研究进展

基于零和博弈思想的生成式对抗网络(generative adversarial network,GAN)模型的意义在于可通过无监督学习获得数据的分布,并能生成较逼真的数据。它可以应用在很多领域,尤其是在计算机视觉领域中的图像生成方面取得了很大成果,成为当下的一个研究热点。以GAN模型及其在特定领域的应用结果为研究对象,对GAN的改进和扩展的研究成果进行了广泛的研究,并从图像超分辨率重建、文本合成图片等多个实际应用领域展开讨论,系统地梳理、总结出GAN的优势与不足,同时结合自然语言处理、强化学习对GAN的发展趋势及应用前景进行预测分析。     

跨领域文本的可迁移情绪分析方法

随着移动互联网的迅猛发展,社交网络平台充斥着大量带有情绪色彩的文本数据,对此类文本中的情绪进行分析研究不仅有助于了解网民的态度和情感,而且对科研机构和政府掌握社会的情绪变化及走向有着重要作用。传统的情感分析主要对情感倾向进行分析,无法精确、多维度地描述出文本的情绪,为了解决这个问题,文中对文本的情绪分析进行研究。首先针对不同领域文本数据集中情绪标签缺乏的问题,提出了一个基于深度学习的可迁移情绪分类的情感分析模型FMRo-BLA,该模型对通用领域文本进行预训练,然后通过基于参数的迁移学习、特征融合和FGM对抗学习,将预训练模型应用于特定领域的下游情感分析任务中,最后在微博的公开数据集上进行对比实验。结果表明,该方法相比于目前性能最好的RoBERTa预训练语言模型,在目标领域数据集上F1值有5.93%的提升,进一步加入迁移学习后F1值有12.38%的提升。     

基于生成对抗网络的最大熵逆强化学习

针对逆强化学习算法在训练初期由于专家样本稀疏所导致的学习速率慢的问题,提出一种基于生成对抗网络（Generative Adversarial Networks,GAN）的最大熵逆强化学习算法。在学习过程中,结合专家样本训练优化生成对抗网络,以生成虚拟专家样本,在此基础上利用随机策略生成非专家样本,构建混合样本集,结合最大熵概率模型,对奖赏函数进行建模,并利用梯度下降方法求解最优奖赏函数。基于所求解的最优奖赏函数,利用正向强化学习方法求解最优策略,并在此基础上进一步生成非专家样本,重新构建混合样本集,迭代求解最优奖赏函数。将所提出的算法与MaxEnt IRL算法应用于经典的Object World与Mountain Car问题,实验表明,该算法在专家样本稀疏的情况下可以较好地求解奖赏函数,具有较好的收敛性能。     

用于方面提取的多元关系协作学习模型

方面级情感分析广泛应用于商品评价、餐饮、电商决策等,该任务的一个核心点是方面词提取.目前常用方法是用观点词来辅助提取方面词对文本进行序列标注,或使用跨度标记法预测方面词开始与结束的位置.这些方法没有考虑到观点词提取、情感极性分类对方面词提取的影响.针对这个问题提出一种用于方面提取的多元关系协作学习模型,利用观点词提取、方面词提取、情感极性分类间的关系建模,在关系中实现多任务的协作学习与联合训练.在REST14、REST15和LAP14三个数据集上进行的实验结果表明,提出的方法优于目前的最新方法.     

加权维吾尔语句子倾向性分析

准确可靠的文本倾向性分析是网络舆情分析与网络内容安全的前提.本文提出了利用中文极性情感词典HowNet、NTUSD以及大连理工大学发布的褒贬情感词词典进行并交运算,选择并翻译为维吾尔语词汇,借助于维吾尔语同义近义词词典,扩展构建了维吾尔语极性情感词典;然后分析总结了否定词、程度副词以及句中的转折连词等情感修饰成分对维吾尔语句子情感极性的影响,并量化为情感词权值;最后设计了基于维吾尔语极性情感词和权值相结合的加权句子情感极性判定算法.利用自建语料库进行测试,并与汉语倾向性判定实验结果比较,证明了本算法进行维吾尔语句子褒贬情感性分析基本是有效地.     

差分隐私保护WGAN-GP算法研究

针对攻击者利用生成式对抗网络技术(GAN)还原出训练集中的数据,泄露用户隐私信息的问题,提出了一种差分隐私保护梯度惩罚Wasserstein生成对抗网络(WGAN-GP)的方法.该方法在深度学习训练过程中对梯度添加精确计算后的高斯噪声,并使用梯度惩罚进行梯度修正,实现差分隐私保护.利用梯度惩罚Wasser-stein生成对抗网络与原始数据相似的数据.实验结果表明,在保证数据可用性的前提下,该方法可以有效保护数据的隐私信息,且生成数据具有较好的质量.     

情感词发现与极性权重自动计算算法研究

随着互联网电子商务和各种社交网络应用的快速发展,产生了大量的用户评价信息。为满足快速整理这些评价信息的需求,情感倾向性分析应运而生。情感词典是各类情感倾向性识别算法的基础,收集一部全面且权重合理的情感词典,往往可以简单快速而有效地解决情感分析问题。但情感词典规模有限,而网络上新的情感词层出不穷,语言使用不规范,人工整理耗时耗力。已有的情感词收集方法较复杂,且领域性强,收集的情感词可扩展性差。本文提出一种自动挖掘潜在情感词并计算其极性权重的算法,该算法与应用领域无关,具有良好的扩展性。该方法利用共现特性,基于朴素贝叶斯公式能检测出未知的情感词,并根据其情感权重值的大小判断其情感极性,可有效地扩展情感词典,将已有的情感词典进一步量化。在理论研究的基础上,本文分别针对京东、豆瓣及大众点评网三组评论语料做了实验,其结果的准确率都基本在90%以上,验证了该方法的有效性和实用性,为情感倾向性分析提供了知识库基础。     

融合左右双边注意力机制的方面级别文本情感分析

方面级别的文本情感分析旨在针对一个句子中具体的方面单词来判断其情感极性.针对方面单词可能由多个单词组成、平均化所有单词的词向量容易导致语义错误或混乱,不同的文本单词对于方面单词的情感极性判断具有不同的影响力的问题,提出一种融合左右的双边注意力机制的方面级别的文本情感分析模型.首先,设计内部注意力机制来处理方面单词,并根据方面单词和上下文单词设计了双边交互注意力机制,最后将双边交互注意力的处理结果与方面单词处理值三个部分级联起来进行分类.模型在SemEval 2014中两个数据集上进行了实验,分别实现了81.33％和74.22％的准确率,相比较于机器学习和结合注意力机制的各种模型取得了更好的效果.