融合对抗训练与ERNIE 的短文本情感分析模型

使用深度学习技术进行文本情感分类是近年来自然语言处理领域的研究热点,好的文本表示是提升深度学习模型分类性能的关键因素。由于短文本蕴含情感信息较少、训练时易受噪声干扰,因此提出一种融合对抗训练的文本情感分析模型PERNIE RCNN。该模型使用ERNIE预训练模型对输入文本进行向量化,初步提取文本的情感特征。随后在ERNIE预训练模型的输出向量上添加噪声扰动,对原始样本进行对抗攻击生成对抗样本,并将生成的对抗样本送入分类模型进行对抗训练,提高模型面临噪声攻击时的鲁棒性。实验结果表明, PERNIE RCNN模型的文本分类性能更好,泛化能力更优。     

抽取式文本摘要新闻文本分类

采取TF-IDF、LDA、位置权重指派与MMR相结合的方式,对不同的句子分配不同的权重.结合Word Embedding模型,分析了在BERT、RoBERTa-wwm-ext等模型测试的分类效果.     

用于目标情感分类的多跳注意力深度模型

文本情感分类是近年来自然语言处理领域的研究热点,旨在对文本蕴含的主观倾向进行分析,其中,基于特定目标的细粒度情感分类问题正受到越来越多的关注。在传统的深度模型中加入注意力机制,可以使分类性能显著提升。针对中文的语言特点,提出一种结合多跳注意力机制和卷积神经网络的深度模型（MHA-CNN）。该模型利用多维组合特征弥补一维特征注意力机制的不足,可以在没有任何先验知识的情况下,获取更深层次的目标情感特征信息。相对基于注意力机制的LSTM网络,该模型训练时间开销更小,并能保留特征的局部词序信息。最后在一个网络公开中文数据集（包含6类领域数据）上进行实验,取得了比普通深度网络模型、基于注意力机制的LSTM模型以及基于注意力机制的深度记忆网络模型更好的分类效果。     

采用 SVM 方法的文本情感极性分类研究

文本情感极性分类是文本情感分析首先要解决的关键问题。在分析影响文本情感分类的各类因素的基础上,首先构建了情感词典,并进行情感特征选取以及情感特征加权,然后使用SVM分类的方法对文本进行情感识别及分类,最后在语料数据集的基础上,在单机平台上和Spark分布式计算平台上执行分类模型,对比分析其分类精度和时间代价。实验结果验证了本文构建的情感极性分类模型在单机和分布式云平台上中的有效性。     

基于回应消息的中文微博情感分类方法

通过对中文微博情感分类的深入研究,该文提出了基于回应消息的中文微博情感分类方法。首先,对微博回应消息进行情感标注,然后利用回应消息情感分布结合SVM算法对微博文本情感进行分类;其次,对分类特征进行了详细分析。实验结果表明,该方法能够得到更高的准确率和召回率。     

基于CNN特征空间的微博多标签情感分类

面对微博情感评测任务中的多标签分类问题时,基于向量空间模型的传统文本特征表示方法难以提供有效的语义特征。词向量表示能体现词语的语法和语义关系,并依据语义合成原理构建句子的特征表示。本文提出一个针对微博句子的多标签情感分类系统,采用经过有监督情感分类学习后的卷积神经网络(Convolution Neural Network, CNN)模型,将词向量合成为微博句子的向量表示,使得此CNN特征空间中的句子向量具有很好的情感语义区分度。在2013年NLPCC(Natural Language Processing and Chinese Computing)会议的微博情感评测公开数据集上,相比最优评测结果的宽松指标和严格指标,本系统的最佳分类性能分别提升了19.16%和17.75%;相比目前已知文献中的最佳分类性能,则分别提升了3.66%和2.89%。     

大规模情感词典的构建及其在情感分类中的应用

为了有效获取短文本评论隐含的语义信息进行情感倾向性识别,提出一种基于CNN-LSTM模型的短文本情感分类方法.利用卷积神经网络（convolutional neural network,CNN）模型设置不同大小的卷积窗口,提取短文本的语义特征.引入长短时记忆（long short-term memory,LSTM）神经网络模型对短文本的情感倾向进行预测.在3种不同的中英文短文本评论数据集上进行验证取得较好的性能,其中,在NLPCC评测数据集上,正、负向情感识别的F₁值分别达到0.768 3和0.772 4（优于NLPCC评测的最优结果）.相较于传统的机器学习分类模型,t-test检验结果表明性能提升显著.

     

基于BiLSTM+Self-Attention的多性格微博情感分类

微博作为最受欢迎的社交网络平台之一,是人们表达观点和情感的重要途径.性格影响人的情感表达方式.针对现有微博情感分析很少考虑性格因素这一问题,文章提出一种基于BiLSTM+Self-Attention并结合性格因素的微博情感分类模型(P-BiLSTM-SA).该模型首先根据"大五"人格理论,基于用户性格将微博文本进行性格...     

基于LDA主题模型的文本语料情感分类改进方法

针对传统LDA主题模型无法体现词与词之间的顺序及关联性这一不足,提出一种改进的加权W-LDA情感分类方法.首先,在该模型的主题采样及其分布期望计算过程中引入平均加权值,以此避免与主题紧密相关词被高频词所淹没,从而提高主题间的区分度; 然后,以提取到的高质量文档-主题分布及主题-词向量为基础,引入支持向量机算法(SVM),构建一个集有情感词分析与提取、主题分布计算与情感分类功能的文本语料情感分析方法; 最后,利用真实的教学评价数据和公共评论集对本文方法的有效性进行了验证.结果表明,本文提出的方法在主题区分度     

一种基于朴素贝叶斯的中文评论情感分类方法研究

提出一种新的基于朴素贝叶斯的中文文本情感分类方法。该方法用情感短语作为文本特征,通过情感词典与否定副词相结合,提取情感短语,通过CHI统计法设定阈值进行特征提取,再利用朴素贝叶斯分类器进行情感分类计算。对不同CHI阈值、不同语料库、以情感短语为特征和以情感词为特征进行分类实验。实验表明,以情感短语作为特征进行朴素贝叶斯分类,在不同领域的评论中均获得了较高的查准率和查全率,证明了该方法的可行性。     

基于知识蒸馏的自适应多领域情感分析

提出一种自适应多领域知识蒸馏框架,有效地加速推理和减小模型参数同时确保模型性能,采用知识蒸馏方法对情感分析问题进行研究。针对每个特定领域进行知识蒸馏,模型蒸馏涉及词嵌入层蒸馏、编码层蒸馏(注意力蒸馏、隐藏状态蒸馏)、输出预测层蒸馏等多个方面;针对不同领域,学生模型保持相同的编码器,即共享权重,通过不同的领域特定输出层拟合不同的教师模型。在多个公开数据集上的试验结果表明,单领域知识蒸馏使得模型准确度平均提升2.39%,多领域知识蒸馏使得模型准确度平均提升0.5%。与单领域的知识蒸馏相比,该框架增强了学生模型的泛化能力,提升了性能。     

基于域对抗网络和BERT的跨领域文本情感分析

跨领域文本情感分析时,为了使抽取的共享情感特征能够捕获更多的句子语义信息特征,提出域对抗和BERT(bidirectional encoder representations from transformers)的深度网络模型。利用BERT结构抽取句子语义表示向量,通过卷积神经网络抽取句子的局部特征。通过使用域对抗神经网络使得不同领域抽取的特征表示尽量不可判别,即源领域和目标领域抽取的特征具有更多的相似性;通过在有情感标签的源领域数据集上训练情感分类器,期望该分类器在源领域和目标领域均能达到较好的情感分类效果。在亚马逊产品评论数据集上的试验结果表明,该方法具有良好的性能,能够更好地实现跨领域文本情感分类。     

中文微博情感词典构建方法

提出了一种中文微博情感词典构建方法。采用上下文熵的网络用语发现策略,通过TF IDF(term frequency inverse document frequency)进行二次过滤得到网络用语;利用SO PMI(semantic orientation pointwise mutual information)算法在已标注的微博语料库中计算网络用语的情感倾向值,构建网络用语情感词典;将词典应用到微博情感分类实验,并与朴素贝叶斯分类器的分类性能进行了比较分析。实验结果表明,直接利用微博情感词典的分类效果好于朴素贝叶斯分类器,并具有分类过程简单、快速等优势。     

基于空间注意力和卷积神经网络的视觉情感分析

为了解决现有基于深度学习方法的视觉情感分析忽略了图像各局部区域情感呈现的强度差异问题,提出一种结合空间注意力的卷积神经网络spatial attention with CNN, SA-CNN用于提升视觉情感分析效果。设计一个情感区域探测神经网络用于发现图像中诱发情感的局部区域;通过空间注意力机制对情感映射中各个位置赋予注意力权重,恰当抽取各区域的情感特征表示,从而有助于利用局部区域情感信息进行分类;整合局部区域特征和整体图像特征形成情感判别性视觉特征,并用于训练视觉情感的神经网络分类器。该方法在3个真实数据集TwitterⅠ、TwitterⅡ和Flickr上的情感分类准确率分别达到82.56%、80.23%、79.17%,证明利用好图像局部区域情感表达的差异性,能提升视觉情感分类效果。     

Construction of unsupervised sentiment classifier on idioms resources

Sentiment analysis is the computational study of how opinions, attitudes, emotions, and perspectives are expressed in language, and has been the important task of natural language processing. Sentiment analysis is highly valuable for both research and practical applications. The focuses were put on the difficulties in the construction of sentiment classifiers which normally need tremendous labeled domain training data, and a novel unsupervised framework was proposed to make use of the Chinese idiom resources to develop a general sentiment classifier. Furthermore, the domain adaption of general sentiment classifier was improved by taking the general classifier as the base of a self-training procedure to get a domain self-training sentiment classifier. To validate the effect of the unsupervised framework, several experiments were carried out on publicly available Chinese online reviews dataset. The experiments show that the proposed framework is effective and achieves encouraging results. Specifically, the general classifier outperforms two baselines（a Na？ve 50% baseline and a cross-domain classifier）, and the bootstrapping self-training classifier approximates the upper bound domain-specific classifier with the lowest accuracy of 81.5%, but the performance is more stable and the framework needs no labeled training dataset.     

基于扩展情感词典及特征加权的情感挖掘方法

针对情感分类中采用单一特征分类精度不高的问题,提出多特征加权的分类算法:根据扩展的情感词典计算每个词的情感倾向度,经CHI特征选择后,根据情感词的极性强度调整贝叶斯分类模型中该词的正负后验概率,在原值的基础上加上极性强度影响值。实验将该方法和其他3种单特征选择方法在酒店、影视等语料上的分类精度进行了对比,分类精度得到提升。实验结果表明,将词语的情感倾向度的特征融入到分类器中方法,在有效提高情感倾向性分类精度的同时降低了特征维数。     

结合句法依存信息的方面级情感分类

引入句法依存信息到原方面术语,提出一种新的方面术语表示方法,利用Glove词向量表示单词以及单词与单词之间的依存关系,构造出包含句法依存信息的依存关系邻接矩阵和依存关系表示矩阵,利用图卷积神经网络和多头注意力机制将句法依存信息融入到方面术语中,使得方面术语表达与上下文结构高度相关。将改进后的方面词术语表示替换到现有模型后,模型泛化能力得到有效提升。对比试验和分析结果表明:该方法具有有效性和泛化性。     

基于深度卷积和自编码器增强的微表情判别

为了判别微表情种类,提出基于深度卷积神经网络和迁移学习的微表情种类判别网络MecNet.为了提高MecNet在CASME Ⅱ、SMIC和SAMM联合数据库上的微表情种类判别准确率,提出基于自编码器的微表情生成网络MegNet,以扩充训练集.使用CASME Ⅱ亚洲人的微表情样本,生成欧美人的微表情样本.设计卷积结构实现图像编码,设计基于子像素卷积的特征图上采样模块实现图像解码,设计基于图像结构相似性的损失函数用于网络优化.将生成的欧美人的微表情样本加入MecNet训练集.实验结果表明,使用MegNet扩充训练集能够有效地提高MecNet微表情种类判别准确率.结合MegNet、MecNet的算法在CASME Ⅱ、SMIC和SAMM组成的联合数据库上的表现优于大部分现有算法.