基于LDA—加权Word2Vec组合的机器学习情感分类模型研究

为解决社交媒体用户发布评论文本过长,导致情感倾向不明确,情感特征分布离散,传统情感分类模型缺乏上下文语义分析,提取情感特征不准确,分类精准率较低的难题,提出一种主题模型与词向量组合特征（LDA-Word2Vec）的情感分类模型。通过LDA主题模型对长评论文本进行特征提取,构建所有主题下的特征词库;借助特征词库构建长评论的LDA特征表达;利用CBOW训练得到特征表达后文本的词向量表示,使用TF-IDF对词向量进行加权并融合语义特征,再构建机器学习模型对长评论文本进行情感分类的方法,研究了机器学习情感分类模型。实验结果表明：相较于传统的文本特征表示方法,本文提出的LDA-Word2Vec组合特征的方法,在情感分类的准确率与召回率的表现上都更加优秀。可见本文的模型能够进一步挖掘文本的情感特征,具有一定学术意义和现实意义。     

面向产品评论分析的短文本情感主题模型

情感主题联合生成模型已经成功应用于网络评论分析.然而,随着智能终端设备的广泛应用,由于屏幕及输入限制,用户书写的评论越来越短,我们不得不面对短评论中的文本稀疏问题.本文提出了一个针对短文本的联合情感--主题模型SSTM（Short-text sentiment-topic model）来解决稀疏性问题.不同于一般主题模型中通常采用的基于文档产生过程的建模方法,我们直接对整个语料集合的产生过程建模.在产生文档集的过程中,我们每次采样一个词对,同一个词对中的词有相同的情感极性和主题.我们将SSTM模型应用于两个真实网络评论数据集.在三个实验任务中,通过定性分析验证了主题发现的有效性,并与经典方法进行定量对比,SSTM模型的文档级情感分类性能也有较大提升.     

基于语义约束LDA的商品特征和情感词提取

随着网络购物的发展,Web上产生了大量的商品评论文本数据,其中蕴含着丰富的评价知识。如何从这些海量评论文本中有效提取商品特征和情感词,进而获取特征级别的情感倾向,是进行商品评论细粒度情感分析的关键。本文根据中文商品评论文本的特点,从句法分析、词义理解和语境相关等多角度获取词语间的语义关系,然后将其作为约束知识嵌入到主题模型,提出语义关系约束的主题模型SRC-LDA（semantic relation constrained LDA）,用来实现语义指导下LDA的细粒度主题词提取。由于SRC-LDA改善了标准LDA对于主题词的语义理解和识别能力,从而提高了相同主题下主题词分配的关联度和不同主题下主题词分配的区分度,可以更多地发现细粒度特征词、情感词及其之间的语义关联性。通过实验表明,SRC-LDA对于细粒度特征和情感词的发现和提取具有较好的效果。     

融合关键对象识别与深层自注意力的Bi-LSTM情感分析模型

在线评论文本通常涉及多个评价对象,对象的表达方式有显式和隐式之分,针对不同对象的情感倾向可能不会完全一致.关键评价对象是评论中最受关注的对象,其相应的情感语义对整条评论的情感观点起主导作用.本文构建了融合关键对象识别与深层自注意力机制的Bi-LSTM模型,以提升短文本情感分类的效果.使用CNN处理文本,基于卷积层输出结果识别关键评价对象,并在此基础上完成深层自注意力的学习.将对象信息与文本信息进行融合,利用注意力机制强化的Bi-LSTM模型得到评论文本的情感分类结果.在酒店评论数据集上进行实验,与之前基于深度学习的模型相比,本文方法在精确率、召回率和F-score评价指标方面均有更好的表现.     

基于情感词抽取与LDA特征表示的情感分析方法

情感分析作为文本挖掘的一个新型领域,可用于分类、归纳用户发布的产品评论,从而有助于商家改善服务,提高产品质量;同时为其他消费者提供购买决策。本文提出一种基于情感词抽取与LDA特征表示的情感分析方法,对产品评论进行褒贬二元分类。在情感词抽取中,采用人工构造的情感词典对预处理之后的文本抽取情感词;用LDA模型建立文档的主题分布,以评论-主题分布作为特征,用SVM分类器进行分类。实验结果表明,本文方法在评论褒贬分类方面有着良好的效果。     

改进的CBOW情感信息获取研究

大数据时代,文本的情感倾向对于文本潜在价值挖掘具有重要意义,然而人工方法很难有效挖掘网络上评论文本的潜在价值,随着计算机技术的快速发展,这一问题得到了有效解决。在文本情感分析中,获取词语的情感信息对于情感分析至关重要,词向量方法一般仅对词语的语法语义进行建模,但是忽略了词语的情感信息,无法更好地进行情感分析。通过TF-IDF算法模型获得赋权矩阵,构建停用词表,同时根据赋权矩阵生成Huffman树作为改进的CBOW算法的输入,引入情感词典生成情感标签辅助词向量生成,使词向量具有情感信息。实验结果表明,提出的方法对评论文本中获得的词向量能够较好地表达情感信息,情感分类结果优于传统模型。因此,该模型在评论文本情感分析中可以有效提升文本情感分类效果。     

基于多通道融合特征网络的文本情感分析

针对现有文本情感分析基础深度学习模块特征提取不够全面,语义表示不准确及训练效率低等问题,提出了基于多通道融合特征网络的文本情感分析模型。首先,采用针对汉字优化的预训练模型ChineseBERT提取文本的动态词向量表征,解决静态词向量存在的无法表示多义词问题,提升词向量语义表征质量;然后,通过多通道融合特征网络全面捕捉文本不同尺度下的语义特征融合向量表示,增强模型对文本深层次情感特征的学习能力;并利用软注意力机制计算每个特征对情感极性类型识别的影响权重,赋予关键特征更高权重,避免无关特征对结果造成干扰;最后,由线性层输出文本情感分类结果。在SMP2020微博疫情相关情绪分类评测数据集、购物评论数据集和酒店评论数据集上进行实验验证,分别取得了76.59%、97.59%和95.72%的F1分数以及76.6%、97.59%和95.73%的准确率,高于近期表现优秀的对比深度学习模型,验证了该模型在文本情感分析任务上的有效性。     

结合LDA与Self-Attention的短文本情感分类方法

在对短文本进行情感分类任务的过程中,由于文本长度过短导致数据稀疏,降低了分类任务的准确率。针对这个问题,提出了一种基于潜在狄利克雷分布（LDA）与Self-Attention的短文本情感分类方法。使用LDA获得每个评论的主题词分布作为该条评论信息的扩展,将扩展信息和原评论文本一起输入到word2vec模型,进行词向量训练,使得该评论文本在高维向量空间实现同一主题的聚类,使用Self-Attention进行动态权重分配并进行分类。通过在谭松波酒店评论数据集上的实验表明,该算法与当前主流的短文本分类情感算法相比,有效地提高了分类性能。     

基于词特征与语义特征的评价对象识别

网络评论短文本的细粒度情感分析是文本挖掘的研究热点,评价对象作为细粒度情感分析的基础,在识别文本过程中具有重要作用,如何充分利用上下文信息并对其进行有效表示是评价对象识别的难点所在。提出一种结合词特征与语义特征的评价对象识别方法。针对商品评论语料,使用条件随机场进行评价对象识别,在词特征、依存句法特征的基础上引入语义特征,并将各特征进行组合,以充分利用上下文信息,提高评价对象的识别准确性。在手机评论和酒店评论2个数据集上进行实验,结果表明,该方法的识别准确性较高,且F值分别高达75.36%和82.64%。     

基于改进BERT-BiGRU模型的文本情感分类研究

针对目前网络评论文本情感分类准确性不高的问题,提出一种基于BERT和双向门控循环单元（BiGRU）的改进模型,使用能够表征文本丰富语义特征的BERT模型进行词向量表示,结合能够长期保留文本上下文关联信息的BiGRU神经网络提高模型的分类效果,并在此基础上引入注意力机制,突出文本中更能表达分类结果的情感词权重,提高情感分类的准确率。将上述模型分别在Acllmdb＿v1和酒店评论两个公开数据集上进行测试,实验结果表明,该模型在中、英文文本情感分类任务中都获得了良好的性能。     

基于BERT和超图对偶注意力网络的文本情感分析

针对网络短文本存在大量的噪声和缺乏上下文信息的问题,提出一种基于BERT和超图对偶注意力机制的文本情感分析模型。首先利用BERT预训练模型强大的表征学习能力,对情感文本进行动态特征提取;同时挖掘文本的上下文顺序信息、主题信息和语义依存信息将其建模成超图,通过对偶图注意力机制来对以上关联信息进行聚合;最终将BERT和超图对偶注意力网络两个模块提取出的特征进行拼接,经过softmax层得到对文本情感倾向的预测结果。该模型在电商评论二分类数据集和微博文本六分类数据集上的准确率分别达到95.49%和79.83%,相较于基准模型分别提高2.27%～3.45%和6.97%～11.69%;同时还设计了消融实验验证模型各部分对分类结果的增益。实验结果表明,该模型能够显著提高针对中文网络短文本情感分析的准确率。     

面向在线顾客点评的属性依赖情感知识学习

该文研究属性依赖情感知识学习。首先提出了一个新颖的话题模型,属性观点联合模型(Joint Aspect/Opinion model, JAO),来同时抽取评论实体属性及属性相关观点词信息。在此基础上,对于各个属性,构造属性依赖的词关系图,并在该图上应用马尔科夫随机行走过程来计算观点词到少量褒、贬种子词的游走时间(Hitting Time),进而估计这些词的属性依赖的情感极性分值。在餐馆点评数据上的实验表明所提出的方法能有效抽取属性相关观点词,同时有效估计其属性依赖的情感极性分值。     

面向短文本情感分类的端到端对抗变分贝叶斯方法

针对文本情感分析中文本过短而导致的分类准确度低的问题,结合对抗学习和变分推断提出一种端到端的短文本情感分类模型。首先,使用谱规范化技术解决了判别器在训练过程中的震荡问题;然后,添加额外的分类模型来指导推断模型的更新;其次,使用对抗变分贝叶斯（AVB）模型提取短文本的主题特征;最后,使用三次注意力机制来融合主题特征与预训练词向量特征进行分类。通过在一个产品评论和两个微博数据集上的实验结果证明,所提模型较基于自注意力的双向长短期记忆网络（BiLSTM-SA）在分类准确度上分别提高了2.9、2.2和8.4个百分点。由此可见,该模型适用于挖掘社交短文本中的情感和观点信息,对舆情发现、用户反馈、质量监督和其他相关领域具有重要的意义。     

面向短文本情感分类的端到端对抗变分贝叶斯方法

针对文本情感分析中文本过短而导致的分类准确度低的问题，结合对抗学习和变分推断提出一种端到端的短文本情感分类模型。首先，使用谱规范化技术解决了判别器在训练过程中的震荡问题；然后，添加额外的分类模型来指导推断模型的更新；其次，使用对抗变分贝叶斯（AVB）模型提取短文本的主题特征；最后，使用三次注意力机制来融合主题特征与预训练词向量特征进行分类。通过在一个产品评论和两个微博数据集上的实验结果证明，所提模型较基于自注意力的双向长短期记忆网络（BiLSTM-SA）在分类准确度上分别提高了2.9、2.2和8.4个百分点。由此可见，该模型适用于挖掘社交短文本中的情感和观点信息，对舆情发现、用户反馈、质量监督和其他相关领域具有重要的意义。     

基于注意力机制的双BERT有向情感文本分类研究

在计算社会科学中,理解政治新闻文本中不同政治实体间的情感关系是文本分类领域一项新的研究内容。传统的情感分析方法没有考虑实体之间情感表达的方向,不适用于政治新闻文本领域。针对这一问题,本文提出了一种基于注意力机制的双变换神经网络的双向编码表示(bi-directional encoder representations from transformers, BERT)有向情感文本分类模型。该模型由输入模块、情感分析模块、政治实体方向模块和分类模块四部分组成。情感分析模块和政治实体方向模块具有相同结构,都先采用BERT预训练模型对输入信息进行词嵌入,再采用三层神经网络分别提取实体之间的情感信息和情感方向信息,最后使用注意力机制将两种信息融合,实现对政治新闻文本的分类。在相关数据集上进行实验,结果表明该模型优于现有模型。     

Enriched Latent Dirichlet Allocation for Sentiment Analysis

One of the main benefits of unsupervised learning is that there is no need for labelled data. As a method of this category, latent Dirichlet allocation (LDA) estimates the semantic relations between the words of the text effectively and can play an important role in solving various issues, including emotional analysis in combination with other parameters. In this study, three novel topic models called date sentiment LDA (DSLDA), author–date sentiment LDA (ADSLDA), and pack–author–date sentiment LDA (PADSLDA) are proposed. The proposed models extend LDA through some extra parameters such as date, author, helpfulness, sentiment, and subtopic. The proposed models use helpfulness in the Gibbs sampling algorithm. Helpfulness is a part of readers who found the review helpful. The proposed models divide the words into two categories: the words more affected by the distribution of subtopic and the words more affected by the main topic. In this study, a new concept called pack is introduced, and a new model called PADSLDA is proposed for sentiment analysis at pack level. The proposed models outperformed the baseline models because according to evaluations results, the extra parameters can appropriately affect the generating process of words in a review. Sentiment analysis at the document level, perplexity, and topic coherence are the main parameters used in the evaluations.     

基于浅层篇章结构的评论文倾向性分析

汉语评论文的特点使得可以利用情感主题句表示其浅层篇章结构,该文由此提出一种基于浅层篇章结构的评论文倾向性分析方法。该方法采用基于n元词语匹配的方法识别主题,通过对比与主题的语义相似度大小和进行主客观分类抽取出候选主题情感句,计算其中相似度最高的若干个句子的倾向性,将其平均值作为评论文的整体倾向性。基于浅层篇章结构的评论文倾向性分析方法避免了进行完全篇章结构分析,排除了与主题无关的主观性信息,实验结果表明,该方法准确率较高,切实可行。     

基于用户回复内容观点支持度的评论有用性计算

针对有监督评论有用性预测方法中的训练数据集难以构造,以及无监督方法缺乏对情感信息支撑的问题,提出基于语义和情感信息构建一种无监督模型,用于对评论有用性进行预测,同时考虑了评论和评论下回复内容对观点的支持度用来计算观点的有用性得分,进而得到评论的有用性。同时,提出结合句法分析和改进潜在狄利克雷分配（LDA）模型的评论摘要方法用于评论有用性预测模型中的观点提取,基于句法分析结果构建must-link和cannot-link两种约束条件指导主题模型学习,在保证召回率的同时提高模型准确率。该方法在实验数据集上能取得70%左右的F1值和90%左右的排序准确率,且实例应用也表明该方法对结果具有较好的解释性。     

基于Self-Attention和Bi-LSTM的中文短文本情感分析

短文本情感分析用于判断文本的情感极性,在商品评论、舆情监控等领域有重要应用。由于目前主流的基于词注意力机制的双向循环神经网络模型性能很大程度上依赖于分词的准确性,且注意力机制需较多的参数依赖,无法使模型更多的关注短文本的内部序列关系。针对上述问题,该文提出了基于字向量表示方法并结合Self-attention和BiLSTM的中文短文本情感分析算法。首先,对短文本进行字向量化表示,采用BiLSTM网络提取文本上下文关系特征,通过自注意力机制动态调整特征权重,Softmax分类器得到情感类别。在COAE 2014微博数据集和酒店评论数据集的实验结果表明,采用字向量文本表示方法较词向量更适合短文本,自注意力机制可以减少外部参数依赖,使模型能学到更多的文本自身关键特征,分类性能可分别提高1.15%和1.41%。     

一种通过评价类别分类提升评价对象抽取性能的方法

评价对象抽取主要用于文本的意见挖掘,旨在发掘评论文本中的评价对象实体。基于无监督的自编码器方法可以识别评论语料库中潜藏的主题信息,且无需人工标注语料,但自编码器抽取的评价对象缺乏多样性。提出一种基于监督学习的句子级分类任务和无监督学习自编码器混合模型。该模型通过训练一个分类器生成评价对象类别,对自编码器共享分类任务中的LSTM-Attention结构进行编码得到句向量表征,以增加语义关联度,根据得到的评价对象类别将句向量表征转化为中间层语义向量,从而捕捉到评价对象类别与评价对象之间的相关性,提高编码器的编码能力,最终通过对句向量的重构进行解码得到评价对象矩阵,并依据计算评价对象矩阵与句中单词的余弦相似度完成评价对象的抽取。在多领域评论语料库上的实验结果表明,与k-means、LocLDA等方法相比,该方法评价指标在餐厅领域中提升了3.7%,在酒店领域中提升了2.1%,可有效解决训练过程缺少评价类别多样性的问题,具有较好的评价对象抽取能力。