基于胶囊网络的中长微博情感分析

针对通过微博文本获取用户情感倾向,以提高舆情监控效率的问题。利用深度学习的方法实现微博语料的情感分类,构建符合近年文本长度分布特点的高质量微博情感分类数据集,分析微博文本长度对情感分类的影响。由于中长语料主观性强、句子关联度弱,其检测准确率偏低。针对此问题,本文提出一种基于胶囊网络的中长微博情感分析模型。采用注意力机制,在融合局部特征与全局特征的基础上,利用胶囊向量实现深层情感特征提取,提高中长语料的检测效果。利用本文搜集的数据集进行实验,结果表明,相较于多种深度学习算法,本文模型性能更佳。在不同文本长度语料的对比实验中,伴随着文本长度的增加,分类准确率逐渐降低。相较于传统的LSTM算法,本文模型随文本长度增加效果提升,证明了该模型针对中长微博文本情感分类的可行性。     

情感神经网络在信用卡评估中的应用

在对情感神经网络进行研究时,参照了情感心理学的内容要求,而且也相对地加入了情感智能中的情感因子。在普通神经网络结构中添加情感因素分量建立情感神经网络模型,以此改进神经网络的学习和决策过程,构建包括情感神经元在内的各个神经元输入输出关系,建立情感神经网络结构,推导出情感神经网络学习算法。把该算法用于信用卡评估工作,通过实验证明提出的情感神经网络算法的分类效果明显优于传统方法,好客户和坏客户的识别率均为100%,在一定程度上提高了模型的分类精度。     

基于CM-OMEMD和小波散射网络的语音情感识别

语音情感识别（Speech Emotion Recognition,SER）是人机交互的重要组成部分,具有广泛的研究和应用价值。针对当前SER中仍然存在着缺乏大规模语音情感数据集和语音情感特征的低鲁棒性而导致的语音情感识别准确率低等问题,提出了一种基于改进的经验模态分解方法（Empirical Mode Decomposition,EMD）和小波散射网络（Wavelet Scattering Network,WSN）的语音情感识别方法。首先,针对用于语音信号时频分析的EMD及其改进算法中存在的模态混叠问题（Mode Mixing）和噪声残余问题,提出了基于常数Q变换（Constant-Q Transform,CQT）和海洋捕食者算法（Marine Predator Algorithm,MPA）的优化掩模经验模态分解方法（Optimized Masking EMD based on CQT and MPA,CM-OMEMD）。采用CM-OMEMD算法对情感语音信号进行分解,得到固有模态函数（Intrinsic Mode Functions,IMFs）,并从IMFs中提取了可以表征情感的时频特征作为第一个特征集。然后采用WSN提取了具有平移不变性和形变稳定性的散射系数特征作为第二个特征集。最后将两个特征集进行融合,采用支持向量机（Support Vector Machine,SVM）分类器进行分类。通过在含有七种情感状态的TESS数据集中的对比实验,证明了本文提出的系统的有效性。其中CM-OMEMD减小了模态混叠,提升了对情感语音信号时频分析的准确性,同时提出的SER系统显著提高了情绪识别的性能。      

基于深度学习的中文电商评论情感分析

随着在线评论和推荐系统可用性的不断增加,情感分析逐渐成为学术研究中的一个重要的任务,近年来得到了许多研究人员的关注。传统的解决文本情感分析问题的方法主要是基于情感词典或浅层学习,利用回归、分类等方案实现特征的提取及分类。但由于评论语料内容简短,特征稀疏,含有大量未登录词使得上述这些方法存在数据稀疏问题,且忽略了词的语序问题。以这类方法为起点,本文采用深度学习的方法对评论文本进行情感分析,通过组合实验对比,找到可以深度理解人类情感表达的模型。     

基于双语词典的微博多类情感分析方法

现有微博文本情感分析方法多面向单一语种语料,如：中文语料.但是,中英文搭配使用的表达习惯已逐渐成为个体意见表达的重要形式.本文提出一种基于双语词典的多类情感分析方法,通过构建双语多类情感词典对微博文本进行多分类语义倾向性分析,以便更准确有效捕捉群体意见,及时发现社会舆论倾向.通过与多数投票算法、支持向量机算法、基于余弦距离的K近邻分类算法相比,本文提出的基于双语词典的多类情感分析模型具有良好的分类效果,其在分类准确率、F1值等方面都有明显提高.     

服装电商评论情感分析研究

本文讨论了电商评论情感分析流程及其在服装电商评论中的应用.首先,提出一种电商评论情感分析流程;其次,对爬取到的服装电商评论进行分词和语义标注;然后,根据通用情感词库设计并实现了服装电商评论情感词典,并通过服装电商评论分词结果进行对比和完善;进而,基于语义计算规则,采用线性回归模型和支持向量机回归模型对服装电商评论情感值进行研究;最后,通过对比平均绝对误差、均方差误差、均方根误差研究评论的情感倾向与销量的关系.实验结果表明,语义情感强度值在支持向量机回归模型下可以以相对小的误差来预测销量,前3页评论对用户购买行为的影响较大.     

基于改进特征选择方法的文本情感分类研究

提出了结合情感词典的改进信息增益特征选择方法。首先,针对现有的信息增益特征选择存在注重特征词的文档频率而忽视语料均衡等问题,提出了改进方法。其次,考虑情感词对文本分类的影响,提出了基于情感词典的特征选择（information gain combining sentiment classification,IGSC）算法进行文本分类。该算法通过对文本情感词进行匹配并结合情感词赋权重,实现了特征降维并解决了文本数据稀疏影响分类性能的问题;最后,针对旅游评论数据集对所提出的特征选择方法进行了实验验证及分析。实验结果表明,本文提出的改进文本情感分类特征选择方法在分类准确率、召回率和F值方面均得到了提升,并且具有较好的分类稳定性。     

基于信息融合的情感词典扩建研究

词语是文本中的情感表达的最小单位,而词语语义的情感倾向性分析是文本情感分类的基础.利用中文情感词构建出一个基础情感词典来判断未知情感词的情感极性.本文即是在HOWNET情感词语集的基础上,利用义原相似度算法,构建了中文基础情感词典,并提出以信息融合方法,将此词典与同济大学的褒贬词典进行整合,建立了特定情感词与特定情感标注以及相应的情感权值的映射关系,实验结果表明,该方法取得不错的分类效果.     

语音情感转换技术综述

随着情感信息处理的研究不断深入,语音信号中的情感转换越来越受到人们的重视。与传统的信息处理技术不同,语音的情感转换是用机器来实现理解和认识。本文首先探讨了情感的分类;接着,将语音情感转换系统分为：特征提取、参数转换和语音合成,并从特征提取和参数转换两方面进行了阐述,分析了相关的理论及算法,对各方法的优缺点进行了比较。最后,对语音情感转换研究方向进行了讨论。     

面向语音情感计算的数据库的构建与应用研究

针对情感语音识别与合成的应用需求,设计并建立了一种面向语音情感计算的数据库,包含中立、悲伤、高兴、愤怒4种情感,每种1 000句,共4 000句情感语音。首先利用贪婪算法对语料进行筛选,然后通过录音截取得到中立语音。再根据情感语音韵律特征规律来修改中立语音获得悲伤、高兴、愤怒等其他3种情感语音。最后将改进的模糊综合评价方法应用于对语音数据从情感表达、清晰度、流畅度、情景感、自然度、噪音影响等6个方面的综合评定,客观而准确地验证了语料的可靠性。本语音库的建立为语音情感计算提供了重要的应用基础和前提。     

基于Wav2vec2.0与语境情感信息补偿的对话语音情感识别

情感在人际交互中扮演着重要的角色。在日常对话中,一些语句往往存在情感色彩较弱、情感类别复杂、模糊性高等现象,使对话语音情感识别成为一项具有挑战性的任务。针对该问题,现有很多工作通过对全局对话进行情感信息检索,将全局情感信息用于预测。然而,当对话中前后的话语情感变化较大时,不加选择的引入前文情感信息容易给当前预测带来干扰。本文提出了基于Wav2vec2.0与语境情感信息补偿的方法,旨在从前文中选择与当前话语最相关的情感信息作为补偿。首先通过语境信息补偿模块从历史对话中选择可能对当前话语情感影响最大的话语的韵律信息,利用长短时记忆网络将韵律信息构建为语境情感信息补偿表征。然后,利用预训练模型Wav2vec2.0提取当前话语的嵌入表征,将嵌入表征与语境表征融合用于情感识别。本方法在IEMOCAP数据集上的识别性能为69.0%（WA）,显著超过了基线模型。      

越南语语音情感特征分析与识别

本文研究了越南语语音情感识别问题,采集并建立了越南语情感数据库。母语为越南语的两名男性和两名女性说话人进行了越南语情感语音的表演和录制,通过多人听辨实验进行了数据的验证和评选,建立了一个初步的越南语语音情感数据库,为今后的跨语言研究提供数据基础。在所获得的情感数据上,提取了基本的语音特征,并构造了可用于情感识别的静态统计特征。采用高斯混合模型进行了建模与识别,识别结果显示,本文中的系统能够较好的识别越南语语音情感。在今后的工作中,可以进一步研究跨语言情感特征的分析与识别。      

多视角判别分析的情感识别

自主神经系统（ANS）活动在情感表达上的客观性,使得基于生理信号的情感识别引起了研究者的广泛关注。然而,情感表达是多模态的,仅使用单一模态或简单地对多模态情感数据进行拼接不能保证情感识别的精度。因此,本文提出使用多视角判别分析方法（Multi-view Discriminant Analysis Method ,MDAM）进行情感识别,将多个模态的情感生理数据看作情感表达的多个视角,通过最大化所有模态下情感数据的类间散度矩阵和类内散度矩阵之比,找到多组投影,使得投影后的情感数据位于一个具有判别性的通用空间中,在此空间中,同类情感样本的类内距离最小,而异类样本间的距离最大,从而为多模态情感识别提供有效的情感判别特征。实验结果表明,相较于传统情感识别方法,本文的方法在公开的情感数据集DEAP dataset上取得了很好的识别效果。      

Multi-loop graph convolutional network for multimodal conversational emotion recognition

Emotion recognition in conversations (ERC) has gained increasing research attention in recent years due to its wide applications in a surge of emerging tasks, such as social media analysis, dialog generation, and recommender systems. Since constituent utterances in a conversation are closely semantic-related, the constituent utterances’ emotional states are also closely related. In our consideration, this correlation could serve as a guide for the emotion recognition of constituent utterances. Accordingly, we propose a novel approach named Semantic-correlation Graph Convolutional Network (SC-GCN) to take advantage of this correlation for the ERC task in multimodal scenario. Specifically, we first introduce a hierarchical fusion module to model the dynamics among the textual, acoustic and visual features and fuse the multimodal information. Afterward, we construct a graph structure based on the speaker and temporal dependency of the dialog. We put forward a novel multi-loop architecture to explore the semantic correlations by the self-attention mechanism and enhance the correlation information via multiple loops. Through the graph convolution process, the proposed SC-GCN finally obtains a refined representation of each utterance, which is used for the final prediction. Extensive experiments are conducted on two benchmark datasets and the experimental results demonstrate the superiority of our SC-GCN.     

全局卷积与亲和度融合的多模态特征蒸馏情感识别方法

为提升人机交互时的用户体验以及满足多元化用途的需求,交互设备正逐步引入情感智能技术,其中,实现产业和技术有效融合的前提是可以对人类情感状态进行正确的识别,然而,这仍然是一个具有挑战性的话题。随着多媒体时代的快速发展,越来越多可利用的模态信息便逐步被应用到情感识别系统中。因此,本文提出一种基于特征蒸馏的多模态情感识别模型。考虑到情感表达往往与音频信号的全局信息密切相关,提出了适应性全局卷积（Adaptive Global Convolution, AGC）来提升有效感受野的范围,特征图重要性分析（Feature Map Importance Analysis,FMIA）模块进一步强化情感关键特征。音频亲和度融合（Audio Affinity Fusion, AAF）模块通过音频-文本模态间的内在相关性建模亲和度融合权重,使两种模态的情感信息得到有效融合。此外,为了提升模型泛化能力,有效利用教师模型中概率分布所携带的隐藏知识,帮助学生模型获取更高级别的语义特征,提出了在多模态模型上使用特征蒸馏。最后,在交互式情感二元动作捕捉（Interactive Emotional Dyadic Mot...     

Improved Emotion Recognition With a Novel Speaker-Independent Feature

Emotion recognition is one of the latest challenges in human-robot interaction. This paper describes the realization of emotional interaction for a Thinking Robot, focusing on speech emotion recognition. In general, speaker-independent systems show a lower accuracy rate compared with speaker-dependent systems, as emotional feature values depend on the speaker and their gender. However, speaker-independent systems are required for commercial applications. In this paper, a novel speaker-independent feature, the ratio of a spectral flatness measure to a spectral center (RSS), with a small variation in speakers when constructing a speaker-independent system is proposed. Gender and emotion are hierarchically classified by using the proposed feature (RSS), pitch, energy, and the mel frequency cepstral coefficients. An average recognition rate of 57.2% (plusmn 5.7%) at a 90% confidence interval is achieved with the proposed system in the speaker-independent mode.     

基于Sinc-Transformer模型的原始语音情感识别

考虑传统语音情感识别任务中,手动提取声学特征的繁琐性,本文针对原始语音信号提出一种Sinc-Transformer（SincNet Transformer）模型来进行语音情感识别任务。该模型同时具备SincNet层及Transformer模型编码器的优点,利用SincNet滤波器从原始语音波形中捕捉一些重要的窄带情感特征,使其整个网络结构在特征提取过程中具有指导性,从而完成原始语音信号的浅层特征提取工作;利用两层Transformer模型编码器进行二次处理,以提取包含全局上下文信息的深层特征向量。在交互式情感二元动作捕捉数据库（IEMOCAP）的四类情感分类中,实验结果表明本文提出的Sinc-Transformer模型准确率与非加权平均召回率分别为64.14%和65.28%。同时与基线模型进行对比,所提模型能有效地提高语音情感识别性能。      

嵌入马尔可夫网络的多尺度判决融合耳语音情感识别

本文中我们提出了一种将高斯混合模型同马尔可夫网络结合的时域多尺度语音情感识别框架,并将其应用在耳语音情感识别中。针对连续语音信号的特点,分别在耳语音信号的短句尺度上和长句尺度上进行了基于高斯混合模型的情感识别。根据情绪的维度空间论,耳语音信号中的情感信息具有时间上的连续性,因此利用三阶的马尔可夫网络对多尺度的耳语音情感分析进行了上下文的情感依赖关系的建模。采用了一种弹簧模型来定义二维情感维度空间中的高阶形变,并且利用模糊熵评价将高斯混合模型的似然度转化为马尔可夫网络中的一阶能量。实验结果显示,本文提出的情感识别算法在连续耳语音数据上获得了较好的识别结果,对愤怒的识别率达到了64.3%。实验结果进一步显示,与正常音的研究结论不同,耳语音中的喜悦情感的识别相对困难,而愤怒与悲伤之间的区分度较高,与Cirillo等人进行的人耳听辨研究结果一致。      

基于嵌入注意力机制层级LSTM的音视频情感识别

对于语音的情感识别,针对单层长短期记忆(LSTM)网络在解决复杂问题时的泛化能力不足,提出一种嵌入自注意力机制的堆叠LSTM模型,并引入惩罚项来提升网络性能.对于视频序列的情感识别,引入注意力机制,根据每个视频帧所包含情感信息的多少为其分配权重后再进行分类.最后利用加权决策融合方法融合表情和语音信号,实现最终的情感识别...     

Research on emotion space of film and television scene images based on subjective perception

The premise of image emotion recognition is to determine its representative emotional adjectives and establish the quantifiable emotion space. In this paper, focusing on aroused emotion from film and television （TV） scene images, a method of selecting emotional adjectives and establishing the emotion space based on subjective perception experiment is proposed. Firstly, a special data set about film and TV scene images was established and a set of initial emotional adjectives was collected. Then the subjective perception experiment was designed to let subjects to evaluate the affection of all the initial adjectives during watching these scene images. Then the method of principal basis analysis was used for variable selection. Finally, the factor analysis was applied to accomplish the second dimension reduction to form a 5-dimensional（5D）orthogonal emotion space. The optimized emotion space can explain more than 94% of original emotional adjectives, which greatly reduces the dimension of emotional adjectives and lays a foundation for the further research on image content and emotion recognition.