基于多核学习特征融合的语音情感识别方法

在语音情感识别中提取梅尔频率倒谱系数(MFCC)会丢失谱特征信息,导致情感识别准确率较低。为此,提出一种结合MFCC和语谱图特征的语音情感识别方法。从音频信号中提取MFCC特征,将信号转换为语谱图,利用卷积神经网络提取图像特征。在此基础上,使用多核学习算法融合音频特征,并将生成的核函数应用于支持向量机进行情感分类。在2种语音情感数据集上的实验结果表明,与单一特征的分类器相比,该方法的语音情感识别准确率高达96%。     

基于图神经网络和注意力的双模态情感识别方法

针对生理信号情感识别问题，提出一种基于图神经网络（GNN）和注意力的双模态情感识别方法。首先，使用GNN对脑电（EEG）信号进行分类；然后，使用基于注意力的双向长短期记忆（Bi-LSTM）网络对心电（ECG）信号进行分类；最后，通过Dempster-Shafer证据理论融合EGG和ECG分类结果，从而提高情感识别任务的综合性能。为验证所提方法的有效性，邀请20名受试者参与情感激发实验，并收集了受试者的EGG、ECG信号。实验结果表明，所提方法的二分类准确率在valence维度和arousal维度分别为91.82%和88.24%，相较于单模态EEG方法分别提高2.65%和0.40%，相较于单模态ECG方法分别提高19.79%和24.90%。可见，所提方法能够有效地提高情感识别的准确率，为医疗诊断等领域提供决策支持。     

基于混合神经网络的脑电时空特征情感分类

提出一种脑电图（electroencephalograph,简称EEG）数据表示方法,将一维链式EEG向量序列转换成二维网状矩阵序列,使矩阵结构与EEG电极位置的脑区分布相对应,以此来更好地表示物理上多个相邻电极EEG信号之间的空间相关性.再应用滑动窗将二维矩阵序列分成一个个等长的时间片段,作为新的融合了EEG时空相关性的数据表示.还提出了级联卷积-循环神经网络（CASC_CNN_LSTM）与级联卷积-卷积神经网络（CASC_CNN_CNN）这两种混合深度学习模型,二者都通过CNN卷积神经网络从转换的二维网状EEG数据表示中捕获物理上相邻脑电信号之间的空间相关性,而前者通过LSTM循环神经网络学习EEG数据流在时序上的依赖关系,后者则通过CNN卷积神经网络挖掘局部时间与空间更深层的相关判别性特征,从而精确识别脑电信号中包含的情感类别.在大规模脑电数据集DEAP上进行被试内效价维度上两类情感分类实验,结果显示,所提出的CASC_CNN_LSTM和CASC_CNN_CNN网络在二维网状EEG时空特征上的平均分类准确率分别达到93.15%和92.37%,均高于基准模型和现有最新方法的性能,表明该模型有效提高了EEG情感识别的准确率和鲁棒性,可以有效地应用到基于EEG的情感分类与识别相关应用中.     

基于多任务学习的轻量级语音情感识别模型

现有的语音情感识别（SER）模型存在训练参数量大、模型泛化性能差、情感识别准确率低等问题,利用有限的语音情感数据建立一个轻量级的模型以提高识别效率和准确率尤为重要。提出一种轻量级端到端多任务学习的P-CNN+Gender深度模型,该模型由语音特征组合网络、负责情感特征和性别特征提取的主体卷积网络以及情感和性别分类器组成。以语音的梅尔频率倒谱系数（MFCC）特征作为输入,特征组合网络使用多个大小不同的卷积核从MFCC特征中平行提取特征再进行组合,供后续的主体卷积网络进行情感特征和性别特征的提取。考虑到情感表达和性别的相关性,将性别分类作为辅助任务融合到情感分类中以提高模型的情感分类性能。实验结果表明,该模型在IEMOCAP、Emo-DB和CASIA语音情感数据集上的类别分类准确率分别达到73.3%、96.4%和93.9%,较P-CNN模型分别提高3.0、5.8和6.5个百分点,与3D-ACRNN、CNNBiRNN等模型相比,其训练参数量仅为其他模型的1/10～1/2,且处理速度更快、准确率更高。     

基于改进的GAF算法的EEG情感识别

利用脑电图(EEG)信号对人类的情感进行识别一直是一个重要且具有挑战性的研究领域。传统的方法都是对一维EEG信号进行分析,然后提取特征进行识别;但这种方法需要提取许多时域或频域上的特征才能取得较好的识别效果。考虑到二维图像蕴含的信息要远远比一维信号蕴含的信息丰富,因此将一维信号转换成二维图像可以提取更加有效的特征进行识别。为此,该文提出了一种基于改进的Gramian Angular Field(GAF)算法的EEG情感识别方法。首先,从EEG信号中提取alpha、beta、gama三个频段的子带信号;然后,提出了一种基于马氏距离加权的改进GAF算法将一维EEG信号转换成二维特征图像;接着,从二维图像中提取奇异值熵、图能量等特征;最后,利用卷积神经网络(CNN)对提取的EEG特征进行分类识别。基于广泛使用的DEAP数据集,针对四分类(HAHV、LAHV、LALV和HALV)情感识别任务,对该模型进行了验证。实验结果表明：所提算法的平均分类准确率达到92.63%,与现有的识别方法对比具有一定的优势。     

基于脑电时频空多域特征融合的情感识别研究

传统基于脑电信号（electroencephalogram,EEG）的情感识别主要采用单一的脑电特征提取方法,为了充分利用EEG中蕴含的丰富信息,提出一种多域特征融合的脑电情感识别新方法。提取了EEG的时域、频域和空域特征,将三域特征进行融合作为情感识别模型的输入。首先计算不同时间窗EEG信号的alpha、beta、gamma三个频段功率谱密度,并结合脑电电极空间信息构成EEG图片,然后利用卷积神经网络（convolutional neural network,CNN）与双向长短期记忆网络（bidirectional long short-term memory network,BLSTM）构建CNN-BLSTM情感识别模型,分别对时、频、空三域特征进行学习。在SEED数据集对该方法进行验证,结果表明该方法能有效提高情感识别精度,平均识别准确率达96.25%。     

基于深度卷积神经网络的脑电信号情感识别

为了点对点自动学习脑电信号（Electroencephalogram,EEG）空间与时间维度上的情感相关特征,提高脑电信号情感识别的准确率,基于DEAP数据集中EEG信号的时域、频域特征及其组合特征,提出一种基于卷积神经网络（Convolution Neural Network,CNN）模型的EEG情感特征学习与分类算法。采用包括集成决策树、支持向量机、线性判别分析和贝叶斯线性判别分析算法在内的浅层机器学习模型与CNN深度学习模型对DEAP数据集进行效价和唤醒度两个维度上的情感分类实验。实验结果表明,在效价和唤醒度两个维度上,深度CNN模型在时域和频域组合特征上均取得了目前最好的两类识别性能,在效价维度上比最佳的传统分类器集成决策树模型提高了3.58%,在唤醒度上比集成决策树模型的最好性能提高了3.29%。     

基于卷积联合适应网络的脑电信号情感识别

提出一种基于深度卷积联合适应网络（Convolutional neural network-joint adaptation network,CNN-JAN）的脑电信号（Electroencephalogram, EEG）情感识别模型。该模型将迁移学习中联合适应的思想融合到深度卷积网络中,首先采用长方形卷积核提取数据的空间特征,捕捉脑电数据通道间的深层情感相关信息,再将提取的空间特征输入含有联合分布的多核最大均值差异算法（Multi-kernel joint maximum mean discrepancy,MK-JMMD）的适配层进行迁移学习,使用MK-JMMD度量算法解决源域和目标域分布不同的问题。所提方法在SEED数据集上使用微分熵特征和微分尾端性特征分别进行情感分类实验,其中使用微分熵特征被试内跨试验准确率达到84.01%,与对比实验和目前流行的迁移学习方法相比,准确率进一步提高,跨被试实验精度也取得较好的性能,验证了该模型用于EEG信号情感识别任务的有效性。     

基于SAE和GNDO-SVM的脑电信号情绪识别

情感计算是现代人机交互中的关键问题, 随着人工智能的发展, 基于脑电信号(electroencephalogram, EEG)的情绪识别已经成为重要的研究方向. 为了提高情绪识别的分类精度, 本研究引入堆叠自动编码器(stacked auto-encoder, SAE)对EEG多通道信号进行深度特征提取, 并提出一种基于广义正态分布优化的支持向量机(generalized normal distribution optimization based support vector machine, GNDO-SVM)情绪识别模型. 实验结果表明, 与基于遗传算法、粒子群算法和麻雀搜索算法优化的支持向量机模型相比, 所提出的GNDO-SVM模型具有更优的分类性能, 基于SAE深度特征的情感识别准确率达到了90.94%, 表明SAE能够有效地挖掘EEG信号不同通道间的深度相关性信息. 因此, 利用SAE深度特征结合GNDO-SVM模型可以有效地实现EEG信号的情绪识别.     

三维输入卷积神经网络脑电信号情感识别

为了保留电极之间的空间信息以及充分提取脑电信号（Electroencephalogram,EEG）特征,提高情感识别的准确率,提出一种基于三维输入卷积神经网络的特征学习和分类算法。采用单熵（近似熵（Approximate Entropy,ApEn）、排列熵（Permutation Entropy,PeEn）和奇异值分解熵（Singular value decomposition Entropy,SvdEn））以及其组合熵特征,分别在DEAP数据集进行效价和唤醒度两个维度上的情感识别实验。实验结果表明,采用组合熵特征比单熵特征在情感识别实验中准确率有显著提高。最高组合熵特征平均准确率在效价和唤醒度上分别为94.14%和94.44%,比最高单熵特征平均准确率分别提高了5.05个百分点和4.49个百分点。     

结合非线性全局特征和谱特征的脑电情感识别

针对现有表征情感信息的脑电信号的非线性特征提取不完善的问题,将相空间重构技术引入情感脑电的识别中,提取了在相空间重构下基于轨迹的描述轮廓的三种非线性几何特征作为新的情感脑电特征。结合脑电信号的功率谱熵以及非线性属性特征（近似熵、最大Lyapunov指数、Hurst指数）,提出了基于主成分分析（PCA）的非线性全局特征（非线性几何特征+非线性属性特征）和功率谱熵的融合算法,以支持向量机（SVM）为分类器进行情感识别。结果显示,非线性全局特征能更有效地实现情感识别,二分类情感识别率约90%左右。基于PCA的融合情感特征相比单一特征能达到更佳的情感识别性能,四分类实验中平均识别率可达86.42%。结果表明,非线性全局特征相比非线性属性特征情感识别率有所提高,非线性全局特征以及功率谱熵的结合可以构造出更佳的情感脑电特征参数。     

基于PCA的离散小波自回归情感识别

针对情感识别进行研究,提出基于主成分分析法（PCA）过滤小波变换结合自回归模型提取的信号特征方法,并基于梯度提升分类树以实现情感分类.将特征提取的重点放在脑电信号变化情况以及小波分量变化情况作为脑电信号特征.采用Koelstra等提出的分析人类情绪状态的多模态标准数据库DEAP,提取8种正负情绪代表各个脑区的14个通道脑电数据.结果表明,算法对8种情感两两分类识别平均准确率为95.76%,最高准确率为98.75%,可为情感识别提供帮助.     

集成胶囊网络的脑电情绪识别

为了充分提取脑电信号多频带的时频信息和保留导联空间分布的位置信息,提出了一种基于集成胶囊网络的情绪识别模型.对预处理过的脑电信号进行小波包特征提取,并将Theta、Alpha、Beta、Gamma四个频带的小波系数能量值填充于根据导联空间分布映射的稀疏矩阵中,拼接构成多频带特征矩阵,通过胶囊网络对特征数据进行训练,对不...     

基于无阈值递归图和深度残差网络的脑电信号情感识别

提出基于无阈值递归图和深度残差网络相结合的脑电信号情感识别方法。基于非线性动力学理论,将脑电信号转化为无阈值递归图,克服了传统递归图分析中阈值选取的问题,同时脑电信号非线性特征被映射到二维平面。通过深度残差网络实现特征图非线性特征的自动提取,建立情感脑电分类模型,实现了单导联脑电信号情感识别。为进一步提高识别精度,联合四个单导联识别结果,采用“投票法”完成多导联脑电信号情感状态的联合识别。仿真结果表明,对Fp1、Fp2、F3、F4单导联脑电信号情感识别,平均准确率分别为93.82%、93.62%、94.54%、92.92%;多导联平均准确率为94.95%,提高了识别的准确率,具有很大的实用价值。     

Improving BCI-based emotion recognition by combining EEG feature selection and kernel classifiers

Current emotion recognition computational techniques have been successful on associating the emotional changes with the EEG signals, and so they can be identified and classified from EEG signals if appropriate stimuli are applied. However, automatic recognition is usually restricted to a small number of emotions classes mainly due to signal’s features and noise, EEG constraints and subject-dependent issues. In order to address these issues, in this paper a novel feature-based emotion recognition model is proposed for EEG-based Brain–Computer Interfaces. Unlike other approaches, our method explores a wider set of emotion types and incorporates additional features which are relevant for signal pre-processing and recognition classification tasks, based on a dimensional model of emotions: Valenceand Arousal. It aims to improve the accuracy of the emotion classification task by combining mutual information based feature selection methods and kernel classifiers. Experiments using our approach for emotion classification which combines efficient feature selection methods and efficient kernel-based classifiers on standard EEG datasets show the promise of the approach when compared with state-of-the-art computational methods.     

Short-term emotion assessment in a recall paradigm

The work presented in this paper aims at assessing human emotions using peripheral as well as electroencephalographic (EEG) physiological signals on short-time periods. Three specific areas of the valence–arousal emotional space are defined, corresponding to negatively excited, positively excited, and calm-neutral states. An acquisition protocol based on the recall of past emotional life episodes has been designed to acquire data from both peripheral and EEG signals. Pattern classification is used to distinguish between the three areas of the valence–arousal space. The performance of several classifiers has been evaluated on 10 participants and different feature sets: peripheral features, EEG time–frequency features, EEG pairwise mutual information (MI) features. Comparison of results obtained using either peripheral or EEG signals confirms the interest of using EEGs to assess valence and arousal in emotion recall conditions. The obtained accuracy for the three emotional classes is 63% using EEG time–frequency features, which is better than the results obtained from previous studies using EEG and similar classes. Fusion of the different feature sets at the decision level using a summation rule also showed to improve accuracy to 70%. Furthermore, the rejection of non-confident samples finally led to a classification accuracy of 80% for the three classes.     

基于图卷积网络的运动想象识别

运动想象识别将大脑的神经活动信号转为编码输出以实现意念控制,是脑机接口的一个重要研究方向.近年来深度学习算法的应用进一步提高了运动想象识别的准确率,但是当前基于深度学习的运动想象分析都将多路脑电信号作为二维矩阵信号,忽视了不同节点的空间关联信息.为了解决这个问题,将图卷积网络算法应用到运动想象分类中,通过多个节点脑电信...     

脑电信号多维特征融合与分类算法研究

针对目前运动想象脑电信号特征提取单一,分类识别准确率低等现象,结合卷积神经网络分类器,提出了一种多维度特征加权融合的特征融合算法来提高运动想象脑电识别率。对预处理后的脑电信号进行小波包变换,提取其共空间特征、能量特征、边际谱熵特征以及非线性动力学特征,然后加权融合,使用卷积神经网络分类器分类。为验证算法的合理性,使用BCI-IV Dataset 2a数据集对提出的特征融合算法进行验证分析,结果表明,所提出的加权特征融合算法结合CNN分类器可以有效提高运动想象识别准确率。实验中,9位志愿者平均分类准确率达到75.88%,平均Kappa系数为0.70。     

Class-specific multiple classifiers scheme to recognize emotions from speech signals

Automatic emotion recognition from speech signals is one of the important research areas, which adds value to machine intelligence. Pitch, duration, energy and Mel-frequency cepstral coefficients (MFCC) are the widely used features in the field of speech emotion recognition. A single classifier or a combination of classifiers is used to recognize emotions from the input features. The present work investigates the performance of the features of Autoregressive (AR) parameters, which include gain and reflection coefficients, in addition to the traditional linear prediction coefficients (LPC), to recognize emotions from speech signals. The classification performance of the features of AR parameters is studied using discriminant, k-nearest neighbor (KNN), Gaussian mixture model (GMM), back propagation artificial neural network (ANN) and support vector machine (SVM) classifiers and we find that the features of reflection coefficients recognize emotions better than the LPC. To improve the emotion recognition accuracy, we propose a class-specific multiple classifiers scheme, which is designed by multiple parallel classifiers, each of which is optimized to a class. Each classifier for an emotional class is built by a feature identified from a pool of features and a classifier identified from a pool of classifiers that optimize the recognition of the particular emotion. The outputs of the classifiers are combined by a decision level fusion technique. The experimental results show that the proposed scheme improves the emotion recognition accuracy. Further improvement in recognition accuracy is obtained when the scheme is built by including MFCC features in the pool of features.