脑电信号情绪识别研究综述

通过面部表情、语音语调以及脑电等生理信号对人的情绪状态进行识别分类,即情绪识别,其在医疗、交通以及教育等领域有广泛应用。脑电信号由于其真实可靠,在情绪识别领域日益得到广泛关注。总结了近年来脑电情绪识别研究所取得的进展,主要介绍基于深度学习和迁移学习进行的脑电情绪识别研究。介绍了脑电情绪识别基础理论、常用公开数据集、信号的采集和预处理,介绍特征提取与选择,重点介绍了深度学习和迁移学习在脑电情绪识别上的应用。指出该领域目前面临的挑战和前景。     

基于mRMR特征优选与SVM的脑电信号的情绪识别

脑电信号情绪识别的难点之一在于如何优选特征,为此,本文提出一种基于mRMR特征优选方法的脑电信号情绪识别。首先,对数据集中经预处理后的脑电信号提取时域、频域、非线性、Hjorth特征等多种特征,构建特征向量;其次,采用mRMR优选特征向量数量,获得最优特征向量组;最后,采用支持向量机算法（SVM）对优选的特征进行分类,获得效价和唤醒度的二分类结果。实验结果表明,基于mRMR特征选择方法的脑电信号情绪识别方法在效价和唤醒度两个方面的识别准确率为76.82%和77.6%,具有良好的识别效果。     

脑电情绪识别的深度学习研究综述

情绪是情感的外在体现,影响人类的认知、感知、理性决策等日常活动.情绪识别作为实现计算机全面智能的一项基础任务,在情感计算和人机交互领域被深入研究和广泛应用.相比面部表情、语音或其他生理信号,利用脑电进行情绪识别具有时间分辨率高、成本低、识别效果好、可靠性高的优势.近年来,越来越多的深度学习框架被应用于基于脑电信号的情绪识别,并取得了比传统机器学习方法更加优异的效果.基于深度脑电特征的情绪识别是当前的研究热点之一,也具有一定的挑战性.目前,可供参考的针对此研究热点的综述文献较少.对近年来国内外相关文献进行调研分析,从模型输入、深度框架、实验设置、实验结果等方面对深度学习在基于脑电的情绪识别中的应用研究做了总结概况,并在DEAP和SEED这两个公开的脑电-情绪数据集上对具有代表性的方法进行了定性和定量的多方面对比,分析和总结这些方法的不足,同时也对未来可能的研究方向进行了展望.     

基于便携式脑电设备的快乐和悲伤情绪分类

驾驶员情绪状态的识别对车辆主动安全技术的研究具有重要的应用价值.本研究通过情绪视频诱发的方法采集17位被试前额双通道脑电信号,提取不同情绪的脑电特征,并对数据进行降维处理后采用多种分类器进行情绪分类.结果显示,与单核分类器和集成学习分类器相比,基于梯度提升决策树（GBDT）算法得到快乐和悲伤的识别准确率最高.本研究为驾驶员情绪状态的实时监测和识别提供新方法,为提高行车的安全性提供了理论保障.     

基于EEG和DE-CNN-GRU的情绪识别

近年,情绪识别研究已经不再局限于面部和语音识别,基于脑电等生理信号的情绪识别日趋火热.但由于特征信息提取不完整或者分类模型不适应等问题,使得情绪识别分类效果不佳.基于此,本文提出一种微分熵(DE)、卷积神经网络(CNN)和门控循环单元(GRU)结合的混合模型(DE-CNN-GRU)进行基于脑电的情绪识别研究.将预处理后的脑电信号分成5个频带,分别提取它们的DE特征作为初步特征,输入到CNN-GRU模型中进行深度特征提取,并结合Softmax进行分类.在SEED数据集上进行验证,该混合模型得到的平均准确率比单独使用CNN或GRU算法的平均准确率分别高出5.57%与13.82%.     

基于脑电网络图特征的情绪识别研究

针对情绪脑电信号提出一种网络图特征学习与情绪识别算法。首先,利用情绪脑电数据构建对应的情绪脑电网络;其次,在由情绪脑电网络尺度定义的高维空间构建脑电网络样本间的局部邻接关系图以挖掘样本集的分布特性,进而得到样本集的图拉普拉斯矩阵;在此基础上,进一步利用谱图理论对情绪脑电网络的最优低维空间映射进行求解,在保留原始样本局部邻接关系的前提下实现对情绪脑电网络的降维与重新表达,并将每个情绪脑电网络样本表示成1组脑电网络特征集;最后利用提取到的情绪脑电网络特征集,结合支持向量机分类学习算法,针对情绪识别任务进行识别模型的训练和学习,实现对情绪状态的准确解码与识别。在国际公开情绪脑电数据集的实验结果表明：相较于传统情绪识别算法,本文所提方法能有效提升情绪识别准确率,在基于公开数据集的多类情绪识别任务中分别达到91.85%（SEED数据集, 3类）、79.36%（MAHNOB-HCI数据集,3类）和79%（DEAP数据集,4类）的稳健识别效果。     

采用多路图注意力网络的情绪脑电信号识别方法

情绪是一种大脑产生的主观认知的概括。脑信号解码技术可以以一种较客观的方式来有效地研究人的情绪及其相关认知行为。本文提出了一种基于图注意力网络的脑电情绪识别方法(multi-path graph attention networks, MPGAT),该方法通过对脑电信号通道建图,利用卷积层提取脑电信号的时域特征以及各频带的特征,使用图注意力网络进一步捕捉情绪脑电信号的局部特征以及各脑区之间的内在功能关系,进而构建出更好的脑电信号表征。MPGAT在SEED和SEED-IV数据集的跨被试情绪识别平均准确率分别为86.03%、72.71%,在DREAMER数据集的效价(valence)和唤醒(arousal)维度的跨被试平均准确率分别为76.35%和75.46%,达到并部分超过了目前最先进脑电情绪识别方法的性能。本文所提出的脑电信号处理方法有望为情绪认知科学研究与情绪脑机接口系统提供新的技术手段。     

基于KIV模型的脑电识别方法

脑电信号具有动态、非线性和数值高度随机的特点, 针对传统的人工神经网络模型识别脑电信号时在特征提取和识别精度方面表现出的局限性, 本研究提出了一种新的识别方法, 使用KIV模型对脑电信号进行识别. 首先, 通过仿真实验, 分析了KIV模型不同的刺激下表现出的动力学特性. 接着, 使用KIV模型分别对癫痫脑电信号和情感脑电信号进行识别, 在实验过程中不进行特征提取, 直接将多通道原始脑电信号输入到KIV模型中, 在BONN和GAMEEMO数据集上分别获得了99.50%和90.83%的识别准确率. 研究结果表明, 与现有的模型相比, KIV模型具有较好的识别脑电信号的能力, 可为脑电识别提供帮助.     

基于EEMD和LeNet-5的脑电信号情绪识别

随着科学技术的进步,人们对情绪这一概念有了全新的认识,从过去认为情绪来源于“心”逐渐发展到了当下普遍认为情绪来源于“脑”。针对脑电信号所具有的诸多特性,首先通过去除心电、肌电噪声,滤波提取脑电信号中的有用波段;再利用集合经验模态分解算法(Ensemble Empirical Mode Decomposition,EEMD)对脑电信号进行特征提取,利用提取特征通过空间插值法绘制脑电地形图;接着利用LeNet-5算法开展具体情绪识别,并建立模型。最终通过不断地改进模型,显著提高了情绪识别准确率,准确率最高可达80.1%。     

用异质迁移学习构建跨被试脑电情感模型

由于脑电信号的个体差异性和非平稳特性对情感模型性能产生影响,如何构建跨被试脑电情感模型是情感脑-机接口领域的一个重要研究方向.本文提出一种新的从眼睛的扫视轨迹进行知识迁移的异质迁移学习方法,以提升跨被试脑电情感模型的性能.该方法的主要神经生理学依据是,被试的视觉注视诱发了大脑特定的神经活动,而这些神经活动产生的脑电信号可以为情绪识别提供重要的情境线索.为了量化不同被试之间的域差异,我们引入了基于扫视轨迹和基于脑电信号的核矩阵,并提出了改进的直推式参数迁移学习算法,以实现跨被试脑电情感模型的构建.该方法与传统方法相比,具有两个优点:一是利用了目标被试容易获取的眼动追踪数据进行被试迁移,二是在目标被试只有眼动追踪数据的情况下,仍然能够从其他被试的历史数据中学到脑电信号的情绪类别判别信息.为了验证所提方法的有效性,我们对本文提出的方法与已有的迁移方法在三类情绪识别的脑电和眼动数据集上进行了系统的对比实验研究.实验结果表明,基于眼动轨迹的迁移模型取得了与基于脑电信号的迁移模型相当的识别性能.相对于传统的通用分类器50.46%的平均准确率,基于眼动轨迹的迁移模型的平均准确率达到了69.72%.