脑电信号情绪识别综述

情绪识别在医疗领域和人机互动中越来越重要。当人们的情绪在外部刺激下发生变化时，人体的各种生理信号就会产生波动。脑电图（EEG）与大脑活动密切相关，因此可以通过EEG信号判断受试者的情绪变化。首先，从特点和采集、预处理、公开数据集等方面介绍了脑电情绪识别的相关理论；然后，从时域、频域和时频域特征介绍了EEG信号的特征提取；随后，对EEG信号情绪分类识别的效果进行评估；最后，总结了EEG信号情绪识别的相关工作并对未来工作进行了展望。     

基于深度卷积神经网络的脑电信号情感识别

为了点对点自动学习脑电信号（Electroencephalogram,EEG）空间与时间维度上的情感相关特征,提高脑电信号情感识别的准确率,基于DEAP数据集中EEG信号的时域、频域特征及其组合特征,提出一种基于卷积神经网络（Convolution Neural Network,CNN）模型的EEG情感特征学习与分类算法。采用包括集成决策树、支持向量机、线性判别分析和贝叶斯线性判别分析算法在内的浅层机器学习模型与CNN深度学习模型对DEAP数据集进行效价和唤醒度两个维度上的情感分类实验。实验结果表明,在效价和唤醒度两个维度上,深度CNN模型在时域和频域组合特征上均取得了目前最好的两类识别性能,在效价维度上比最佳的传统分类器集成决策树模型提高了3.58%,在唤醒度上比集成决策树模型的最好性能提高了3.29%。     

基于脑电时频空多域特征融合的情感识别研究

传统基于脑电信号（electroencephalogram,EEG）的情感识别主要采用单一的脑电特征提取方法,为了充分利用EEG中蕴含的丰富信息,提出一种多域特征融合的脑电情感识别新方法。提取了EEG的时域、频域和空域特征,将三域特征进行融合作为情感识别模型的输入。首先计算不同时间窗EEG信号的alpha、beta、gamma三个频段功率谱密度,并结合脑电电极空间信息构成EEG图片,然后利用卷积神经网络（convolutional neural network,CNN）与双向长短期记忆网络（bidirectional long short-term memory network,BLSTM）构建CNN-BLSTM情感识别模型,分别对时、频、空三域特征进行学习。在SEED数据集对该方法进行验证,结果表明该方法能有效提高情感识别精度,平均识别准确率达96.25%。     

基于图神经网络和注意力的双模态情感识别方法

针对生理信号情感识别问题，提出一种基于图神经网络（GNN）和注意力的双模态情感识别方法。首先，使用GNN对脑电（EEG）信号进行分类；然后，使用基于注意力的双向长短期记忆（Bi-LSTM）网络对心电（ECG）信号进行分类；最后，通过Dempster-Shafer证据理论融合EGG和ECG分类结果，从而提高情感识别任务的综合性能。为验证所提方法的有效性，邀请20名受试者参与情感激发实验，并收集了受试者的EGG、ECG信号。实验结果表明，所提方法的二分类准确率在valence维度和arousal维度分别为91.82%和88.24%，相较于单模态EEG方法分别提高2.65%和0.40%，相较于单模态ECG方法分别提高19.79%和24.90%。可见，所提方法能够有效地提高情感识别的准确率，为医疗诊断等领域提供决策支持。     

基于时频域的卷积神经网络运动想象脑电信号识别方法

针对目前运动想象脑电（EEG）信号识别率较低的问题，考虑到脑电信号蕴含着丰富的时频信息，提出一种基于时频域的卷积神经网络（CNN）运动想象脑电信号识别方法。首先，利用短时傅里叶变换（STFT）对脑电信号的相关频带进行预处理，并将多个电极的时频图组合构造出一种二维时频图；然后，针对二维时频图的时频特性，通过一维卷积的方法设计了一种新颖的CNN结构；最后，通过支持向量机（SVM）对CNN提取的特征进行分类。基于BCI数据集的实验结果表明，所提方法的平均识别率为86.5%，优于其他传统运动想象脑电信号识别方法；同时将该方法应用在智能轮椅上，验证了其有效性。     

多特征融合的运动想象脑电特征提取方法

针对单一特征识别率低、自适应性差等问题,提出一种基于希尔伯特-黄变换（HHT）和共同空间模式（CSP）的特征提取方法HCHT。首先,对原始脑电信号（EEG）进行经验模态分解（EMD）得到固有模态函数（IMF）,并将IMF分量合并成新的信号矩阵;然后,对IMF进行希尔伯特谱分析,得到信号的时-频域特征;接着,对构造的信号矩阵进行进一步的CSP分解,将时-频域特征扩展成时-频-空域特征;最后,通过支持向量机（SVM）对特征集进行分类。在BCI Competition II数据集的实验表明,与HHT时-频域和CSP空域特征的方法相比,所提方法的识别准确率分别提高了7.5、10.3和9.2个百分点,且标准差更小。在智能轮椅平台进行在线实验的结果表明,HCHT能有效提高识别准确率和稳定性。     

基于ELM运动想象脑电信号的分类

针对运动想象脑电信号的分类识别,提出一种基于小波变换和共空间模式滤波的方法进行特征提取。对EEG进行3层小波分解,提取相关层数小波系数的特征量;同时利用共空间模式对EEG进行空间滤波,提取其转换后信号的方差作为特征量,并将这两类特征量进行组合。该方法结合了时频域和空间域的特征信息,可提高分类识别的效果。最后选取BCI2003中Data setⅢ数据作为样本,分别用极限学习机和基于粒子群算法的支持向量机进行分类识别。实验结果表明极限学习机分类学习时间较快,最优识别率为94.2857%,证明了该方法更适用于脑机接口系统。     

面向脑电情感识别的改进多分类RVM模型研究

从相关向量机（RVM）和支持向量机（SVM）的相似性以及RVM的稀疏特性出发，将RVM应用于脑电信号（EEG）的情感识别中。针对一对一（OAO）和一对多（OAA）两种多分类方法各自的特点和不足，提出了一种全新的两层多分类模型（OAA-OAO），改进现有OAO算法中无效投票影响最终决策的现象。设计情感EEG信号识别对比实验，验证基于RVM的改进多分类算法在脑电信号情感识别中的应用。对于实验室采集的情感脑电信号，提取其非线性特征（功率谱熵、样本熵和Hurst指数）并采用主成分分析法进行降维。将OAA-OAO-RVM算法分别和OAO-SVM、OAO-RVM两种识别网络进行对比，分析RVM的识别性能以及OAA-OAO多分类算法的分类性能。结果表明，采用降维后的最优特征集合作为识别网络的输入向量得到的识别性能更高，且RVM表现出的性能优于SVM。同时，改进后的OAA-OAO算法较传统OAO模型的平均识别率提高了7.89%，证明OAA-OAO算法可有效去除一部分无效投票从而使分类精度得到显著提高，验证了此模型是一种有效的多分类模型。     

融合倒谱特征的脑电（EEG）情感分类

近年来,通过分析脑电图（EEG）信号来实现情感识别的课题越来越被研究者所重视。为了丰富特征的表示能力,获得更高的情感识别分类准确率,尝试将语音信号特征梅尔频率倒谱系数MFCC应用于脑电信号。在对EEG信号小波变换的基础上将提取得到的MFCC特征与EEG特征相互融合,通过利用深度残差网络（ResNet18）的特性进行情感分类识别。实验结果表明,比起传统的单一利用EEG特征,添加了MFCC特征使得情感维度Arousal和Valence两者的识别准确率分别提升了6%和4%,达到了86.01%和85.46%,从而提升了情感的识别准确度。     

基于改进的GAF算法的EEG情感识别

利用脑电图(EEG)信号对人类的情感进行识别一直是一个重要且具有挑战性的研究领域。传统的方法都是对一维EEG信号进行分析,然后提取特征进行识别;但这种方法需要提取许多时域或频域上的特征才能取得较好的识别效果。考虑到二维图像蕴含的信息要远远比一维信号蕴含的信息丰富,因此将一维信号转换成二维图像可以提取更加有效的特征进行识别。为此,该文提出了一种基于改进的Gramian Angular Field(GAF)算法的EEG情感识别方法。首先,从EEG信号中提取alpha、beta、gama三个频段的子带信号;然后,提出了一种基于马氏距离加权的改进GAF算法将一维EEG信号转换成二维特征图像;接着,从二维图像中提取奇异值熵、图能量等特征;最后,利用卷积神经网络(CNN)对提取的EEG特征进行分类识别。基于广泛使用的DEAP数据集,针对四分类(HAHV、LAHV、LALV和HALV)情感识别任务,对该模型进行了验证。实验结果表明：所提算法的平均分类准确率达到92.63%,与现有的识别方法对比具有一定的优势。     

基于集成深度学习方法的跨被试EEG特征情感识别

该研究使用脑电（EEG）信号经过处理得到的数据集DEAP和HCI,利用微分熵作为特征提取的工具,基于传统机器学习算法,集成学习中的梯度提升树、Xgboost、Adaboost、随机森林算法,以及深度神经网络、卷积神经网络与GoogLeNet实现跨被试的EEG特征情感识别任务,并比较各方法应用于EEG情感分析时的结果差异。比较平均准确率,结果表明深度学习方法取得了不错的成绩,三个深度模型对两个数据集的valence平均准确率达到0.5956和0.6307之间,arousal达到0.6062和0.6774之间,显著优于机器学习算法与集成学习模型取得的结果。     

心理测试中掩饰行为的识别研究

脑电（Electrocorticogram,EEG）信号能够正确地揭示人的心理活动,因此被广泛地运用到心理测试中。提出了一种基于EEG信号的非线性特征融合方法,对受试者在心理测试中是否存在掩饰行为进行识别。对心理测试过程中受试者的EEG信号进行预处理,提取各通道信号的Lempel-Ziv复杂度LZC、样本熵SE、排列熵PE和模糊熵FE四种非线性特征;使用多维尺度分析（MDS）对所得的四种特征的不同特征组合进行融合和降维操作。针对不同特征组合,采用正则化核函数极限学习机构建分类模型并通过测试集验证分类模型的性能。实验结果表明,分类模型准确率能达到82.9%,证明了该方法的适用性。     

基于邻域决策粗糙集的脑功能连接生物标记物识别

脑功能连接判别特征可以作为神经精神类疾病诊断的一种生物标记物,利用机器学习方法对其进行识别是脑科学研究中的一项重要课题.已有脑功能连接生物标记物的识别方法大都忽视了脑功能连接数据高维、连续、多噪声的特性对识别性能的影响,导致所得到的生物标记物的分类能力不强.对此,提出一种基于邻域决策粗糙集的脑功能连接生物标记物识别方法.首先,针对脑功能连接数据连续性和高噪声的特点,引入能有效处理连续和高噪声数据的邻域决策粗糙集来识别分类能力更强的脑功能连接判别特征作为生物标记物;其次,针对脑功能连接数据的高维特点,通过快速生成邻域和缩小特征搜索空间来保证邻域决策粗糙集识别脑功能连接生物标记物的效率.在ABIDE I和ADNI数据集上的实验结果表明,所提出方法能够准确快速地获得分类能力更强的脑功能连接判别特征,有望为神经精神类疾病的诊断提供更准确的生物标记物.     

精神分裂症和抑郁症患者静息态脑电分类

精神分裂症和抑郁症作为临床精神科中的两种重性精神疾病综合征,两者的发病机制至今未明,因此临床上对于二者的区别常常依靠量表和医生的临床经验进行判断。脑电图（EEG）作为一种高时间分辨率的非侵入性诊断方法,可以作为两种疾病的一种潜在生物标记物。通过采集两种疾病临床静息态（睁眼和闭眼）的脑电数据,训练卷积神经网络（CNN）模型来对两种疾病进行分类,以试图找到一种区分两种疾病的客观手段。研究采集了70名精神分裂症和70名抑郁症患者静息态的EEG,通过分析提出了一种新的数据输入形式,即利用快速傅里叶变换将时域下的EEG数据转换到频域,再将频域数据转换成灰度图的形式输入卷积神经网络。不同于以往传统机器学习的方法,深度学习可以对数据进行自动的特征提取,而不需要人为筛选特征。而后采用交叉验证的方法对模型进行评估,并将数据增强的方法应用于EEG,来提高模型的性能。通过数据增强的方法可以使模型对两种疾病的分类准确度达到87.50%,敏感度和特异性分别达到84.09%和91.67%。实验结果表明卷积神经网络结合静息态脑电数据可以对精神分裂症和抑郁症进行较好的区分,EEG可以作为两种疾病的一种潜在生物标记物。     

基于mu节律能量的运动意识分类研究

基于脑电（EEG）的脑机接口（BCI）是在人脑和计算机或其它电子设备之间建立不依赖于常规大脑信息输出通路（外周神经和肌肉组织）的全新对外信息交流和控制技术。文中提出了基于mu节律能量为脑电特征的意识任务分类思想，对被测试者想象左右手运动的脑电nm节律能量（二阶矩）及其动态变化情况进行研究。实验结果表明，基于nm节律能量的想象左右手运动意识识别和分类的正确识别率可达85％。二阶矩计算简单，而且可在线计算，故可以认为，基于nm节律能量为脑电特征的意识任务分类在脑机接口的应用中有较高的实用价值。     

基于多特征和BP神经网络的脑-机接口研究

研究了一种基于运动想象识别的脑-机接口(BCI)系统,通过提取想象过程中的脑电信号(EEG)中Alpha波特征,采用多特征分类的方法,以提高脑-机接口系统运动想象识别的正确率。针对脑电信号单特征分类精确度低、耗时长等缺点,采用自回归模型法、统计特征提取和频域分析的方法对Alpha波提取多个特征值,利用BP神经网络进行分类,对运动想象进行识别。通过实验验证了其识别率较高,取得了预期的效果,证明了多特征融合结合BP神经网络运用于脑机接口系统的可行性。     

面向知识自动化的磨矿系统操作员脑认知特征与控制效果的相关分析

面向知识型工作自动化,研究了流程工业生产过程中操作人员的脑认知特征与操作控制水平之间的关键,建立了一种基于操作员脑网络特征的操作熟练程度隐性知识的显性化模型.采用关注信号瞬时相位、基于希尔伯特变换的相位锁方法,构建了脑功能网络（Functional brain network,FBN）.基于磨矿系统操作员脑功能网络的图论参数与社区连接强度,建立了特征空间,采用支持向量机与神经网络进行特征分类.结果表明,在高频区,熟练操作员（熟手）的脑功能网络连接强度明显高于不熟练操作员（生手）:在低频部分则生手的脑功能网络连接强度略高,其特征分类准确率为87.24%.磨矿系统操作过程中形成的溢流粒度（Grinding particle size,GPS）曲线可以初略地反映操作人员的熟练程度,本文在深入分析了其溢流粒度曲线与操作员脑网络特征的基础上,发现相对于溢流粒度曲线操作员的脑网络特征可以更全面地描述操作控制水平（特别在操作开始时间段）,采用脑网络特征识别操作控制水平在时间上超前于溢流粒度曲线识别方法.本研究对于将知识工作者的认知特征引入到流程工业控制中,具有一定的借鉴意义.     

基于SAE和GNDO-SVM的脑电信号情绪识别

情感计算是现代人机交互中的关键问题, 随着人工智能的发展, 基于脑电信号(electroencephalogram, EEG)的情绪识别已经成为重要的研究方向. 为了提高情绪识别的分类精度, 本研究引入堆叠自动编码器(stacked auto-encoder, SAE)对EEG多通道信号进行深度特征提取, 并提出一种基于广义正态分布优化的支持向量机(generalized normal distribution optimization based support vector machine, GNDO-SVM)情绪识别模型. 实验结果表明, 与基于遗传算法、粒子群算法和麻雀搜索算法优化的支持向量机模型相比, 所提出的GNDO-SVM模型具有更优的分类性能, 基于SAE深度特征的情感识别准确率达到了90.94%, 表明SAE能够有效地挖掘EEG信号不同通道间的深度相关性信息. 因此, 利用SAE深度特征结合GNDO-SVM模型可以有效地实现EEG信号的情绪识别.     

基于SDAE与RELM的EEG情感识别方法

针对情感识别中堆叠式自动编码器存在反向传播方法收敛速度慢和容易陷入局部最优的问题,提出一种基于堆叠式降噪自动编码器（SDAE）和正则化极限学习机（RELM）的情感状态识别方法。从脑电信号的时域、频域和时频域中提取表征情感状态的初始特征,使用SDAE进行无监督特征学习,提取初始特征的高层抽象表示。在网络的回归层,使用RELM进行情感分类。在DEAP数据集上的实验结果表明,与SDAE以及DT、KNN等传统基于机器学习的方法相比,该方法在实时性、准确性和泛化性能等方面均有明显提升。     

基于脑电空间域表征可视化的情感识别研究*

鉴于情感脑电蕴含丰富的空间模式特征，提出一种基于二维空间域表征可视化的情感识别方法。首先，提取多通道脑电Gamma频段的微分熵（Differential Entropy，DE）特征并根据导联位置映射至9×9的二维空间进行拓扑重构，使用三次插值方法进一步提高空间域特征图的分辨率；然后，针对性地设计了一种深度残差网络（Residual Network，ResNet）模型作为情感脑电解码器对情感脑电信号（Electroencephalogram，EEG）进行深层抽象特征的自动提取和端到端分类；最后，通过梯度加权类激活映射（Gradient-weighted Class Activation Mapping，Grad-CAM）方法对输入特征图进行可解释性分析，依据热力图分布定位对特定情感状态识别具有较大贡献的空间脑区。在SEED数据集上进行了相关情感识别实验，三种情感类别分类平均准确率为94.88%，达到了较先进的性能。