基于同步EEG-fMRI采集的情绪认知重评数据特征融合分析研究

脑电(Electroencephalography, EEG)与功能磁共振成像(Functional magnetic resonance imaging, fMRI)为脑科学研究提供了互补的时空信息. 为研究大脑在对情绪图片采取认知重评策略时的神经活动, 基于同步采集的EEG-fMRI数据, 应用典型相关分析、经验模态分解及k-均值聚类等算法对融合情绪数据进行交叉关联和盲源分离, 得到空间上的fMRI图像和与之对应的EEG时间演变信号. 结果表明: 时域上, CCA分离出的脑电成分在认知重评状态下有明显的晚期正电位(Late positive potential, LPP) (潜伏期200ms～900ms)出现, 而且认知重评策略诱发下的LPP 波幅明显小于观看负性诱发的LPP波幅(F(1, 224)= 28.72, P<0.01), 而大于观看中性诱发的LPP波幅(F(1, 224)= 63.32, P<0.01); 与之对应的空域上, 可以明显地看出和情绪调节相关的扣带回, 额叶、颞叶等区域有明显激活区, 采用情绪认知重评策略时的脑区激活强度明显小于观看负性状态, 而大于观看中性, 且观看中性状态下被激活的与情绪相关的区域相对较少. 研究表明, 这种融合数据分析技术通过计算两种模态数据之间潜在的线性相关性, 可以有效地分离出大脑在时空上神经活动情况, 达到了同时描绘出大脑神经活动的时间信息与空间信息的效果.     

密度K-means算法在认知重评脑功能连接中的应用

为考察大脑在处理加工不同效价的情绪图片时其脑功能区域的联系与差异,提出一种能更精确地提取出相对激活较弱的功能连接区域的方法.首先提出一种基于密度思想的K-means算法并应用于脑功能连接分析,提取具有功能连接的脑组织结构模式;然后引入聚合指数指标客观评判激活脑区定位的准确度,并与独立成分分析方法的处理结果进行对比;最后从体素的激活强度和激活脑区的定位精度等方面入手,论证了基于密度思想的K-means算法在脑功能连接分析上的优势.实验结果表明,情绪刺激加工的过程中,脑区较为明显的激活区主要分布在前额叶、扣带回及下丘脑附近,为后续临床观察及诊断提供了一种较为可靠的方法和思路.     

基于PCA的离散小波自回归情感识别

针对情感识别进行研究,提出基于主成分分析法（PCA）过滤小波变换结合自回归模型提取的信号特征方法,并基于梯度提升分类树以实现情感分类.将特征提取的重点放在脑电信号变化情况以及小波分量变化情况作为脑电信号特征.采用Koelstra等提出的分析人类情绪状态的多模态标准数据库DEAP,提取8种正负情绪代表各个脑区的14个通道脑电数据.结果表明,算法对8种情感两两分类识别平均准确率为95.76%,最高准确率为98.75%,可为情感识别提供帮助.     

基于脑电(EEG)信号的“愉快-不愉快”情绪分析

脑电是目前研究脑科学的重要方法之一。情绪变化可以导致脑电信号的差异,本文运用小波分析以及EEGLAB工具箱对"愉快-不愉快"这两种情绪状态下的脑电(EEG)信号进行差异化分析,然后定量地找出不同情绪状态下的信号差别,最终实现人体情绪的可视化。该研究的方法和分析结果为研究老师、学生、海员等工作或学习压力比较大的职业群体的情绪变化提供了较好的参考价值。     

基于小波相干性算法的孤独症儿童脑电评估

孤独症是一种先天的大脑发育障碍性疾病, 孤独症儿童的早期评估诊断尤为重要. 脑电图(Electroencephalography, EEG)是大脑神经细胞电生理活动在大脑皮层或头皮表面的总体反映. EEG信号中包含了大量的生理与疾病信息, 可为某些脑疾病提供诊断依据. 本文按照国际10-20系统标准电极分布将全脑划分为5个脑区, 采用小波相干性算法对孤独症(Autistic spectrum disorder, ASD)儿童和正常(Typical development, TD)儿童任意两通道之间在不同节律下的连接性进行计算, 按脑区进行划分, 得到脑区内和跨脑区功能连接结果, 随后应用独立样本t检验分析和FDR (False discovery rate)多重校正方法后给出脑区内和跨脑区在不同节律下的组间差异.结果表明, ASD组相对于TD组跨脑区连接和脑区内连接普遍较弱, 除delta频段外其他频段均差异显著, 尤其是额叶与其他脑区连接. 多重校正后通道间长程连接中额叶与枕叶、中央区与枕叶在四个频段差异显著较明显, 通道间短程连接额叶在theta和alpha频段较显著, 其他频段其他脑区对比不显著.     

脑电信号与个人情绪状态关联性分析研究

人的情绪是人们对于客观事物是否满足自身需求而产生的一种综合状态,与生理信号有着密切的关联。对被试者心理状态剖面图(profile of moods states,POMS)的分量值和同时记录的个体静息态的脑电信号(electroencephalogram,EEG)特征值进行关联性分析研究。用小波变换对原始脑电信号进行预处理,脑电信号的特征值提取过程采用了经验模态分解(empirical mode decomposition,EMD)的方法,从预处理过的脑电信号中提取波动指数作为脑电特征值,随后将提取出的脑电特征值与POMS各分量值进行Pearson关联性分析。通过对8个被试者连续7天的POMS量表和脑电信号的记录与分析,得到脑电信号与情绪量表中的分量存在一定的正相关关联。     

精神分裂症患者工作记忆EEG功能网络属性分析

精神分裂症与一些认知障碍如信息处理、工作记忆等联系紧密,研究工作是记忆任务中精神分裂症患者与正常人的多通道脑电在各个阶段、各个频段存在哪些显著性差异,可为精神分裂症的诊断提供依据。使用相位锁值（Phase Locking Value,PLV）来量化任意两个电极通道之间的相位同步性,构建脑功能网络的关联矩阵,计算不同稀疏度下脑网络的全局属性以及局部属性曲线下面积,在同一阶段、同一频段下对精神分裂症患者和正常人得到的属性值进行非参数检验,找出差异显著的属性及节点,将对应值作为特征训练SVM分类器,进而将精神分裂症患者和正常人分类。属性分析结果表明,工作记忆任务中[θ]和[α]频段发挥主要作用的脑区集中在右侧额叶区和枕叶区,[γ]频段相关的脑区集中在顶叶区;精神分裂症患者额叶右侧区域与枕叶区电极间[θ、][α]波相关性低于正常人,而其顶叶区电极间[γ]波的相关性高于正常人。     

基于小波包变换的精神疲劳多参数脑电分析

研究脑力劳动和运动引起的精神疲劳与脑电特征参数之间的相关性,以及这些特征参数在不同状态下的变化规律。通过对两种精神疲劳状态以及不疲劳状态下采集的脑电信号进行小波包分析,提取出脑电各节律并计算脑电对数能量熵,定性分析了各特征参数与不同状态间的关联性。实验结果表明,相较于不疲劳状态而言,前额叶区的脑电各节律相对功率和脑电对数能量熵在两种精神疲劳状态下均有显著变化。因此,前额叶区的脑电各节律相对功率与脑电对数能量熵可以作为衡量精神疲劳的生理指标。     

基于传递熵关键因果连接的情感识别方法

人脑在情绪活动中呈现的信息流是复杂多变的,因此理解脑区间的动态交互过程至关重要,但是基于原始脑电信号构建的情绪网络包含了许多与情绪无关的冗余信息.针对此问题,提出一种在不丢失关键因果信息的前提下去除情绪无关网络连接的方法,并验证其在情感识别过程中的有效性.首先,基于传递熵因果分析方法对积极、中性和消极情绪构建归一化传递熵矩阵,再从积极、消极情绪矩阵中减去中性情绪矩阵,最后基于简化后的矩阵构建因效性脑网络并利用图论分析不同情绪的网络连通性.通过在DEAP数据集上的验证发现,该方法有效地提高了情感识别准确率.     

脑电信号在情感识别中的应用

针对如何在情感识别中有效处理脑电信号和提取有用信息的问题,对实验采集的脑电信号进行小波包分解,通过对相关频段信号的重构,提取出脑电信号中能用于情感状态识别的β波节律,对其在不同情感状态下进行谱分析。仿真实验结果表明,将脑电信号中的β波节律用于情感状态识别是可行的。     

二次滑动粗粒化的快速样本熵脑电情感分析

针对传统单一尺度样本熵对脑电信号(EEG)序列特征提取不明显、多尺度熵在粗粒化过程中会遗漏重要信息导致情感分类性能下降以及样本熵算法效率不高的问题,提出了一种基于二次滑动均值粗粒化的多尺度快速样本熵脑电特征提取方法。由于不同情感的脑电信号存在差异性,先采用二次滑动均值粗粒化对脑电信号进行多尺度处理,然后利用快速样本熵算法提取不同时间尺度的样本熵值作为特征向量,结合随机森林(RF)分类模型来识别不同的情感状态。提出的方法对多模态标准情感数据库DEAP进行了研究,发现大脑额区和右脑对情感比较敏感,正性、中性和负性情感在大脑侧额区获得了88.75%的平均分类准确率。实验结果表明,该方法可以有效地提取脑电特征,并且能够保证算法的效率。     

脑电情感信号正确提取仿真

脑电信号是一种微伏级信号,从头皮上采集的脑电信号包含眼电信号、心电信号以及各种环境噪音。针对情感识别如何有效处理脑电信号的问题,本文首先对实验采集的脑电信号应用小波分析和独立分量分析进行预处理去除干扰;其次为了有效地提取脑电特征,应用幅值直方图、标准差在时域上定性地找出2种情感的脑电差异;最后应用功率谱对2种情感脑电的γ波节律进行谱分析。仿真实验结果表明,将脑电信号的γ波节律用于情感识别是可行的。     

Human emotion recognition and analysis in response to audio music using brain signals

Human emotion recognition using brain signals is an active research topic in the field of affective computing. Music is considered as a powerful tool for arousing emotions in human beings. This study recognized happy, sad, love and anger emotions in response to audio music tracks from electronic, rap, metal, rock and hiphop genres. Participants were asked to listen to audio music tracks of 1 min for each genre in a noise free environment. The main objectives of this study were to determine the effect of different genres of music on human emotions and indicating age group that is more responsive to music. Thirty men and women of three different age groups (15–25 years, 26–35 years and 36–50 years) underwent through the experiment that also included self reported emotional state after listening to each type of music. Features from three different domains i.e., time, frequency and wavelet were extracted from recorded EEG signals, which were further used by the classifier to recognize human emotions. It has been evident from results that MLP gives best accuracy to recognize human emotion in response to audio music tracks using hybrid features of brain signals. It is also observed that rock and rap genres generated happy and sad emotions respectively in subjects under study. The brain signals of age group (26–35 years) gave best emotion recognition accuracy in accordance to the self reported emotions.     

采用多路图注意力网络的情绪脑电信号识别方法

情绪是一种大脑产生的主观认知的概括。脑信号解码技术可以以一种较客观的方式来有效地研究人的情绪及其相关认知行为。本文提出了一种基于图注意力网络的脑电情绪识别方法(multi-path graph attention networks, MPGAT),该方法通过对脑电信号通道建图,利用卷积层提取脑电信号的时域特征以及各频带的特征,使用图注意力网络进一步捕捉情绪脑电信号的局部特征以及各脑区之间的内在功能关系,进而构建出更好的脑电信号表征。MPGAT在SEED和SEED-IV数据集的跨被试情绪识别平均准确率分别为86.03%、72.71%,在DREAMER数据集的效价(valence)和唤醒(arousal)维度的跨被试平均准确率分别为76.35%和75.46%,达到并部分超过了目前最先进脑电情绪识别方法的性能。本文所提出的脑电信号处理方法有望为情绪认知科学研究与情绪脑机接口系统提供新的技术手段。     

A portable HCI system‐oriented EEG feature extraction and channel selection for emotion recognition

Emotion recognition has become an important component of human–computer interaction systems. Research on emotion recognition based on electroencephalogram (EEG) signals are mostly conducted by the analysis of all channels' EEG signals. Although some progresses are achieved, there are still several challenges such as high dimensions, correlation between different features and feature redundancy in the realistic experimental process. These challenges have hindered the applications of emotion recognition to portable human–computer interaction systems (or devices). This paper explores how to find out the most effective EEG features and channels for emotion recognition so as to only collect data as less as possible. First, discriminative features of EEG signals from different dimensionalities are extracted for emotion classification, including the first difference, multiscale permutation entropy, Higuchi fractal dimension, and discrete wavelet transform. Second, relief algorithm and floating generalized sequential backward selection algorithm are integrated as a novel channel selection method. Then, support vector machine is employed to classify the emotions for verifying the performance of the channel selection method and extracted features. At last, experimental results demonstrate that the optimal channel set, which are mostly located at the frontal, has extremely high similarity on the self‐collected data set and the public data set and the average classification accuracy is achieved up to 91.31% with the selected 10‐channel EEG signals. The findings are valuable for the practical EEG‐based emotion recognition systems.     

An art therapy evaluation method based on emotion recognition using EEG deep temporal features

Self-assessment methods are widely used in art therapy evaluation, but emotional recognition methods using physiological signals’ features are more objectively and accurately. In this study, we proposed an electroencephalogram (EEG)-based art therapy evaluation method that could evaluate the therapeutic effect based on the emotional changes before and after the art therapy. Twelve participants were recruited in a two-step experiment (emotion stimulation step and drawing therapy step), and their EEG signals and self-assessment scores were collected. The self-assessment model (SAM) was used to obtain and label the actual emotional states; the long short-term memory (LSTM) network was used to extract the deep temporal features of EEG to recognize emotions. Further, the classification performances in different sequence lengths, time-window lengths and frequency combinations were compared and analyzed. The results showed that emotion recognition models with LSTM deep temporal features achieved the better classification performances than the state-of-the-art methods with non-temporal features; the classification accuracies in high-frequency bands (α, β, and γ bands) were higher than those in low-frequency bands (δ and θ bands); there was a highest emotion classification accuracy (93.24%) in 10-s sequence length, 2-s time-window length and 5-band frequency combination. Our proposed method could be used for emotion recognition effectively and accurately, and was an objective approach to assist therapists or patients in evaluating the effect of art therapy.

     

阅读严肃文学小说对脸部情绪识别的影响——ERP证据

该研究采用事件相关电位(ERP)观察了被试在识别积极、中性和消极的脸部情绪时,在大脑颞枕部电极点上引发的N170效应,来探索阅读严肃文学小说是否会影响人对他人情绪的反应。阅读组被试在两次脸部情绪识别测试之间阅读严肃文学小说,而对照组没有。第二次测试相比第一次测试,N170的幅度增大,但是阅读严肃文学小说会抑制N170幅度增益,且对情绪越积极的刺激图片抑制越大。据此,阅读对他人脸部情绪的识别确有影响。研究推测阅读可能抑制大脑中的脸部情绪特异性,进而可能提高对脸部情绪的感知力。     

基于共同空间模式的情感脑电信号的空域特征提取

为了改善基于脑电(EEG)的情感分类性能,提高多分类情况下的识别准确率,提出 了一种基于共同空间模式(CSP)的空域滤波算法。首先使用传统的CSP 方法设计空域滤波器, 并通过该滤波器对3 种情感类型(即积极、中性和消极)的EEG 信号进行线性投影,以提取空域 特征。此外,考虑到传统近似联合对角化(JAD)算法是使用“得分最高的特征值”准则进行特征向 量的选择,该情况可能导致无法有效区分多分类的情感状态,因此针对最高分特征值位置存在 的所有可能情况设计了不同的特征值选择方法。对实验室自主采集数据集,使用支持向量模型 (SVM)作为分类器进行对比实验。结果表明基于CSP 的空域特征提取方法在三分类情感识别中 平均准确率达到了87.54%,证明其在情感识别应用中具有可行性。