脑电信号情绪识别研究综述

通过面部表情、语音语调以及脑电等生理信号对人的情绪状态进行识别分类,即情绪识别,其在医疗、交通以及教育等领域有广泛应用。脑电信号由于其真实可靠,在情绪识别领域日益得到广泛关注。总结了近年来脑电情绪识别研究所取得的进展,主要介绍基于深度学习和迁移学习进行的脑电情绪识别研究。介绍了脑电情绪识别基础理论、常用公开数据集、信号的采集和预处理,介绍特征提取与选择,重点介绍了深度学习和迁移学习在脑电情绪识别上的应用。指出该领域目前面临的挑战和前景。     

基于小波包分解的时变脑电节律提取

研究从时变非平稳脑电信号中提取脑电动态节律的新方法。首先用小波包分解构造不同频率特性的时变滤波器以提取各种时变的脑电节律，研究临床脑电信号瞬时变化。在此基础上测试并分析两种不同功能状态下的脑电信号，并由此构造各种节律的时变脑电地形图。实验结果表明，小波包分解可以有效提取脑电不同节律的动态特性，此方法也适用于分析其他生物医学信号。     

基于PCA的离散小波自回归情感识别

针对情感识别进行研究,提出基于主成分分析法（PCA）过滤小波变换结合自回归模型提取的信号特征方法,并基于梯度提升分类树以实现情感分类.将特征提取的重点放在脑电信号变化情况以及小波分量变化情况作为脑电信号特征.采用Koelstra等提出的分析人类情绪状态的多模态标准数据库DEAP,提取8种正负情绪代表各个脑区的14个通道脑电数据.结果表明,算法对8种情感两两分类识别平均准确率为95.76%,最高准确率为98.75%,可为情感识别提供帮助.     

脑电信号情绪识别研究综述

情绪识别是指通过人的面部表情、行为动作或者生理信号等信息识别人的情绪状态,其成果在医疗辅助、教育、交通安全等方面有很大的应用价值.由于脑电信号的客观真实性等特点,使用脑电信号进行情绪识别研究受到国内外学者们的广泛关注.查阅了大量脑电情绪识别相关文献并进行归纳、分析和总结.首先,对情绪以及情绪识别的定义、情绪的分类模型、...     

小波包熵在脑电信号分析中的应用

为研究不同脑功能状态下脑电动态非线性特征，利用小波包变换的频率划分特性，对非平稳脑电信号进行节律提取，并计算相对小波能量，反映脑电节律间的相对能量关系。结合小波包熵分析脑电在不同大脑功能状态下的脑电复杂程度。实验结果表明，小波包分解能更精确地提取特定的脑电节律，小波包熵可以准确反映大脑活动的复杂程度。本方法也为分析其他非平稳信号提供了一种新的途径。     

脑电信号与个人情绪状态关联性分析研究

人的情绪是人们对于客观事物是否满足自身需求而产生的一种综合状态,与生理信号有着密切的关联。对被试者心理状态剖面图(profile of moods states,POMS)的分量值和同时记录的个体静息态的脑电信号(electroencephalogram,EEG)特征值进行关联性分析研究。用小波变换对原始脑电信号进行预处理,脑电信号的特征值提取过程采用了经验模态分解(empirical mode decomposition,EMD)的方法,从预处理过的脑电信号中提取波动指数作为脑电特征值,随后将提取出的脑电特征值与POMS各分量值进行Pearson关联性分析。通过对8个被试者连续7天的POMS量表和脑电信号的记录与分析,得到脑电信号与情绪量表中的分量存在一定的正相关关联。     

结合人脸图像和脑电的情绪识别技术

本文通过人脸图像和脑电两个输入信号对情绪识别技术展开研究. 采用对应不同情绪的电影片段对被实验者进行情绪刺激的方法采集输入信号. 通过表情识别出八种基本表情的分类, 通过脑电识别出情绪的三种强弱波动. 通过决策层面的信息融合, 进行情绪分类. 最终的识别准确率达到89.5%, 高于采用单模态进行识别的准确率, 分别为: 表情识别: 81.35%, 脑电识别: 71.53%.     

驾驶疲劳脑电信号的双谱特性分析

基于脑电信号的非高斯、非线性特性,采用非常有效的双谱分析方法来分析驾驶过程中的脑电信号。首先将驾驶2小时的脑电数据按一定的时间间隔分为6段,然后利用自回归（AR）模型双谱分析方法分析这些信号,研究不同时刻这些信号双谱结构的变化。分析结果显示,驾驶不同时刻的脑电双谱结构有很大差异,表明双谱分析方法有望成为驾驶疲劳检测的一个指标。     

基于小波包变换的精神疲劳多参数脑电分析

研究脑力劳动和运动引起的精神疲劳与脑电特征参数之间的相关性,以及这些特征参数在不同状态下的变化规律。通过对两种精神疲劳状态以及不疲劳状态下采集的脑电信号进行小波包分析,提取出脑电各节律并计算脑电对数能量熵,定性分析了各特征参数与不同状态间的关联性。实验结果表明,相较于不疲劳状态而言,前额叶区的脑电各节律相对功率和脑电对数能量熵在两种精神疲劳状态下均有显著变化。因此,前额叶区的脑电各节律相对功率与脑电对数能量熵可以作为衡量精神疲劳的生理指标。     

脑电情绪识别的深度学习研究综述

情绪是情感的外在体现,影响人类的认知、感知、理性决策等日常活动.情绪识别作为实现计算机全面智能的一项基础任务,在情感计算和人机交互领域被深入研究和广泛应用.相比面部表情、语音或其他生理信号,利用脑电进行情绪识别具有时间分辨率高、成本低、识别效果好、可靠性高的优势.近年来,越来越多的深度学习框架被应用于基于脑电信号的情绪识别,并取得了比传统机器学习方法更加优异的效果.基于深度脑电特征的情绪识别是当前的研究热点之一,也具有一定的挑战性.目前,可供参考的针对此研究热点的综述文献较少.对近年来国内外相关文献进行调研分析,从模型输入、深度框架、实验设置、实验结果等方面对深度学习在基于脑电的情绪识别中的应用研究做了总结概况,并在DEAP和SEED这两个公开的脑电-情绪数据集上对具有代表性的方法进行了定性和定量的多方面对比,分析和总结这些方法的不足,同时也对未来可能的研究方向进行了展望.     

脑电情感信号正确提取仿真

脑电信号是一种微伏级信号,从头皮上采集的脑电信号包含眼电信号、心电信号以及各种环境噪音。针对情感识别如何有效处理脑电信号的问题,本文首先对实验采集的脑电信号应用小波分析和独立分量分析进行预处理去除干扰;其次为了有效地提取脑电特征,应用幅值直方图、标准差在时域上定性地找出2种情感的脑电差异;最后应用功率谱对2种情感脑电的γ波节律进行谱分析。仿真实验结果表明,将脑电信号的γ波节律用于情感识别是可行的。     

基于SVM和小波分析的脑电信号分类方法

根据癫痫脑电信号与正常脑电信号波形和能量特征的不同,研究了两种的脑电信号分类方法,一种采用支持向量机SVM(Support Vector Machines)分类器对正常脑电和癫痫脑电进行分类;另一种使用小波分析和支持向量机相结合的方法对脑电进行分类,并比较了这两种方法对正常脑电和癫痫脑电分类的正确率。实验结果表明,小波分析和SVM结合的方法对脑电信号分类可以取得更好的效果,能有效区分癫痫脑电和正常脑电。     

基于RCNN-LSTM的脑电情感识别研究EI北大核心CSCD

情感作为人脑的高级功能,对人们的个性特征和心理健康有很大的影响,利用网上公开的脑电情感数据库(DEAP(Database for emotion analysis using physiological signals)数据库),根据心理效价和激励唤醒度等级进行情感划分,对压力和平静等5种情感进行研究分析.针对脑电信号时空特征结合的特点,把深度学习中的卷积神经网络(Convolutional neural network,CNN)和长短期记忆网络(Long short term memory,LSTM)两者作为基本前提,并在此基础之上设计了一个RCNN-LSTM的脑电情感信号分类模型.利用循环卷积神经网络(Recurrent convolutional neural network,RCNN)自动提取脑电信号中的抽象特征,省去了人工选择与降维的过程,然后结合LSTM网络对脑电情感信号进行分类识别.实验结果表明,利用该方法对5种情感类别的平均分类识别率达到了96.63%,证明了该方法的有效性.     

采用多路图注意力网络的情绪脑电信号识别方法

情绪是一种大脑产生的主观认知的概括。脑信号解码技术可以以一种较客观的方式来有效地研究人的情绪及其相关认知行为。本文提出了一种基于图注意力网络的脑电情绪识别方法(multi-path graph attention networks, MPGAT),该方法通过对脑电信号通道建图,利用卷积层提取脑电信号的时域特征以及各频带的特征,使用图注意力网络进一步捕捉情绪脑电信号的局部特征以及各脑区之间的内在功能关系,进而构建出更好的脑电信号表征。MPGAT在SEED和SEED-IV数据集的跨被试情绪识别平均准确率分别为86.03%、72.71%,在DREAMER数据集的效价(valence)和唤醒(arousal)维度的跨被试平均准确率分别为76.35%和75.46%,达到并部分超过了目前最先进脑电情绪识别方法的性能。本文所提出的脑电信号处理方法有望为情绪认知科学研究与情绪脑机接口系统提供新的技术手段。     

基于小波变换的动态脑电节律提取

针对脑电信号和其他医学信号的非平稳性,引入小波变换处理临床脑电信号的动态特性。根据脑电信号的不同节律特性,提出应用小波包变换构造不同频率特性的滤波器,提取脑电信号的４种节律,并由各种节律对应的小波系数构造动态脑电地形图。为了研究不同脑功能状态下脑电信号４种节律的动态特性,文中对两组不同临床脑电数据进行分析与比较,给出了有关的实际分析结果。实验结果表明,利用小波包分析的滤波特性,能够有效地反映临床脑电不同节律的动态特性,也为分析其他生物医学信号提供了一条新的途径。     

Characterization of EEG--a comparative study

The Electroencephalogram (EEG) is a representative signal containing information about the condition of the brain. The shape of the wave may contain useful information about the state of the brain. However, the human observer cannot directly monitor these subtle details. Besides, since bio-signals are highly subjective, the symptoms may appear at random in the time scale. Therefore, the EEG signal parameters, extracted and analyzed using computers, are highly useful in diagnostics. Chaotic measures like correlation dimension (CD), largest Lyapunov exponent (LLE), Hurst exponent (H) and entropy are used to characterize the signal. Results indicate that these nonlinear measures are good discriminators of normal and epileptic EEG signals. These measures distinguish epileptic EEG and alcoholic from normal EEG with an accuracy of more than 90%. The dynamical behavior is less random for alcoholic and epileptic compared to normal. This indicates less of information processing in the brain due to the hyper-synchronization of the EEG. Hence, the application of nonlinear time series analysis to EEG signals offers insight into the dynamical nature and variability of the brain signals. As a pre-analysis step, the EEG data is tested for nonlinearity using surrogate data analysis and the results exhibited a significant difference in the correlation dimension measure of the actual data and the surrogate data.     

Machine learning model for mapping of music mood and human emotion based on physiological signals

Emotion is considered a physiological state that appears whenever a transformation is observed by an individual in their environment or body. While studying the literature, it has been observed that combining the electrical activity of the brain, along with other physiological signals for the accurate analysis of human emotions is yet to be explored in greater depth. On the basis of physiological signals, this work has proposed a model using machine learning approaches for the calibration of music mood and human emotion. The proposed model consists of three phases (a) prediction of the mood of the song based on audio signals, (b) prediction of the emotion of the human-based on physiological signals using EEG, GSR, ECG, Pulse Detector, and finally, (c) the mapping has been done between the music mood and the human emotion and classifies them in real-time. Extensive experimentations have been conducted on the different music mood datasets and human emotion for influential feature extraction, training, testing and performance evaluation. An effort has been made to observe and measure the human emotions up to a certain degree of accuracy and efficiency by recording a person’s bio- signals in response to music. Further, to test the applicability of the proposed work, playlists are generated based on the user’s real-time emotion determined using features generated from different physiological sensors and mood depicted by musical excerpts. This work could prove to be helpful for improving mental and physical health by scientifically analyzing the physiological signals.

     

Towards emotionally intelligent buildings: A Convolutional neural network based approach to classify human emotional experience in virtual built environments

Accurate classification of human emotions in designed spaces is essential for architects and engineers, who aim to maximize positive emotions by configuring architectural design features. Previous studies at the conjunction of neuroscience and architecture confirmed the impact of architectural design features on human emotions. Recent development of biometric sensors enabled researchers to identify emotions by measuring human physiological responses (e.g., the use of electroencephalogram (EEG) to measure brain activities). However, a gap in the knowledge exists in terms of an accurate classification model for human emotions in design variants. This study proposed a convolutional neural network (CNN) based approach to classify human emotions. The approach considered two types of CNN architectures as CNN ensemble and auto-encoders. The inputs of these CNN algorithms were 2D images generated by projecting the frequency band power of EEG onto the scalp graph in accordance with the electrode placements. This transformation from time-series EEG data to 2D frequency band power images retain the spatial, time and frequency domain features from participants’ brain dynamics. Performance of the proposed approach was validated using multiple metrics, including precision, recall, f-1 score, and Area Under Curve (AUC). Results showed that the auto-encoder based approach achieved the best performance with an AUC of 0.95.     

基于LABVIEW的脑电信号虚拟采集系统设计

在神经科学研究领域,对大脑的观察主要来源于对脑电信号的收集与分析;当前对脑电信号收集的方法是通过专业脑电设备将信号收集保存,再由专业软件处理;由于这类仪器非常昂贵,系统体积也比较大,软件更新快,现在只能用在科学研究上,根本无法用于有规模的实验教学,更不可能一人一机;为此,提出了一种基于LABVIEW的脑电信号虚拟采集系统设计方法,使脑电收集与分析可以广泛地应用于教学;该方法首先对脑电信号虚拟采集系统的硬件进行构造,然后以硬件构造为依据,利用AR模型功率谱估计对脑电信号进行特征提取,在特征提取过程中,对模型类型与模型系数算法以及模型最佳阶数进行分析,最后通过将二阶低通滤波器与二阶高通滤波器进行串联,形成4阶Bessel带通滤波器,实现脑电信号的滤波,并以脑电信号传输电路的设计完成脑电信号虚拟采集系统的设计;实验结果证明,所提方法可以快速地对脑电信号虚拟采集系统进行设计,并为该领域的研究发展提供支撑。