基于人脸图像和脑电的连续情绪识别方法

基于多模态生理数据的连续情绪识别技术在多个领域有重要用途,但碍于被试数据的缺乏和情绪的主观性,情绪识别模型的训练仍需更多的生理模态数据,且依赖于同源被试数据.本文基于人脸图像和脑电提出了多种连续情绪识别方法.在人脸图像模态,为解决人脸图像数据集少而造成的过拟合问题,本文提出了利用迁移学习技术训练的多任务卷积神经网络模型.在脑电信号模态,本文提出了两种情绪识别模型:第一个是基于支持向量机的被试依赖型模型,当测试数据与训练数据同源时有较高准确率;第二个是为降低脑电信号的个体差异性和非平稳特性对情绪识别的影响而提出的跨被试型模型,该模型基于长短时记忆网络,在测试数据和训练数据不同源的情况下也具有稳定的情绪识别性能.为提高对同源数据的情绪识别准确率,本文提出两种融合多模态决策层情绪信息的方法:枚举权重方法和自适应增强方法.实验表明:当测试数据与训练数据同源时,在最佳情况下,双模态情绪识别模型在情绪唤醒度维度和效价维度的平均准确率分别达74.23%和80.30%;而当测试数据与训练数据不同源时,长短时记忆网络跨被试型模型在情绪唤醒度维度和效价维度的准确率分别为58.65%和51.70%.     

基于无阈值递归图和深度残差网络的脑电信号情感识别

提出基于无阈值递归图和深度残差网络相结合的脑电信号情感识别方法。基于非线性动力学理论,将脑电信号转化为无阈值递归图,克服了传统递归图分析中阈值选取的问题,同时脑电信号非线性特征被映射到二维平面。通过深度残差网络实现特征图非线性特征的自动提取,建立情感脑电分类模型,实现了单导联脑电信号情感识别。为进一步提高识别精度,联合四个单导联识别结果,采用“投票法”完成多导联脑电信号情感状态的联合识别。仿真结果表明,对Fp1、Fp2、F3、F4单导联脑电信号情感识别,平均准确率分别为93.82%、93.62%、94.54%、92.92%;多导联平均准确率为94.95%,提高了识别的准确率,具有很大的实用价值。     

用异质迁移学习构建跨被试脑电情感模型

由于脑电信号的个体差异性和非平稳特性对情感模型性能产生影响,如何构建跨被试脑电情感模型是情感脑-机接口领域的一个重要研究方向.本文提出一种新的从眼睛的扫视轨迹进行知识迁移的异质迁移学习方法,以提升跨被试脑电情感模型的性能.该方法的主要神经生理学依据是,被试的视觉注视诱发了大脑特定的神经活动,而这些神经活动产生的脑电信号可以为情绪识别提供重要的情境线索.为了量化不同被试之间的域差异,我们引入了基于扫视轨迹和基于脑电信号的核矩阵,并提出了改进的直推式参数迁移学习算法,以实现跨被试脑电情感模型的构建.该方法与传统方法相比,具有两个优点:一是利用了目标被试容易获取的眼动追踪数据进行被试迁移,二是在目标被试只有眼动追踪数据的情况下,仍然能够从其他被试的历史数据中学到脑电信号的情绪类别判别信息.为了验证所提方法的有效性,我们对本文提出的方法与已有的迁移方法在三类情绪识别的脑电和眼动数据集上进行了系统的对比实验研究.实验结果表明,基于眼动轨迹的迁移模型取得了与基于脑电信号的迁移模型相当的识别性能.相对于传统的通用分类器50.46%的平均准确率,基于眼动轨迹的迁移模型的平均准确率达到了69.72%.     

基于脑电网络图特征的情绪识别研究

针对情绪脑电信号提出一种网络图特征学习与情绪识别算法。首先,利用情绪脑电数据构建对应的情绪脑电网络;其次,在由情绪脑电网络尺度定义的高维空间构建脑电网络样本间的局部邻接关系图以挖掘样本集的分布特性,进而得到样本集的图拉普拉斯矩阵;在此基础上,进一步利用谱图理论对情绪脑电网络的最优低维空间映射进行求解,在保留原始样本局部邻接关系的前提下实现对情绪脑电网络的降维与重新表达,并将每个情绪脑电网络样本表示成1组脑电网络特征集;最后利用提取到的情绪脑电网络特征集,结合支持向量机分类学习算法,针对情绪识别任务进行识别模型的训练和学习,实现对情绪状态的准确解码与识别。在国际公开情绪脑电数据集的实验结果表明：相较于传统情绪识别算法,本文所提方法能有效提升情绪识别准确率,在基于公开数据集的多类情绪识别任务中分别达到91.85%（SEED数据集, 3类）、79.36%（MAHNOB-HCI数据集,3类）和79%（DEAP数据集,4类）的稳健识别效果。     

基于位置信息重建与时频域信息融合的脑电信号情感识别

脑电信号由中枢神经系统产生,具有很高的真实性,但存在数据量少和数据复杂等问题.为提高脑电信号情感识别准确率,在脑电信号功率谱密度的基础上提出一种脑电位置信息重建的方法,使神经网络模型可以直接获取脑电信号中不易学习的位置信息.运用融合网络从原始的脑电信号中分别抽取时域特征和频域特征,根据频域信息重建脑电信号的位置信息,将时频域信息及位置信息进行融合,以获得更高的脑电信号情感分类准确率.在公开数据集DEAP上的实验结果表明,Valence和Arousal的二分类准确率分别达到86.31％和85.57％,与传统脑电信号情感识别方法相比,该方法分类准确率得到有效提高.     

基于图表征和双重注意力机制的跨被试ERP检测

针对事件相关电位（event-related potential,ERP）在跨被试场景下检测精度不高的问题,提出了一种基于图表征和双重注意力机制的卷积循环神经网络模型。该模型采用不依赖于被试和任务的图来表征脑电信号中的空间信息,并级联卷积神经网络（convolutional neural network,CNN）和长短期记忆网络（long short-term memory network,LSTM）形成CNN-LSTM基础框架,同时嵌入双重注意力机制（即选择性内核卷积和自注意力机制）以充分提取不同被试脑电信号的时空特征,从而提高跨被试场景下的ERP检测精度。在基于快速序列视觉呈现范式的大规模基准数据集上的实验结果表明,与现有的7种ERP检测方法相比,所提方法在跨被试场景下具有显著的优越性。     

基于位置信息重建与时频域信息融合的脑电信号情感识别

脑电信号由中枢神经系统产生,具有很高的真实性,但存在数据量少和数据复杂等问题.为提高脑电信号情感识别准确率,在脑电信号功率谱密度的基础上提出一种脑电位置信息重建的方法,使神经网络模型可以直接获取脑电信号中不易学习的位置信息.运用融合网络从原始的脑电信号中分别抽取时域特征和频域特征,根据频域信息重建脑电信号的位置信息,将时频域信息及位置信息进行融合,以获得更高的脑电信号情感分类准确率.在公开数据集DEAP上的实验结果表明,Valence和Arousal的二分类准确率分别达到86.31％和85.57％,与传统脑电信号情感识别方法相比,该方法分类准确率得到有效提高.     

多特征融合的脑电情绪分类

为进一步探究不同类型特征互补性对脑电情绪分类的影响,提出一种基于多特征融合的脑电情绪分类新方法。对预处理后的脑电信号进行DE、MST和SampEn特征提取,采用双样本T检验去除冗余筛选出最优特征并融合,采用SVM分类模型来识别不同的情绪状态。在SEED-Ⅳ数据集上的实验结果表明,单一特征中DE的平均分类准确率最高（77.86%）,而融合非线性SampEn特征与功能连接MST属性后平均分类准确率得到进一步提升（84.58%）,不同时间段采集的数据上重测实验则证明了该方法的有效性与稳定性。     

基于卷积联合适应网络的脑电信号情感识别

提出一种基于深度卷积联合适应网络（Convolutional neural network-joint adaptation network,CNN-JAN）的脑电信号（Electroencephalogram, EEG）情感识别模型。该模型将迁移学习中联合适应的思想融合到深度卷积网络中,首先采用长方形卷积核提取数据的空间特征,捕捉脑电数据通道间的深层情感相关信息,再将提取的空间特征输入含有联合分布的多核最大均值差异算法（Multi-kernel joint maximum mean discrepancy,MK-JMMD）的适配层进行迁移学习,使用MK-JMMD度量算法解决源域和目标域分布不同的问题。所提方法在SEED数据集上使用微分熵特征和微分尾端性特征分别进行情感分类实验,其中使用微分熵特征被试内跨试验准确率达到84.01%,与对比实验和目前流行的迁移学习方法相比,准确率进一步提高,跨被试实验精度也取得较好的性能,验证了该模型用于EEG信号情感识别任务的有效性。     

基于脑功能网络和共空间模式分析脑电情绪识别

传统脑网络的情绪分类将聚类系数、平均最短路径等拓扑属性作为分类特征。针对这些属性易受网络连接阈值和特征选择的影响,难以完全表征不同情绪状态下的网络空间拓扑结构差异的问题,提出了一种基于脑网络和共空间模式的脑电情绪识别方法(EEG emotion classification based on common spatial patterns of brain networks topology,EEC-CSP-BNT)。该算法基于互信息在各个子频段内计算电极间的功能连接矩阵,同时利用共空间模式(common spatial pattern,CSP)分析学习空间滤波器,构建分类特征,最后通过分类器(如Fisher线性判别、支持向量机、K最近邻)实现基于脑电的情绪分类。基于DEAP和SEED数据集的实验结果表明,相比于脑网络拓扑属性,EEC-CSP-BNT能有效提取脑网络拓扑结构的分类信息,提高脑电情绪识别性能。     

基于卷积注意力机制的运动想象脑电信号识别

针对多类别运动想象脑电信号识别精度不高的问题,提出了一种融合注意力模块的卷积神经网络模型。该模型利用注意力模块充分挖掘脑电信号的通道和空间特征,建立其与识别任务之间的重要程度关系,从而提高运动想象脑电信号的识别准确率。信号经过共空间模式提高信噪比,利用小波变换将信号转换成二维时频图,通过注意力模块中通道和空间两个维度进行特征的调整,以强化有用特征弱化无用特征,使卷积网络充分提取更高层次的抽象特征,并最终执行运动想象任务的识别。分别在BCI竞赛IV Datasets 2a和BCI竞赛III-IIIa数据集上进行了有效性评价,并与卷积神经网络以及其他算法进行了比较。实验结果表明,提出的方法可达到良好的准确率,能够有效提高脑电信号运动想象任务的识别准确率。     

融合倒谱特征的脑电（EEG）情感分类

近年来,通过分析脑电图（EEG）信号来实现情感识别的课题越来越被研究者所重视。为了丰富特征的表示能力,获得更高的情感识别分类准确率,尝试将语音信号特征梅尔频率倒谱系数MFCC应用于脑电信号。在对EEG信号小波变换的基础上将提取得到的MFCC特征与EEG特征相互融合,通过利用深度残差网络（ResNet18）的特性进行情感分类识别。实验结果表明,比起传统的单一利用EEG特征,添加了MFCC特征使得情感维度Arousal和Valence两者的识别准确率分别提升了6%和4%,达到了86.01%和85.46%,从而提升了情感的识别准确度。     

基于PCA的离散小波自回归情感识别

针对情感识别进行研究,提出基于主成分分析法（PCA）过滤小波变换结合自回归模型提取的信号特征方法,并基于梯度提升分类树以实现情感分类.将特征提取的重点放在脑电信号变化情况以及小波分量变化情况作为脑电信号特征.采用Koelstra等提出的分析人类情绪状态的多模态标准数据库DEAP,提取8种正负情绪代表各个脑区的14个通道脑电数据.结果表明,算法对8种情感两两分类识别平均准确率为95.76%,最高准确率为98.75%,可为情感识别提供帮助.     

基于传递熵关键因果连接的情感识别方法

人脑在情绪活动中呈现的信息流是复杂多变的,因此理解脑区间的动态交互过程至关重要,但是基于原始脑电信号构建的情绪网络包含了许多与情绪无关的冗余信息.针对此问题,提出一种在不丢失关键因果信息的前提下去除情绪无关网络连接的方法,并验证其在情感识别过程中的有效性.首先,基于传递熵因果分析方法对积极、中性和消极情绪构建归一化传递熵矩阵,再从积极、消极情绪矩阵中减去中性情绪矩阵,最后基于简化后的矩阵构建因效性脑网络并利用图论分析不同情绪的网络连通性.通过在DEAP数据集上的验证发现,该方法有效地提高了情感识别准确率.     

基于图卷积网络的运动想象识别

运动想象识别将大脑的神经活动信号转为编码输出以实现意念控制,是脑机接口的一个重要研究方向。近年来深度学习算法的应用进一步提高了运动想象识别的准确率,但是当前基于深度学习的运动想象分析都将多路脑电信号作为二维矩阵信号,忽视了不同节点的空间关联信息。为了解决这个问题,将图卷积网络算法应用到运动想象分类中,通过多个节点脑电信号的相关系数建立脑电图结构,提取脑电信号的时频域特征信息作为输入,再经过图卷积网络进行节点特征聚合以学习谱域特征,最后通过全连接层输出分类结果。该方法在BCI Competition IV Dataset 2a数据集上取得80.9%的准确率和0.74的kappa系数,相比其他方法可以充分学习时、频、谱域的特征信息,取得更好的识别效果,为运动想象脑机接口提供一种新的思路和方法。     

脑电信号多维特征融合与分类算法研究

针对目前运动想象脑电信号特征提取单一,分类识别准确率低等现象,结合卷积神经网络分类器,提出了一种多维度特征加权融合的特征融合算法来提高运动想象脑电识别率。对预处理后的脑电信号进行小波包变换,提取其共空间特征、能量特征、边际谱熵特征以及非线性动力学特征,然后加权融合,使用卷积神经网络分类器分类。为验证算法的合理性,使用BCI-IV Dataset 2a数据集对提出的特征融合算法进行验证分析,结果表明,所提出的加权特征融合算法结合CNN分类器可以有效提高运动想象识别准确率。实验中,9位志愿者平均分类准确率达到75.88%,平均Kappa系数为0.70。     

基于三维特征矩阵和冲压激励网络的多通道脑电情感识别

提出一种基于冲压激励网络的情感状态识别方法.首先,从不同通道的脑电信号中提取时域特征,并根据电极通道的相对位置构造三维特征矩阵;然后,将冲压激励块与三维卷积神经网络相结合构建冲压激励网络进行高层抽象特征提取;最后,使用全连接层进行情感状态分类.实验在DEAP数据集上开展,实验结果表明,冲压激励网络在利用脑电信号中的时域显著性信息和电极空间位置信息的基础上,可自适应地纠正特征的注意力,优化每个特征的权重并强化重要特征,同时利用不同特征的互补信息来提高识别精度;此外,冲压激励网络的挤压操作可获取输入数据的全局信息,具有较快的收敛速度.