融合倒谱特征的脑电（EEG）情感分类

近年来,通过分析脑电图（EEG）信号来实现情感识别的课题越来越被研究者所重视。为了丰富特征的表示能力,获得更高的情感识别分类准确率,尝试将语音信号特征梅尔频率倒谱系数MFCC应用于脑电信号。在对EEG信号小波变换的基础上将提取得到的MFCC特征与EEG特征相互融合,通过利用深度残差网络（ResNet18）的特性进行情感分类识别。实验结果表明,比起传统的单一利用EEG特征,添加了MFCC特征使得情感维度Arousal和Valence两者的识别准确率分别提升了6%和4%,达到了86.01%和85.46%,从而提升了情感的识别准确度。     

基于脑电时频空多域特征融合的情感识别研究

传统基于脑电信号（electroencephalogram,EEG）的情感识别主要采用单一的脑电特征提取方法,为了充分利用EEG中蕴含的丰富信息,提出一种多域特征融合的脑电情感识别新方法。提取了EEG的时域、频域和空域特征,将三域特征进行融合作为情感识别模型的输入。首先计算不同时间窗EEG信号的alpha、beta、gamma三个频段功率谱密度,并结合脑电电极空间信息构成EEG图片,然后利用卷积神经网络（convolutional neural network,CNN）与双向长短期记忆网络（bidirectional long short-term memory network,BLSTM）构建CNN-BLSTM情感识别模型,分别对时、频、空三域特征进行学习。在SEED数据集对该方法进行验证,结果表明该方法能有效提高情感识别精度,平均识别准确率达96.25%。     

基于混合神经网络的脑电时空特征情感分类

提出一种脑电图（electroencephalograph,简称EEG）数据表示方法,将一维链式EEG向量序列转换成二维网状矩阵序列,使矩阵结构与EEG电极位置的脑区分布相对应,以此来更好地表示物理上多个相邻电极EEG信号之间的空间相关性.再应用滑动窗将二维矩阵序列分成一个个等长的时间片段,作为新的融合了EEG时空相关性的数据表示.还提出了级联卷积-循环神经网络（CASC_CNN_LSTM）与级联卷积-卷积神经网络（CASC_CNN_CNN）这两种混合深度学习模型,二者都通过CNN卷积神经网络从转换的二维网状EEG数据表示中捕获物理上相邻脑电信号之间的空间相关性,而前者通过LSTM循环神经网络学习EEG数据流在时序上的依赖关系,后者则通过CNN卷积神经网络挖掘局部时间与空间更深层的相关判别性特征,从而精确识别脑电信号中包含的情感类别.在大规模脑电数据集DEAP上进行被试内效价维度上两类情感分类实验,结果显示,所提出的CASC_CNN_LSTM和CASC_CNN_CNN网络在二维网状EEG时空特征上的平均分类准确率分别达到93.15%和92.37%,均高于基准模型和现有最新方法的性能,表明该模型有效提高了EEG情感识别的准确率和鲁棒性,可以有效地应用到基于EEG的情感分类与识别相关应用中.     

基于水平可视图多元联合模体熵的多维EEG情感脑电信号识别

目前,许多基于深度学习和神经网络的算法被应用于脑电(electroencephalogram, EEG)信号情感识别.然而,现有研究大多采用提取单维脑电信号特征的方法.随着多传感技术的更新,更具全面性和系统性的多维信号特征提取需求出现.本文尝试将复杂网络研究应用到多维情感脑电识别中,提出一种基于水平可视图多元联合模体熵的情感识别算法,该方法可以有效避免人工选取特征对实验结果的影响,保持原始序列的非线性动力学特征.首先利用水平可视图算法将多维情感脑电信号分别转换为多路可视图网络,提取模体熵特征识别情感脑电研究中的关键频带和关键通道.在此基础上,将水平可视图网络两两联合,提取多元水平联合模体熵向量,作为输入参数对情感脑电信号进行识别.由于情感脑电序列长度会对识别效果产生影响,我们将脑电信号切割成大小不一的窗口,对比不同窗口大小对分类准确率的影响.实验结果表明,当切割窗口大小为10 s时,多元水平联合模体熵对情感脑电信号的识别效果最佳,对积极脑电/消极脑电、积极脑电/中性脑电、消极脑电/中性脑电的分类准确率分别达到95.07%, 97.73%, 90.26%,优于其他二维连接参数.同时,三分...     

融合多尺度特征的脑电情感识别研究

基于单尺度二维、三维卷积的脑电情感识别算法存在原始信号映射到高维特征矩阵过程中信息易丢失、模型参数量大、提取特征相对单一等问题。提出多尺度金字塔交互注意力残差网络（MPIAResnet）。利用多尺度一维卷积核直接提取原始脑电信号的多尺度空间特征,将标准卷积替换为分组卷积,相比二维、三维卷积具有更少的参数量,同时利用通道交互注意力机制优化特征提取过程。在此基础上,与双向GRU(BiGRU)融合组成MPIAResnetBiGRU网络,进一步提取脑电信号的上下文语义信息,实现脑电信号的时空特征融合。基于公开数据集DEAP的实验结果表明:在受试者依赖实验中,该模型Valence和Arousal维度识别准确率达到97.60%和98.15%,相比单尺度模型提升8.56和8.36个百分点;在小批量训练集实验中,当训练集占比为30%时,测试集准确率依然可以保持在90%以上;在分频带实验中,2个高频带信号识别准确率优于低频带信号,证明了模型的有效性;而在受试者全部参与实验中,该模型的识别准确率也均优于对比方法。     

基于残差模块和自注意力机制GAN的脑电信号增广方法

针对脑电信号（EEG）数据量过少的问题,提出一种基于残差模块（ResBlock）和自注意力（Self-Attention）机制的生成对抗网络（GAN）,记为RBSAGAN。该模型首先对ResBlock进行改进,设计了Up ResBlock和Down ResBlock网络用于提取信号中不同尺度感受野的特征并对数据维度进行扩大和缩小;然后根据Self-Attention机制设计1D Self-Attention网络挖掘EEG中各离散时刻之间的时间相关性;最后通过生成器和判别器的对抗训练生成逼真的信号。该模型在公开的BCI Competition IV dataset 2a数据集进行了大量实验,结果表明,RBSAGAN具有生成接近于真实脑电信号样本的能力,并且将分类器1D卷积网络（CNN）的平均识别率提升至96.04%,可以为EEG数据增广任务提供参考。     

多通道连续卷积神经网络脑电信号情绪识别

针对不同个体的脑电信号差异大且易受到环境因素影响的问题, 结合去基线干扰及脑电通道选择方法, 提出一种基于连续卷积神经网络的情绪分类识别算法. 首先进行基线信号的微分熵(differential entropy, DE)特征的选取研究, 将数据处理为多通道输入后使用连续卷积神经网络进行分类实验, 然后选择最佳电极个数. 实验结果表明, 将实验脑电信号微分熵与被试者实验脑电前一秒的基线信号微分熵的差值映射为二维矩阵后, 在频率维度组合为多通道的形式作为连续卷积神经网络的输入, 在22通道上唤醒度和效价的分类平均准确率为95.63%和95.13%, 接近32通道的平均准确率.     

基于无阈值递归图和深度残差网络的脑电信号情感识别

提出基于无阈值递归图和深度残差网络相结合的脑电信号情感识别方法。基于非线性动力学理论,将脑电信号转化为无阈值递归图,克服了传统递归图分析中阈值选取的问题,同时脑电信号非线性特征被映射到二维平面。通过深度残差网络实现特征图非线性特征的自动提取,建立情感脑电分类模型,实现了单导联脑电信号情感识别。为进一步提高识别精度,联合四个单导联识别结果,采用“投票法”完成多导联脑电信号情感状态的联合识别。仿真结果表明,对Fp1、Fp2、F3、F4单导联脑电信号情感识别,平均准确率分别为93.82%、93.62%、94.54%、92.92%;多导联平均准确率为94.95%,提高了识别的准确率,具有很大的实用价值。     

基于脑电空间域表征可视化的情感识别研究*

鉴于情感脑电蕴含丰富的空间模式特征，提出一种基于二维空间域表征可视化的情感识别方法。首先，提取多通道脑电Gamma频段的微分熵（Differential Entropy，DE）特征并根据导联位置映射至9×9的二维空间进行拓扑重构，使用三次插值方法进一步提高空间域特征图的分辨率；然后，针对性地设计了一种深度残差网络（Residual Network，ResNet）模型作为情感脑电解码器对情感脑电信号（Electroencephalogram，EEG）进行深层抽象特征的自动提取和端到端分类；最后，通过梯度加权类激活映射（Gradient-weighted Class Activation Mapping，Grad-CAM）方法对输入特征图进行可解释性分析，依据热力图分布定位对特定情感状态识别具有较大贡献的空间脑区。在SEED数据集上进行了相关情感识别实验，三种情感类别分类平均准确率为94.88%，达到了较先进的性能。     

多跳连接残差注意网络的图像超分辨率重建

随着卷积神经网络深度的不断增加,深度卷积神经网络的训练会变得更加困难.此外,在图像超分辨率中,低分辨率图像的通道特征和输入通常在不同的通道中被平等对待,这就导致了卷积神经网络的表征能力被弱化.为了解决这些问题,提出了一种多跳连接残差注意网络,该网络利用多跳连接中的残差(Residual in Multi-skip Connection,RIMC),构造了具有多个残差组的深度网络.每个残差组包含了一定数量的短跳连接和多跳连接.在RIMC的基础上,主网络被允许穿过多跳连接来绕过丰富的低频信息,同时高频信息也可以被主网络集中地学习.另外,考虑到通道和空间维度的相互依赖关系,提出了注意机制块(Attention Mechanism Block,AMBlock)来关注信息的位置,并自适应地调整通道特征尺度,其中通道注意机制和空间注意机制被应用在这种方式中.实验结果表明,该网络可以更好地恢复图像细节,获得更高的图像质量和网络性能.