基于CBLSTM算法的脑电信号特征分类

由于传统的脑电信号分类方法识别率较低,且识别率随着脑电信号类别的增加逐渐下降,针对脑电信号时空特征结合的特点,设计了一个多层的卷积双向LSTM型递归神经网络（CBLSTM）分类模型。此分类模型利用多层的卷积神经网络有效提取脑电序列的频域特征,采用双向LSTM提取脑电信号的时域特征,并将脑电信号序列逐帧输入到此分类模型中进行标记,最后输出分类结果。对比研究验证了所提出方法的可行性,实验表明此分类模型平均分类识别率得到了提高,且鲁棒性较好。     

融合时空域特征的人脸表情识别

目的 人脸表情识别是计算机视觉的核心问题之一。一方面,表情的产生对应着面部肌肉的一个连续动态变化过程,另一方面,该运动过程中的表情峰值帧通常包含了能够识别该表情的完整信息。大部分已有的人脸表情识别算法要么基于表情视频序列,要么基于单幅表情峰值图像。为此,提出了一种融合时域和空域特征的深度神经网络来分析和理解视频序列中的表情信息,以提升表情识别的性能。方法 该网络包含两个特征提取模块,分别用于学习单幅表情峰值图像中的表情静态“空域特征”和视频序列中的表情动态“时域特征”。首先,提出了一种基于三元组的深度度量融合技术,通过在三元组损失函数中采用不同的阈值,从单幅表情峰值图像中学习得到多个不同的表情特征表示,并将它们组合在一起形成一个鲁棒的且更具辩识能力的表情“空域特征”;其次,为了有效利用人脸关键组件的先验知识,准确提取人脸表情在时域上的运动特征,提出了基于人脸关键点轨迹的卷积神经网络,通过分析视频序列中的面部关键点轨迹,学习得到表情的动态“时域特征”;最后,提出了一种微调融合策略,取得了最优的时域特征和空域特征融合效果。结果 该方法在3个基于视频序列的常用人脸表情数据集CK+（the extended Cohn-Kanade dataset）、MMI （the MMI facial expression database）和Oulu-CASIA （the Oulu-CASIA NIR&VIS facial expression database）上的识别准确率分别为98.46%、82.96%和87.12%,接近或超越了当前同类方法中的表情识别最高性能。结论 提出的融合时空特征的人脸表情识别网络鲁棒地分析和理解了视频序列中的面部表情空域和时域信息,有效提升了人脸表情的识别性能。     

基于LSTM的眼动行为识别及人机交互应用

眼动交互在人机交互领域中有着广泛的应用前景,针对传统的眼动交互传感设备具有普遍侵入性,校准过程复杂且价格昂贵,普通单目摄像头传感器分辨率低等问题.提出一种基于前置摄像头视频源,使用方向梯度直方图（HOG）特征+SVM+LSTM神经网络的眼动行为识别方法,进而实现了简单的人机交互应用.该方法首先定位和跟踪人脸,在人脸对齐操作后依据4个眼角关键点的坐标获取双眼区域,使用SVM模型判断眼睛的睁闭眼及非眨眼状态,再分析相邻帧之间眼球中心的位置粗略判断眼动情况,将可疑的有意眼势帧间差分视频序列输入到LSTM网络中进行预测,输出眼动行为识别结果,进而触发计算机命令完成交互.经过自制数据样本集20 000个样本（其中约10%为负样本）测试,本文方法动态眨眼识别准确率优于95%,眼动行为预测准确率为99.3%.     

脑电情感信号正确提取仿真

脑电信号是一种微伏级信号,从头皮上采集的脑电信号包含眼电信号、心电信号以及各种环境噪音。针对情感识别如何有效处理脑电信号的问题,本文首先对实验采集的脑电信号应用小波分析和独立分量分析进行预处理去除干扰;其次为了有效地提取脑电特征,应用幅值直方图、标准差在时域上定性地找出2种情感的脑电差异;最后应用功率谱对2种情感脑电的γ波节律进行谱分析。仿真实验结果表明,将脑电信号的γ波节律用于情感识别是可行的。     

融合频率和通道卷积注意的脑电(EEG)情感识别

现有的脑电(EEG)情感识别研究普遍采用神经网络和单一注意机制来学习情感特征,具有相对单一的特征表示.而神经科学研究表明,不同频率和电极通道的脑电信号对情感有不同的响应程度,因此文中提出了一种融合频率和电极通道卷积注意的方法,用于脑电情感识别.具体来说,首先将EEG信号分解到不同的频带上并提取相应的帧级特征,然后用预激活残差网络来学习深层次的脑电情感相关特征,同时在残差网络的每个预激活残差单元中都融入频率和电极通道卷积注意模块,以建模脑电信号的频率和电极通道信息,并生成脑电特征的最终注意表示.在DEAP和DREAMER数据集上的独立于受试者场景下的实验结果表明,所提出的卷积注意方法相比单一注意机制更有助于增强EEG信号中情感显著信息的导入,并且能产生更好的情感识别结果.     

基于位置信息重建与时频域信息融合的脑电信号情感识别

脑电信号由中枢神经系统产生,具有很高的真实性,但存在数据量少和数据复杂等问题.为提高脑电信号情感识别准确率,在脑电信号功率谱密度的基础上提出一种脑电位置信息重建的方法,使神经网络模型可以直接获取脑电信号中不易学习的位置信息.运用融合网络从原始的脑电信号中分别抽取时域特征和频域特征,根据频域信息重建脑电信号的位置信息,将时频域信息及位置信息进行融合,以获得更高的脑电信号情感分类准确率.在公开数据集DEAP上的实验结果表明,Valence和Arousal的二分类准确率分别达到86.31％和85.57％,与传统脑电信号情感识别方法相比,该方法分类准确率得到有效提高.     

基于位置信息重建与时频域信息融合的脑电信号情感识别

脑电信号由中枢神经系统产生,具有很高的真实性,但存在数据量少和数据复杂等问题.为提高脑电信号情感识别准确率,在脑电信号功率谱密度的基础上提出一种脑电位置信息重建的方法,使神经网络模型可以直接获取脑电信号中不易学习的位置信息.运用融合网络从原始的脑电信号中分别抽取时域特征和频域特征,根据频域信息重建脑电信号的位置信息,将时频域信息及位置信息进行融合,以获得更高的脑电信号情感分类准确率.在公开数据集DEAP上的实验结果表明,Valence和Arousal的二分类准确率分别达到86.31％和85.57％,与传统脑电信号情感识别方法相比,该方法分类准确率得到有效提高.     

基于RCNN-LSTM的脑电情感识别研究EI北大核心CSCD

情感作为人脑的高级功能,对人们的个性特征和心理健康有很大的影响,利用网上公开的脑电情感数据库(DEAP(Database for emotion analysis using physiological signals)数据库),根据心理效价和激励唤醒度等级进行情感划分,对压力和平静等5种情感进行研究分析.针对脑电信号时空特征结合的特点,把深度学习中的卷积神经网络(Convolutional neural network,CNN)和长短期记忆网络(Long short term memory,LSTM)两者作为基本前提,并在此基础之上设计了一个RCNN-LSTM的脑电情感信号分类模型.利用循环卷积神经网络(Recurrent convolutional neural network,RCNN)自动提取脑电信号中的抽象特征,省去了人工选择与降维的过程,然后结合LSTM网络对脑电情感信号进行分类识别.实验结果表明,利用该方法对5种情感类别的平均分类识别率达到了96.63%,证明了该方法的有效性.     

基于脑电时频空多域特征融合的情感识别研究

传统基于脑电信号（electroencephalogram,EEG）的情感识别主要采用单一的脑电特征提取方法,为了充分利用EEG中蕴含的丰富信息,提出一种多域特征融合的脑电情感识别新方法。提取了EEG的时域、频域和空域特征,将三域特征进行融合作为情感识别模型的输入。首先计算不同时间窗EEG信号的alpha、beta、gamma三个频段功率谱密度,并结合脑电电极空间信息构成EEG图片,然后利用卷积神经网络（convolutional neural network,CNN）与双向长短期记忆网络（bidirectional long short-term memory network,BLSTM）构建CNN-BLSTM情感识别模型,分别对时、频、空三域特征进行学习。在SEED数据集对该方法进行验证,结果表明该方法能有效提高情感识别精度,平均识别准确率达96.25%。     

基于视频分段的空时双通道卷积神经网络的行为识别

针对原始空时双通道卷积神经网络（CNN）模型对长时段复杂视频中行为识别率低的问题，提出了一种基于视频分段的空时双通道卷积神经网络的行为识别方法。首先将视频分成多个等长不重叠的分段，对每个分段随机采样得到代表视频静态特征的帧图像和代表运动特征的堆叠光流图像；然后将这两种图像分别输入到空域和时域卷积神经网络进行特征提取，再在两个通道分别融合各视频分段特征得到空域和时域的类别预测特征；最后集成双通道的预测特征得到视频行为识别结果。通过实验讨论了多种数据增强方法和迁移学习方案以解决训练样本不足导致的过拟合问题，分析了不同分段数、预训练网络、分段特征融合方案和双通道集成策略对行为识别性能的影响。实验结果显示所提模型在UCF101数据集上的行为识别准确率达到91.80%，比原始的双通道模型提高了3.8个百分点；同时在HMDB51数据集上的行为识别准确率也比原模型提高，达到61.39%，这表明所提模型能够更好地学习和表达长时段复杂视频中人体行为特征。     

采用Transformer网络的视频序列表情识别

目的 相比于静态人脸表情图像识别,视频序列中的各帧人脸表情强度差异较大,并且含有中性表情的帧数较多,然而现有模型无法为视频序列中每帧图像分配合适的权重。为了充分利用视频序列中的时空维度信息和不同帧图像对视频表情识别的作用力差异特点,本文提出一种基于Transformer的视频序列表情识别方法。方法 首先,将一个视频序列分成含有固定帧数的短视频片段,并采用深度残差网络对视频片段中的每帧图像学习出高层次的人脸表情特征,从而生成一个固定维度的视频片段空间特征。然后,通过设计合适的长短时记忆网络（long short-term memory network,LSTM）和Transformer模型分别从该视频片段空间特征序列中进一步学习出高层次的时间维度特征和注意力特征,并进行级联输入到全连接层,从而输出该视频片段的表情分类分数值。最后,将一个视频所有片段的表情分类分数值进行最大池化,实现该视频的最终表情分类任务。结果 在公开的BAUM-1s （Bahcesehir University multimodal）和RML （Ryerson Multimedia Lab）视频情感数据集上的试验结果表明,该方法分别取得了60.72%和75.44%的正确识别率,优于其他对比方法的性能。结论 该方法采用端到端的学习方式,能够有效提升视频序列表情识别性能。     

An art therapy evaluation method based on emotion recognition using EEG deep temporal features

Self-assessment methods are widely used in art therapy evaluation, but emotional recognition methods using physiological signals’ features are more objectively and accurately. In this study, we proposed an electroencephalogram (EEG)-based art therapy evaluation method that could evaluate the therapeutic effect based on the emotional changes before and after the art therapy. Twelve participants were recruited in a two-step experiment (emotion stimulation step and drawing therapy step), and their EEG signals and self-assessment scores were collected. The self-assessment model (SAM) was used to obtain and label the actual emotional states; the long short-term memory (LSTM) network was used to extract the deep temporal features of EEG to recognize emotions. Further, the classification performances in different sequence lengths, time-window lengths and frequency combinations were compared and analyzed. The results showed that emotion recognition models with LSTM deep temporal features achieved the better classification performances than the state-of-the-art methods with non-temporal features; the classification accuracies in high-frequency bands (α, β, and γ bands) were higher than those in low-frequency bands (δ and θ bands); there was a highest emotion classification accuracy (93.24%) in 10-s sequence length, 2-s time-window length and 5-band frequency combination. Our proposed method could be used for emotion recognition effectively and accurately, and was an objective approach to assist therapists or patients in evaluating the effect of art therapy.

     

采用多路图注意力网络的情绪脑电信号识别方法

情绪是一种大脑产生的主观认知的概括。脑信号解码技术可以以一种较客观的方式来有效地研究人的情绪及其相关认知行为。本文提出了一种基于图注意力网络的脑电情绪识别方法(multi-path graph attention networks, MPGAT),该方法通过对脑电信号通道建图,利用卷积层提取脑电信号的时域特征以及各频带的特征,使用图注意力网络进一步捕捉情绪脑电信号的局部特征以及各脑区之间的内在功能关系,进而构建出更好的脑电信号表征。MPGAT在SEED和SEED-IV数据集的跨被试情绪识别平均准确率分别为86.03%、72.71%,在DREAMER数据集的效价(valence)和唤醒(arousal)维度的跨被试平均准确率分别为76.35%和75.46%,达到并部分超过了目前最先进脑电情绪识别方法的性能。本文所提出的脑电信号处理方法有望为情绪认知科学研究与情绪脑机接口系统提供新的技术手段。     

基于混合神经网络的脑电时空特征情感分类

提出一种脑电图（electroencephalograph,简称EEG）数据表示方法,将一维链式EEG向量序列转换成二维网状矩阵序列,使矩阵结构与EEG电极位置的脑区分布相对应,以此来更好地表示物理上多个相邻电极EEG信号之间的空间相关性.再应用滑动窗将二维矩阵序列分成一个个等长的时间片段,作为新的融合了EEG时空相关性的数据表示.还提出了级联卷积-循环神经网络（CASC_CNN_LSTM）与级联卷积-卷积神经网络（CASC_CNN_CNN）这两种混合深度学习模型,二者都通过CNN卷积神经网络从转换的二维网状EEG数据表示中捕获物理上相邻脑电信号之间的空间相关性,而前者通过LSTM循环神经网络学习EEG数据流在时序上的依赖关系,后者则通过CNN卷积神经网络挖掘局部时间与空间更深层的相关判别性特征,从而精确识别脑电信号中包含的情感类别.在大规模脑电数据集DEAP上进行被试内效价维度上两类情感分类实验,结果显示,所提出的CASC_CNN_LSTM和CASC_CNN_CNN网络在二维网状EEG时空特征上的平均分类准确率分别达到93.15%和92.37%,均高于基准模型和现有最新方法的性能,表明该模型有效提高了EEG情感识别的准确率和鲁棒性,可以有效地应用到基于EEG的情感分类与识别相关应用中.     

Error-correcting output codes for multi-label emotion classification

Multi-modal affective data such as EEG and physiological signals is increasingly utilized to analyze of human emotional states. Due to the noise existed in collected affective data, however, the performance of emotion recognition is still not satisfied. In fact, the issue of emotion recognition can be regarded as channel coding, which focuses on reliable communication through noise channels. Using affective data and its label, the redundant codeword would be generated to correct signals noise and recover emotional label information. Therefore, we utilize multi-label output codes method to improve accuracy and robustness of multi-dimensional emotion recognition by training a redundant codeword model, which is the idea of error-correcting output codes. The experiment results on DEAP dataset show that the multi-label output codes method outperforms other traditional machine learning or pattern recognition methods for the prediction of emotional multi-labels.     

基于EEG和DE-CNN-GRU的情绪识别

近年,情绪识别研究已经不再局限于面部和语音识别,基于脑电等生理信号的情绪识别日趋火热.但由于特征信息提取不完整或者分类模型不适应等问题,使得情绪识别分类效果不佳.基于此,本文提出一种微分熵(DE)、卷积神经网络(CNN)和门控循环单元(GRU)结合的混合模型(DE-CNN-GRU)进行基于脑电的情绪识别研究.将预处理后的脑电信号分成5个频带,分别提取它们的DE特征作为初步特征,输入到CNN-GRU模型中进行深度特征提取,并结合Softmax进行分类.在SEED数据集上进行验证,该混合模型得到的平均准确率比单独使用CNN或GRU算法的平均准确率分别高出5.57%与13.82%.     

基于DBM-LSTM的多特征语音情感识别

为增强不同情感特征的融合程度和语音情感识别模型的鲁棒性,提出一种神经网络结构DBM-LSTM用于语音情感识别。利用深度受限玻尔兹曼机的特征重构原理将不同的情感特征进行融合;利用长短时记忆单元对短时特征进行长时建模,增强语音情感识别模型的鲁棒性;在柏林情感语音数据库上进行分类实验。研究结果表明,与传统识别模型相比,DBM-LSTM网络结构更适用于多特征语音情感识别任务,最优识别结果提升11%。