脑电信号情绪识别研究综述

通过面部表情、语音语调以及脑电等生理信号对人的情绪状态进行识别分类,即情绪识别,其在医疗、交通以及教育等领域有广泛应用。脑电信号由于其真实可靠,在情绪识别领域日益得到广泛关注。总结了近年来脑电情绪识别研究所取得的进展,主要介绍基于深度学习和迁移学习进行的脑电情绪识别研究。介绍了脑电情绪识别基础理论、常用公开数据集、信号的采集和预处理,介绍特征提取与选择,重点介绍了深度学习和迁移学习在脑电情绪识别上的应用。指出该领域目前面临的挑战和前景。     

脑电信号情绪识别研究综述

情绪识别是指通过人的面部表情、行为动作或者生理信号等信息识别人的情绪状态,其成果在医疗辅助、教育、交通安全等方面有很大的应用价值.由于脑电信号的客观真实性等特点,使用脑电信号进行情绪识别研究受到国内外学者们的广泛关注.查阅了大量脑电情绪识别相关文献并进行归纳、分析和总结.首先,对情绪以及情绪识别的定义、情绪的分类模型、...     

基于希尔伯特变换联合卷积神经网络的脑电信号识别方法

传统运动想象脑电信号识别方法需要人为提取大量特征,识别性能受研究人员经验影响较大,主观性强;提出一种基于希尔伯特变换(HT)联合卷积神经网络(CNN)的运动想象脑电信号自动识别方法,首先利用HT对原始EEG信号进行分析,实现一维数据向二维幅-相图像转换的同时增加信息提取维度;然后将其作为输入利用CNN层次化的对幅-相二维图像进行理解和解译,自动提取特征并完成分类识别,基于BCI竞赛中所用Graz数据集开展试验,结果表明相对于传统特征提取方法,文章所提算法在低、中、高信噪比条件下均能获得更好的识别性能,具有更强的噪声鲁棒性.     

Multi-GAT: 基于多度量衡构建图的故障诊断方法

基于图神经网络的故障诊断方法, 通常需要根据度量衡确定样本之间的相似性, 进而构建图的拓扑结构.然而, 根据单一度量衡可能无法准确衡量数据样本之间的相似性, 进而导致无法准确表征样本之间的关系. 因此, 选用不同的度量衡会极大地影响图神经网络的诊断性能. 为了解决通过单一度量衡无法准确表征数据样本之间相关性的问题, 本文提出了一种基于多度量衡构造图的故障诊断模型???Multi-GAT. 通过结合3种度量衡的计算结果,从而判断数据样本之间相关性的强弱. 本文改进了图注意力网络的评分函数, 使其能够依据样本之间相关性的强弱更准确地确定数据样本之间的相似性. 在本文基准数据集上的实验表明, Multi-GAT能够提升模型的诊断精度,且拥有较好的稳定性.     

基于无阈值递归图和深度残差网络的脑电信号情感识别

提出基于无阈值递归图和深度残差网络相结合的脑电信号情感识别方法.基于非线性动力学理论,将脑电信号转化为无阈值递归图,克服了传统递归图分析中阈值选取的问题,同时脑电信号非线性特征被映射到二维平面.通过深度残差网络实现特征图非线性特征的自动提取,建立情感脑电分类模型,实现了单导联脑电信号情感识别.为进一步提高识别精度,联合...     

基于图动态注意力网络的多站点风速预测

时空序列预测任务在交通、气象、智慧城市等领域有着广泛应用。站点风速预测作为气象预测中的主要任务之一,需要结合降水、气温等外部因素,学习不同数据的时空特征。气象站点的不规则分布和风本身的固有间歇性成为实现高精度风速预测的挑战。为考虑多站点空间分布对风速的影响以获得准确可靠的预测结果,提出一种基于图的动态转换注意力网络（Graph-DSAN）风速预测模型。首先,利用不同站点之间的距离重新构建它们的连接;其次,使用局部采样的过程建模不同采样大小的邻接矩阵,实现图卷积过程中邻居节点信息的聚合与传递;接着,将时空位置编码（STPE）处理后的图卷积结果加入动态注意力编码器（DAE）和转换注意力解码器（SAD）以实现动态注意力计算,从而提取时空相关性;最后,利用自回归的方式形成多步预测。在纽约州15个站点的风速预测实验中,将所设计模型与ConvLSTM、图多注意力网络（GMAN）、时空图卷积网络（STGCN）、动态转换注意力网络（DSAN）和时空动态网络（STDN）进行比较,Graph-DSAN的12 h预测均方根误差（RMSE）分别降低了28.2%、6.9%、27.7%、14.4%和8.9%,验证...     

基于人脸图像和脑电的连续情绪识别方法

基于多模态生理数据的连续情绪识别技术在多个领域有重要用途,但碍于被试数据的缺乏和情绪的主观性,情绪识别模型的训练仍需更多的生理模态数据,且依赖于同源被试数据.本文基于人脸图像和脑电提出了多种连续情绪识别方法.在人脸图像模态,为解决人脸图像数据集少而造成的过拟合问题,本文提出了利用迁移学习技术训练的多任务卷积神经网络模型...     

基于对比学习的心电信号情绪识别方法

现有的机器学习和深度学习在解决基于心电信号的情绪识别问题时主要使用全监督的学习方法。这种方法的缺点在于需要大量的有标签数据和计算资源。同时,全监督方法学习到的特征表示通常只能针对特定任务,泛化性较差。针对这些问题,提出了一种基于对比学习的心电信号情绪识别方法,该方法分为预训练和微调两步。预训练的目的是从未标记的心电数据中学习特征表示,具体为：设计了两种简单高效的心电信号增强方式,将原始数据通过这两种数据增强转换成两个相关但不同的视图;接着这两种视图在时间对比模块中学习鲁棒的时间特征表示;最后在上下文对比模块中学习具有判别性的特征表示。微调阶段则使用带标记数据来学习情绪识别任务。在三个公开数据集上的实验表明,该方法在心电信号情绪识别准确率上与现有方法相比提高了0.21%～3.81%。此外,模型在半监督设定场景中表现出高有效性。     

基于多通道脑电信号的因果网络情绪识别

情绪是由大脑内多个通道共同作用产生的,格兰杰因果检验作为情绪识别的主流方法,在计算任意2个通道之间的因果关系时容易忽略其他通道的影响。面向多通道脑电信号,提出一种基于条件格兰杰因果检验（CGC）的因果网络情绪识别方法。利用CGC算法计算不同情绪下大脑全通道的因果关系,据此构建因果网络,并通过分析各通道的入/出度和介数拓扑属性找到关键通道,得到简化的因果网络进行情绪识别。将节点之间的因果连接关系作为特征分别输入SVM和KNN分类器进行分类训练,实验结果表明,简化网络的识别率分别为75.3%和78.4%,验证了所提方法的有效性。     

基于混合分布注意力机制与混合神经网络的语音情绪识别方法

针对现有语音情绪识别中存在无关特征多和准确率较差的问题,提出一种基于混合分布注意力机制与混合神经网络的语音情绪识别方法。该方法在2个通道内,分别使用卷积神经网络和双向长短时记忆网络进行语音的空间特征和时序特征提取,然后将2个网络的输出同时作为多头注意力机制的输入矩阵。同时,考虑到现有多头注意力机制存在的低秩分布问题,在注意力机制计算方式上进行改进,将低秩分布与2个神经网络的输出特征的相似性做混合分布叠加,再经过归一化操作后将所有子空间结果进行拼接,最后经过全连接层进行分类输出。实验结果表明,基于混合分布注意力机制与混合神经网络的语音情绪识别方法比现有其他方法的准确率更高,验证了所提方法的有效性。     

基于改进全局—局部注意网络的室内场景识别方法

由于卷积神经网络(CNN)大多侧重于全局特征学习,忽略了包含更多细节的局部特征信息,使得室内场景识别的准确率难以提高。针对这一问题,提出了基于改进全局—局部注意网络(GLANet)的室内场景识别方法。首先,利用GLANet捕捉场景图像的全局特征和局部特征,增加图像特征中的细节信息;然后,在局部网络中引入non-local注意力模块,通过注意力图和特征图的卷积来进一步保留图像的细节特征,最后融合网络不同阶段的多种特征进行分类。通过在MIT Indoor67和SUN397数据集上的训练和验证,所提方法的识别准确率与LGN方法相比分别提高了1.98%和3.07%。实验结果表明,该算法能够有效捕获全局语义信息和精细的局部细节,显著提高了识别准确率。     

轻量级多信息图卷积神经网络动作识别方法

针对如何在保持低参数量和低计算量前提下构建高性能模型的问题,提出一种轻量级多信息图卷积神经网络（LMI-GCN）。LMI-GCN通过将关节坐标、关节速度、骨骼边、骨骼边速度四种不同信息编码至高维空间的方式进行信息融合,并引入可以聚合重要特征的多通道自适应图和分流时间卷积块以减少模型参数量。同时,提出一种随机池数据预处理方法。在NTU-RGB+D120数据集上与基线方法SGN（语义引导神经网络）相比,在两种评估设置cross-subject和cross-setup上提高5.4%和4.7%。实验结果表明,LMI-GCN性能高于SGN。     

时空图卷积网络与注意机制的视频目标分割

目的 从大量数据中学习时空目标模型对于半监督视频目标分割任务至关重要,现有方法主要依赖第1帧的参考掩膜（通过光流或先前的掩膜进行辅助）估计目标分割掩膜。但由于这些模型在对空间和时域建模方面的局限性,在快速的外观变化或遮挡下很容易失效。因此,提出一种时空部件图卷积网络模型生成鲁棒的时空目标特征。方法 首先,使用孪生编码模型,该模型包括两个分支：一个分支输入历史帧和掩膜捕获序列的动态特征,另一个分支输入当前帧图像和前一帧的分割掩膜。其次,构建时空部件图,使用图卷积网络学习时空特征,增强目标的外观和运动模型,并引入通道注意模块,将鲁棒的时空目标模型输出到解码模块。最后,结合相邻阶段的多尺度图像特征,从时空信息中分割出目标。结果 在DAVIS（densely annotated video segmentation）-2016和DAVIS-2017两个数据集上与最新的12种方法进行比较,在DAVIS-2016数据集上获得了良好性能,Jacccard相似度平均值（Jaccard similarity-mean,J-M）和F度量平均值（F measure-mean,F-M）得分达到了85.3%,比性能最高的对比方法提高了1.7%;在DAVIS-2017数据集上,J-M和F-M得分达到了68.6%,比性能最高的对比方法提高了1.2%。同时,在DAVIS-2016数据集上,进行了网络输入与后处理的对比实验,结果证明本文方法改善了多帧时空特征的效果。结论 本文方法不需要在线微调和后处理,时空部件图模型可缓解因目标外观变化导致的视觉目标漂移问题,同时平滑精细模块增加了目标边缘细节信息,提高了视频目标分割的性能。     

基于图神经网络多模态融合的语音情感识别模型

目前,基于多模态融合的语音情感识别模型普遍存在无法充分利用多模态特征之间的共性和互补性、无法借助样本特征间的拓扑结构特性对样本特征进行有效地优化和聚合,以及模型复杂度过高的问题。为此,引入图神经网络,一方面在特征优化阶段,将经过图神经网络优化后的文本特征作为共享表示重构基于声学特征的邻接矩阵,使得在声学特征的拓扑结构特性中包含文本信息,达到多模态特征的融合效果;另一方面在标签预测阶段,借助图神经网络充分聚合当前节点的邻接节点所包含的相似性信息对当前节点特征进行全局优化,以提升情感识别准确率。同时为防止图神经网络训练过程中可能出现的过平滑问题,在图神经网络训练前先进行图增强处理。在公开数据集IEMOCAP 和RAVDESS上的实验结果表明,所提出的模型取得了比基线模型更高的识别准确率和更低的模型复杂度,并且模型各个组成部分均对模型性能提升有所贡献。     

基于改进的深度神经网络的人体动作识别模型

针对现有人体动作识别方法需输入固定长度的视频段、未充分利用时空信息等问题,提出一种基于时空金字塔和注意力机制相结合的深度神经网络模型,将包含时空金字塔的3D-CNN和添加时空注意力机制的LSTM模型相结合,实现了对视频段的多尺度处理和对动作的复杂时空信息的充分利用。以RGB图像和光流场作为空域和时域的输入,以融合金字塔池化层的运动和外观特征后的融合特征作为融合域的输入,最后采用决策融合策略获得最终动作识别结果。在UCF101和HMDB51数据集上进行实验,分别取得了94.2%和70.5%的识别准确率。实验结果表明,改进的网络模型在基于视频的人体动作识别任务上获得了较高的识别准确率。     

基于卷积神经网络的通信信号调制识别研究

针对传统人工提取专家特征来进行通信信号识别的方法存在局限性大、低信噪比下准确率低的问题,提出一种复基带信号与卷积神经网络自动调制识别相结合的新方法。该方法将接收到的信号进行预处理,得到包含同相分量和正交分量的复基带信号,该信号作为输入卷积神经网络模型的数据集,通过多次训练调整模型结构以及卷积核、步长、特征图和激活函数等超参数,利用训练好的模型对通信信号进行特征提取和识别。实现了对2FSK、4FSK、BPSK、8PSK、QPSK、QAM16和QAM64 七种数字通信信号类型的识别分类。实验结果表明,当信噪比为0dB时,七种信号的平均识别准确率已达94.61%,验证了算法是有效的且在低信噪比条件下有较高的准确率。     

深度卷积神经网络的汽车车型识别方法

针对现有汽车车型识别方法计算量大、提取特征复杂等问题,提出一种基于深度卷积神经网络的汽车车型识别方法。该方法借助于深度学习,对经典的卷积神经网络做出改进并得到由多个卷积层和次抽样层构成的深度卷积神经网络。根据五种车型的分类结果,表明该方法在识别率方面较传统方法有明显的提高。实验还研究了网络层数、卷积核大小、特征维数对深度卷积神经网络的性能和识别率的影响。     

深度多尺度融合注意力残差人脸表情识别网络

针对人脸表情呈现方式多样化以及人脸表情识别易受光照、姿势、遮挡等非线性因素影响的问题,提出了一种深度多尺度融合注意力残差网络(deep multi-scale fusion attention residual network, DMFA-ResNet)。该模型基于ResNet-50残差网络,设计了新的注意力残差模块,由7个具有三条支路的注意残差学习单元构成,能够对输入图像进行并行多卷积操作,以获得多尺度特征,同时引入注意力机制,突出重点局部区域,有利于遮挡图像的特征学习。通过在注意力残差模块之间增加过渡层以去除冗余信息,简化网络复杂度,在保证感受野的情况下减少计算量,实现网络抗过拟合效果。在3组数据集上的实验结果表明,本文提出的算法均优于对比的其他先进方法。