脑电情绪识别的深度学习研究综述

情绪是情感的外在体现,影响人类的认知、感知、理性决策等日常活动.情绪识别作为实现计算机全面智能的一项基础任务,在情感计算和人机交互领域被深入研究和广泛应用.相比面部表情、语音或其他生理信号,利用脑电进行情绪识别具有时间分辨率高、成本低、识别效果好、可靠性高的优势.近年来,越来越多的深度学习框架被应用于基于脑电信号的情绪识别,并取得了比传统机器学习方法更加优异的效果.基于深度脑电特征的情绪识别是当前的研究热点之一,也具有一定的挑战性.目前,可供参考的针对此研究热点的综述文献较少.对近年来国内外相关文献进行调研分析,从模型输入、深度框架、实验设置、实验结果等方面对深度学习在基于脑电的情绪识别中的应用研究做了总结概况,并在DEAP和SEED这两个公开的脑电-情绪数据集上对具有代表性的方法进行了定性和定量的多方面对比,分析和总结这些方法的不足,同时也对未来可能的研究方向进行了展望.     

脑电信号情绪识别综述

情绪识别在医疗领域和人机互动中越来越重要。当人们的情绪在外部刺激下发生变化时，人体的各种生理信号就会产生波动。脑电图（EEG）与大脑活动密切相关，因此可以通过EEG信号判断受试者的情绪变化。首先，从特点和采集、预处理、公开数据集等方面介绍了脑电情绪识别的相关理论；然后，从时域、频域和时频域特征介绍了EEG信号的特征提取；随后，对EEG信号情绪分类识别的效果进行评估；最后，总结了EEG信号情绪识别的相关工作并对未来工作进行了展望。     

深度学习在图像识别中的应用研究综述

深度学习作为图像识别领域重要的技术手段，有着广阔的应用前景，开展图像识别技术研究对推动计算机视觉及人工智能的发展具有重要的理论价值和现实意义，文中对深度学习在图像识别中的应用给予综述。介绍了深度学习的由来，具体分析了深度信念网络、卷积神经网络、循环神经网络、生成式对抗网络以及胶囊网络等深度学习模型，对各个深度学习模型的改进型模型逐一对比分析。总结近年来深度学习在人脸识别、医学图像识别、遥感图像分类等图像识别应用领域取得的研究成果并探讨了已有研究值得商榷之处，对深度学习在图像识别领域中的发展趋势进行探讨，指出有效使用迁移学习技术识别小样本数据，使用非监督与半监督学习对图像进行识别，如何对视频图像进行有效识别以及强化模型的理论性等是该领域研究的进一步方向。     

脑电信号情绪识别研究综述

情绪识别是指通过人的面部表情、行为动作或者生理信号等信息识别人的情绪状态,其成果在医疗辅助、教育、交通安全等方面有很大的应用价值.由于脑电信号的客观真实性等特点,使用脑电信号进行情绪识别研究受到国内外学者们的广泛关注.查阅了大量脑电情绪识别相关文献并进行归纳、分析和总结.首先,对情绪以及情绪识别的定义、情绪的分类模型、...     

基于脑电网络图特征的情绪识别研究

针对情绪脑电信号提出一种网络图特征学习与情绪识别算法。首先,利用情绪脑电数据构建对应的情绪脑电网络;其次,在由情绪脑电网络尺度定义的高维空间构建脑电网络样本间的局部邻接关系图以挖掘样本集的分布特性,进而得到样本集的图拉普拉斯矩阵;在此基础上,进一步利用谱图理论对情绪脑电网络的最优低维空间映射进行求解,在保留原始样本局部邻接关系的前提下实现对情绪脑电网络的降维与重新表达,并将每个情绪脑电网络样本表示成1组脑电网络特征集;最后利用提取到的情绪脑电网络特征集,结合支持向量机分类学习算法,针对情绪识别任务进行识别模型的训练和学习,实现对情绪状态的准确解码与识别。在国际公开情绪脑电数据集的实验结果表明：相较于传统情绪识别算法,本文所提方法能有效提升情绪识别准确率,在基于公开数据集的多类情绪识别任务中分别达到91.85%（SEED数据集, 3类）、79.36%（MAHNOB-HCI数据集,3类）和79%（DEAP数据集,4类）的稳健识别效果。     

用异质迁移学习构建跨被试脑电情感模型

由于脑电信号的个体差异性和非平稳特性对情感模型性能产生影响,如何构建跨被试脑电情感模型是情感脑-机接口领域的一个重要研究方向.本文提出一种新的从眼睛的扫视轨迹进行知识迁移的异质迁移学习方法,以提升跨被试脑电情感模型的性能.该方法的主要神经生理学依据是,被试的视觉注视诱发了大脑特定的神经活动,而这些神经活动产生的脑电信号可以为情绪识别提供重要的情境线索.为了量化不同被试之间的域差异,我们引入了基于扫视轨迹和基于脑电信号的核矩阵,并提出了改进的直推式参数迁移学习算法,以实现跨被试脑电情感模型的构建.该方法与传统方法相比,具有两个优点:一是利用了目标被试容易获取的眼动追踪数据进行被试迁移,二是在目标被试只有眼动追踪数据的情况下,仍然能够从其他被试的历史数据中学到脑电信号的情绪类别判别信息.为了验证所提方法的有效性,我们对本文提出的方法与已有的迁移方法在三类情绪识别的脑电和眼动数据集上进行了系统的对比实验研究.实验结果表明,基于眼动轨迹的迁移模型取得了与基于脑电信号的迁移模型相当的识别性能.相对于传统的通用分类器50.46%的平均准确率,基于眼动轨迹的迁移模型的平均准确率达到了69.72%.     

基于深度学习和迁移学习的水果图像分类

图像识别作为深度学习领域内的一项重要应用,水果图像的分类识别在智慧农业以及采摘机器人等方面具有重要应用。针对以往传统图像分类算法存在泛化能力差、准确率不高等问题,提出一种在TensorFlow框架下基于深度学习和迁移学习的水果图像分类算法。该算法采用Inception-V3的部分模型结构对水果图像数据进行特征提取,采用Softmax分类器对图像特征进行分类,并通过迁移学习方式进行训练得到迁移训练模型。测试结果表明,该算法与传统水果分类算法对比,具有较高识别准确率。     

结合深度学习和半监督学习的遥感影像分类进展

本文以结合深度学习的遥感影像特征提取和不充足样本下地物识别与分类作为出发点,对2017—2019年用于遥感图像处理中小样本训练的深度学习方法进行归类总结,介绍如何结合深度学习技术解决遥感影像在样本不充分情况下的有效训练问题,从深度生成模型、迁移学习以及一些高效特征提取网络3个方面进行全面剖析。首先,探讨了以GAN（generative adversarial network）和VAE（variational autoencoder）及其衍生结构在遥感技术中分类、变化检测上的应用;然后,在基于知识复用的辅助训练策略——迁移学习中主要从基于网络的迁移和基于数据结构的迁移两大类应用展开讨论;最后探讨了结合半监督学习和主动学习等思想的深度学习算法以及一些新颖的网络结构的应用。虽然深度学习在遥感技术领域发挥了极大的优势,性能也普遍超过了浅层的学习器,但结合物理模型的分析和高性能的实用性遥感应用仍需进一步发展与研究。     

基于人脸图像和脑电的连续情绪识别方法

基于多模态生理数据的连续情绪识别技术在多个领域有重要用途,但碍于被试数据的缺乏和情绪的主观性,情绪识别模型的训练仍需更多的生理模态数据,且依赖于同源被试数据.本文基于人脸图像和脑电提出了多种连续情绪识别方法.在人脸图像模态,为解决人脸图像数据集少而造成的过拟合问题,本文提出了利用迁移学习技术训练的多任务卷积神经网络模型...     

基于深度学习的命名实体识别综述

命名实体识别是自然语言处理的基础任务之一,目的是从非结构化的文本中识别出所需的实体及类型,其识别的结果可用于实体关系抽取、知识图谱构建等众多实际应用。近些年,随着深度学习在自然语言处理领域的广泛应用,各种基于深度学习的命名实体识别方法均取得了较好的效果,其性能全面超越传统的基于人工特征的方法。该文从三个方面介绍近期基于深度学习的命名实体识别方法: 第一,从输入层、编码层和解码层出发,介绍命名实体识别的一般框架;第二,分析汉语命名实体识别的特点,着重介绍各种融合字词信息的模型;第三,介绍低资源的命名实体识别,主要包括跨语言迁移方法、跨领域迁移方法、跨任务迁移方法和集成自动标注语料的方法等。最后,总结相关工作,并提出未来可能的研究方向。     

对话情绪识别综述

对话情绪识别是情感计算领域的一个热门研究课题,旨在检测对话过程中每个话语的情感类别。其在对话理解和对话生成方面具有重要的研究意义,同时在社交媒体分析、推荐系统、医疗和人机交互等诸多领域具有广泛的实际应用价值。随着深度学习技术的不断创新和发展,对话情绪识别受到学术界和工业界越来越多的关注,现阶段需要综述性的文章对已有研究成果进行总结,以便更好地开展后续工作。从问题定义、问题切入方式、研究方法、主流数据集等多个角度对该领域的研究成果进行全面梳理,回顾和分析了对话情绪识别任务的发展。对话文本中含有丰富的语义信息,结合视频和音频可以进一步提升建模效果,因此,重点对文本对话情绪识别以及多模态对话情绪识别的方法进行了梳理,立足于当前研究现状,总结了现有对话情绪识别领域存在的开放问题以及未来的发展趋势。     

基于连续卷积神经网络的3D脑电图情绪识别

作为人类大脑神经活动的重要指标，脑电（EEG）信号能更深层次地反映人的情绪状况，但当前大多数深度学习模型通过EEG识别情绪不够精确。本文提出基于连续卷积神经网络的3D脑电图情绪识别模型，采用提取DE和PSD特征时得到的等价矩阵所构造的三维脑电图立方体作为输入，舍弃卷积神经网络中的池化层。在DEAP数据集上进行实验，Arousal准确率为95.77%,Valence准确率为93.52%，表明该方法非常适用于情绪识别，能给后续相关研究提供参考。     

深度语音信号与信息处理：研究进展与展望

论文首先对深度学习进行简要的介绍,然后就其在语音信号与信息处理研究领域的主要研究方向,包括语音识别、语音合成、语音增强的研究进展进行了详细的介绍。语音识别方向主要介绍了基于深度神经网络的语音声学建模、大数据下的模型训练和说话人自适应技术;语音合成方向主要介绍了基于深度学习模型的若干语音合成方法;语音增强方向主要介绍了基于深度神经网络的若干典型语音增强方案。论文的最后我们对深度学习在语音信与信息处理领域的未来可能的研究热点进行展望。     

基于深度学习的行人重识别研究综述

随着深度学习的发展,研究人员开始探索将深度学习应用于行人重识别任务并提出了大量方法,随之也迎来了新的挑战。为系统地了解这一领域的研究现状和发展趋势,首先对行人重识别任务以及存在的问题进行简单介绍;其次,根据训练方式的不同,分别探讨监督学习、半监督学习/弱监督学习以及无监督学习上行人重识别任务的研究进展,并根据现有研究热度介绍生成对抗网络和注意力机制在行人重识别上的应用;之后,列举了该领域中常用的经典数据集,并对比了深度模型在这些经典数据集（Market-1501、CUHK03等）上的表现;最后,对行人重识别领域的未来方向进行了展望。     

结合人脸图像和脑电的情绪识别技术

本文通过人脸图像和脑电两个输入信号对情绪识别技术展开研究. 采用对应不同情绪的电影片段对被实验者进行情绪刺激的方法采集输入信号. 通过表情识别出八种基本表情的分类, 通过脑电识别出情绪的三种强弱波动. 通过决策层面的信息融合, 进行情绪分类. 最终的识别准确率达到89.5%, 高于采用单模态进行识别的准确率, 分别为: 表情识别: 81.35%, 脑电识别: 71.53%.     

深度学习在无线电信号调制识别中的应用综述

无线电信号的调制识别在无线电监测及频谱管理中有着至关重要的作用。人工神经网络中的深度学习网络由于具有强大的表征学习能力,可以自动从原始数据中提取出各种复杂的特征,因此,探索基于深度学习的无线电信号调制识别是目前无线电监测领域主要的发展趋势之一。介绍了深度学习在无线电信号调制识别中的一些应用成果及存在的问题。结合工作的实际需求,对深度学习在无线电信号调制识别中提出了一些展望,如进一步提高识别范围和在低信噪比下的识别率;寻求新型深度学习调制识别混合架构。     

深度学习的典型目标检测算法研究综述

目标检测是计算机视觉的一个重要研究方向,其目的是精确识别给定图像中特定目标物体的类别和位置。近年来,深度卷积神经网络（Deep Convolutional Neural Networks,DCNN）所具有的特征学习和迁移学习能力,在目标检测算法特征提取、图像表达、分类与识别等方面取得了显著进展。介绍了基于深度学习目标检测算法的研究进展、常用数据集特点以及性能指标评价的关键参数,对比分析了双阶段、单阶段以及其他改进算法的网络结构和实现方式。阐述了算法在人脸、显著目标、行人、遥感图像、医学图像、粮虫等检测领域的应用进展,结合当前存在的问题和挑战,展望分析了其未来的研究方向。     

基于卷积联合适应网络的脑电信号情感识别

提出一种基于深度卷积联合适应网络（Convolutional neural network-joint adaptation network,CNN-JAN）的脑电信号（Electroencephalogram, EEG）情感识别模型。该模型将迁移学习中联合适应的思想融合到深度卷积网络中,首先采用长方形卷积核提取数据的空间特征,捕捉脑电数据通道间的深层情感相关信息,再将提取的空间特征输入含有联合分布的多核最大均值差异算法（Multi-kernel joint maximum mean discrepancy,MK-JMMD）的适配层进行迁移学习,使用MK-JMMD度量算法解决源域和目标域分布不同的问题。所提方法在SEED数据集上使用微分熵特征和微分尾端性特征分别进行情感分类实验,其中使用微分熵特征被试内跨试验准确率达到84.01%,与对比实验和目前流行的迁移学习方法相比,准确率进一步提高,跨被试实验精度也取得较好的性能,验证了该模型用于EEG信号情感识别任务的有效性。     

融合语音、脑电和人脸表情的多模态情绪识别

本文提出了一种多模态情绪识别方法, 该方法融合语音、脑电及人脸的情绪识别结果来从多个角度综合判断人的情绪, 有效地解决了过去研究中准确率低、模型鲁棒性差的问题. 对于语音信号, 本文设计了一个轻量级全卷积神经网络, 该网络能够很好地学习语音情绪特征且在轻量级方面拥有绝对的优势. 对于脑电信号, 本文提出了一个树状LSTM模型, 可以全面学习每个阶段的情绪特征. 对于人脸信号, 本文使用GhostNet进行特征学习, 并改进了GhostNet的结构使其性能大幅提升. 此外, 我们设计了一个最优权重分布算法来搜寻各模态识别结果的可信度来进行决策级融合, 从而得到更全面、更准确的结果. 上述方法在EMO-DB与CK+数据集上分别达到了94.36%与98.27%的准确率, 且提出的融合方法在MAHNOB-HCI数据库的唤醒效价两个维度上分别得到了90.25%与89.33%的准确率. 我们的实验结果表明, 与使用单一模态以及传统的融合方式进行情绪识别相比, 本文提出的多模态情绪识别方法有效地提高了识别准确率.     

深度学习及其在目标和行为识别中的新进展

深度学习是机器学习中的一个新的研究领域。通过深度学习的方法构建深度网络来抽取特征是目前目标和行为识别中得到关注的研究方向。为引起更多计算机视觉领域研究者对深度学习进行探索和讨论,并推动目标和行为识别的研究,本文对深度学习及其在目标和行为识别中的新进展给予了概述。本文先介绍深度学习领域研究的基本状况、主要概念和原理;然后介绍近期利用深度学习在目标和行为识别应用中的一些新进展;最后阐述了深度学习与神经网络之间的关系,深度学习的优缺点,以及目前深度学习理论需要解决的主要问题。这对拟将深度学习应用于目标和行为识别的研究人员应有所帮助。