基于深度学习的会话情感识别研究

在自然语言处理领域中,机器理解人类的情感是一项重要且艰巨的研究,其中会话情感识别任务是重点对象。依托近年来深度学习的发展,文章针对会话情感识别的研究进展和成果,分类阐述其主要特点、难点和主流模型,并对会话情感识别在未来的研究趋向进行总结和展望。     

基于智慧学习环境下的学习画面情感识别模型

在智慧学习环境下,学习者在学习过程中的情感交互是教育领域的一个重要研究内容,主要通过智能学习终端进行情感识别.学习情感主要包括专注、高兴、常态的积极情绪,走神、悲伤、愤怒的消极情绪,对学习者的学习过程具有影响和调节的作用.因此,本文提出了一种基于智慧学习环境下,构建学习画面情感识别模型.本模型根据学习者在学习中的情绪反...     

基于集成深度学习方法的跨被试EEG特征情感识别

该研究使用脑电（EEG）信号经过处理得到的数据集DEAP和HCI,利用微分熵作为特征提取的工具,基于传统机器学习算法,集成学习中的梯度提升树、Xgboost、Adaboost、随机森林算法,以及深度神经网络、卷积神经网络与GoogLeNet实现跨被试的EEG特征情感识别任务,并比较各方法应用于EEG情感分析时的结果差异。比较平均准确率,结果表明深度学习方法取得了不错的成绩,三个深度模型对两个数据集的valence平均准确率达到0.5956和0.6307之间,arousal达到0.6062和0.6774之间,显著优于机器学习算法与集成学习模型取得的结果。     

基于深度学习的高中学生课堂坐姿识别研究

随着人工智能技术在教育领域的不断交叉融合,校园信息化和网络化逐渐由数字化转向智能化。通过机器自动识别学生的课堂行为活动可帮助教师高效精准地获取学生课堂状态,并进行科学分析。近年来,高中生由长期不良坐姿导致的脊柱侧弯和近视比例不断攀升,对青少年的身体健康产生巨大的威胁。本文通过深度学习技术对深圳某高中采集的225名学生的9种正确及不良坐姿的图片数据进行处理和模型训练,分别使用Densenet和Xception网络获得7种坐姿80%以上的准确率,并将其用于学生课堂状态识别,有效助力学生课堂坐姿的提醒。     

基于深度卷积神经网络的脑电信号情感识别

为了点对点自动学习脑电信号（Electroencephalogram,EEG）空间与时间维度上的情感相关特征,提高脑电信号情感识别的准确率,基于DEAP数据集中EEG信号的时域、频域特征及其组合特征,提出一种基于卷积神经网络（Convolution Neural Network,CNN）模型的EEG情感特征学习与分类算法。采用包括集成决策树、支持向量机、线性判别分析和贝叶斯线性判别分析算法在内的浅层机器学习模型与CNN深度学习模型对DEAP数据集进行效价和唤醒度两个维度上的情感分类实验。实验结果表明,在效价和唤醒度两个维度上,深度CNN模型在时域和频域组合特征上均取得了目前最好的两类识别性能,在效价维度上比最佳的传统分类器集成决策树模型提高了3.58%,在唤醒度上比集成决策树模型的最好性能提高了3.29%。     

EEG情感识别中基于集成深度学习模型的多分析域特征融合

提出一种基于集成深度学习模型的情感状态检测方法.首先从脑电信号的时域、频域和时频域中提取4种表征情绪状态显著信息的初始特征;然后使用胶质细胞链改进的深度信念网络分别提取这些特征的高层抽象表示;最后利用判别式受限玻尔兹曼机对高层抽象特征进行融合,进行情感状态预测.在DEAP数据集上进行的实验显示,胶质链能够挖掘和利用EEG不同通道之间的相关性信息,而集成深度学习模型能够有效集成EEG信号在时域、频域和时频域蕴含的情感状态相关的显著性信息.     

结合深度度量学习的血缘关系识别

目的 人脸图像分析是计算机视觉和模式识别领域的重要研究方向之一,基于人脸图像的血缘关系识别是对给定的一对或一组人脸图像,判断其是否存在某种血缘关系。人脸血缘关系识别不仅在生物特征识别领域有着重要研究价值,而且在社交媒体挖掘、失散家庭成员寻找等社会生活领域中有重要的应用价值。针对当前大多数算法都是基于传统机器学习方法,提出一种采用深度度量学习进行人脸图像血缘关系研究的新方法。方法 目前深度学习算法能很好地理解单张人脸图像,但是多个主体间的关系探究仍然是计算机视觉领域富有挑战性的问题之一。为此,提出一种基于深度度量学习的父母与子女的血缘关系识别方法。首先使用超过5 000 000张人脸图像的样本集训练一个深度卷积神经网络FaceCNN并提取父母与子女的人脸图像深度特征,之后引入判别性度量学习方法,使得具有血缘关系的特征尽可能地靠近,反之则尽可能地远离。然后对特征进行分层非线性变换使其具有更强判别特性。最后根据余弦相似度分别计算父亲、母亲和孩子的相似度并利用相似概率值得到双亲和孩子的综合相似度得分。结果 算法在TSKinFace数据集上验证了FaceCNN提取特征与深度度量学习结合进行血缘关系识别的有效性,最终在该数据集上父母与儿子和女儿的血缘关系识别准确率分别达到87.71%和89.18%,同时算法在进行血缘度量学习和双亲相似度计算仅需要3.616 s。结论 提出的血缘关系识别方法,充分利用深度学习网络良好的表征和学习能力,不仅耗时少,而且有效地提高了识别准确率。     

基于多任务学习的轻量级语音情感识别模型

现有的语音情感识别（SER）模型存在训练参数量大、模型泛化性能差、情感识别准确率低等问题,利用有限的语音情感数据建立一个轻量级的模型以提高识别效率和准确率尤为重要。提出一种轻量级端到端多任务学习的P-CNN+Gender深度模型,该模型由语音特征组合网络、负责情感特征和性别特征提取的主体卷积网络以及情感和性别分类器组成。以语音的梅尔频率倒谱系数（MFCC）特征作为输入,特征组合网络使用多个大小不同的卷积核从MFCC特征中平行提取特征再进行组合,供后续的主体卷积网络进行情感特征和性别特征的提取。考虑到情感表达和性别的相关性,将性别分类作为辅助任务融合到情感分类中以提高模型的情感分类性能。实验结果表明,该模型在IEMOCAP、Emo-DB和CASIA语音情感数据集上的类别分类准确率分别达到73.3%、96.4%和93.9%,较P-CNN模型分别提高3.0、5.8和6.5个百分点,与3D-ACRNN、CNNBiRNN等模型相比,其训练参数量仅为其他模型的1/10～1/2,且处理速度更快、准确率更高。     

脑电情绪识别的深度学习研究综述

情绪是情感的外在体现,影响人类的认知、感知、理性决策等日常活动.情绪识别作为实现计算机全面智能的一项基础任务,在情感计算和人机交互领域被深入研究和广泛应用.相比面部表情、语音或其他生理信号,利用脑电进行情绪识别具有时间分辨率高、成本低、识别效果好、可靠性高的优势.近年来,越来越多的深度学习框架被应用于基于脑电信号的情绪识别,并取得了比传统机器学习方法更加优异的效果.基于深度脑电特征的情绪识别是当前的研究热点之一,也具有一定的挑战性.目前,可供参考的针对此研究热点的综述文献较少.对近年来国内外相关文献进行调研分析,从模型输入、深度框架、实验设置、实验结果等方面对深度学习在基于脑电的情绪识别中的应用研究做了总结概况,并在DEAP和SEED这两个公开的脑电-情绪数据集上对具有代表性的方法进行了定性和定量的多方面对比,分析和总结这些方法的不足,同时也对未来可能的研究方向进行了展望.     

跨库语音情感识别研究进展

语音情感识别在人机交互过程中发挥极为重要的作用,近年来备受关注.目前,大多数的语音情感识别方法主要在单一情感数据库上进行训练和测试.然而,在实际应用中训练集和测试集可能来自不同的情感数据库.由于这种不同情感数据库的分布存在巨大差异性,导致大多数的语音情感识别方法取得的跨库识别性能不尽人意.为此,近年来不少研究者开始聚焦跨库语音情感识别方法的研究.本文系统性综述了近年来跨库语音情感识别方法的研究现状与进展,尤其对新发展起来的深度学习技术在跨库语音情感识别中的应用进行了重点分析与归纳.首先,介绍了语音情感识别中常用的情感数据库,然后结合深度学习技术,从监督、无监督和半监督学习角度出发,总结和比较了现有基于手工特征和深度特征的跨库语音情感识别方法的研究进展情况,最后对当前跨库语音情感识别领域存在的挑战和机遇进行了讨论与展望.     

基于深度残差收缩网络多特征融合语音情感识别

针对语音情感识别任务中说话者的差异性,计算谱特征的一阶差分、二阶差分组成三通道的特征集输入二维网络。结合卷积神经网络、双向长短时记忆网络以及注意力机制建立基线模型,引入深度残差收缩网络分配二维网络中的通道权重,进一步提高语音情感识别的精度。为提升模型的学习效果,采取特征层融合（特征向量并行和特征向量拼接两种方式）和决策层融合（平均得分和最大得分两种方式）等不同信息融合机制。结果表明：（1）特征层融合中的特征向量并行策略是更有效的方式;（2）本文提出模型在CASIA和EMO-DB数据库下分别取得了84.93%和86.83%的未加权平均召回率（Unweighted average recall, UAR）,相较于基线模型,引入深度残差收缩网络后的模型在CASIA和EMO-DB数据库上的未加权召回率分别提高5.3%和6.2%。     

基于语音和视频图像的多模态情感识别研究

情感识别依靠分析生理信号、行为特征等分析情感类别,是人工智能重要研究领域之一。为提高情感识别的准确性和实时性,提出基于语音与视频图像的多模态情感识别方法。视频图像模态基于局部二值直方图法（LBPH）+稀疏自动编码器（SAE）+改进卷积神经网络（CNN）实现;语音模态基于改进深度受限波尔兹曼机（DBM）和改进长短时间记忆网络（LSTM）实现;使用SAE获得更多图像的细节特征,用DBM获得声音特征的深层表达;使用反向传播算法（BP）优化DBM和LSTM的非线性映射能力,使用全局均值池化（GAP）提升CNN和LSTM的响应速度并防止过拟合。单模态识别后,两个模态的识别结果基于权值准则在决策层融合,给出所属情感分类及概率。实验结果表明,融合识别策略提升了识别准确率,在中文自然视听情感数据库（cheavd）2.0的测试集达到74.9%的识别率,且可以对使用者的情感进行实时分析。     

对话情绪识别综述

对话情绪识别是情感计算领域的一个热门研究课题,旨在检测对话过程中每个话语的情感类别。其在对话理解和对话生成方面具有重要的研究意义,同时在社交媒体分析、推荐系统、医疗和人机交互等诸多领域具有广泛的实际应用价值。随着深度学习技术的不断创新和发展,对话情绪识别受到学术界和工业界越来越多的关注,现阶段需要综述性的文章对已有研究成果进行总结,以便更好地开展后续工作。从问题定义、问题切入方式、研究方法、主流数据集等多个角度对该领域的研究成果进行全面梳理,回顾和分析了对话情绪识别任务的发展。对话文本中含有丰富的语义信息,结合视频和音频可以进一步提升建模效果,因此,重点对文本对话情绪识别以及多模态对话情绪识别的方法进行了梳理,立足于当前研究现状,总结了现有对话情绪识别领域存在的开放问题以及未来的发展趋势。     

基于深度学习框架的多模态动作识别

提出一种基于深度神经网络的多模态动作识别方法,根据不同模态信息的特性分别采用不同的深度神经网络,适应不同模态的视频信息,并将多种深度网络相结合,挖掘行为识别的多模态特征。主要考虑人体行为静态和动态2种模态信息,结合微软Kinect的多传感器摄像机获得传统视频信息的同时也能获取对应的深度骨骼点信息。对于静态信息采用卷积神经网络模型,对于动态信息采用递归循环神经网络模型。最后将2种模型提取的特征相融合进行动作识别和分类。在MSR 3D的行为数据库上实验结果表明,本文的方法对动作识别具有良好的分类效果。     

基于深度域适应CNN决策树的跨语料库情感识别

在跨语料库语音情感识别中,由于目标域和源域样本不匹配,导致情感识别性能很差。为了提高跨语料库语音情感识别性能,本文提出一种基于深度域适应和卷积神经网络（Convolutional neural network, CNN）决策树模型的跨语料库语音情感识别方法。首先构建基于联合约束深度域适应的局部特征迁移学习网络,通过最小化目标域和源域在特征空间和希尔伯特空间的联合差异,挖掘两个语料库之间的相关性,学习从目标域到源域的可迁移不变特征。然后,为了降低跨语料库背景下多种情感间的易混淆情感的分类误差,依据情感混淆度构建CNN决策树多级分类模型,对多种情感先粗分类再细分类。使用CASIA,EMO-DB和RAVDESS三个语料库进行验证。实验结果表明,本文的跨语料库语音情感识别方法比CNN基线方法平均识别率高19.32%~31.08%,系统性能得到很大提升。     

基于ConvLSTM网络的维度情感识别模型研究

学业情绪能够影响和调节学习者的注意、记忆、思维等认知活动,情绪自动识别是智慧学习环境中情感交互和教学决策的基础。目前情绪识别研究主要集中在离散情绪的识别,其在时间轴上是非连续的,无法精准刻画学生学业情绪演变过程,为解决这个问题,基于众包方法建立真实在线学习情境中的中学生学习维度情感数据集,设计基于连续维度情感预测的深度学习分析模型。实验中根据学生学习风格确定触发学生学业情绪的学习材料,并招募32位实验人员进行自主在线学习,实时采集被试面部图像,获取157个学生学业情绪视频;对每个视频进行情感Arousal和Valence二维化,建立包含2 178张学生面部表情的维度数据库;建立基于ConvLSTM网络的维度情感模型,并在面向中学生的维度情感数据库上进行实验,得到一致性相关系数（Concordance Correlation Coefficient,CCC）均值为0.581,同时在Aff-Wild公开数据集上进行实验,得到的一致相关系数均值为0.222。实验表明,提出的基于维度情感模型在Aff-Wild公开数据集维度情绪识别中CCC相关度系数指标提升了7.6%~43.0%。     

基于深度学习的人脸属性识别方法综述

人脸属性识别是计算机视觉和模式识别领域的热门研究课题之一,对人脸图像的分析和理解具有重要的研究意义,同时在图像检索、人脸识别、微表情识别和推荐系统等诸多领域具有广泛的实际应用价值.随着深度学习的快速发展,目前国内外学者已提出许多基于深度学习的人脸属性识别(deep learning based facial attribute recognition, DFAR)方法.首先,阐述人脸属性识别方法的总体流程.接着,按照不同的模型构建方式,分别对基于部分的与基于整体的DFAR方法进行详细地概述与讨论.具体地,对基于部分的DFAR方法按是否采用规则区域定位进行分类,而对基于整体的DFAR方法则分别从基于单任务学习、基于多任务学习的角度进行区分,并对基于多任务学习的DFAR方法根据是否采用属性分组来进一步细分.然后介绍了常用的人脸属性识别数据集与评价指标,并对比与分析了新近提出的DFAR方法的性能.最后对DFAR方法的未来研究趋势进行展望.