不同注意线索对积极情绪共情的影响

共情是知觉和理解他人情绪并合理反应的能力。通过行为实验要求被试对不同情绪、不同性别的面孔作相应的判断,考查不同注意线索对积极情绪共情的影响。实验发现,在情绪判断任务中,被试对于正性图片和中性图片的反应时存在显著差异,正性图片的反应时显著快于中性图片;而在性别判断任务中两类图片的反应时不存在显著差异。实验证实了不同注意线索对积极情绪的共情能够产生影响：当被试将注意集中情绪判断线索时,被试的积极情绪共情明显;当被试将注意集中在性别判断线索时,被试的积极情绪共情减弱。     

基于fMRI的图像底层特征关注研究

利用fMRI技术对人脑认知机制进行研究,分析人脑在进行图像认知时所关注的图像特征。首先通过1个功能磁共振成像实验为每个被试定位了脑内的形状、纹理和颜色的感知区域,将这些区域作为研究中的感兴趣区域。然后通过另1个功能磁共振成像实验计算了被试在观看人脸、公共汽车、恐龙及山脉冰川图像刺激时感兴趣区域内的平均信号变化的比例。通过进行数据分析,确定了被试在观看不同类别的图像时,对图像底层特征的关注是不相同的。     

基于高斯核函数支持向量机的脑电信号时频特征情感多类识别

为了找到一种综合分析方法,提高对脑电信号情感多分类识别的分类精确度,将DEAP数据库中的脑电数据采用经验模态分解的方法分解为多个本征模函数,并对本征模函数按不同的时长窗口进行分片,提取其功率谱密度作为脑电信号特征.将被试对音乐视频的情感评价指数用于生成情感分类标签,按"唤醒度"和"效价"2个维度将评价指数映射到二维情感模型中,分成4类.采用"一对一"的高斯核函数支持向量机对脑电特征进行多分类分析.实验结果表明:高斯核函数支持向量机的最高分类准确度达到90.9%(22号被试),平均分类准确度达到68.3%.高斯核函数支持向量机能有效地从脑电信号中识别出不同的情感状态;同时,对于相同刺激,不同的被试产生的情感状态不同;并且,在清醒状态下,脑电信号的高频子波对情感分类有更高的分类精确度.     

rtfMRI神经反馈情绪调节的静息态脑网络连接差异研究

海马在情绪调节过程中发挥关键作用，针对海马的实时功能磁共振成像(real-time functional Magnetic Resonance Imaging, rtfMRI)神经反馈训练能够有效增强健康人的情绪、记忆功能。脑网络是空间位置不同的脑区通过功能联系整合形成的网络模式，情绪调节涉及多个脑网络之间信息的协同交互，脑网络间连接特性的变化能够反映大脑情绪功能的改变。针对海马体的神经反馈情绪调节训练，从静息态脑网络的动态特性出发，提取被试与情绪调节相关的默认模式网络(Default Mode Network, DMN)、执行控制网络(Executive Control Network, ECN)和突显网络(Salience Network, SN)等高级认知网络，并分析这些高级认知网络的功能连接特征在神经反馈训练前后的差异。结果表明通过神经反馈训练，健康被试前突显网络与背侧默认模式网络、左侧执行控制网络之间的功能连接显著增强，而左侧执行控制网络与楔前叶网络之间的功能连接显著下降。结果验证了针对海马体的rtfMRI神经反馈情绪调节训练的有效性，并且情绪调节相关的脑网络间功能连接的变化...     

虚幻面孔加工有效连通网络的非线性DCM分析

采用让被试从纯噪声图片中产生虚幻面孔的实验范式来实现面孔top-down加工激活模式的提纯,并使用神经理论基础更为完善的非线性动态因果模型(DCM)来分析top-down方式下虚幻面孔加工有效连通脑网络.所得到的最优脑网络模型表明,枕部面孔区(OFA)在虚幻面孔加工中是关键的面孔信息生成器,它能够被顶下小叶(IPL)施加在其上的top-down注意力所调节,实现在纯噪声图片中检测出类似于面孔的特征信息,然后提供给梭状回面孔区(FFA)作进一步的面孔整体信息加工.     

害羞脑电的AR模型谱分析

采用电生理测量方法,对400名在校大学生用13条目害羞量表进行心理测验,筛选出害羞被试和不害羞被试共28人,分别记录每个被试的睁闭眼自发脑电(EEG)数据。对两组被试的EEG数据进行AR模型谱估计,结果显示害羞被试在颞叶电极(T8)上的β2波段(20~30 Hz)能量均值显著低于不害羞被试,表明害羞被试在颞叶的活动水平显著低于不害羞被试。基于中枢神经系统的情绪通路,探讨了害羞的生理机制,说明害羞有相应的生理基础,可通过脑电分析来研究其神经机理。     

平面和立体图像的ERP特性研究

基于ERP技术,比较了一系列的平面和立体图片刺激的脑电信号。通过分析比较平面和立体图片的脑电信号,发现立体图像诱发的P300成分波幅比平面图像的P300成分波幅大。在非注意条件下,与平面相比,立体图像诱发的N140成分潜伏期较长。注意刺激图片诱发总能量均比非注意刺激图片产生的能量大。     

读音和语义处理中双语被试脑功能的差异研究

利用功能性磁共振成像(fMRI)技术探讨双语被试语义和读音处理时脑活动的差异.实验使用汉语和日语中语义和读音处理相关实验刺激任务,通过两组被试各自判断任务中不同的脑激活情况探讨中日双语和日本人被试在语义和读音处理时脑活动的差异.结果表明对于中日双语被试,中文语义判断任务和中文读音判断任务相减,没有得到差异性脑区,而日文语义判断任务和日文读音判断任务相减得到了二者差异性脑区,主要表现在:右侧额叶前回(BA8/9),左侧纺锤状回(BA37)以及右侧颞叶(BA22/38);对于日本人被试,日文语义判断任务和日文读音判断任务相减得到二者差异性脑区,主要表现在:左侧颞上回(BA40)和左侧颞叶(BA22).     

基于Bi-LSTM的脑电情绪识别

为解决脑电(electroencephalogram, EEG)情绪识别这一项具有挑战性的任务,提出一种基于双向长短时记忆网络(bidirectional long short-term memory, Bi-LSTM)的脑电情绪分类模型并探索大脑情绪机制,唤醒度准确率最高为76.78%,效价度准确率最高为77.28%,与其他模型比较,Bi-LSTM模型在脑电情绪识别上有出色的表现。通过Bi-LSTM模型对比不同频段、脑区和特征疏密度的准确率来探索大脑情绪机制,表明大脑中情绪相关性最高的频段、脑区和特征疏密度分别为α和β、顶叶区与额叶区、50和15。     

第二外语读音处理时脑活动差异的功能性磁共振成像研究

实验针对双语被试在进行中文和日语读音判断任务时脑活动差异的问题展开研究,发现了二者差异性脑区。利用中-日双语被试,使用中文读音判断和日文读音判断两种实验任务,实施了功能性磁共振研究。通过功能性磁共振成像（fMRI）技术,比较被试在判断日文读音和中文读音任务中不同的脑激活情况,进而得到第二外语读音处理的差异性脑区。结果表明中-日双语被试在进行日语读音处理和中文读音处理时脑活动之间存在差异,主要集中在以下脑区：右侧额叶下回（BA44/45）,右侧颞叶（BA7/40）,左侧纺锤状回（BA37）。     

PAD情感空间内人工情感建模及人机交互实验

针对未来仿人机器人与人类长期共存将会带来的机器人对人的心理影响以及个性化匹配问题,在PAD(Pleasure、Arousal、Dominance)三维情感空间内,建立一种更具普遍性的人工情感计算模型.人工情感模型总体框架分为外部事件检测及处理、情绪响应向量生成及修正和情绪离散化三部分.提出一种有效的外界刺激三维标注方法;建立可对外界刺激进行自主情绪响应的情感计算模型,并将性格和心情模型引入其中,实现个性化的情绪响应;提出一种情绪响应向量离散化方法,并在具体情绪种类的基础上建立情绪强度计算式;根据情感模型所产生的情绪种类及强度,建立机器人的表情合成及语音回答模型,在HF robot-III型仿人头像机器人平台上进行人-机器人情感交互实验.语音对话和表情状态迁移实验结果表明:所建立的人工情感模型可针对外界刺激自主地产生个性化情绪响应,有效模拟人类情绪的变化过程.     

情绪状态对大学生短时记忆容量影响的实验研究

以42名大学生为被试,用不同的视频材料唤起被试的三种情绪状态,探讨情绪状态和识记材料对大学生短时记忆容量的影响。研究结果表明：不同情绪状态下大学生在呼吸深度以及皮肤电的生理指标上存在显著差异;情绪状态的主效应显著,识记材料的主效应显著,情绪状态和识记材料之间的交互作用显著;大学生字母短时记忆容量受情绪因素的影响显著。不...     

情绪状态对大学生短时记忆容量影响的实验研究

以42名大学生为被试,用不同的视频材料唤起被试的三种情绪状态,探讨情绪状态和识记材料对大学生短时记忆容量的影响。研究结果表明：不同情绪状态下大学生在呼吸深度以及皮肤电的生理指标上存在显著差异;情绪状态的主效应显著,识记材料的主效应显著,情绪状态和识记材料之间的交互作用显著;大学生字母短时记忆容量受情绪因素的影响显著。不同情绪状态下大学生数字短时记忆容量显著高于字母短时记忆容量。     

涉及情感与语义的多特征图像检索

借助用户情感模型、因子分析、情感计算等方法,收集和分析用户评价图像的情感数据,建立情感空间.对图像数据库的图片,采用图像的多种底层特征提取的方法来增强对图像感性特征的过滤和约束.基于SVM的情感注释建立图像的低层特征空间到用户的高层情感空间的联系,记忆用户的情感,自动注释用户未曾评价过的图像,实现了与图像的情感语义相关的多特征检索系统.实验表明,涉及情感的多特征图像检索结果,其图像的内容特征与用户情感检索意图在很大程度上是匹配的,避免了单一特征不顾及用户情感的图像检索无法过滤不期望的结果出现的缺点.     

情感维度下的深度情感关联模型

鉴于现有的情感模型只是从空间上对情感状态进行划分,忽略了情感之间的相互作用问题,建立了一种将多层限制玻尔兹曼机和情感关联认知网络相结合的深度情感关联模型。该模型将多层限制玻尔兹曼机训练得到的权值作为关联认知网络输入输出之间的权值,以三维情感模型中情感空间距离的倒数作为情感类别之间的关联度,通过训练关联认知网络得到最终的情感分类结果。选用TYUT1.0和CASIA情感语音库中的“高兴”“生气”和“中性”三种基本情感作为数据来源,分别采用深度信念网络和深度情感关联模型进行实验对比。实验结果显示,所构建的深度情感关联模型比深度信念网络的平均识别率最高高出6.06%,该模型得到了较好的识别结果。结果表明, 深度情感关联模型在语音情感识别上有较强的优越性和普适性,可以很好地反映情感之间的相互作用。     

融合语音信号和脑电信号的多模态情感识别

为构造有效的情感识别系统,通过声音刺激分别诱发出高兴、悲伤、生气以及中性4种情感,并采集相应的语音信号和脑电信号。首先,利用相空间重构技术提取脑电信号和语音信号的非线性几何特征和非线性属性特征,并结合两者的基本特征分别实现情感识别;然后,通过构建基于限制玻尔兹曼机的特征融合算法,从特征层融合的角度实现多模态情感识别;最后,利用二次决策算法从决策融合的角度构建多模态情感识别系统。实验结果显示,从特征融合的角度构建的多模态情感识别系统相比语音信号和脑电信号情感整体识别率,分别提高1.08%和2.75%;从决策融合的角度构建的多模态情感识别系统相比语音信号和脑电信号情感整体识别率,分别提高6.52%和8.19%;决策融合相比特征融合构建的多模态情感识别系统整体识别效果更优。因此,融合语音信号和脑电信号等不同来源的情感数据可以构造出更有效的情感识别系统。     

嵌入注意力机制并结合层级上下文的语音情感识别

由于情感语料问题、情感与声学特征之间关联问题、语音情感识别建模问题等因素,语音情感识别一直充满挑战性.针对传统基于上下文的语音情感识别系统仅局限于特征层造成标签层上下文细节丢失以及两层级差异性被忽略的缺陷,本文提出嵌入注意力机制并结合层级上下文学习的双向长短时记忆(BLSTM)网络模型.模型分3个阶段完成语音情感识别任务,第1阶段提取情感语音特征全集后采用SVM-RFE特征排序算法降维得到最优特征子集,并对其进行注意力加权;第2阶段将加权后的特征子集输入BLSTM网络学习特征层上下文获得最初情感预测结果;第3阶段利用情感标签值对另一独立BLSTM网络训练学习标签层上下文信息并据此在第2阶段输出结果基础上完成最终预测.模型嵌入注意力机制使其自动学习调整对输入特征子集的关注度,引入标签层上下文使其联合特征层上下文实现层级上下文信息融合提高鲁棒性,提升了模型对情感语音的建模能力,在SEMAINE和RECOLA数据集上实验结果表明:与基线模型相比RMSE和CCC均得到较好改善.     

从低层次到高层次表示的情感模型研究

情感模型的建立可以使计算机具备基本的情感识别和表达能力,在和谐人机交互方面有着广泛的应用。文中借助于Picard教授关于情感计算的理论,将线性系统理论和数字信号处理方法应用到情感信号与系统建模上,用信号很好地表示了人类的内在情感和情绪,并通过MATLAB仿真实验分析证明了模型的正确性。最后结合情感的高层次认知推理机制,将情感模型应用到情感虚拟人当中,形象地实现了情感对人脸表情变化的控制。     

PAD三维情感空间中的语音情感识别

离散情感描述模型将人类情感标注为离散的形容词标签,该类模型只能表示有限种类的、单一明确的情感类型,而维度情感模型从情感的多个维度量化了复杂情感的隐含状态.另外,常用的语音情感特征梅尔频率倒谱系数(MFCC)存在因分帧处理引起相邻帧谱特征之间相关性被忽略问题,容易丢失很多有用信息.为此本文提出改进方法,从语谱图中提取时间点火序列特征、点火位置信息特征对MFCC进行补充,将这三种特征分别用于语音情感识别,根据识别结果从PAD维度情感模型的三个维度(Pleasure-displeasure愉悦度、Arousal-nonarousal激活度、Dominance-submissiveness优势度)进行相关性分析得到特征的权重系数,加权融合后获得情感语音的最终PAD值,将其映射至PAD三维情感空间中.实验表明,增加的时间点火序列、点火位置信息不但能探测说话人的情感状态,同时考虑了相邻频谱间的互相关信息,与MFCC特征形成互补,在提升基本情感类型离散识别效果的基础上,将识别结果表示为PAD三维情感空间中的坐标点,采用量化的方法揭示情感空间中各种情感的定位与联系,展示出情感语音中糅杂的情感内容,为后续复杂的语音情感分类识别奠定研究基础.