基于情感识别的智能教学系统研究

针对传统的智能教学系统(ITS)在情感方面的缺失,提出了基于情感识别技术的ITS模型.该系统模型在传统的教学系统上新增情感识别模块,利用人脸表情识别以及文本识别等技术所构建,可以获取和识别学生的学习情感,并根据学习情感进行相应的情感激励策略,实现情感化的教学.     

基于情感建模的教学辅助系统的研究*

设计了一个以情感交互为核心的人性化的教学辅助系统.该系统综合了情感计算、计算机图形图像技术和移动Agent技术.系统以心理学和人工心理理论为基础构建了情感认知模型,定义了情绪空间、基本情绪和基本学习心理状态,并建立了基本情绪和基本学习心理状态与情绪空间的映射关系.通过情感认知模型对识别表情的处理,得到学生的学习心理状态及状态评价值.采用基于图像处理的人脸检测、表情识别和姿态识别方法编程实现了教学辅助系统.     

基于对比学习的细粒度遮挡人脸表情识别

和实验室环境不同,现实生活中的人脸表情图像场景复杂,其中最常见的局部遮挡问题会造成面部外观的显著改变,使得模型提取到的全局特征包含与情感无关的冗余信息从而降低了判别力.针对此问题,本文提出了一种结合对比学习和通道-空间注意力机制的人脸表情识别方法,学习各局部显著情感特征并关注局部特征与全局特征之间的关系.首先引入对比学习,通过特定的数据增强方法设计新的正负样本选取策略,对大量易获得的无标签情感数据进行预训练,学习具有感知遮挡能力的表征,再将此表征迁移到下游人脸表情识别任务以提高识别性能.在下游任务中,将每张人脸图像的表情分析问题转化为多个局部区域的情感检测问题,使用通道-空间注意力机制学习人脸不同局部区域的细粒度注意力图,并对加权特征进行融合,削弱遮挡内容带来的噪声影响,最后提出约束损失联合训练,优化最终用于分类的融合特征.实验结果表明,无论是在公开的非遮挡人脸表情数据集(RAFDB和FER2013)还是人工合成的遮挡人脸表情数据集上,所提方法都取得了与现有先进方法可媲美的结果.     

情感机器人的情感模型研究

本文建立了仿人类情感的情感模型,在情感模型中建立了三维情感空间,采用马尔可夫过程来描述情感状态的变化转移过程,并提出了性格矩阵,对比分析了不同性格人对相同刺激的反应.应用D-S证据理论融合来自视觉、声音及其他方面的情感信息,分析两种因素同时作用时引起情感状态的转移规律.最后将情感模型应用于情感机器人系统,使机器人可以根据外界刺激产生情感,并做出相应的表情.实验结果证明了情感模型的有效性.     

基于面部表情识别的学习疲劳识别和干预方法

针对网络学习者经常出现的身体或心理上的疲劳或疲惫情绪状态即"学习疲劳"状态,提出了一种基于面部表情识别的学习疲劳识别和干预方法.考虑到网络学习的特点,定义了专注、疲劳和中性3种与学习相关的表情,利用一种基于肤色分割和模版匹配相结合的人脸检测算法检测出网络学习者的人脸区域,然后根据建立的人脸表情面部模型对学习者的面部特征进行提取,主要包括眼睛特征和嘴巴特征,最后采用基于规则的表情分类方法,识别出学习者是否处于学习疲劳状态,并采取相应的情感干预措施.实验结果表明,该方法能够快速识别网络学习者是否处于学习疲劳状态,实现实时学习疲劳干预.     

基于表情符注意力机制的微博情感分析模型

为了对中文微博进行有效的情感极性识别,基于表情符能改变或加强微博文本的情感极性这一认知事实,提出基于表情符注意力机制的微博情感分析神经网络模型。该模型在使用双向循环神经网络模型(BiLSTM)学习文本的特征表示时,利用表情符注意力机制,得到文本结合表情符后新的特征表示,从而实现微博情感识别。实验结果显示,与输入纯文本和表情符的Bi-LSTM模型相比,基于表情符注意力机制的模型准确率提高了4. 06%;与仅输入纯文本的Bi-LSTM模型相比,基于表情符注意力机制的模型准确率提高了6. 35%。     

基于深度学习的在线健康社区抑郁症用户画像研究

人工智能与深度学习技术为精准识别在线健康社区抑郁症患者奠定了基础.首先构建了基于TCNN-GRU深度学习的抑郁情感分类模型,进行在线健康社区实验数据集进行抑郁情感分类标注后,通过TCNN-GRU模型判别用户的抑郁症倾向;在此基础上,进一步提出抑郁指数的概念,通过对抑郁指数和患者抑郁程度两者关系的深度挖掘,由此建立基于深度学习的在线健康社区抑郁症用户画像模型.实验结果表明,与传统的卷积神经网络模型、循环神经网络模型以及混合模型相比,TCNN-GRU模型在抑郁情感分类上能获得了更优的结果,基于深度学习的在线健康社区抑郁症用户画像模型也能够从文本分析的角度准确识别用户的抑郁情感和抑郁状态.     

基于深度学习的网络媒体情感分析

针对目前情感分析技术在复杂语境中表达能力有限、语义关联性困难、模型分类准确率低等问题,设计出一种泛化能力更强、准确率更高的BERT-DPCNN深度学习网络媒体情感分析模型。该模型使用BERT预训练语言模型,能更好地捕捉文本长距离的依赖关系,并可解决一词多义发生混淆的问题。使用DPCNN神经网络,加深了网络深度,能够更好地捕捉长距离文本之间的相关语意。通过实验对比表明BERT-DPCNN情感分析网络模型判别准确度更高,测验结果更加贴合用户所表达的真实情绪。     

增量学习算法对文本情感识别模型的改进

常规的文本情感识别模型不能适应语言的发展,使新生的词汇不能得到有效的情感划分,并且情感识别率低.使用增量学习算法来改进文本情感识别模型,通过收集用户反馈数据,提取其中有价值的情感信息来更新常识库,从而实现对情感识别模型的改进.通过情感聊天的两组对比实验证明了加入增量学习算法的文本情感识别模型准确率优于没有加入增量学习算...     

人脸表情识别与合成系统模型设计

本文提出了一种新的用于人脸表情识别与合成的情感模型,该模型是基于已泛化的和非线性映射关系的五层神经网络.模型的输入和输出层有相同数目的运动单元,在中间层可以实现特征的映射和情感空间的构造.从输入层到中间层的映射是表情识别,从中间层到输出层的映射是根据情感值进行表情合成.神经网络的训练采用典型的6种表情作为训练样本,最后通过实验证明了该模型在进行表情识别与合成时的可行性.     

情感建模与情感识别

情感计算是关于、产生于和影响于情感方面的计算,其目的是赋予计算机识别、理解、表达和适应人情感的能力。情感计算通过各种传感器获取由人的情感所引起的表情及生理变化信号,利用“情感模型”对这些信号进行识别,从而理解人的情感并做出适当的响应。该文主要讨论了Picard教授在情感计算中情感识别部分的研究成果,着重分析了面部表情、语音、生理信号的情感模型与情感识别,这是情感计算研究的一个关键问题之一,也是建立和谐人机环境的基础之一。     

认知视角下的文本情感计算

尝试将认知语用学和情绪心理学相关知识引入到文本情感计算中,以拉扎勒斯的认知一评价理论和认知语用学的认知语境为理论背景,提出一个新的文本情感认知模型。它从情感的发生机制出发,以多种情感图式为基础,考虑否定状态下情感的极性关系等多方面因素,提高了文本情感识别的准确率。情感认知模型是从一个新的视角研究情感识别问题,拓宽了研究的维度和理论背景,提供了新的研究思路。实验证明该模型是有效的。     

基于面部特征检测的人脸表情实时识别

针对传统方法特征提取识别准确率低、提取方法复杂以及深度学习方法模型复杂、实时性较差等缺点,提出了一种基于OpenCV和Dlib模型的人脸表情实时识别方法。首先,使用OpenCV实时采集并预处理图像;然后,使用Dlib预训练模型提取人脸特征点;最后,结合本文提出的5个表情识别指标：眉毛的倾斜程度、眼睛的睁开程度、上嘴唇与鼻尖高度占比、嘴巴宽度占比和嘴巴高度占比,对人脸表情进行实时识别。通过搭建系统界面,简化操作,增强了识别方法的实用性。实验表明,所提出算法表情识别的准确率均到达96%以上,验证了其有效性。     

用异质迁移学习构建跨被试脑电情感模型

由于脑电信号的个体差异性和非平稳特性对情感模型性能产生影响,如何构建跨被试脑电情感模型是情感脑-机接口领域的一个重要研究方向.本文提出一种新的从眼睛的扫视轨迹进行知识迁移的异质迁移学习方法,以提升跨被试脑电情感模型的性能.该方法的主要神经生理学依据是,被试的视觉注视诱发了大脑特定的神经活动,而这些神经活动产生的脑电信号可以为情绪识别提供重要的情境线索.为了量化不同被试之间的域差异,我们引入了基于扫视轨迹和基于脑电信号的核矩阵,并提出了改进的直推式参数迁移学习算法,以实现跨被试脑电情感模型的构建.该方法与传统方法相比,具有两个优点:一是利用了目标被试容易获取的眼动追踪数据进行被试迁移,二是在目标被试只有眼动追踪数据的情况下,仍然能够从其他被试的历史数据中学到脑电信号的情绪类别判别信息.为了验证所提方法的有效性,我们对本文提出的方法与已有的迁移方法在三类情绪识别的脑电和眼动数据集上进行了系统的对比实验研究.实验结果表明,基于眼动轨迹的迁移模型取得了与基于脑电信号的迁移模型相当的识别性能.相对于传统的通用分类器50.46%的平均准确率,基于眼动轨迹的迁移模型的平均准确率达到了69.72%.     

基于细粒度学习情感本体的学习效果评估方法——以算法设计与分析课程为例

教育目标包括认知领域目标、动作技能领域目标和情感领域目标。情感领域目标教育已受到越来越多教育者和众多领域学者的关注和研究。学习者的情感在传统教育和网络教育中都起着十分重要的作用,影响着学习者的学习主动性、积极性、创造性以及学习效果。基于多年承担本科生和硕士生的算法相关课程的教学实践,构建了细粒度学习情感本体,提出了基于细粒度学习情感本体的学习效果评估方法。细粒度学习情感本体的特点是引入了课程知识点之间的多种语义关系,构建了基于知识点的教师情感反馈行为分类。学习效果评估方法的特点是构建了基于细粒度学习情感本体中知识点关系路径的学习情感演化模型,并应用该模型来评估学习效果。     

基于动态贝叶斯网络的听视觉融合情感识别

在多媒体领域的研究中,对听视觉情感识别,如何融合听视觉情感信息是关键问题.传统的融合方法采用状态同步多流隐马尔可夫模型(Syn_AVHMM),但忽略了音视频情感信息之间的异步关系,从而影响识别结果.为了对听视觉情感信息之间的关联和异步关系进行更准确的描述,提出了一种听视觉状态可以异步,加入异步程度可控的多流动态贝叶斯网络情感识别模型(Asy_DBN),并在 eNERFACE'05 听视觉情感数据库上进行了情感识别实验.实验结果表明,通过调整听视觉状态流之间的异步约束,Asy-DBN 模型可以得到最好的识别结果,六种情感的平均识别率比马尔可夫模型高出 9.88%,为实际应用提供了依据.     

基于深度学习的藏文多极情感分类方法的研究

藏文多极情感分类方法是自然语言处理研究中识别用户对某件事或话题的主观情感倾向性识别的研究课题之一.文章分析了藏文多极情感分类方法的特点,对采集的藏文情感语料进行整理校对;提取相关特征,建立情感语料库和情感分类识别模型;再通过大量的实验找出存在的不足,并进行完善,以此提高藏文多极情感数据的准确率.实验表明,优化后的藏文多极情感分类的识别准确率达到84.5％.     

基于多任务学习的多语言语音情感识别方法

由于人类情感的表达受文化和社会的影响,不同语言语音情感的特征差异较大,导致单一语言语音情感识别模型泛化能力不足。针对该问题,提出了一种基于多任务注意力的多语言语音情感识别方法。通过引入语言种类识别辅助任务,模型在学习不同语言共享情感特征的同时也能学习各语言独有的情感特性,从而提升多语言情感识别模型的多语言情感泛化能力。在两种语言的维度情感语料库上的实验表明,所提方法相比于基准方法在Valence和Arousal任务上的相对UAR均值分别提升了3.66%~5.58%和1.27%~6.51%;在四种语言的离散情感语料库上的实验表明,所提方法的相对UAR均值相比于基准方法提升了13.43%~15.75%。因此,提出的方法可以有效地抽取语言相关的情感特征并提升多语言情感识别的性能。     

基于人脸表情识别的智能网络教学系统研究

针对传统智能网络教学系统中存在情感缺失的问题,探索性地设计并提出了一种基于人脸表情识别的智能网络教学系统模型.该模型以教育心理学为理论基础,以人脸面部表情识别为关键技术,通过捕捉和识别学习者的表情,判断和理解其情绪状态,然后根据学习者特定的情绪状态给出相应的情感鼓励或情感补偿.该系统模型促进了人机和谐交互,从一定程度上补偿了网络教育中的情感缺失,为解决网络教育中的情感缺失并实现和谐人机情感交互做出了有益的基础性工作.     

相空间重构在语音情感识别中的研究

为了更为全面地表征语音情感状态,弥补线性情感特征参数在刻画不同情感类型上的不足,将相空间重构理论引入语音情感识别中来,通过分析不同情感状态下的混沌特征,提取Kolmogorov熵和关联维作为新的情感特征参数,并结合传统语音特征使用支持向量机（SVM）进行语音情感识别。实验结果表明,通过引入混沌参数,与传统物理特征进行识别的方案相比,准确率有了一定的提高,为语音情感的识别提供了一个新的研究途径。