情感计算与理解研究发展概述

情感在感知、决策、逻辑推理和社交等一系列智能活动中起到核心作用,是实现人机交互和机器智能的重要元素。近年来,随着多媒体数据爆发式增长及人工智能的快速发展,情感计算与理解引发了广泛关注。情感计算与理解旨在赋予计算机系统识别、理解、表达和适应人的情感的能力来建立和谐人机环境,并使计算机具有更高、更全面的智能。根据输入信号的不同,情感计算与理解包含不同的研究方向。本文全面回顾了多模态情感识别、孤独症情感识别、情感图像内容分析以及面部表情识别等不同情感计算与理解方向在过去几十年的研究进展并对未来的发展趋势进行展望。对于每个研究方向,首先介绍了研究背景、问题定义和研究意义;其次从不同角度分别介绍了国际和国内研究现状,包括情感数据标注、特征提取、学习算法、部分代表性方法的性能比较和分析以及代表性研究团队等;然后对国内外研究进行了系统比较,分析了国内研究的优势和不足;最后讨论了目前研究存在的问题及未来的发展趋势与展望,例如考虑个体情感表达差异问题和用户隐私问题等。     

基于人脸表情特征的情感交互系统*

设计了一套基于人脸表情特征的情感交互系统(情感虚拟人),关键技术分别为情感识别、情感计算、情感合成与输出三个方面。情感识别部分首先采用特征块的方法对面部静态表情图形进行预处理,然后利用二维主元分析(2DPCA)提取特征,最后利用多级量子神经网络分类器实现七类表情识别分类;在情感计算部分建立了隐马尔可夫情感模型(HMM),并且用改进的遗传算法估计模型中的参数;在情感合成与输出阶段,首先采用NURBS曲面和面片相结合的算法,建立人脸三维网格模型,然后采用关键帧技术,实现了符合人类行为规律的连续表情动画。最后完成了基于人脸表情特征的情感交互系统的设计。     

基于生理信号的情感计算研究综述

情感计算是现代人机交互中的一个重要研究方向, 旨在研究与开发能够识别、解释、处理和模拟人类情感的理论、方法与系统. 脑电、心电、皮肤电等生理信号是情感计算中重要的输入信号. 本文总结了近年来基于脑电等生理信号的情感计算研究所取得的进展. 首先介绍情感计算的相关基础理论, 不同生理信号与情感变化之间的联系, 以及基于生理信号的情感计算工作流程和相关公开数据集. 接下来介绍生理信号的特征工程和情感计算中的机器学习算法, 重点介绍适合处理个体差异的迁移学习、降低数据标注量的主动学习和融合特征工程与学习器的深度学习算法. 最后, 指出基于生理信号的情感计算研究中面临的一些挑战.     

面向在线教育的学习者情感识别综述

在线教育场景中,由于授课者与学习者处于“准分离”状态,授课者难以感知学习者的情感状态.因此,研究面向在线教育的学习者情感识别有助于授课者改进教学策略,同时有利于在线教育平台刻画学习者的学习偏好.目前,面向在线教育的学习者情感识别领域已经有许多研究成果,从不同方面对其进行分析和总结很有必要.首先,从离散模型、维度模型和学习者情感类别3个部分对情感表示模型进行阐述;其次,阐述面向在线教育的3种情感测量方法以及学习者情感数据获取方法;接着,总结涵盖基于文本数据、面部表情、语音信号、生理信号以及多模态数据的学习者情感识别方法;最后,讨论当前面向在线教育的学习者情感识别研究中存在的不足和可能的解决方案,旨在对面向在线教育的学习者情感识别相关工作进行深入分析与总结,为相关研究者提供有价值的参考.     

浅谈情感计算

情感计算是关于情感、情感产生以及影响情感方面的计算。情感计算的研究试图创建一种能感知、识别和理解人的情感．并能针对人的情感作出智能、灵敏、友好反应的计算机系统。本文简单介绍情感计算的研究概况、应用范围、以及研究内容及面临的挑战。     

维度语音情感识别研究综述

情感识别是多学科交叉的研究方向,涉及认知科学、心理学、信号处理、模式识别、人工智能等领域的研究热点,目的是使机器理解人类情感状态,进而实现自然人机交互.本文首先从心理学及认知学角度介绍了语音情感认知研究进展,详细介绍了情感的认知理论、维度理论、脑机制以及基于情感理论的计算模型,旨在为语音情感识别提供科学的情感理论模型.然后,从人工智能角度系统地总结了目前维度情感识别的研究现状和发展,包括语音维度情感数据库、特征提取、识别算法等技术要点.最后,分析了维度情感识别技术目前面临的挑战以及可能的解决思路,对未来研究方向进行了展望.     

基于姿态的情感计算综述

情感计算的理论与算法研究是近年来人机交互领域的热点话题.当前,常见的情感计算集中在基于面部表情、语音、文本、人体姿态等方向,既有单一模态的算法,又有多模态的综合算法.基于面部表情和语音模态的算法占据多数,国内外基于人体姿态的算法相对较少.文中针对基于姿态的情感计算所面临的几个关键科学问题展开了综述,包括情感的心理学模型、人体姿态估计算法、姿态的情感特征提取算法、情感分类与标注算法、姿态情感数据集、基于姿态的情感识别算法等.具体来说,首先介绍了几种常用的情感计算心理学模型,评述了各类模型的适用场景;随后从人体检测和姿态估计2个角度对人体姿态估计的常用算法进行了总结,并讨论了2D和3D姿态估计的应用前景.针对特征提取算法,分析了基于全身和上半身身体动作的姿态特征提取算法.在情感标注方面,介绍了表演数据和非表演数据的情感标注算法,并指出了半自动或自动的标注非表演数据将是未来的重要发展趋势之一.针对姿态情感数据集,列举了近年来常见的14个数据集,并主要从是否是表演数据、数据维度、静态或动态姿势、全身或非全身数据等几个方面进行了总结.在基于姿态的情感识别算法方面,主要介绍了基于人工神经网络的情感识别算法,指出了不同算法的优劣之处和适用的数据集类型.文中的综述研究,总结提炼了国内外该领域经典且前沿的工作,希望为相关的研究者提供研究帮助.     

基于情感计算的e—Learning系统建模

e-Learning也叫数字化学习,是通过因特网或其他数字化媒体进行学习与教学的活动。情感计算是指关于情感、情感产生以及影响情感的计算,试图创建一种能感知、识别和理解人的情感,并能针对人的情感做出智能、灵敏、友好反应的计算机系统。本文将 e-Learning系统和情感计算结合在一起,提出了一个基于情感计算的 e-Learning系统模型,旨在有效地解决 e-Learning系统中情感交流匮乏的问题。     

基于深度学习的学生学习情感模型建立与分析

传统的情感模型仅仅关注学生学习表情与对应的学习情感之间的关系,而忽略了不同学习情感之间的关系,因而导致学生学习表情识别准确率相对较低。基于此,建立学生学习表情三维状态空间情感模型,并在其中引入Maxout神经元,从而构建优化的三维状态空间情感模型,进一步解决三维梯度弥散问题,更好地优化系统的训练过程,在本模型中还引入了情感分类器的概念,实现对学生学习表情情感状态的有效分类,从而进一步增强模型的泛化能力。另外,建立了愉悦、困惑、惊讶、中性和疲倦5种情感状态的模型,并依据所提出的模型进行了实际验证实验,实验结果表明所提出的优化后的三维状态空间情感模型相比于传统模型识别准确率提升了12.5个百分点。     

基于进化策略的生理信号情感识别

针对生理信号的情感识别问题,采用进化策略方法对生理信号进行特征选择,利用智能优化算法的计算复杂度低和收敛速度快等特点,并结合使用近邻法进行分类,有效地解决了生理信号特征组合优化问题,筛选出一定的特征子集来表示相应的人类情感状态．实验仿真表明,该方法可以得到有效的特征组合来进行生理信号的情感状态识别．     

人工情感研究初探

情感建模在和谐人机交互及情感机器人方面有着广泛应用,是情感计算及人工心理理论研究的主要内容。本文对情感计算的研究概况、应用内容和几种典型的情感模型作了较为详细的分析与综述。     

A systematic review on affective computing: emotion models,databases, and recent advances

Affective computing conjoins the research topics of emotion recognition and sentiment analysis, and can be realized with unimodal or multimodal data, consisting primarily of physical information (e.g., text, audio, and visual) and physiological signals (e.g., EEG and ECG). Physical-based affect recognition caters to more researchers due to the availability of multiple public databases, but it is challenging to reveal one's inner emotion hidden purposefully from facial expressions, audio tones, body gestures, etc. Physiological signals can generate more precise and reliable emotional results; yet, the difficulty in acquiring these signals hinders their practical application. Besides, by fusing physical information and physiological signals, useful features of emotional states can be obtained to enhance the performance of affective computing models. While existing reviews focus on one specific aspect of affective computing, we provide a systematical survey of important components: emotion models, databases, and recent advances. Firstly, we introduce two typical emotion models followed by five kinds of commonly used databases for affective computing. Next, we survey and taxonomize state-of-the-art unimodal affect recognition and multimodal affective analysis in terms of their detailed architectures and performances. Finally, we discuss some critical aspects of affective computing and its applications and conclude this review by pointing out some of the most promising future directions, such as the establishment of benchmark database and fusion strategies. The overarching goal of this systematic review is to help academic and industrial researchers understand the recent advances as well as new developments in this fast-paced, high-impact domain.     

基于情绪心理学的情感建模

基于情绪心理学的基本理论，定义了个性空间、情感空间和心情空间，建立了个性与心情、心情与情感的映射关系，给出了心情与情感状态更新方程，提出了一种能够合理反映人类情感变化规律的情感计算模型。实验表明，该模型能合理反映出在外界刺激作用下，不同个性者心情状态和情感状态的波动过程，为情感机器人的情感决策提供了一种新的机制。     

面向交互式决策的情感计算与学习方法及其在过程控制工程中的应用

当今大量的工业过程控制工程问题, 如控制性能评价等的多目标决策问题通过人机交互得到解决. 然而, 在使用传统的交互式进化计算方法求解多目标决策问题时, 表现为局部搜索能力不强和过度依赖决策人员的主观意图. 本文提出一种新的情感计算方法和人机交互学习机制的解决方案. 提出一类基于刺激响应的情感计算模型(STAM), 并给出了情感空间和人的主观偏好之间的定量关系. 此外, 基于遗传算法框架, 建立情感交互学习策略, 旨在决策过程中逐步掌握人员的主观偏好, 降低人的疲劳程度, 使决策更加客观和科学. 附录A和B分别展示了情感学习算法的复杂度和收敛性分析. 为验证所提方法的正确性, 以测试函数及单回路反馈控制的PID参数整定问题进行研究, 得到了满意的结果, 验证了所提方法的可靠性与有效性.     

Usability of affective interfaces for a digital arts tutoring system

Affective computing techniques have become increasingly important as advanced education technologies. By applying these techniques to education, this work designs and evaluates a novel Affective Tutoring System for the Digital Arts (ATSDAs). By semantically analysing a text with ontological references, the emotions induced by a text when input by a user are identified. Inference of emotions is accomplished using OMCSNet and WordNet, two engines commonly used in computational linguistics research. The proposed system has a visual agent that provides text feedback based on inferred emotions from textual analysis. The proposed system has a conscientious design flow that includes concept modelling, prototype design, expert-based evaluation (which consists of a cognitive walkthrough and heuristic evaluation), final system design and a series of evaluations from a learner's perspective. The System Usability Scale (SUS) evaluation results show that this system achieves positive usability and learners enjoy interacting with the proposed system.     

基于计算机视觉的情感计算

情感计算是关于情感、情感产生以及影响情感方面的计算,其目的是赋予计算机识别、理解、表达和生成各种情感特征的能力,最终使计算机像人一样能进行自然、亲切和生动的交互.介绍基于计算机视觉的情感计算过程及处理方法,并指出现阶段存在的问题和面临的挑战.     

基于主题与三支决策的文本情感分析

近年来,情感计算已经成为自然语言处理与人工智能领域的一个研究热点,而文本情感分析是情感计算的一个重要组成部分.提出了一个基于主题特征与三支决策理论相融合的多标记情感分类方法.首先采用基于主题的情感识别模型判断句子的多标记情感类别,在此基础上结合三支决策理论,最终实现对文本篇章的多标记情感分类.实验结果表明,该方法在文本篇章的多标记情感类别识别上取得了令人满意的结果.     

计算机会不会有情感?

该文从计算机会具有情感、计算机怎样理解人的情感、计算机的情感能用来做什么等三方面对情感计算进行论述,使人了解什么是情感计算、情感计算研究现状以及计算机如何通过赋予人类情感为我们工作、生活带来便利和体贴服务。