基于生理信号的情感计算研究综述

情感计算是现代人机交互中的一个重要研究方向, 旨在研究与开发能够识别、解释、处理和模拟人类情感的理论、方法与系统. 脑电、心电、皮肤电等生理信号是情感计算中重要的输入信号. 本文总结了近年来基于脑电等生理信号的情感计算研究所取得的进展. 首先介绍情感计算的相关基础理论, 不同生理信号与情感变化之间的联系, 以及基于生理信号的情感计算工作流程和相关公开数据集. 接下来介绍生理信号的特征工程和情感计算中的机器学习算法, 重点介绍适合处理个体差异的迁移学习、降低数据标注量的主动学习和融合特征工程与学习器的深度学习算法. 最后, 指出基于生理信号的情感计算研究中面临的一些挑战.     

基于生理信号的二分类情感识别系统特征选择模型和泛化性能分析

基于生理信号的二分类情感识别系统的特征选择问题其规模随着初始特征维数的增加呈指数增长,它是一个NP难问题。以系统的漏报率和虚报率为评价指标,建立性能良好的二分类情感识别系统的任务,是找到原始特征中使漏报率和虚报率最低的特征子集。将此过程抽取为一个组合优化模型,用禁忌搜索算法进行特征选择,用Fisher分类器进行分类。对66名大学生的4种离散情感(喜、怒、哀、惧)状态下采集的两种情感生理信号(皮肤电导和心率)进行特征选择和分类,发现禁忌搜索能较好地解决系统构建中的特征选择组合优化问题,并且由此构建的情感识别系统在单用户和多用户验证集上均获得了较好的泛化结果,表明构建于多用户数据集上的情感识别系统的泛化能力较强。系统在单用户数据上的验证结果也表明情感生理反应的个体差异对4种离散情感的识别具有不同程度的影响。     

基于灰色关联法的生理信号与情绪关联度研究

明确生理信号与情绪的关联度对提高情绪识别正确率起重要作用,然而目前关于两者的关联度研究成果比较少。为研究生理信号与情绪的关联度,采用德国Augsburg大学生理信号数据库的数据,基于灰色关联法研究喜、怒、哀情绪与心电、呼吸、皮肤电导信号的关联度,在此基础上,根据关联度结果采用CHAID决策树和SVM分类法进行情绪识别与分析。研究结果表明：（1）喜、怒、哀3种情绪与呼吸信号关联度最高,与皮肤电导关联度次之,与心电关联度最低;（2）基于CHAID决策树和SVM对3种情绪下的3种生理信号进行情绪识别,验证了喜、怒、哀与心电、呼吸、皮肤电导信号的关联程度。     

一种新的高分辨稳定阵列信号估计算法

为提高信号的分辨率,提出了一种新的基于均匀线阵的高分辨稳定的阵列信号方向(DOA)估计方法。主要利用阵列接受数据的自相关矩阵进行特征分解,得到最大特征值所对应的最大特征向量。按一定的方式对最大特征向量数据进行重排,构成新的矩阵,通过SVD分解获取信号的噪声子空间,然后利用特征空间的正交性进行DOA估计。新方法由于新构矩阵的特殊性能实现相干和非相干信号的同时分辨,能克服常用阵列信号估计MUSIC法信噪比门限较高以及常用解相干平滑算法(FBSS)无法完全利用阵列接受数据自相关矩阵的固有缺陷。大量的计算机仿真实现表明,方法是一种高分辨、高稳定性的DOA估计算法。     

免疫机制对皮肤电信号情感特征选择的影响*

以带有典型情感色彩的视频片段为情感诱发素材,采集皮肤电（galvanic skin response,GSR）信号构成了情感识别研究的初始数据库,并在该数据库的基础上研究了免疫机制对识别过程中的特征选择的影响。首先从GSR信号中提取了30个统计特征,并用平静状态下的相应特征值对其进行标准化;然后在混合粒子群算法（HPSO）的基础上增加免疫操作,形成免疫混合粒子群算法（immune hybrid particle swarm optimization,IH-PSO）进行特征选择,测试特征选择效果时,采用Fi     

基于虚拟现实和动态加权决策融合的恐高情绪识别

目前恐高情绪分类中的生理信号主要涉及脑电、心电、皮电等, 考虑到脑电在采集和处理上的局限性以及多模态信号间的融合问题, 提出一种基于6种外周生理信号的动态加权决策融合算法. 首先, 通过虚拟现实技术诱发被试不同程度的恐高情绪, 同步记录心电、脉搏、肌电、皮电、皮温和呼吸这6种外周生理信号; 其次, 提取信号的统计特征和事件相关特征构建恐高情感数据集; 再次, 根据分类性能、模态和跨模态信息提出一种动态加权决策融合算法, 从而对多模态信号进行有效整合以提高识别精度. 最后, 将实验结果与先前相关研究进行对比, 同时在开源的WESAD情感数据集进行验证. 结论表明, 多模态外周生理信号有助于恐高情绪分类性能的提升, 提出的动态加权决策融合算法显著提升了分类性能和模型鲁棒性.     

基于随机矩阵理论的高维数据特征选择方法

传统特征选择方法多是通过相关度量来去除冗余特征,并没有考虑到高维相关矩阵中会存在大量的噪声,严重地影响特征选择结果。为解决此问题,提出基于随机矩阵理论（RMT）的特征选择方法。首先,将相关矩阵中符合随机矩阵预测的奇异值去除,从而得到去噪后的相关矩阵和选择特征的数量;然后,对去噪后的相关矩阵进行奇异值分解,通过分解矩阵获得特征与类的相关性;最后,根据特征与类的相关性和特征之间冗余性完成特征选择。此外,还提出一种特征选择优化方法,通过依次将每一个特征设为随机变量,比较其奇异值向量与原始奇异值向量的差异来进一步优化结果。分类实验结果表明所提方法能够有效提高分类准确率,减小训练数据规模。     

基于多子空间直和特征融合的人脸识别算法

多个子空间直和能保证多个子空间数据融合时多个子空间得到的特征向量相互两两正交,融合数据采用该特征表示时冗余最小,更有利于分类识别。本文基于多子空间直和进行特征融合,提出了一种新的人脸识别算法。通过 2DPCA算法,首先分别计算所有训练样本归一化后正脸、左侧脸及右侧脸图像的协方差矩阵的各P个最大特征值对应的P个相互正交的特征向量,然后通过选取3个子空间的部分满足直 和条件的特征向量组成各自的特征空间(投影空间),再将样本正脸、左侧脸及右侧脸图像分别向各自特征空间投影得到3个特征矩阵,最后将此3个特征矩阵融合为该样本的特征矩阵用于最近邻分类器进行分类识别。最终通过本文3组实验数据的对比说明了该 算法能减少计算量并且提高了识别率。     

一种基于自主芯片组的电生理眼镜

文章提出了一种基于自主芯片组的电生理眼镜,由信号采集模块、信号预处理模块、微控制器模块和信号分析模块组成。信号采集模块采用主动电极,因其高输入阻抗的特点,可以避免使用导电膏而提高系统实用性。信号预处理模块采用电生理模拟采集前端,对电生理信号进行滤波、放大,去除信号中的干扰,提高信号噪声比。微控制器模块采用意法半导体公司 Cortex-M0 处理器,主要实现电生理信号的模数转换、模拟前端设置、蓝牙模块收发控制。信号分析模块对电生理信号进行数字滤波、特征提取、心率监测。在此基础上,开展了针对颈部心电和脑机交互的实验并进行信号分析。     

基于多参数特征融合的无袖带连续血压测量方法

血压是人体的生理指标，连续测量患者每个心动周期的动脉血压数据，是医护人员对患者实时诊断的重要依据。现有的无袖带连续血压测量方法，大多基于脉搏波和心电图两路信号获取特征并进行预测建模，无法涵盖影响血压的多种因素，模型存在一定误差。该文对 55 位志愿者进行实验，在传统脉搏波和心电信号的基础上，引入心阻抗图等体征信息，探索影响血压测量精度的因素。实验结果表明，基于多参数特征融合的随机森林模型的性能优于基于单个特征的线性模型，其对于收缩压和舒张压预测的平均绝对误差分别为 2.56 mmHg、1.91 mmHg。该实验证明了基于多特征融合的无袖带血压预测模型可提高血压预测的精度。     

Construction and cross-correlation analysis of the affective physiological response database

Six kinds of emotions, namely joy, surprise, disgust, grief, anger and fear, are elicited from 300 ordinary college students by means of high-rated movie clips. The signals of galvanic skin response (GSR), heart rate (HR), blood volume pulse (BVP), electrocardiogram (ECG), respiration (Rsp.), facial electromyography (EMG) and two channels of electroencephalography (EEG) from the frontal lobe were recorded while the subjects were watching the affective eliciting materials. The samples of each kind of signals are analyzed by using random matrix theory (RMT). From the distribution of the eigenvalues and eigenvectors of the correlation matrices of BVP, facial EMG and two EEGs, we find that the statistical properties of these four kinds of signals coincide with the RMT predictions. However, the largest eigenvalue and the corresponding eigenvector component distribution of the correlation matrices of GSR, HR, ECG and Rsp. have deviated significantly from the RMT predictions. Our experiments also reveal that the correlations between two arbitrary samples of BVP, facial EMG or EEGs does not result from affective response but from random noises, whereas the amplitude variations of GSR, HR, ECG and Rsp. contain the correlated affective physiological response patterns. According to the data analysis results of RMT, 110 features are firstly extracted from the GSR and HR signals, and then a subset of the initial features is selected by using the Backward Selection algorithm. The affective data samples each of which is a vector of the features are classified by using a Fisher classifier, and furthermore, the user-independent emotion recognition systems with good prediction performance are constructed during the model selection process.     

情感建模与情感识别

情感计算是关于、产生于和影响于情感方面的计算,其目的是赋予计算机识别、理解、表达和适应人情感的能力。情感计算通过各种传感器获取由人的情感所引起的表情及生理变化信号,利用“情感模型”对这些信号进行识别,从而理解人的情感并做出适当的响应。该文主要讨论了Picard教授在情感计算中情感识别部分的研究成果,着重分析了面部表情、语音、生理信号的情感模型与情感识别,这是情感计算研究的一个关键问题之一,也是建立和谐人机环境的基础之一。     

基于随机事件处理的情感建模研究

针对各种传感器采集到的随机数字量，进行归一化和修正，使之符合人类对外界刺激的感觉。同时利用人工心理理论建立了一个基于随机过程的情感空间，用修正过的外界刺激作为输入，产生模拟的人类情感。这种产生的模拟的情感同时也对模型参数进行修正。     

基于小波变换的表面肌电信号的情感识别

情感识别是情感计算的一个关键问题。针对表面肌电信号(EMG)的非平稳性,采用小波变换方法对表面肌电信号进行分析,提取小波系数最大值和最小值构造特征矢量输入用L-M算法改进的BP神经网络分类器进行情感状态识别。实验表明,用表面肌电信号对joy、anger、sadness、pleasure 4种情感识别效果较好。也说明用小波变换方法提取特征,用神经网络作分类器的方法用于情感识别有很大的应用前景。     

多媒体情感标签标注中音频信号重要性分析

情感标签标注是情感计算中的一个重要领域。该领域中针对音频、图像和多媒体内容的情感标签标注已有多个相关工作发表。为分析某个基于脑电图的大脑编码的多媒体情感标签标注中音频信号的重要性,情感计算公开数据库DEAP被用作测试基准。基于DEAP数据库的多媒体刺激,共提取了音频特征和三类视频特征。首先仅使用视频特征基于该框架进行多媒体标签标注任务,之后联合使用音频和视频特征进行同样的工作。实验结果表明,与仅使用视频特征的结果相比,联合使用音视频特征可以提高标注准确率,并且没有因为增加特征维数造成性能损失。     

面向商品评论的二元情感认知模型

该文提出了一种面向商品评论的二元情感认知模型。该模型由“二元情感常识库”、“评价体系知识库”和“情感分析引擎”三个主要模块组成。其特点体现为:(1)模型通过大规模评论文本学习领域先验知识,将其存储在知识库中,便于知识的修正和重用,体现了模型的认知能力;(2)模型不仅能够挖掘评论文本中出现的显式评价观点,还能借助领域知识进行情感推断,发现更高层次的用户情感。该文给出了构建“二元情感常识库”和“评价体系知识库”的相关算法,并介绍了“情感分析引擎”在观点挖掘和情感推断中的应用。在商品评论语料集上的实验验证了该模型的有效性。     

基于情绪心理学的情感建模

基于情绪心理学的基本理论，定义了个性空间、情感空间和心情空间，建立了个性与心情、心情与情感的映射关系，给出了心情与情感状态更新方程，提出了一种能够合理反映人类情感变化规律的情感计算模型。实验表明，该模型能合理反映出在外界刺激作用下，不同个性者心情状态和情感状态的波动过程，为情感机器人的情感决策提供了一种新的机制。     

多特征综合的图像模糊情感注释方法研究

针对解决图像有效情感标注的问题,提出了一种多特征综合的图像模糊情感注释方法。该方法在讨论图像中的可视化特征（颜色、纹理和形状）与图像情感之间关系的基础上,选取和修正合适的算法提取颜色、纹理和形状特征,并将其作为模糊输入量;提出一种情感空间表示法量化情感;利用模糊集的近似推理理论完成对图像的情感注释。对100幅自然图像进行模糊情感标注,将其结果和20名自愿者对图像的情感感觉进行对比,实验结果表明,该方法能够有效地标识图像情感语义,证实了所采用的情感空间表示法具有一定的科学性,对于装璜、电子教学、图像检索和情感计算有一定的应用价值。     

Usability of affective interfaces for a digital arts tutoring system

Affective computing techniques have become increasingly important as advanced education technologies. By applying these techniques to education, this work designs and evaluates a novel Affective Tutoring System for the Digital Arts (ATSDAs). By semantically analysing a text with ontological references, the emotions induced by a text when input by a user are identified. Inference of emotions is accomplished using OMCSNet and WordNet, two engines commonly used in computational linguistics research. The proposed system has a visual agent that provides text feedback based on inferred emotions from textual analysis. The proposed system has a conscientious design flow that includes concept modelling, prototype design, expert-based evaluation (which consists of a cognitive walkthrough and heuristic evaluation), final system design and a series of evaluations from a learner's perspective. The System Usability Scale (SUS) evaluation results show that this system achieves positive usability and learners enjoy interacting with the proposed system.