融合语音、脑电和人脸表情的多模态情绪识别

本文提出了一种多模态情绪识别方法, 该方法融合语音、脑电及人脸的情绪识别结果来从多个角度综合判断人的情绪, 有效地解决了过去研究中准确率低、模型鲁棒性差的问题. 对于语音信号, 本文设计了一个轻量级全卷积神经网络, 该网络能够很好地学习语音情绪特征且在轻量级方面拥有绝对的优势. 对于脑电信号, 本文提出了一个树状LSTM模型, 可以全面学习每个阶段的情绪特征. 对于人脸信号, 本文使用GhostNet进行特征学习, 并改进了GhostNet的结构使其性能大幅提升. 此外, 我们设计了一个最优权重分布算法来搜寻各模态识别结果的可信度来进行决策级融合, 从而得到更全面、更准确的结果. 上述方法在EMO-DB与CK+数据集上分别达到了94.36%与98.27%的准确率, 且提出的融合方法在MAHNOB-HCI数据库的唤醒效价两个维度上分别得到了90.25%与89.33%的准确率. 我们的实验结果表明, 与使用单一模态以及传统的融合方式进行情绪识别相比, 本文提出的多模态情绪识别方法有效地提高了识别准确率.     

基于EEG和DE-CNN-GRU的情绪识别

近年,情绪识别研究已经不再局限于面部和语音识别,基于脑电等生理信号的情绪识别日趋火热.但由于特征信息提取不完整或者分类模型不适应等问题,使得情绪识别分类效果不佳.基于此,本文提出一种微分熵(DE)、卷积神经网络(CNN)和门控循环单元(GRU)结合的混合模型(DE-CNN-GRU)进行基于脑电的情绪识别研究.将预处理后的脑电信号分成5个频带,分别提取它们的DE特征作为初步特征,输入到CNN-GRU模型中进行深度特征提取,并结合Softmax进行分类.在SEED数据集上进行验证,该混合模型得到的平均准确率比单独使用CNN或GRU算法的平均准确率分别高出5.57%与13.82%.     

基于Attention-CGRU网络的中文语音情感识别

正确识别语音中包含的情感信息可以大幅提高人机交互的效率.目前,语音情感识别系统主要由语音特征抽取和语音特征分类两步组成.为了提高语音情感识别准确率,选用语谱图而非传统声学特征作为模型输入,采用基于attention机制的CGRU网络提取语谱图中包含的频域信息和时域信息.实验结果表明:在模型中引入注意力机制有利于减少冗余信息的干扰,并且相较于基于LSTM网络的模型,采用GRU网络的模型预测精确度更高,且在训练时收敛更快,与基于LSTM的基线模型相比,基于GRU网络的模型训练时长只有前者的60%.     

基于多通道脑电信号的因果网络情绪识别

情绪是由大脑内多个通道共同作用产生的,格兰杰因果检验作为情绪识别的主流方法,在计算任意2个通道之间的因果关系时容易忽略其他通道的影响。面向多通道脑电信号,提出一种基于条件格兰杰因果检验（CGC）的因果网络情绪识别方法。利用CGC算法计算不同情绪下大脑全通道的因果关系,据此构建因果网络,并通过分析各通道的入/出度和介数拓扑属性找到关键通道,得到简化的因果网络进行情绪识别。将节点之间的因果连接关系作为特征分别输入SVM和KNN分类器进行分类训练,实验结果表明,简化网络的识别率分别为75.3%和78.4%,验证了所提方法的有效性。     

纹饰在产品设计中的情感特征与功能

目的对产品造型中的纹饰符号特性、纹饰与产品商业价值的实现、纹饰与民族文化传播进行分析。方法以产品造型的纹饰构成元素特性为基础,通过纹饰符号情感特性的分析,对产品纹饰符号承载人文情感、传递特定文化价值及有效促使产品商业价值实现进行研究。结论通过纹饰与产品造型相互依存关系的理解、基于纹饰传统视觉文化创新发展途径的思考、基于纹饰的文化传播与产品商业价值实现的相互促进关系判别可知,产品造型中的优秀纹饰符号能在强化消费者情感认同的同时促进商业消费行为的达成,并且,在产品以消费形式被广泛传播的同时,依附于纹饰符号的文化现象也得到了有效传播。     

汽车造型的工程属性与情感属性的映射关系研究

目的研究汽车造型中的工程属性与情感属性存在的映射和对应关系,以及对于设计评价的影响。方法通过文献研究和实验分析,揭示了汽车造型中的工程属性与情感属性的映射和转换关系。结论造型中的工程属性能与情感属性存在内在的映射与转化关系,可以提高设计方案在跨学科研发团队中的沟通效率,提高设计创意的"编码"和"解码"。对于汽车创意和评价具有重要的参考价值,可以提高设计方案在跨学科研发团队中的多向沟通效率,提高设计方案的接受度和可行性。     

基于有限状态机矩阵模型的人工情绪模型

根据情绪心理学理论,提出先天预置和后天习得2个层次的人工情绪模型。用有限状态机的矩阵模型实现先天原始基本情绪智能的再现,克服“事件-情绪-行为”序列对需要存储空间的缺点,提高了模型的实时性。用Lapicque神经细胞模型描述情绪状态转换的过渡过程,并给出模型仿真结果。     

简化路况模式下驾驶员情绪模型的研究

驾驶辅助系统中的驾驶员模型较为单一, 没有考虑驾驶员的情绪状态对驾驶策略的影响. 为此, 本文研究了简化路况下驾驶员的情绪模型. 基于OCC (Ortony-clore-collins) 模型、情绪状态自发转移过程的马尔科夫模型和情绪状态刺激转移的隐马尔科夫模型(Hidden Markov model, HMM), 本文提出路况变化和无路况两种情况下的情绪模型, 并对驾驶员的跟驰、切换车道和超车过程中的情绪变化进行了研究. 在自发转移过程中, 结合情绪实时变化的特性, 提出了时变的自发转移过程,而在情绪刺激转移中, 考虑了情感对刺激的记忆效应, 即同种刺激先后对情感影响不同. 讨论了认知情感的变化对驾驶策略的影响. 针对车距、路宽和周围车辆车速对驾驶员的情感影响程度、刺激敏感程度以及特定事件对驾驶员的影响过程, 进行了仿真实验, 预估出驾驶员在特定事件刺激下会采取何种驾驶策略. 并进行了实测数据验证, 实验结果验证了所提出模型的有效性, 为驾驶辅助系统中建立驾驶员模型提供了有借鉴意义的基础理论.     

基于D-S证据的多语段融合语音情感识别

为获得更丰富的情感信息、有效识别长语音的情感状态,提出基于D-S证据理论的多粒度语段融合语音情感识别方法。采用2种分段方法对语音样本分段,用SVM对语段进行识别,再利用D-S证据理论对各语音段识别结果进行决策融合,得到2种分段方法下语音的情感识别结果,将这2个识别结果进一步融合得到最终结果。实验结果表明,该方法具有较好的整体识别性能,能有效提高语音情感的识别率。     

中国传统五色在现代影视中的情感表现

色彩作为一种影视要素、一种感情载体,在影视作品中起着重要作用。中国传统的色彩观念不仅仅表现于艺术的审美创造,同时又具有象征、寓意等。文章通过中国古典色彩中"五色观"的角度分析一些现代优秀影视作品色彩感情,对影视色彩情感表现上进行深层次的思考、探索。