融合表情和BVP生理信号的双模态视频情感识别

目的 针对当前视频情感判别方法大多仅依赖面部表情、而忽略了面部视频中潜藏的生理信号所包含的情感信息,本文提出一种基于面部表情和血容量脉冲（BVP）生理信号的双模态视频情感识别方法。方法 首先对视频进行预处理获取面部视频;然后对面部视频分别提取LBP-TOP和HOG-TOP两种时空表情特征,并利用视频颜色放大技术获取BVP生理信号,进而提取生理信号情感特征;接着将两种特征分别送入BP分类器训练分类模型;最后利用模糊积分进行决策层融合,得出情感识别结果。结果 在实验室自建面部视频情感库上进行实验,表情单模态和生理信号单模态的平均识别率分别为80%和63.75%,而融合后的情感识别结果为83.33%,高于融合前单一模态的情感识别精度,说明了本文融合双模态进行情感识别的有效性。结论 本文提出的双模态时空特征融合的情感识别方法更能充分地利用视频中的情感信息,有效增强了视频情感的分类性能,与类似的视频情感识别算法对比实验验证了本文方法的优越性。另外,基于模糊积分的决策层融合算法有效地降低了不可靠决策信息对融合的干扰,最终获得更优的识别精度。     

基于改进的GAF算法的EEG情感识别

利用脑电图(EEG)信号对人类的情感进行识别一直是一个重要且具有挑战性的研究领域。传统的方法都是对一维EEG信号进行分析,然后提取特征进行识别;但这种方法需要提取许多时域或频域上的特征才能取得较好的识别效果。考虑到二维图像蕴含的信息要远远比一维信号蕴含的信息丰富,因此将一维信号转换成二维图像可以提取更加有效的特征进行识别。为此,该文提出了一种基于改进的Gramian Angular Field(GAF)算法的EEG情感识别方法。首先,从EEG信号中提取alpha、beta、gama三个频段的子带信号;然后,提出了一种基于马氏距离加权的改进GAF算法将一维EEG信号转换成二维特征图像;接着,从二维图像中提取奇异值熵、图能量等特征;最后,利用卷积神经网络(CNN)对提取的EEG特征进行分类识别。基于广泛使用的DEAP数据集,针对四分类(HAHV、LAHV、LALV和HALV)情感识别任务,对该模型进行了验证。实验结果表明：所提算法的平均分类准确率达到92.63%,与现有的识别方法对比具有一定的优势。     

基于三角函数迭代的视频数据特征提取

在计算机视觉研究中,基于视频数据进行图像对象识别逐渐增多。针对视频数据 的特征提取,提出了一种基于三角函数迭代提取视频三维迭代轨迹特征的方法。该方法是考虑 视频数据的时间空间维度,利用三角函数构造三维动力系统,整体一次性进行视频段数据特征 的抽取,提取出一种近似混沌吸引子的三维特征点集,这种视频数据迭代特征实际上是迭代轨 迹点集合。以VidTIMIT 数据集进行人脸识别实验,发现增加初始迭代值的个数,减少迭代次 数后,提取出的特征点集合具有更好的效果。当VidTIMIT 的43 组559 个视频全部参与实验, 识别率达到88.16%,与现有文献中记载的其他方法相比,具有识别率高、计算时间少的特点, 初步证实了该三维视频迭代轨迹特征具有实用性,同时也值得进一步研究验证与分析。     

基于无监督提取表情时空特征的情感识别

情感识别是解决智能教学系统中情感缺失问题的关键技术。针对识别时如何从视频中有效提取人脸表情时空特征的问题,提出一种采用堆叠卷积独立子空间分析模型进行无监督特征提取的识别方法,来对疑惑、愉快和厌倦3种学习中最常出现的情感进行识别。该方法检测视频中的人脸区域并进行规范化处理,采用堆叠卷积独立子空间分析模型从视频块中无监督地学习表情的时空特征,采用线性支持向量机进行分类。实验结果表明,相比使用人工特征的方法,该方法能够更有效地提取视频中人脸表情的时空特征,获得更高的识别率,同时符合实时性要求。     

基于样本熵的语音/音乐识别

传统的MFCC及短时能量特征只反映了信号序列的静态特征,目前基于这些特征的语音/音乐识别率为79%～86%。样本熵可以反映信号序列中的新信息量的大小以及新信息量的变化程度。以样本熵作为特征对语音/音乐进行分类识别,提取混合信号的样本熵,计算每段信号样本熵的均值和方差,采用k均值聚类进行识别。仿真实验结果表明,基于样本熵的语音/音乐识别的识别率可提高到88.073%。     

基于SVM和增强型PCP特征的和弦识别

和弦识别是自动音乐标注的基础,在歌曲翻唱识别、音乐分割及音频匹配等领域具有重要作用。针对不同乐器之间相同和弦识别率较低的问题,提出一种基于瞬时频率提取音级轮廓(PCP)特征的改进算法。该算法结合音高频率倒谱系数,将增强型PCP特征作为新的和弦识别特征,把音频信号输入到节拍跟踪器,依据动态规划算法提取信号的节拍信息,计算音频信号每一个节拍内的增强型PCP特征,采用结构化支持向量机分类方法实现对音乐和弦的识别。实验结果表明,与传统PCP特征相比,采用增强型PCP特征的和弦识别率提高了2.5%～6.7%。     

基于稀疏表示的脑电（EEG）情感分类

计算机对人类情绪与情感的识别研究已经成为了脑机接口领域的研究热点。通过分析人类在生活中的各种情感状态,提取脑电信号的特征并对情感状态进行识别、分类是情感智能化领域的重要方向。针对基于音乐视频诱导的情感数据集DEAP进行了研究,提取脑电信号的频域特征后,提出了采用加速近邻梯度算法（APG)和正交匹配算法（OMP）求解稀疏编码的稀疏表示分类模型进行情感分类,并与支持向量机算法（SVM）做效果比较。实验结果表明,APG算法通过L1范数正则近似求解以其快速的收敛速度在情感数据集上有着较好的分类表现,而OMP算法与SVM算法的分类效果相差无几,实现了情感脑电信号的分类。     

基于心理声学参数的水下目标识别特征提取方法

研究了响度、尖锐度、粗糙度、波动强度等主要的心理声学参数及其计算方法，利用主要的心理声学参数作为目标特征参数用于水下目标分类识别，并以正确识别率为准则对这些特征参数进行了修改。使用K-均值聚类方法对3类舰船噪声实测数据进行了目标分类识别仿真实验。实验结果表明，该方法提取的特征能够较好地反映信号本质，取得了较好的分类识别效果，特别是以修改后的心理声学参数为特征具有更高的识别率。     

视频场景情感内容的未确知聚类研究

提出了一种新的视频语义分析算法,着重对情感类型识别进行了聚类研究。选取场景亮度、场景节奏、运动强度和颜色能量作为视频情感低层特征,详细介绍了每种情感特征的数据提取方法,并构建了视频情感特征向量。在分析了视频对象空间和情感测度函数之后,建立了未确知视频场景聚类模型,给出了情感向量各分量权重确定与视频样本聚类的方法。仿真实验数据验证了未确知聚类方法对视频情感内容的识别是有效的、可行的。     

基于双谱二次特征的通信信号识别算法研究*

针对卫星通信中辐射源信号分类识别问题,开展基于双谱二次特征的卫星通信信号分类识别算法研究。通过辐射源信号的对角切片双谱获取信号特征,利用Chirp-Z变换将双谱对角切片特征从频域扩展至复平面,并提出扩展的基于巴式（Bhattacharyya）距离的分离度准则作为信号双谱二次特征提取依据,提取出具有最强可分离度特征作为特征参数,并通过支持向量机进行分类识别仿真实验。实验表明,本文识别算法适用于不同类型的卫星通信信号,且对噪声变化不敏感,可实现较高的正确识别率。