基于多分类器投票组合的语音情感识别

为了提高语音情感的正确识别率,提出一种基于多分类器投票组合的语音情感识别新方法.在提取情感语音的韵律特征和音质特征基础上,利用投票方法将支持向量机、K近邻法和人工神经网络三种分类器构成组合分类器,实现对汉语生气、高兴、悲伤和惊奇4种主要情感类型的识别.实验结果表明,与使用单一分类器相比,组合分类器对语音情感的识别取得了87.4%的平均正确识别率,识别效果优于单一分类器.     

基于LS-SVM的情感语音识别

提出了一种基于LS-SVM的情感语音识别方法。即先提取实验中语音信号的基频,能量,语速等参数为情感特征,然后采用LS-SVM方法对相应的情感语音信号建立模型,进行识别。实验结果表明,利用LS-SVM进行基本情感识别时,识别率较高。     

语音情感识别算法中新型参数研究

语音情感识别是实现智能人机交互的关键技术之一。然而,用于语音情感识别的语音情感特征十分有限。为此,本文提出一种新型的语谱图显著性特征来改善语音情感识别效果。识别算法利用选择性注意模型获取语音信号语谱图像的显著图,并从中提取显著性特征,结合语音信号传统的时频特征构成语音情感识别特征向量。最后,本文利用KNN分类方法进行语音情感识别。实验结果表明,加入显著性特征后识别率有明显提升。     

声学参数和听觉参数结合的语音情感交叉识别

语音情感识别中,情感特征信息的提取和选择、情感识别模型的选择是2个重要部分.结合语音信号的声学特征参数和听觉特征参数进行情感识别,针对两类不同情感之间的差别选择最优的特征集,并设计了一个基于神经网络的情感交叉识别,与听觉特征参数结合,经过分类器得到识别情感,达到平均92%识别率.     

基于ZCPA参数的语音情感识别研究

主要讨论了情感语音特征参数的提取、语音情感的分类、语音资料的获取和应用连续隐马可夫模型进行情感识别等,重点比较了ZCPA特征参数和传统特征参数在不同噪声环境下的识别率,实验表明,在不同的噪声环境下,采用ZCPA特征的语音情感的识别效果较好,识别率也没有明显的下降。     

语音信号中的情感特征分析和识别的研究

提出了一种利用全局和时序结构的组合特征以及MMD进行情感特征识别的方法.对于从10名话者中搜集的带有欢快,愤怒,惊奇和悲伤4种情感的1000句语句,利用提出的新的识别方法获得了94%的平均情感识别率.     

结合音质特征和韵律特征的语音情感识别

为了提高语音情感的正确识别率,在情感语音韵律特征的基础上,提出情感语音音质特征的提取.结合音质特征参数和韵律特征参数,采用支持向量机分类器实现汉语普通话生气、高兴、悲伤和惊奇四种主要情感类型语音的情感识别.实验结果表明,语音音质特征参数和韵律特征参数相结合取得的情感平均正确识别率为88.1%,比单独使用韵律特征参数高出6%.可见,语音音质特征是一种较有效的情感特征参数.     

实用语音情感的特征分析与识别的研究

 该文针对语音情感识别在实际中的应用,研究了烦躁等实用语音情感的分析与识别。通过计算机游戏诱发的方式采集了高自然度的语音情感数据,提取了74种情感特征,分析了韵律特征、音质特征与情感维度之间的关系,对烦躁等实用语音情感的声学特征进行了评价与选择,提出了针对实际应用环境的可拒判的实用语音情感识别方法。实验结果表明,文中采用的语音情感特征,能较好识别烦躁等实用语音情感,平均识别率达到75%以上。可拒判的实用语音情感识别方法,对模糊的和未知的情感类别的分类进行了合理的决策,在语音情感的实际应用中具有重要的意义。     

基于SVM的语音信号情感识别

在智能人-机交互系统中,语音信号的情感分类是目前热点的研究领域,并且得到了广泛的应用.本文提出一种基于特征提取和借助支持向量机(support vector machine,SVM)分类器(classifier)的情感互相关性的方法,并应用于情感语音识别.利用这种方法对3种情感语音信号进行情感分类.SVM分类器是利用情感语音信号中情感互相关性的特征提取进行分类的.这种通过 SVM 分类器的情感互相关性的自动分类方法,可以将情感识别率大幅提高,并且在识别愤怒情感时的准确率可以达到95.04%.     

语音情感识别综述

语音情感识别是利用计算机建立语音信息载体与情感度量之间的关系,并赋予计算机识别、理解人类情感的能力,语音情感识别在人机交互中起着重要作用,是人工智能领域重要发展方向。本文从语音情感识别在国内外发展历史以及开展的一系列会议、期刊和竞赛入手,分别从6个方面对语音情感识别的研究现状进行了梳理与归纳：首先,针对情感表达从离散、维度模型进行了阐述;其次,针对现有的情感数据库进行了统计与总结;然后,回顾了近20年部分代表性语音情感识别发展历程,并分别阐述了基于人工设计的语音情感特征的情感识别技术和基于端到端的语音情感识别技术;在此基础之上,总结了近几年的语音情感识别性能,尤其是近两年在语音领域的重要会议和期刊上的语音情感识别相关工作;介绍了语音情感识别在驾驶、智能交互领域、医疗健康,安全等领域的应用;最后,总结与阐述了语音情感识别领域仍面临的挑战与未来发展方向。本文旨在对语音情感识别相关工作进行深入分析与总结,为语音情感识别相关研究者提供有价值的参考。     

Speech emotion recognition approaches in human computer interaction

Speech Emotion Recognition (SER) represents one of the emerging fields in human-computer interaction. Quality of the human-computer interface that mimics human speech emotions relies heavily on the types of features used and also on the classifier employed for recognition. The main purpose of this paper is to present a wide range of features employed for speech emotion recognition and the acoustic characteristics of those features. Also in this paper, we analyze the performance in terms of some important parameters such as: precision, recall, F-measure and recognition rate of the features using two of the commonly used emotional speech databases namely Berlin emotional database and Danish emotional database. Emotional speech recognition is being applied in modern human-computer interfaces and the overview of 10 interesting applications is also presented in this paper to illustrate the importance of this technique.     

Noisy speech emotion recognition using sample reconstruction and multiple-kernel learning

Speech emotion recognition (SER) in noisy environment is a vital issue in artificial intelligence (AI). In this paper, the reconstruction of speech samples removes the added noise. Acoustic features extracted from the reconstructed samples are selected to build an optimal feature subset with better emotional recognizability. A multiple-kernel (MK) support vector machine (SVM) classifier solved by semi-definite programming (SDP) is adopted in SER procedure. The proposed method in this paper is demonstrated on Berlin Database of Emotional Speech. Recognition accuracies of the original, noisy, and reconstructed samples classified by both single-kernel (SK) and MK classifiers are compared and analyzed. The experimental results show that the proposed method is effective and robust when noise exists.     

基于核典型相关分析的语音情感识别研究

语音是人类表达思想和感情交流最重要的工具,是人类文化的重要组成部分。语音情感识别作为情感计算中的重要课题已经成为国际上的研究热点,受到越来越多的关注。已有神经科学研究表明,大脑是产生调节情感的物质基础。因此,在语音情感的研究中,我们不能仅考虑语音信号自身,还应将大脑的活动信号融入语音情感识别中,以实现更高准确率的情感识别。基于上述思想,本文提出了一种基于核典型相关分析（KCCA）的语音特征提取方法。该方法将语音特征与脑电图（EEG）特征映射到高维希尔伯特空间,并计算二者的最大相关系数。KCCA将语音特征在高维希尔伯特空间上向与脑电特征相关性最大的方向投影,最终得到包含脑电信息的语音特征。本文方法将与语音情感相关的脑电信息融入语音情感特征提取中,所提特征能够更准确的表征情感。同时,本方法在理论上具有良好的可迁移性,当所提脑电特征足够准确与具有代表性时,KCCA建模得到的投影向量具有通用性,可直接用于新的语音情感数据集中而无需重新采集和计算相应的脑电信号。在自建语音情感数据库与公开语音情感数据库MSP-IMPROV上的实验结果表明,使用投影语音特征进行语音情感分类的方法优于使用原始音频特征...     

汉语语音识别的抗噪性前端算法及性能分析

讨论了欧洲电信标准委员会ETSI提出的分布式语音识别系统的抗噪前端特征提取算法,该算法融合多种抗噪技术。结合汉语语音的特点,进行了汉语语音识别整体框架下的算法实现,并进行了实验和分析,典型噪声环境下的识别结果证明,相对于基线MFCC特征提取算法,稳健性有较大提高。     

Improved Emotion Recognition With a Novel Speaker-Independent Feature

Emotion recognition is one of the latest challenges in human-robot interaction. This paper describes the realization of emotional interaction for a Thinking Robot, focusing on speech emotion recognition. In general, speaker-independent systems show a lower accuracy rate compared with speaker-dependent systems, as emotional feature values depend on the speaker and their gender. However, speaker-independent systems are required for commercial applications. In this paper, a novel speaker-independent feature, the ratio of a spectral flatness measure to a spectral center (RSS), with a small variation in speakers when constructing a speaker-independent system is proposed. Gender and emotion are hierarchically classified by using the proposed feature (RSS), pitch, energy, and the mel frequency cepstral coefficients. An average recognition rate of 57.2% (plusmn 5.7%) at a 90% confidence interval is achieved with the proposed system in the speaker-independent mode.     

越南语语音情感特征分析与识别

本文研究了越南语语音情感识别问题,采集并建立了越南语情感数据库。母语为越南语的两名男性和两名女性说话人进行了越南语情感语音的表演和录制,通过多人听辨实验进行了数据的验证和评选,建立了一个初步的越南语语音情感数据库,为今后的跨语言研究提供数据基础。在所获得的情感数据上,提取了基本的语音特征,并构造了可用于情感识别的静态统计特征。采用高斯混合模型进行了建模与识别,识别结果显示,本文中的系统能够较好的识别越南语语音情感。在今后的工作中,可以进一步研究跨语言情感特征的分析与识别。      

Research on emotion space of film and television scene images based on subjective perception

The premise of image emotion recognition is to determine its representative emotional adjectives and establish the quantifiable emotion space. In this paper, focusing on aroused emotion from film and television （TV） scene images, a method of selecting emotional adjectives and establishing the emotion space based on subjective perception experiment is proposed. Firstly, a special data set about film and TV scene images was established and a set of initial emotional adjectives was collected. Then the subjective perception experiment was designed to let subjects to evaluate the affection of all the initial adjectives during watching these scene images. Then the method of principal basis analysis was used for variable selection. Finally, the factor analysis was applied to accomplish the second dimension reduction to form a 5-dimensional（5D）orthogonal emotion space. The optimized emotion space can explain more than 94% of original emotional adjectives, which greatly reduces the dimension of emotional adjectives and lays a foundation for the further research on image content and emotion recognition.     

一种基于boosting特征选择的调制方式识别算法

针对统计调制模式识别方法中特征值提取和分类器设计两个步骤分开研究的现状,将Boosting特征选择和多层前馈神经网络算法结合研究,设计了一种改进算法,给出算法的具体步骤.使用常用特征值进行仿真实验,结果表明这种改进算法在信噪比在0 dB以上达100％的识别率.相比其他的智能分类算法,信噪比在-6 dB以下时改进算法的识别率有明显提高,因此可以较好地适用于认知无线电这种对识别准确率要求高的场景中.同时对其他分类识别的应用场景也有一定的参考价值.     

基于CM-OMEMD和小波散射网络的语音情感识别

语音情感识别（Speech Emotion Recognition,SER）是人机交互的重要组成部分,具有广泛的研究和应用价值。针对当前SER中仍然存在着缺乏大规模语音情感数据集和语音情感特征的低鲁棒性而导致的语音情感识别准确率低等问题,提出了一种基于改进的经验模态分解方法（Empirical Mode Decomposition,EMD）和小波散射网络（Wavelet Scattering Network,WSN）的语音情感识别方法。首先,针对用于语音信号时频分析的EMD及其改进算法中存在的模态混叠问题（Mode Mixing）和噪声残余问题,提出了基于常数Q变换（Constant-Q Transform,CQT）和海洋捕食者算法（Marine Predator Algorithm,MPA）的优化掩模经验模态分解方法（Optimized Masking EMD based on CQT and MPA,CM-OMEMD）。采用CM-OMEMD算法对情感语音信号进行分解,得到固有模态函数（Intrinsic Mode Functions,IMFs）,并从IMFs中提取了可以表征情感的时频特征作为第一个特征集。然后采用WSN提取了具有平移不变性和形变稳定性的散射系数特征作为第二个特征集。最后将两个特征集进行融合,采用支持向量机（Support Vector Machine,SVM）分类器进行分类。通过在含有七种情感状态的TESS数据集中的对比实验,证明了本文提出的系统的有效性。其中CM-OMEMD减小了模态混叠,提升了对情感语音信号时频分析的准确性,同时提出的SER系统显著提高了情绪识别的性能。      

Coarse-to-Fine Speech Emotion Recognition Based on Multi-Task Learning

Journal of Signal Processing Systems - Speech emotion recognition is very challenging because the definition of emotion is uncertain and the feature representation is complex. Accurate feature...