基于情感上下文的语音情感推理算法

针对前后相邻情感语句的情感变化存在相互关联的特性,提出基于情感上下文的情感推理算法.该算法首先利用传统语音情感特征和上下文语音情感特征分别识别待分析情感语句的情感状态,然后借助情感交互矩阵及两类情感特征识别结果的置信度对待测试语句的情感状态进行融合推理.在此基础上,建立语音情感上下文推理规则,利用该规则根据相邻语句的情感状态对待分析情感语句情感状态进行调整,最终得出待分析情感语句所属的情感类别.在自行录制的包含6种基本情感数据库上的实验结果表明,与仅采用声学特征的方法相比,文中提出方法平均识别率提高12.17%.     

基于声学上下文的语音情感特征提取与分析

针对语句之间的情感存在相互关联的特性,本文从声学角度提出了上下文动态情感特征、上下文差分情感特征、上下文边缘动态情感特征和上下文边缘差分情感特征共四类268维语音情感上下文特征以及这四类情感特征的提取方法,该方法是从当前情感语句与其前面若干句的合并句中提取声学特征,建立上下文特征模型,以此辅助传统特征所建模型来提高识别率.最后,将该方法应用于语音情感识别,实验结果表明,加入新的上下文语音情感特征后,六类典型情感的平均识别率为82.78％,比原有特征模型的平均识别率提高了约8.89％.     

融合语音情感词局部特征的语音情感识别方法

为有效利用语音情感词局部特征,提出了一种融合情感词局部特征与语音语句全局特征的语音情感识别方法。该方法依赖于语音情感词典的声学特征库,提取出语音语句中是否包含情感词及情感词密度等局部特征,并与全局声学特征进行融合,再通过机器学习算法建模和识别语音情感。对比实验结果表明,融合语音情感词局部特征与全局特征的语音情感识别方法能取得更好的效果,局部特征的引入能有效提高语音情感识别准确率。     

基于Kaldi的普米语语音识别

为提高普米语语音识别系统的性能,引入深度学习模型进行普米语语音识别,该模型是一个高容量复杂的网络模型。以Kaldi语音识别工具包为实验平台,分别训练5种不同的声学模型,且这5种模型中包含一个有4隐层的深度神经网络模型。比较不同声学模型得到的语音识别率发现,G-DNN模型比Monophone模型的语音识别率平均提升49.8%。实验结果表明,当增加训练集的普米语语音语料量时,基于深度学习的普米语语音识别率会提升,而基于深度学习的普米语语音识别系统的鲁棒性比其余4个声学模型的普米语语音识别系统的鲁棒性更强。     

语音情感智能识别的建模与仿真

语音情感信息具有非线性、信息冗余、高维等复杂特点,数据含有大量噪声,传统识别模型难以消除冗余和噪声信息,导致语音情感识别正确率十分低.为了提高语音情感识别正确率,利用小波分析去噪和神经网络的非线性处理能力,提出一种基于过程神经元网络的语音情感智能识别模型.采用小波分析对语音情感信号进行去噪处理,利用主成分分析消除语音情感特征中的冗余信息,采用过程神经元网络对语音情感进行分类识别.仿真结果表明,基于过程神经元网络的识别模型的识别率比K近邻提高了13％,比支持向量机提高了8.75％,该模型是一种有效的语音情感智能识别工具.     

全局和时序结构特征并用的语音信号情感特征识别方法

在利用全局特征进行语音情感特征分析的基础上,提出了采用情感语句中各元音时序 结构作为新的特征,并针对不同语句中包含不同元音个数的情况,提出了零补齐、分局均值补 齐、前均值补齐三种不同的规整方法.以从10名话者中搜集的带有欢快、愤怒、惊奇、悲伤4种 情感的1000句语句作为样本,本文对语音情感特征进行了分析.实验结果表明利用全局特征和 时序特征相结合,对时序特征采用前均值补齐,同时使用修正二次判别函数(MQDF)进行情感 识别能够获得94%的平均情感识别率.     

基于皮肤电信号与文本信息的双模态情感识别系统

人机交互离不开情感识别,目前无论是单模态的情感识别还是多生理参数融合的情感识别都存在识别率低,鲁棒性差的问题.为了克服上述问题,故提出一种基于两种不同类型信号的融合情感识别系统,即生理参数皮肤电信号和文本信息融合的双模态情感识别系统.首先通过采集与分析相应情感皮肤电信号特征参数和文本信息的情感关键词特征参数并对其进行优化,分别设计人工神经网络算法和高斯混合模型算法作为单个模态的情感分类器,最后利用改进的高斯混合模型对判决层进行加权融合.实验结果表明,该种融合系统比单模态和多生理参数融合的多模态情感识别精度都要高.所以,依据皮肤电信号和文本信息这两种不同类型的情感特征可以构建出识别率高,鲁棒性好的情感识别系统.     

采用GW-MFCC模型空间参数的语音情感识别

针对单一语音特征对语音情感表达不完整的问题,将具有良好量化和插值特性的LSF参数与体现人耳听觉特性的MFCC参数相融合,提出基于线谱权重的MFCC（WMFCC）新特征。同时,通过高斯混合模型来对该参数建立模型空间,进一步得到GW-MFCC模型空间参数,以获取更高维的细节信息,进一步提高情感识别性能。采用柏林情感语料库进行验证,新参数的识别率比传统的MFCC和LSF分别有5.7%和6.9%的提高。实验结果表明,提出的WMFCC以及GW-MFCC参数可以有效地表现语音情感信息,提高语音情感识别率。     

基于语音识别的英语翻译器设计

针对传统英语翻译系统语音识别准确率低,导致语言翻译效果不佳的问题,提出一种语音识别的英语翻译器。在HMM基础上,加入梅尔频率倒谱系数MFCC,通过MFCC提取语音特征,然后利用HMM对语音特征进行识别,最后通过循环神经网络构建Transformer机器翻译模型,从而对提取的中文语音进行翻译。结果表明,提出的HMM+MFCC模型对语音识别的平均识别率高达99.78%,比传统的识别方法高2.89%,且HMM+MFCC模型的平均识别时间仅为1.224 8 s,说明本模型识别效率更高,模型性能更优越;Transformer+词性信息模型的BLEU分数为36.28,比单一Transformer模型的BLEU分数35.69高出了0.59。综合分析可知,采用提出的语音识别和语言翻译方法可提高英语翻译器的语音识别准确率和翻译效果。     

基于图卷积深浅特征融合的跨语料库情感识别

语音情感识别任务的训练数据和测试数据往往来源于不同的数据库,二者特征空间存在明显差异,导致识别率很低。针对该问题,本文提出新的构图方法表示源和目标数据库之间的拓扑结构,利用图卷积神经网络进行跨语料库的情感识别。针对单一情感特征识别率不高的问题,提出一种新的特征融合方法。首先利用OpenSMILE提取浅层声学特征,然后利用图卷积神经网络提取深层特征。随着卷积层的不断深入,节点的特征信息被传递给其他节点,使得深层特征包含更明确的节点特征信息和更详细的语义信息,然后将浅层特征和深层特征进行特征融合。采用两组实验进行验证,第1组用eNTERFACE库训练测试Berlin库,识别率为59.4%;第2组用Berlin库训练测试eNTERFACE库,识别率为36.1%。实验结果高于基线系统和文献中最优的研究成果,证明本文提出方法的有效性。     

Speaker-independent speech emotion recognition by fusion of functional and accompanying paralanguage features

Functional paralanguage includes considerable emotion information, and it is insensitive to speaker changes. To improve the emotion recognition accuracy under the condition of speaker-independence, a fusion method combining the functional paralanguage features with the accompanying paralanguage features is proposed for the speaker-independent speech emotion recognition. Using this method, the functional paralanguages, such as laughter, cry, and sigh, are used to assist speech emotion recognition. The contributions of our work are threefold. First, one emotional speech database including six kinds of functional paralanguage and six typical emotions were recorded by our research group. Second, the functional paralanguage is put forward to recognize the speech emotions combined with the accompanying paralanguage features. Third, a fusion algorithm based on confidences and probabilities is proposed to combine the functional paralanguage features with the accompanying paralanguage features for speech emotion recognition. We evaluate the usefulness of the functional paralanguage features and the fusion algorithm in terms of precision, recall, and F1-measurement on the emotional speech database recorded by our research group. The overall recognition accuracy achieved for six emotions is over 67% in the speaker-independent condition using the functional paralanguage features.     

基于Transformer-ESIM注意力机制的多模态情绪识别

为了提高语音和文本融合的情绪识别准确率,提出一种基于Transformer-ESIM(Transformer-enhanced sequential inference model)注意力机制的多模态情绪识别方法.传统循环神经网络在语音和文本序列特征提取时存在长期依赖性,其自身顺序属性无法捕获长距离特征,因此采用Tra...     

Hilbert边际能量谱在语音情感识别中的应用

情感特征的提取是语音情感识别的重要方面。由于传统信号处理方法的局限,使得提取的传统声学特征特别是频域特征并不准确,不能很好地表征语音的情感特性,因而对情感识别率不高。利用希尔伯特黄变换（HHT）对情感语音进行处理,得到情感语音的希尔伯特边际能量谱;通过对不同情感语音的边际能量谱基于Mel尺度的比较分析,提出了一组新的情感特征：Mel频率边际能量系数（MFEC）、Mel频率子带频谱质心（MSSC）、Mel频率子带频谱平坦度（MSSF）;利用支持向量机（SVM）对5种情感语音即悲伤、高兴、厌倦、愤怒和平静进行了识别。实验结果表明,通过该方法提取的新的情感特征具有较好的识别效果。     

ITD在语音情感识别中的研究

为了更好地表征语音情感状态,将固有时间尺度分解（ITD）用于语音情感特征提取。从语音信号中得到前若干阶合理旋转（PR）分量,并提取PR分量的瞬时参数特征和关联维数,以此作为新的情感特征参数,结合传统特征使用支持向量机（SVM）进行语音情感识别实验。实验结果显示,引入PR特征参数后,与传统特征的方案相比,情感识别率有了明显提高。     

融合模糊认知图用于语音情感识别

模糊认知图（Fuzzy Cognitive Map,FCM）作为一种图分析方法已在数据分类方面得到应用,为了提高其在语音情感识别中的分类精度,提出了融合FCM的方法。其中包括特征级融合和决策级融合两种方式。详细分析了这两种方式并提出将传统的模糊认知图的数值型输出转化为概率型输出,为不同特征提供了统一范围的初级识别结果。在此基础上,提出了自适应权值决策级融合方法。该方法充分考虑了分类器对不同特征的识别准确率差异。实验证明,提出的融合FCM方法相较于单一特征和单一分类器,具有更优的分类性能,同时大大降低了情感间的混淆程度。     

相空间重构在语音情感识别中的研究

为了更为全面地表征语音情感状态,弥补线性情感特征参数在刻画不同情感类型上的不足,将相空间重构理论引入语音情感识别中来,通过分析不同情感状态下的混沌特征,提取Kolmogorov熵和关联维作为新的情感特征参数,并结合传统语音特征使用支持向量机（SVM）进行语音情感识别。实验结果表明,通过引入混沌参数,与传统物理特征进行识别的方案相比,准确率有了一定的提高,为语音情感的识别提供了一个新的研究途径。     

核典型相关分析算法的多特征融合情感识别

为了提高情感识别的正确率,针对单模情感特征及传统特征融合方法识别低的缺陷,提出了一种核典型相关分析算法(KCCA)的多特征(multi-features)融合情感识别方法(MF-KCCA)。分别提取语音韵律特征和分数阶傅里叶域表情特征,利用两种特征互补性,采用KCCA将它们进行融合,降低特征向量的维数,利用最近邻分类器进行情感分类和识别。采用加拿大瑞尔森大学数据库进行仿真实验,结果表明,MF-KCCA有效提高了语音情感的识别率。     

基于脑电时频空多域特征融合的情感识别研究

传统基于脑电信号（electroencephalogram,EEG）的情感识别主要采用单一的脑电特征提取方法,为了充分利用EEG中蕴含的丰富信息,提出一种多域特征融合的脑电情感识别新方法。提取了EEG的时域、频域和空域特征,将三域特征进行融合作为情感识别模型的输入。首先计算不同时间窗EEG信号的alpha、beta、gamma三个频段功率谱密度,并结合脑电电极空间信息构成EEG图片,然后利用卷积神经网络（convolutional neural network,CNN）与双向长短期记忆网络（bidirectional long short-term memory network,BLSTM）构建CNN-BLSTM情感识别模型,分别对时、频、空三域特征进行学习。在SEED数据集对该方法进行验证,结果表明该方法能有效提高情感识别精度,平均识别准确率达96.25%。     

结合Bi-LSTM-CNN的语音文本双模态情感识别模型

针对单一模态情感识别精度低的问题,提出了基于Bi-LSTM-CNN的语音文本双模态情感识别模型算法.该算法采用带有词嵌入的双向长短时记忆网络(bi-directional long short-term memory network,Bi-LSTM)和卷积神经网络(convolutional neural networ...     

基于D-S证据的多语段融合语音情感识别

为获得更丰富的情感信息、有效识别长语音的情感状态,提出基于D-S证据理论的多粒度语段融合语音情感识别方法。采用2种分段方法对语音样本分段,用SVM对语段进行识别,再利用D-S证据理论对各语音段识别结果进行决策融合,得到2种分段方法下语音的情感识别结果,将这2个识别结果进一步融合得到最终结果。实验结果表明,该方法具有较好的整体识别性能,能有效提高语音情感的识别率。