面向情感语音识别的情感维度PAD预测

针对现有的情感特征仅从信号的角度对情感进行分析,不能直观反映情感状态的问题,提出将连续情感维度PAD引入情感识别. 实验样本选用TYUT2.0数据库和柏林语音库中的3种情感（悲伤、愤怒和高兴）,提取情感特征（韵律特征、共振峰、MFCC和非线性特征）. 为了获取客观、精确的PAD维度,利用灰色关联分析（GRA）选取影响P、A、D的主要特征,通过主成分分析（PCA）提取主要特征的主成分,将主成分作为最小二乘支持向量机（LSSVM）的输入预测P、A、D. 分别对情感特征、PAD维度及它们的融合,采用支持向量机进行情感识别. 实验结果表明,该预测方法在一定程度上提高了对P、A、D的预测精度,预测值可以有效识别情感,对情感特征在情感识别方面有一定的补充作用.     

基于聚类PSO-LSSVM模型的PAD维度预测

针对PAD（愉悦度、激活度、优势度）预测精度问题,提出将最小二乘支持向量机（least squares support vector machine,LSSVM）经粒子群优化（particle swarm optimization,PSO）算法优化再与情感聚类分析结合的聚类PSO-LSSVM模型。对TYUT2.0和柏林语音库的三种情感语音提取情感特征,基于特征与标注的P、A、D对三种单一情感分别建立各类情感维度PSO-LSSVM模型以及对三种情感建立混合情感维度PSO-LSSVM模型;然后利用混合情感维度PSO-LSSVM模型预测P、A、D,并计算其与基本情感PAD的距离;最后将距离大于阈值的情感聚类为混合情感,将距离小于阈值的情感聚类为与其距离最近的情感,并利用对应情感的回归模型预测其P、A、D。研究显示,该模型对P、A、D的预测误差较LSSVM和PSO-LSSVM模型更小,且预测值与标注值的相关性更强,说明聚类PSO-LSSVM模型对P、A、D的预测更加可靠、准确。     

结合语音融合特征和随机森林的构音障碍识别

为分析病理人群与正常人群的发音差异性,提出一种结合语音融合特征和随机森林的语音识别方法来进行正常语音与构音障碍语音的分类识别,从而为医学诊断和治疗提供科学和客观的依据．首先,使用多伦多大学开发的病理语音数据库,提取出语音的五种韵律特征以及梅尔频率倒谱系数,再计算其统计特征,构成融合特征,最后结合随机森林算法进行分类识别．结果显示,相比于单一类型特征,提出的融合特征在识别性能上有着显著优化作用,与随机森林分类器结合后,对于男性声音的分类准确率达到99.21％,对于女性声音的分类准确率达到98.97％,综合分类准确率达到98.00％．同时研究还发现,相较于句子,患者对短语的发音更为准确．     

基于关联认知网络的语音情感识别模型

人们通过语言表达情感是一个不断变化的过程,为了使用语音信号的时间连续性表达具体情感,本文搭建了一种基于关联认知网络的GA-GRUS-ICN模型.首先,对输入的语音特征使用GRUS网络提取深度时序特征;然后,引入自注意力机制给重要的特征片段赋予更高的权重;最后,使用关联认知网络ICN构建情感之间的关联性,得到情感关联矩阵和最终识别结果,本文中对于超参数使用遗传算法GA进行选择.选用TYUT2.0、EMO-DB和CASIA语音数据库中的“悲伤”、“愤怒”、“高兴”三种基本情感作为实验数据,文章设计了五种实验方案进行两个消融实验,实验结果显示,三种模型在三种语音库的UA分别达到了80.83%、98.61%和88.13%,表明GA-GRUSICN识别模型在情感语音识别方面有较强的普适性,自注意力机制与GRUS-ICN模型比较适配,亦可以较好地进行语音情感识别.     

构音障碍发音异常运动区间分布研究

为研究构音障碍患者和正常人发音运动数据的差异,利用多伦多大学开发的TORGO数据库,采用对数正态分布拟合及正态分布拟合的方法,分别以25 mm和2.58个标准差为阈值,对比分析构音障碍患者和正常人在舌根、舌中、舌尖处的发音异常运动区间所占比例。研究表明,与正常人相比,构音障碍患者舌部在前后、左右、上下三方向的发音运动区间较宽,发音运动异常区间所占比例大于正常人;在以2.58个标准差为阈值时,构音障碍患者舌部左右方向发音异常运动区间占10%左右,而正常人在1%左右;同时相比前后、上下方向,构音障碍患者和正常人在舌部左右方向的发音运动区间更窄。