语音识别系统及其特征参数的提取研究

在语音识别系统中,特征参数的选择对系统的识别性能有关键性的影响,本文主要研究几种重要的语音特征参数,包括线性预测倒谱系数、美尔倒谱系数、基于小波分析的参数等,并对这些参数进行了分析和比较,最后对语音识别的研究未来进行了展望.     

发音特征在维汉语音识别中的应用

采用传统谱特征作为输入进行语音识别通常会受到声学环境差异的影响。为此,提出汉语和维语音素和音位的对应规则,并将这种规则应用于基于发音特征的语音识别系统。训练神经网络多层感知器,获取语音信号各类发音特征的后验概率,将其与美尔频率倒谱系数(MFCC)拼接后送入隐马尔科夫模型进行声学模型训练。将不同发音特征分别与传统MFCC特征进行组合并给出测试结果。实验结果表明,当汉语声带状况和送气发音特征与传统MFCC组合时,以及维语的发音方式和声带状况特征与MFCC组合之后,系统误识率较低。     

基于深度学习和MFCC特征的脑卒中预测方法

脑卒中(cerebral stroke)又称中风、脑血管意外(cerebralvascular accident,CVA),是一种急性脑血管疾病,是我国成年人群致死、致残的首位病因,具有发病率高、致残率高、死亡率高和复发率高的特点。目前,针对脑卒中的治疗手段有限,而且疗效不太理想,预防是现阶段最好的治疗措施。为了有效预防脑卒中,笔者提出了一种基于深度学习和梅尔频率倒谱系数(Mel Frequency Cestrum Coefficient,MFCC)特征的脑卒中预测。首先,通过录音设备录取脑卒中患者和正常人的一小段特定语音;其次,对特定的语音做信号预处理,经预处理后对语音进行相应的梅尔变换,通过离散余弦变换获得MFCC语音特征;最后,将MFCC特征放入卷积神经网络进行模型训练,获取脑卒中的预测评价。实验结果表明,通过将MFCC特征输入到卷积神经网络进行模型训练,在预测准确性和鲁棒性方面具有较好表现。     

基于隐马尔科夫模型的中文发音动作参数预测方法研究

发音动作参数描述发音过程中唇、舌、颚等发音器官的位置与运动。本文对给定文本与语音情况下中文发音动作参数的预测方法进行研究。首先,设计了基于电磁发音仪的发音动作参数采集与预处理方法,通过头部运动规整与咬合面规整保证了发音动作参数的可靠性;其次,将隐马尔科夫模型应用于中文发音动作参数预测,采用包含声学参数与发音动作参数的双流模型结构实现从声学参数到发音动作参数的映射,并且分析对比了建模过程中不同上下文属性、模型聚类方式以及流间相关性假设对于中文发音动作参数预测性能的影响。实验结果表明,当采用三音素模型、双流独立聚类并且考虑流间相关性的情况下,可以获得最优的预测性能。     

基于频率段的语音识别算法设计与实现

线性预测倒谱参数(LPCC)能很好的体现人的声道特性,而梅尔倒谱参数(MFCC)能很好的模拟人耳的听觉效应。针对MFCC在不同频率段的识别精度不一致和LPCC不能准确模拟人的听觉系统问题,将MFCC参数和IMFCC参数分别作为语音不同频率段的特征参数,结合线性预测参数(LPCC),均衡滤波器的分布,完整覆盖到整个频率段范围。将梅尔倒谱参数和线性预测参数结合起来作为语音识别的特征提取参数。实验结果表明,改进之后的算法从效率上和识别率上都有不同程度的提高。     

语音倒谱特征的研究

语音倒谱特征是语音识别中最常用的特征参数，它表征了人类的听觉特征。该文在研究基于线性预测倒谱和非线性MEL刻度倒谱特征的基础上，研究了LPCC和MFCC参数提取的算法原理及提取算法，提出了一级、二级差分倒谱特征参数的提取算法。识别实验验证了MFCC参数的鲁棒性优于LPCC参数。     

基于发音轨迹的可视语音合成

着眼于语音可视化。为呈现真实说话人各发音器官的运动,提出一种改进的CM协同发音模型,并采用该方法合成汉字的发音轨迹,进而以此驱动和控制虚拟3D音视频说话人头模型,直观呈现通常可见及不可见发音器官的发音运动。实验证明:由改进方法获得的合成发音轨迹更逼近真实发音轨迹。同时,为了定量比较舌读和唇读在语音感知和识别中的作用,设计三组感知实验,实验结果显示:叠加了唇读信息的感知识别率较单纯的加噪语音的识别率提高了25.8%;而叠加了舌读信息的识别率较单纯听觉信息的识别率提高了26.7%。因此,当语音恶化时,舌读信息可提供大于唇读信息的补充作用,且舌读信息与唇读信息一样具有识别力。     

基于计算机辅助汉语教学系统的发音评分

提出了一种适用于母语非汉语学习者（Learner with Mandarin as a second language,ML2）学习汉语的自动发音评分（Automatic Pronunciation Evaluation,APE）方法。引入双语料语音库,将发音评分分为发音方式和发音效果两部分评分,提取各部分相应的特征参数,提出一种 双语音动态时间规整（Bilingual Dynamic Time Warping,BDTW）的方法来匹配比较得到语音相似度,通过评分机制得到最后的评分结果。通过实验验证了该方法的有效性。     

双向循环神经网络在语音识别中的应用

针对前馈神经网络难以处理时序数据的问题,提出将双向循环神经网络（BiRNN）应用在自动语音识别声学建模中。首先,应用梅尔频率倒谱系数进行特征提取;其次,采用双向循环神经网络作为声学模型;最后,测试不同参数对系统性能的影响。在TIMIT数据集上的实验结果表明,与基于卷积神经网络和深度神经网络的声学模型相比,识别率分别提升了1.3%和4.0%,说明基于双向循环神经网络的声学模型具有更好的性能。     

基于Fisher比的梅尔倒谱系数混合特征提取方法

针对语音识别中梅尔倒谱系数(MFCC)对中高频信号的识别精度不高,并且没有考虑各维特征参数对识别结果影响的问题,提出基于MFCC、逆梅尔倒谱系数(IMFCC)和中频梅尔倒谱系数(MidMFCC),并结合Fisher准则的特征提取方法。首先对语音信号提取MFCC、IMFCC和MidMFCC三种特征参数,分别计算三种特征参数中各维分量的Fisher比,通过Fisher比对三种特征参数进行选择,组成一种混合特征参数,提高语音中高频信息的识别精度。实验结果表明,在相同环境下,新的特征与MFCC参数相比,识别率有一定程度的提高。     

基于Elman神经网络的语音情感识别应用研究

针对语音情感的动态特性,利用动态递归Elman神经网络实现语音情感识别系统。通过连接记忆上时刻状态与当前网络一并输入,实现Elman网络模型的状态反馈。基于此设计了语音情感识别系统,该系统能在后台修改网络类型,并实现单语句与批量语句识别模式。针对系统进行语音情感识别实验表明,基于Elman神经网络的语音情感识别在同等参数模型设置前提下优于BP神经网络识别效果,且BP神经网络参数设置较Elman网络敏感。     

语音信号时频特征显示系统的设计和仿真

语音信号处理算法众多,但用于语音处理算法验证和开发的可视化研究平台极少。基于MATLAB GUI技术,完成语音信号典型时频特征参数提取和显示系统仿真平台的设计。可实现多种格式音频文件的载入和播放、波形和频谱显示、以及线性预测倒谱系数和美尔倒谱系数的计算、存储和显示等功能。系统界面友好、操作方便,可实现参数的交互输入并控制显示结果。仿真结果验证了相关时频特征参数提取算法的正确性,提高了对算法或数据处理效果的直观认识。     

基于混合分布注意力机制与混合神经网络的语音情绪识别方法

针对现有语音情绪识别中存在无关特征多和准确率较差的问题,提出一种基于混合分布注意力机制与混合神经网络的语音情绪识别方法。该方法在2个通道内,分别使用卷积神经网络和双向长短时记忆网络进行语音的空间特征和时序特征提取,然后将2个网络的输出同时作为多头注意力机制的输入矩阵。同时,考虑到现有多头注意力机制存在的低秩分布问题,在注意力机制计算方式上进行改进,将低秩分布与2个神经网络的输出特征的相似性做混合分布叠加,再经过归一化操作后将所有子空间结果进行拼接,最后经过全连接层进行分类输出。实验结果表明,基于混合分布注意力机制与混合神经网络的语音情绪识别方法比现有其他方法的准确率更高,验证了所提方法的有效性。     

Implementation of Hybrid Deep Reinforcement Learning Technique for Speech Signal Classification

Classification of speech signals is a vital part of speech signal processing systems. With the advent of speech coding and synthesis, the classification of the speech signal is made accurate and faster. Conventional methods are considered inaccurate due to the uncertainty and diversity of speech signals in the case of real speech signal classification. In this paper, we use efficient speech signal classification using a series of neural network classifiers with reinforcement learning operations. Prior classification of speech signals, the study extracts the essential features from the speech signal using Cepstral Analysis. The features are extracted by converting the speech waveform to a parametric representation to obtain a relatively minimized data rate. Hence to improve the precision of classification, Generative Adversarial Networks are used and it tends to classify the speech signal after the extraction of features from the speech signal using the cepstral coefficient. The classifiers are trained with these features initially and the best classifier is chosen to perform the task of classification on new datasets. The validation of testing sets is evaluated using RL that provides feedback to Classifiers. Finally, at the user interface, the signals are played by decoding the signal after being retrieved from the classifier back based on the input query. The results are evaluated in the form of accuracy, recall, precision, f-measure, and error rate, where generative adversarial network attains an increased accuracy rate than other methods: Multi-Layer Perceptron, Recurrent Neural Networks, Deep belief Networks, and Convolutional Neural Networks.     

基于DNN的低资源语音识别特征提取技术

针对低资源训练数据条件下深层神经网络（Deep neural network,DNN）特征声学建模性能急剧下降的问题,提出两种适合于低资源语音识别的深层神经网络特征提取方法.首先基于隐含层共享训练的网络结构,借助资源较为丰富的语料实现对深层瓶颈神经网络的辅助训练,针对BN层位于共享层的特点,引入Dropout,Maxout,Rectified linear units等技术改善多流训练样本分布不规律导致的过拟合问题,同时缩小网络参数规模、降低训练耗时;其次为了改善深层神经网络特征提取方法,提出一种基于凸非负矩阵分解（Convex-non-negative matrix factorization,CNMF）算法的低维高层特征提取技术,通过对网络的权值矩阵分解得到基矩阵作为特征层的权值矩阵,然后从该层提取一种新的低维特征.基于Vystadial 2013的1小时低资源捷克语训练语料的实验表明,在26.7小时的英语语料辅助训练下,当使用Dropout和Rectified linear units时,识别率相对基线系统提升7.0%;当使用Dropout和Maxout时,识别率相对基线系统提升了12.6%,且网络参数数量相对其他系统降低了62.7%,训练时间降低了25%.而基于矩阵分解的低维特征在单语言训练和辅助训练的两种情况下都取得了优于瓶颈特征（Bottleneck features,BNF）的识别率,且在辅助训练的情况下优于深层神经网络隐马尔科夫识别系统,提升幅度从0.8%~3.4%不等.     

基于数据驱动方法的汉语文本-可视语音合成

计算机文本-可视语音合成系统(TTVS)可以增强语音的可懂度,并使人机交互界面变得更为友好.给出一个基于数据驱动方法(基于样本方法)的汉语文本-可视语音合成系统,通过将小段视频拼接生成新的可视语音.给出一种构造汉语声韵母视觉混淆树的有效方法,并提出了一个基于视觉混淆树和硬度因子的协同发音模型,模型可用于分析阶段的语料库选取和合成阶段的基元选取.对于拼接边界处两帧图像的明显差别,采用图像变形技术进行平滑并.结合已有的文本-语音合成系统(TTS),实现了一个中文文本视觉语音合成系统.     

一种新的修正Mel频率映射的应力影响下变异语音识别方法

1 引言话者在心理紧张和情绪变化时语音会发生变异,如在身体不适(如感冒)时、恐惧、愤怒、环境噪声影响下,以及生理情况受到影响(如加速度变化)时,其语音都会发生改变。发音变异可以引起各语音参数的不同变化,以致常规语音识别系统的识别率大大下降。从八十年代末开始,就有人研究顽健(ro-bust)语音识别问题,针对噪声下的研究工作已经取得了非常显著成效,但针对应力影响下变异语音识别的研究则很有限。应力影响下变异语音识别是一个难度较大的问题,因为应力影响同人的发音过程具有直接的物理关系,其所引起的发音     

汉语语音识别中基于音节的声学模型改进算法

针对汉语语音识别中协同发音现象引起的语音信号的易变性,提出一种基于音节的声学建模方法。首先建立基于音节的声学模型以解决音节内部声韵母之间的音变现象,并提出以音节内双音子模型来初始化基于音节声学模型的参数以缓解训练数据稀疏的问题;然后引入音节之间的过渡模型来处理音节之间的协同发音问题。在“863-test”测试集上进行的汉语连续语音识别实验显示汉语字的相对错误率下降了12.13%,表明了基于音节的声学模型和音节间过渡模型相结合在解决汉语协同发音问题上的有效性。