基于模型自适应的声效鲁棒性语音识别算法

针对声音效果变化引起的语音声学特性的改变,提出基于声学模型自适应的方法。分析了正常模式下训练的声学模型在识别其他声效模式下语音的表现;根据随机段模型的模型特性,将最大似然线性回归方法引入到随机段模型系统中,并利用自适应后的声学模型来识别对应的声效模式下的语音。在“863-test”测试集上进行的汉语连续语音识别实验显示,正常模式下训练的声学模型识别其他四种声效模式下的语音时,识别精度均有较大程度的下降;而自适应后的系统在识别对应的声效模式的语音时,识别精度有了明显的改观。表明了基于声学模型自适应的方法在解决语音识别中声音效果变化问题上的有效性。     

一种汉语语音多级识别策略

本文提出了一个汉语语音识别的三级识别结构, 在以半音节为识别基元的基础上, 将基于语音生成模型的模式匹配法和基对“知识”的特征规则法有效地结合起来, 从一个新的角度来研究汉语语音识别。通过对汉语语音发音方式和拼读规则的分析及实验, 总结出用于声母分类的有效特征及各级判决中的若干判别规则。实验结果表明, 系统达到了较高的性能指标。前半音节的识别率为94.7%, 存贮量和计算量分别和一般全音节识别系统的1/10和1/36。     

利用上下文和基频提高汉语连续数字串识别性能

该文介绍了如何利用三音子模型和基频信息来提高汉语连续数字串的识别性能。三音子模型考虑了前后语音协同发音的影响,将上下文考虑到模型中去,可以更好地描述连续语音;各个音节的基频是随时间而变化的,其不同轨迹构成了声调,利用基频信息进一步提高了对汉语连续数字串的识别率。     

汉语连续语音识别之音素声学模型的改进

研究基于主元音音素基元的声学模型的改进。由于汉语语音特点,主元音模型得到了广泛的应用。通过分析主元音音素模型,发现该模型存在词组音节序列字界线有歧义,从而提出主元音的改进方法以明确音节序列中字的分界,减小基元规模,提高语音系统识别率。为了描述连续语意中的协同发音现象,还针对改进后的主元音基元,设计了相应的有调问题集,利用决策树的参数共享策略建立了上下文相关的音素模型。实验结果表明,改进后的有调音素集合在削减了原有基元个数的基础上,字误识率(CER)有0.4%-0.6%的明显改善。     

基于协同发音现象的一种汉语语音合成方法

在目前汉语语音合成常用的波形编码合成方法中，通常是以单音节作为语音合成的声音基元．但是由于合成时音节连接处往往不能很好的过渡，导致合成语音自然度不是很好．本文针对这个问题通过对汉语中协同发音现象的研究，提出了一种新的合成声音基元选取策略，在单音节合成单元基础上增加了部分自然语音中的音节连接段作为合成单元，使用该策略结合TD-PSOLA算法进行语音合成，合成语音的自然度较通常的波形合成法有了较大的提高．     

一种构建自适应蒙古语语音识别声学模型的方法

蒙古语语言中非词首音节短元音位置不确定产生了一词多音、构词音变、协同发音以及口语语流等现象,导致声学模型自适应性差。通过使用小规模的自适应数据集,结合MLLR和MAP建模方法,从τ值的选取和自适应声学模型建模的训练过程两方面对基本蒙古语声学模型的自适应性开展研究,给出了一种适合构建自适应蒙古语语音识别声学模型的MLLR-MAP方法。在Sphinx语音识别实验平台上进行建模实验,使用声学模型识别率与系统识别率评价指标对MAP、MLLR、MAP-MLLR和MLLR-MAP等建模方法进行评价。实验结果表明,在声学模型的总正确率、错误率和准确率三个评价指标上都得到了提升,明显优于基线模型。     

基于发音特征的声效相关鲁棒语音识别算法

针对声效(VE)相关的语音识别鲁棒性问题,提出了基于多模型框架的语音识别算法.首先,分析了不同声效模式下语音信号的声学特性以及声效变化对语音识别精度的影响;然后,提出了基于高斯混合模型(GMM)的声效模式检测方法;最后,根据声效检测的结果,训练专门的声学模型用于耳语音识别,而将发音特征与传统的谱特征一起用于其余4种声效模式的语音识别.基于孤立词识别的实验结果显示,采用所提方法后语音识别准确率有了明显的提高:与基线系统相比,所提方法5种声效的平均字错误率降低了26.69%;与声学模型混合语料训练方法相比,平均字错误率降低了14.51%;与最大似然线性回归(MLLR)自适应方法相比,平均字错误率降低了15.30%.实验结果表明:与传统谱特征相比发音特征对于声效变化更具鲁棒性,而多模型框架是解决声效相关的语音识别鲁棒性问题的有效方法.     

基于MBIC的决策树聚类算法在连续语音识别中的应用

提出了一种采用最小贝叶斯信息准则（Minimum Bayesian Information Criterion,MBIC）来最优化控制决策树结点分裂程度的算法。首先在理论上证明了MBIC能够较好地解决模型参数复杂度与训练数据集规模之间的权衡问题,然后给出了基于MBIC的决策树分裂停止准则的计算公式。汉语连续语音全音节识别实验表明：与传统的最大似然准则（Maximum Likeihood Criterion,MLC）相比,MBIC对声学模型参数和训练数据集的变化具有更好的适应能力。     

汉语连续语音中HMM模型状态数优化方法研究

为了优化汉语连续语音中HMM模型系统以提高识别性能,提出了分别为每个声母和韵母半音节声学模型选择最优的状态数的方法。通过综合考虑每个声母和韵母半音节声学模型在不同状态数下的段长均值、方差以及各自识别率这三者信息,作为进行最优模型状态数的选择准则。优化后的声学模型系统由状态数各不相同的声母半音节声学模型组成,同未优化前状态数统一的模型系统相比,音节识别性能提高了5.07个百分点。研究表明,每个声母和韵母半音节志学模型应根据情况选择不同的状态数,优化后的模型系统识别性能得到了提高。     

Fisher算法在语音声学模型分析中的研究与应用

语音识别中,通常把发音过程看作短时平衡的随机过程,为同时兼顾到平隐性和短时性,马尔可失链成为语音建模的有效工具。本文在声学模型研究中,首次引进了多元统计分析的理论,用Fisher算法对语音模型的状态中心分类进行了研究,提出了一种新的基于Fisher算法的状态中心估计方法,并同时指出了在汉语语音识别中,HMM状态数宜取在6－8之间。     

关于维吾尔语口语语料的三音子选取方法研究

在大词汇量连续语音识别应用中,优质的语音训练语料是所有识别工作的基础和前提, 能否挑选出覆盖更多语音现象的语料是提高语音识别性能的关键。该文在多种维吾尔文口语化传播平台中采集了大量口语句子语料,并考虑协同发音的影响和常用词的适用性,根据评估函数对语料筛选。经过筛选后的语料包含的三音子更加均衡和高效,囊括的语音现象更加全面,为训练准确而牢靠的语音模型打下了稳固的根基。     

语音识别中声学模型研究综述

智能语音技术包含语音识别、自然语言处理、语音合成三个方面的内容,其中语音识别是实现人机交互的关键技术,识别系统通常需要建立声学模型和语言模型。神经网络的兴起使声学模型数量急剧增加,基于神经网络的声学模型与传统识别模型相结合的方式,极大地推动了语音识别的发展。语音识别作为人机交互的前端,具有许多研究方向,文中着重对语音识别任务中的文本识别、说话人识别、情绪识别三个方向的声学模型研究现状进行归纳总结,尽可能对语音识别技术的演化进行细致介绍,为以后的相关研究提供有价值的参考。同时对目前语音识别的主流方法进行概括比较,介绍了端到端的语音识别模型的优势,并对发展趋势进行分析展望,最后提出当前语音识别任务中面临的挑战。     

Effect of acoustic and linguistic contexts on human and machine speech recognition

We compared the performance of an automatic speech recognition system using n-gram language models, HMM acoustic models, as well as combinations of the two, with the word recognition performance of human subjects who either had access to only acoustic information, had information only about local linguistic context, or had access to a combination of both. All speech recordings used were taken from Japanese narration and spontaneous speech corpora.Humans have difficulty recognizing isolated words taken out of context, especially when taken from spontaneous speech, partly due to word-boundary coarticulation. Our recognition performance improves dramatically when one or two preceding words are added. Short words in Japanese mainly consist of post-positional particles (i.e. wa, ga, wo, ni, etc.), which are function words located just after content words such as nouns and verbs. So the predictability of short words is very high within the context of the one or two preceding words, and thus recognition of short words is drastically improved. Providing even more context further improves human prediction performance under text-only conditions (without acoustic signals). It also improves speech recognition, but the improvement is relatively small.Recognition experiments using an automatic speech recognizer were conducted under conditions almost identical to the experiments with humans. The performance of the acoustic models without any language model, or with only a unigram language model, were greatly inferior to human recognition performance with no context. In contrast, prediction performance using a trigram language model was superior or comparable to human performance when given a preceding and a succeeding word. These results suggest that we must improve our acoustic models rather than our language models to make automatic speech recognizers comparable to humans in recognition performance under conditions where the recognizer has limited linguistic context.     

汉语连续语音中声调识别的特殊性研究

大词汇连续语识别是当前语音识别研究的主流，探讨其中声调识别的特殊是一项有意义的工作，本文从声调获取，语音分割，声调模式和声调识别等进行了研究，通过对现有研究成果的分析和总结，并结合自己的研究工作，得出了若干结论，提出了基于音节的连续语音声调识别思想。     

基于DDBHMM的维吾尔语音声学识别

在维吾尔语连续语音识别试验的声学层建模基础上,引用DDBHMM模型将上下文相关的三音子作为基本识别单元,并提出一种状态绑定的思想,对状态进行优化。为得到更充分的训练模型,提高识别效率,对语料库进行扩充,在多组对比试验的基础上,分析扩充前后对声学层识别速度、准确率等各个方面的影响。     

Phoneme class based feature adaptation for mismatch acoustic modeling and recognition of distant noisy speech

Distant speech capture in lecture halls and auditoriums offers unique challenges in algorithm development for automatic speech recognition. In this study, a new adaptation strategy for distant noisy speech is created by the means of phoneme classes. Unlike previous approaches which adapt the acoustic model to the features, the proposed phoneme-class based feature adaptation (PCBFA) strategy adapts the distant data features to the present acoustic model which was previously trained on close microphone speech. The essence of PCBFA is to create a transformation strategy which makes the distributions of phoneme-classes of distant noisy speech similar to those of a close talk microphone acoustic model in a multidimensional MFCC space. To achieve this task, phoneme-classes of distant noisy speech are recognized via artificial neural networks. PCBFA is the adaptation of features rather than adaptation of acoustic models. The main idea behind PCBFA is illustrated via conventional Gaussian mixture model–Hidden Markov model (GMM–HMM) although it can be extended to new structures in automatic speech recognition (ASR). The new adapted features together with the new and improved acoustic models produced by PCBFA are shown to outperform those created only by acoustic model adaptations for ASR and keyword spotting. PCBFA offers a new powerful understanding in acoustic-modeling of distant speech.     

Speech recognition using a stereo vision neural network model

This paper describes a new algorithm for speech recognition by using stereo vision pattern recognition equations with competition and cooperation. In our research, we applied recently developed 3-layered neural net (3LNN) equations to speech recognition. Our proposed acoustic models using these equations yield better recognition results than the hidden Markov model (HMM). When using a 216 (240) word database, stereo vision acoustic models gave 6.5% (6.6%) higher accuracy than HMMs. This work was presented, in part, at the Fourth International Symposium on Artificial Life and Robotics, Oita, Japan, January 19–22, 1999