汉语韵律短语的时长与音高研究

语句和篇章的韵律结构和信息结构的分析及模型化是提高语音合成的自然度、降低自然语言识别错误率的关键。该文在带有韵律标注ASCCD语料库的基础上对韵律短语的时长和音高特性进行了研究,得到并验证了如下一些结论:(1)韵律短语边界对音节时长有明显的延长作用,不同声调对音节的时长延长作用不同,并且不同的重音级别对音节时长的延长作用也不同。(2)韵律短语边界处中断的时长在较小的韵律边界表现的更为明显。韵律短语的边界处发生了明显的音高重置现象,韵律短语的音高低线总是下降的,而音高高线只是在重音后下降,并且重音处的音域大而且音高高线的位置高。     

面向汉语统计参数语音合成的标注生成方法

针对汉语统计参数语音合成中的上下文相关标注生成,设计了声韵母层、音节层、词层、韵律词层、韵律短语层和语句层6层上下文相关的标注格式。对输入的中文语句进行文本规范并利用语法分析获得语句的结构和分词信息;通过字音转换获得每个汉字的声韵母及声调;利用TBL（Transformation-Based error driven Learning）算法预测输入文本的韵律词边界和韵律短语边界。在此基础上,获得输入文本中每个汉字的声韵母信息及其上下文结构信息,从而产生统计参数语音合成所需的上下文相关标注。设计了一个以声韵母为合成基元的普通话的基于隐Markov模型（HMM）的统计参数语音合成系统,通过主、客观实验评测了不同标注信息对合成语音音质的影响,结果表明,上下文相关的标注信息越丰富,合成语音的音质越好。     

基于韵律模型的普通话基频分析

基频是基于模型的语音合成系统中重要的一个因素,该文主要利用韵律信息仿真普通话基频曲线特征值,并分析音节基频各个特征值在韵律环境下的稳定性。该文将前一音节的终止基频值与韵律参数结合,通过数据挖掘技术寻找影响各个特征值的重要韵律参数,并用这个结果建立韵律模型,然后仿真基频曲线特征值,并得到了一个良好的结果。通过分析发现在连续语流中,体现频率特性的特征值中,基频均值和最小值的稳定性较强;体现时间特性的特征值中,音节时长的稳定性较强。     

基于韵律信息的连续语流调型评测研究

汉语连续语流中的调型评测是汉语语音评测的一个重要环节,利用连续语流中韵律耦合效应和韵律结构紧密相关这一特性,以韵律词为基本建模单元,建立基于多空间概率分布的HMM调型模型(MSD-HMM),使得汉语普通话水平评测系统针对标准连续语流的调型识别率从82.0% 提升至84.6%;针对有方言背景的非标准发音,机器评分与专家评分的相关度绝对提升超过3.0%。     

维吾尔语三音节词韵律特征声学分析

本文从文本分析模块入手,利用“维吾尔语语音声学参数库”,选择了以开音节和闭音节结尾的333个三音节词的韵律参数,包括元音时长、音高和音强进行了统计分析,归纳了其元音时长、音高和音强分布模式,探讨了维吾尔语三音节词的韵律节奏模式与三音节词重音之间的关系问题,其目的是为了提高语音合成的自然度即更好的为自然语言处理服务。本项研究对维吾尔语语言乃至整个阿尔泰语系语言的韵律研究具有较高的参考价值。     

维吾尔语双音节词韵律特征声学分析

该文从文本分析模块入手,利用“维吾尔语语音声学参数库”,选择了以开音节和闭音节结尾的969个双音节词的韵律参数,包括元音时长、音高和音强进行了统计分析,归纳了其元音时长、音高和音强分布模式,探讨了维吾尔语双音节词的韵律节奏模式与双音节词重音之间的关系问题,其目的是为了提高语音合成的自然度。我们相信本项研究对维吾尔语语言乃至整个阿尔泰语系语言的韵律研究具有较高的参考价值。     

多项式回归的汉语时长预测模型

时长信息是韵律的重要组成部分,对于语音合成的自然度和可懂度都有不可忽视的作用。时长预测是建立对时长有影响的韵律环境与自然语流中音段时长的对应关系。本文引入了统计学中etasquared 的概念研究汉语中韵律环境因素对时长的影响,设计了残差算法定量分析属性之间的交互作用,由此建立了多项式回归的汉语时长预测模型。实验结果表明,使用5～6 个韵律属性基本上就能够建立比较相关的对应关系,和使用同样韵律属性的Wagon 回归树的效果相比有明显的优势。     

基于结构助词驱动的韵律短语界定的研究

提高合成语音的自然度是汉语文语转换系统(CTTS)的核心任务,而韵律短语的界定扮演着重要的角色。本文通过分析虚词的特征,研究了结构助词在连续语流中的特点、地位,以及在韵律短语界定中的作用,得到了一组相应的规则和结论。     

基于韵律特征和语法信息的韵律边界检测模型

韵律短语边界的自动检测,对语音合成中语料库的韵律标注以及语音识别中韵律短语的自动划分都有重要意义。本文通过对影响韵律短语边界的声学、韵律等参量的分析,得到和韵律短语边界关联性较大的一组声学特征参数、韵律环境参数和语法信息;同时引入语音合成中的韵律预测思想,在假定所有音节边界均为非韵律短语边界时,预测每个音节的基频。最后使用决策树模型,将音节边界处的韵律环境信息、语法信息以及预测结果作为决策树的输入,利用决策树综合判定当前音节边界是否为韵律短语的边界。实验表明,这种方法对于基于确定性文本(text-dependent)的语音韵律短语边界的检测,具有较好效果,同时可以显著提高语音合成中语料库的标注效率和标注结果的一致性。     

基于统计方法的汉语连续语音中声调模式的研究

提出采用决策树的数据驱动方法,结合专家知识.从大规模语料中统计学习出连续语 音中声调模式的分布.在建立决策树的过程中,除了相邻音节的声调外.还考虑了多种可能影响 声调模式的因素,如音节声韵母发音特点的分类、音节在词中的位置等.决策树建立后,共得到 28种声调模式.通过对结果的分析发现,除了上下文的声调外,其它因素对连续语音中声调模 式的变化也有一定的影响.声调识别实验的结果证明了该方法的有效性.     

基于语法树高度的汉语韵律短语预测

在文语转换系统中,从文本中预测出准确的韵律结构对于提高合成语音的自然度具有重要的作用。利用10 000句标注了词性标记的文本语料,在语言学专家的指导下,人工标注了语料的韵律词和韵律短语。选择了标注结果一致性最高的500句语句,标注了语法层级结构,并利用语法树高度描述语法词之间连接的紧密程度。通过分析韵律短语边界与语法结构的关系,发现韵律短语边界受语法树高度、语法词词性和语法词词长的影响,因此选择了这三个特征,利用TBL算法和400句训练语句训练了预测模型。测试集上的预测结果表明,提出的方法在小规模训练语料下,韵律短语预测的精确率达到了75.2%,召回率达到了77.1%,F-Score达到了76.1%。     

分层特征模板筛选的维吾尔语韵律边界预测

韵律边界的正确预测是连续语音合成系统中首要解决的关键问题。针对维吾尔语分层韵律结构,通过基于条件随机场（CRF）的分层自底向上方法预测了维吾尔语的韵律词和韵律短语边界,并将维吾尔语形态特征作为韵律边界预测模型的重要特征。根据不同韵律边界层次的特点,对分层韵律边界预测方法进行了改进,针对分层方法的不同层次进行独立特征模板筛选,从而进一步提高韵律边界预测性能。通过对不同的特征模板和不同韵律边界预测模型进行反复实验,得到了最好的预测性能。实验结果表明,该方法明显提高了韵律边界预测结果。     

中文语音合成系统中的一种两层韵律结构生成体系

韵律结构生成是改进一个语音合成系统中的合成语音的完整度和自然度的重要组成部分. 韵律词和韵律短语的自动切分是中文层级韵律结构的两个重要的基本层面, 本文调研了这个基本问题, 并提出了一种两层韵律结构生成体系. 为此, 我们建立了条件随机场模型为韵律词和韵律短语的预测选取不同的前端特征. 除此之外, 我们还引入了基于转换的错误驱动学习模块来修正后端的初始预测. 实验结果显示, 这种结合条件随机场和错误驱动学习的方法使得韵律词和韵律短语的自动分割的F-score值达到了94.66%.     

Prosody dependent speech recognition on radio news corpus of American English

Does prosody help word recognition? This paper proposes a novel probabilistic framework in which word and phoneme are dependent on prosody in a way that reduces word error rates (WER) relative to a prosody-independent recognizer with comparable parameter count. In the proposed prosody-dependent speech recognizer, word and phoneme models are conditioned on two important prosodic variables: the intonational phrase boundary and the pitch accent. An information-theoretic analysis is provided to show that prosody dependent acoustic and language modeling can increase the mutual information between the true word hypothesis and the acoustic observation by exciting the interaction between prosody dependent acoustic model and prosody dependent language model. Empirically, results indicate that the influence of these prosodic variables on allophonic models are mainly restricted to a small subset of distributions: the duration PDFs (modeled using an explicit duration hidden Markov model or EDHMM) and the acoustic-prosodic observation PDFs (normalized pitch frequency). Influence of prosody on cepstral features is limited to a subset of phonemes: for example, vowels may be influenced by both accent and phrase position, but phrase-initial and phrase-final consonants are independent of accent. Leveraging these results, effective prosody dependent allophonic models are built with minimal increase in parameter count. These prosody dependent speech recognizers are able to reduce word error rates by up to 11% relative to prosody independent recognizers with comparable parameter count, in experiments based on the prosodically-transcribed Boston Radio News corpus.     

基于分类回归树CART的汉语韵律短语边界识别

提出了一种基于分类回归树（Classification And Regression Tree,CART）的汉语韵律短语识别方法。该方法从语音流中提取与韵律短语边界有关的声学特征,从文本中提取短语边界的语言学特征,并将两类特征有机结合构成CART特征集,建立CART决策模型。开放测试结果显示,利用该CART模型在词边界中识别韵律短语边界,其识别准确率平均可达95.91%。     

一种改进的基于决策树的英文韵律短语边界预测方法

在英文语音合成系统中,韵律短语边界预测的精度对合成语音的自然度和可懂度有着至关重要的影响。基于决策树的预测方法是现阶段最为常用的韵律短语边界预测方法,但因决策树构建时受到数据平衡性制约,难以针对关键词进行建模,而且在基于决策树进行预测时采用了局部最优的搜索方式无法达到全局最优。所以,为了进一步提升韵律短语边界的预测效果,对基于决策树的预测方法进行了改进,引入韵律短语条件概率,使用Viterbi算法同时优化韵律短语边界概率和条件概率,并提出了基于关键词在韵律短语中的位置分布特性的决策树节点概率优化方法。实验表明,在基线系统上使用改进方法后,F-Score由68.7%提升到77.8%,而不可接受率从22.4%降低到15.2%。     

基于依存句法分析的汉语韵律层级自动预测技术研究

不同的韵律层级可以将文本划分成适合朗读与理解的韵律组块,从而保证合成语音能够以自然的节奏表现出来。目前对韵律层级预测所采用的特征绝大多数是较为浅层的特征,如词性、词长等,但这些浅层特征对有的韵律层次如韵律短语的预测能力比较弱。实际上,句法结构同韵律层级之间有着非常紧密的联系,二者相互影响,相互制约。本文根据依存句法分析的结果,抽取出若干同韵律层级相关的深层句法特征对韵律层级进行预测。实验证明,其中内弧跨度和内弧类型等特征,对浅层特征较难解决的类似韵律短语这种中间层次的韵律单元划分问题,可以起到很大的提高作用,使韵律短语标注的综合F值提高了11%。     

基于语块和条件随机场(CRFs)的韵律短语识别

该文提出一种基于汉语语块这一浅层句法信息,并利用条件随机场模型的中文文本韵律短语边界预测方法。首先介绍语块的定义和标注算法,然后在进行了语块结构标注以及归并处理的语料上,利用CRFs算法生成相应模型对韵律短语进行识别。实验结果表明,基于语块信息的CRFs韵律短语识别模型的识别效果优于不利用语块结构的模型,其F值平均能够提高约十个百分点。