文语转换系统中的韵律研究

文语转换（Tex-To-Speech,TTS)是将文字形信息转换成自然语言的一种技术,在人机交互、通讯、资讯、家电等领域有着广泛的用途;然而,当前的TTS系统普遍存在着输出语音的机器味太浓、不够自然的现象,在很大程度上阻碍了它的推广和应用。其根本原理即在于合成语音中缺乏必要的韵律信息。我们认为,一个TTS系统应分为相对独立的上下两层;韵律结构分析和语言生成。上层负责分析语句的韵律结构,并标注相应的韵律标记,下层负责将之转换成相应的合成器参数,并输出语音。因此,当前的首要任务就是要研究韵律的主要特点、韵律的结构和主要内容,在此基础上,制订出一套相应的韵律标记方法。     

一个普通话文语转换系统中的韵律模型

韵律模型是文语转换系统中的重要组成部分,对合成语音的自然度起着至关重要的作用。结合人工神经网络和单元选择算法,将它们分别应用于韵律模型中时长和基频曲线的生成,其中时长模型采用三层的反向传播网络,而基频模型则采用一种基于最小距离和的单元选择算法。     

语音合成系统中高质量的韵律生成

本文对富士通中文语音合成系统尤其是其中的韵律生成部分进行了描述。该系统是一个以音节为基本合成单元,在韵律参数生成结果即音长和基频预测结果的指导下,从音库中搜寻全局最优的合成单元,然后采用PSOLA算法进行波形调整的拼接合成系统。从提高合成语音韵律的角度出发,本文围绕音长预测和基频预测部分对该系统进行了详细的描述。最后,给出了韵律评测和系统评测的结果。     

一个普通话文语转换系统中的韵律模型*

韵律模型是文语转换系统中的重要组成部分,对合成语音的自然度起着至关重要的作用。结合人工神经网络和单元选择算法,将它们分别应用于韵律模型中时长和基频曲线的生成,其中时长模型采用三层的反向传播网络,而基频模型则采用一种基于最小距离和的单元选择算法。     

自然言语的韵律组织中的不确定性及其在语音合成中的应用

本文对自然言语的韵律组织中的不确定性及其对合成语音自然度的影响进行了初步探讨,并在此基础上,提出在韵律预测中用最小错误概率准则代替传统的最大生成概率准则,从而在预测结果中保留多种等价的韵律实现。本文还进一步提出一种将基于最小错误准则的韵律预测与单元选择结合的算法,首先根据最小错误准则在所有候选单元中筛选出最不可能造成韵律错误的样本,然后再依据最平滑拼接准则从各种韵律等价的路径中选出一条能达到最平滑拼接的作为最后输出。     

基于概率统计的韵律短语分析

韵律短语分析是文语转换（Ｔｅｘｔ－ｔｏ－Ｓｐｅｅｃｈ）系统的重要组成部分。文章实现了一个基于概率统计的韵律短语分析方法。它首先构造了一个带有韵律短语间隔标记和词语ＰＯＳ信息的样本库,然后用它来训练和测试一个二元组模型,并针对出现的各种问题,提出了四种改进的思路。     

基于混合基元模型的非定长基元选取算法

介绍了面向中英文双语应用的英文语音合成系统中基于混合基元模型的非定长基元选取算法．清华大学计算机系人机语音交互实验室针对中英文混读相同发音人的限定，实现了基于混合基元模型的语料库构建和鲁棒灵活的非定长基元选取方法，在一定程度上弥补了发音人英语发音不饱满、自由度大的缺陷，真正实现了相同发音人中英文混读的要求．试验证明，采用这些方法能够极大的提高合成质量，达到令人满意的效果．     

一种基于决策树模型的音库构建和基元选取方法

针对嵌入式设备的存储容量小、计算能力有限的特点,设计了一种基于CART（Classification and Regression Trees）决策树模型的基元预选算法和基元选取算法,可以从原始语音语料库中挑选出最有代表性的基元样本,从而有效地降低音库规模和算法的复杂度,满足了嵌入式TFS（Text-to-Speech）系统的需要。基于以上算法,移动终端上实现了一个嵌入式中文TTS系统,实验结果表明该系统的合成语音具有较高的可懂度和自然度。     

基于韵律特征和语法信息的韵律边界检测模型

韵律短语边界的自动检测,对语音合成中语料库的韵律标注以及语音识别中韵律短语的自动划分都有重要意义。本文通过对影响韵律短语边界的声学、韵律等参量的分析,得到和韵律短语边界关联性较大的一组声学特征参数、韵律环境参数和语法信息;同时引入语音合成中的韵律预测思想,在假定所有音节边界均为非韵律短语边界时,预测每个音节的基频。最后使用决策树模型,将音节边界处的韵律环境信息、语法信息以及预测结果作为决策树的输入,利用决策树综合判定当前音节边界是否为韵律短语的边界。实验表明,这种方法对于基于确定性文本(text-dependent)的语音韵律短语边界的检测,具有较好效果,同时可以显著提高语音合成中语料库的标注效率和标注结果的一致性。     

基于约束模型的韵律短语预测

本文提出了基于语法约束和长度约束的韵律短语预测模型。在语法约束模型中,我们引入了组块作为基本的节律分析单元。韵律短语的长度约束模型是利用隐马尔科夫模型对语句中韵律短语的长度规划进行建模,这个模型对短语的长度分布及韵律词与韵律短语的关系进行了描述。最后,利用一个称为k-候选的方法来融合这两个约束模型。整个方法充分利用了韵律短语的语法约束和长度约束,并将之有机地结合起来。试验表明,该预测模型达到了很好的效果,韵律短语边界识别的调和平均值达到82.9%。     

汉语韵律短语的时长与音高研究

语句和篇章的韵律结构和信息结构的分析及模型化是提高语音合成的自然度、降低自然语言识别错误率的关键。该文在带有韵律标注ASCCD语料库的基础上对韵律短语的时长和音高特性进行了研究,得到并验证了如下一些结论:(1)韵律短语边界对音节时长有明显的延长作用,不同声调对音节的时长延长作用不同,并且不同的重音级别对音节时长的延长作用也不同。(2)韵律短语边界处中断的时长在较小的韵律边界表现的更为明显。韵律短语的边界处发生了明显的音高重置现象,韵律短语的音高低线总是下降的,而音高高线只是在重音后下降,并且重音处的音域大而且音高高线的位置高。     

基于语法信息的汉语韵律结构预测

韵律结构的预测, 主要包括短语的自动切分和重音的等级分布两个大的方面。本文在概述汉语韵律结构的基础上, 根据从自然话语中获得的韵律结构与句法结构和词性的关系, 用一种新的方法,通过文本分析,全面地预测韵律边界的位置分布及其等级差异,并进一步预测重音的位置分布及其等级差异。     

普通话韵律结构对声韵母时长影响的分析

该研究基于大规模语音数据库,通过建立普通话连续语流中的声韵母时长预测模型,考察声韵母时长的影响因素,探讨普通话声韵母在连续语流中的时长变化类型与话语韵律结构之间的关系。初步研究结果表明 话语的韵律结构对声母时长的影响较小,而对韵母时长的影响较为显著,这种影响主要体现为 韵律单元末音节的韵母时长是否发生显著延长与话语的韵律结构密切相关,韵律大短语和语调短语末尾的音节通常会发生显著的韵母延长,韵律词内以及韵律词末尾的音节通常不会发生韵母延长;韵律小短语末尾的音节在韵母时长方面的表现比较混乱,规律性不明显,可能需要进一步做分化处理。     

维吾尔语双音节词韵律特征声学分析

该文从文本分析模块入手,利用“维吾尔语语音声学参数库”,选择了以开音节和闭音节结尾的969个双音节词的韵律参数,包括元音时长、音高和音强进行了统计分析,归纳了其元音时长、音高和音强分布模式,探讨了维吾尔语双音节词的韵律节奏模式与双音节词重音之间的关系问题,其目的是为了提高语音合成的自然度。我们相信本项研究对维吾尔语语言乃至整个阿尔泰语系语言的韵律研究具有较高的参考价值。     

语法信息与韵律结构的分析与预测

韵律结构的自动预测是高自然度文语转换(TTS)系统的关键组成部分,直接影响到合成语音的自然度和表现力。该文建立了一个同时具有语法信息与韵律结构标注的汉语语料库。在这一语料库的基础上,对汉语的韵律结构组成、韵律结构与语法语义之间的关系进行了分析,并进行了预测试验。研究发现,汉语的韵律结构虽与语法结构不同,但是有着密切的联系,韵律结构可以通过语法结构进行预测。韵律结构除与语法结构有关之外,还要受到语句语义的制约。     

中文语音合成中的文本正则化研究

中文文本正则化是把非汉字字符串转化为汉字串以确定其读音的过程。该工作的难点:一是正则化对象——非汉字串形式复杂多样,难于归纳;二是非汉字串有歧义,需要消歧处理。文章引入非标准词的概念对非汉字串进行有效归类,提出非标准词的识别、消歧及标准词生成的三层正则化模型。在非标准词的消歧中引入机器学习的方法,避免了复杂规则的书写。实验表明,此方法取得了很好的效果,并具有良好的推广性,开放测试的正确率达到98.64%。     

基于韵律信息的连续语流调型评测研究

汉语连续语流中的调型评测是汉语语音评测的一个重要环节,利用连续语流中韵律耦合效应和韵律结构紧密相关这一特性,以韵律词为基本建模单元,建立基于多空间概率分布的HMM调型模型(MSD-HMM),使得汉语普通话水平评测系统针对标准连续语流的调型识别率从82.0% 提升至84.6%;针对有方言背景的非标准发音,机器评分与专家评分的相关度绝对提升超过3.0%。