基于综合因素的汉语连续语音库语料自动选取

大词汇量连续语音识别系统的性能很大程度上取决于语音库的质量,而语音库设计的中心环节就是语料选取。但是传统语料选取方法往往考虑因素单一,不利于语音识别系统有效利用语言信息。本语音库的语料选取方法综合考虑了多种因素:三音子覆盖率、三音子覆盖效率、三音子稀疏度、常用词分布等,并完全实现程序自动选取,充分利用了原始语料,使选取结果的信息量更加丰富。程序自动选取结果可以覆盖94.1%的三音子,75.4%的最常用词,覆盖效率和稀疏度也比传统方法有了较大改善。     

中文文语转换引擎SmartTalk研究与实现

随着汉语日益走向世界以及语音技术的发展，让计算机能讲汉语便自然成为了一种需求。介绍了一种汉语文语转换(TTS:Text—To—Speech)，引擎SmartTalk的设计与实现。讨论了用于TTS的汉语语音库和汉语词库的设计，以及基于词库的分词算法和基于音库的语音合成。     

藏语连续语音语料库设计与实现

以藏语夏河话为研究对象,建立了基于三音子的藏语连续语音语料库。首先收集了10万句藏语文本语料库,并根据夏河话的实际发音,进行了国际音标转写;然后总结了夏河话的三音子音联结构形式,并用藏语文本处理平台对其组合类型和在原始文本语料库中的频度进行了详细的统计分析;最后在语音库的语料设计中综合考虑了三音子以及类三音子的覆盖率和稀疏度,设计并完成了语料抽取算法,实现了语料自动选取。     

面向语音转换的汉语语料自动选取算法

为实现语音转换,建立符合要求的汉语语音转换语料库,提出一种基于半音节模型的语料自动选取算法。根据语音转换训练时需要语料数量较少的特征,选择半音节作为语料库的基本单位。在此基础上,从原始语料中自动选取语料,根据语音转换对说话人特征较敏感的情况,利用评估函数并根据半音节的出现次数对原始语料中的句子进行打分。实验结果表明,与传统算法相比,该算法在语音库自动选取615句汉语语料时,可以覆盖97.8%的带声调半音节,其覆盖效率、覆盖率和稀疏度有较大改进。     

基于计算机辅助汉语教学系统的发音评分

提出了一种适用于母语非汉语学习者（Learner with Mandarin as a second language,ML2）学习汉语的自动发音评分（Automatic Pronunciation Evaluation,APE）方法。引入双语料语音库,将发音评分分为发音方式和发音效果两部分评分,提取各部分相应的特征参数,提出一种 双语音动态时间规整（Bilingual Dynamic Time Warping,BDTW）的方法来匹配比较得到语音相似度,通过评分机制得到最后的评分结果。通过实验验证了该方法的有效性。     

基于视频三音子的汉语双模态语料库的建立

为实现可视语音合成和双模态语音识别,需要建立符合条件的双模态语料库。该文提出了一种汉语双模态语料库的建立方法。根据视频中唇部发音特征,对已有的三音子模型聚类,形成视频三音子。在视频三音子的基础上,利用评估函数对原始语料中的句子打分,并实现语料的自动选取。与其他双模态语料库相比,该文所建立的语料库在覆盖率、覆盖效率和高频词分布律有了较大改进,能够更加真实反映汉语中的双模态语言现象。     

多用途汉语方言语音数据库的设计

建立了一个多用途汉语方言语音数据库,用于说话人信息处理、方言特征词识别、语音识别等领域的研究。以多通道的方式采集时长106小时的语音数据,包括七种主要的汉语方言区语音,对数据进行预处理。在此基础上提出了汉语方言数据库的设计标准以及实施方案,有助于推动汉语语音库特别是方言语音库的建立。     

基于流程控制的汉语篇章结构语料协同标注系统

篇章分析系统性研究的开展依赖于大规模高质量的标注语料.现有标注语料以纯手工标注和单机辅助标注为主,难以满足标注效率和语料质量的需求.因此,该文提出了一套简洁的语料标注协同流程,并基于此实现了一个汉语篇章宏观结构语料协同标注系统,提供了一种流程简洁、分角色协同合作、自动流程控制、安全可靠的线上标注模式.该系统通过设立标注流程状态、收集标注流程中用户的行为数据和语料库辅助统计等方法,从流程控制角度,优化汉语宏观篇章的标注流程,实现质量管控和数据分析.项目实践表明,该系统有效减少了相关标注人员的工作量,提高了标注效率和标注质量,可为大规模、协同汉语篇章语料标注打下基础.     

文语转换系统语音库中不同长度协同发音单元的选择

本文以我们自行开发的文语转换系统为背景，根据汉语普通话的特点，从解决协同发音角度研究了文语转换系统语音库中双音节词和三音节词的选取，以及与协同发音相关的单音的选择，我们把实验的结果应用到系统中，取得了提高合成语音自然度的效果。     

基于小波变换的汉语语音合成方法

本文提出了一种汉语语音合成的方法．利用小波变换检测语音信号的声门闭合时刻（ＧＣＩ）利用语言信号的ＧＣＩ进行基音同步和样本选择的多脉冲线性预测分析，将得到的时参数保存到语音库中，通过改变相应的语音参数可以灵活地调节音节的时长，基音频率简强，本方法得到一语音参数比传统方法得到的参数更加精确，合成语音清晰，自然，并且大大降低了语音库的存储量，非常适合小于微型计算机系统。     

Synthesis of Arabic from short sound clusters

This article describes an unrestricted vocabulary text-to-speech (TTS) conversion system for the synthesis of Standard Arabic (SA) speech. The system uses short phonetic clusters that are derived from the Arabic syllables to synthesize Arabic. Basic and phonetic variants of the synthesis units are defined after qualitative and quantitative analyses of the phonetics of SA. A speech database of the synthesis units and their phonetic variations is created and the units are tested to control their segmental quality. Besides the types of synthesis unit used, their enhancement with phonetic variants, and their segmental quality control, the production of good quality speech also depends on waveform analysis and the method used to concatenate the synthesis units together. Waveform analysis is needed to condition the selected synthesis units at their junctures to produce synthesized speech of better quality. The types of speech juncture between contiguous units, the phonetic characteristics of the sounds surrounding the junctures and the concatenation artifacts occurring across the junctures are important and will be discussed. The results of waveform analysis and smoothing algorithms will be presented. The intelligibility of synthesized Arabic by a standard intelligibility test method that is adapted to suit the Arabic phonetic characteristics and scoring the results of the tests will also be dealt with.     

基于时频二维能量特征的汉语音节切分方法

较准确的语音切分方法可以极大提高语料标注等工作的效率,有助于语音识别等应用中语音与模型的对齐。利用汉语语音在时频二维的能量特征设计了一种新的汉语语音音节切分方法。用传统方法判断静音帧,用相同时间不同频率的二维能量判断清音帧,用不同时间特定频段的0-1二维能量判断浊音帧及有话帧,综合4种判断结果给出音节切分位置。实验结果表明,该方法切分准确度优于基于归并的音节切分自动机（MBSDA）和高斯拟合法,其音节切分误差为0.0297 s,音节切分偏差率为7.93%。     

嵌入式汉语TTS系统的设计与实现

针对手持设备和PDA存储量较小的特点,本文提出了基于音节基频包络特征、采用k中心点算法聚类裁减音库容量的方法。聚类结果的听辩实验和统计分析表明此算法可以保证聚类内部音节样本的相似性及类间样本的相异性。经过对汉语可选合成基元的分析,系统中首次引入声韵母半音节与音节作为混合基元,构造了基于混合基元的音库。经过对样本集分别聚类裁减,进一步压缩了音库容量,并在PDA平台上实现了嵌入式TTS系统。     

汉语韵律短语的时长与音高研究

语句和篇章的韵律结构和信息结构的分析及模型化是提高语音合成的自然度、降低自然语言识别错误率的关键。该文在带有韵律标注ASCCD语料库的基础上对韵律短语的时长和音高特性进行了研究,得到并验证了如下一些结论:(1)韵律短语边界对音节时长有明显的延长作用,不同声调对音节的时长延长作用不同,并且不同的重音级别对音节时长的延长作用也不同。(2)韵律短语边界处中断的时长在较小的韵律边界表现的更为明显。韵律短语的边界处发生了明显的音高重置现象,韵律短语的音高低线总是下降的,而音高高线只是在重音后下降,并且重音处的音域大而且音高高线的位置高。     

基于韵律特征和语法信息的韵律边界检测模型

韵律短语边界的自动检测,对语音合成中语料库的韵律标注以及语音识别中韵律短语的自动划分都有重要意义。本文通过对影响韵律短语边界的声学、韵律等参量的分析,得到和韵律短语边界关联性较大的一组声学特征参数、韵律环境参数和语法信息;同时引入语音合成中的韵律预测思想,在假定所有音节边界均为非韵律短语边界时,预测每个音节的基频。最后使用决策树模型,将音节边界处的韵律环境信息、语法信息以及预测结果作为决策树的输入,利用决策树综合判定当前音节边界是否为韵律短语的边界。实验表明,这种方法对于基于确定性文本(text-dependent)的语音韵律短语边界的检测,具有较好效果,同时可以显著提高语音合成中语料库的标注效率和标注结果的一致性。     

汉语朗读话语重音自动分类研究

汉语的重音由于受到声调、语调以及韵律单元层级的干扰和制约,对于重音的自动感知一直是比较困难的问题。针对标准的朗读普通话语,本文在广义韵律结构的框架下研究了重音的声学表现,设计并实现了重音的自动感知模型。本文提出的基于分类树结构的区分度模型能有效地结合韵律单元结构对重音的制约。研究结果表明,音高高线、调域、音长是表达重音最重要线索,利用这些线索能有效地实现对重音的自动感知。我们的模型能一般能达到80 %左右的重音检出水平。     

基于条件随机场的泰语音节切分方法

音节是泰语构词和读音的基本单位,泰语音节切分对泰语词法分析、语音合成、语音识别研究具有重要意义。结合泰语音节构成特点,提出基于条件随机场(Conditional Random Fields)的泰语音节切分方法。该方法结合泰语字母类别和字母位置定义特征,采用条件随机场对泰语句子中的字母进行序列标注,实现泰语音节切分。在InterBEST 2009泰语语料的基础上,标注了泰语音节切分语料。针对该语料的实验表明,该方法能有效利用字母类别和字母位置信息实现泰语音节切分,其准确率、召回率和F值分别达到了99.115%、99.284%和99.199%。     

汉语韵律边界的声学实验研究

本文以带有韵律标注的语料库ASCCD为基础,从语音信号分析的角度,研究了汉语普通话韵律间断模式在语音的时长、基频和音强等三个方面的表现特征,并在大量统计分析的基础上建立了识别分类的决策树模型,实验证明,这些特征能较好地描述朗读话语的韵律间断模式。     

维吾尔语CVC型音节韵律特征声学分析

根据语音合成与识别等语音应用研究的需求,从实验语音学的角度出发,研究维吾尔语固有音节结构中最常见的CVC音节类型的声学特征,从“维吾尔语语音声学参数库”中选择1 255个CVC型音节的各种韵律参数,包括音节时长、音强和音高,进行统计分析并归纳其时长、音高和音强分布模式。