英语口语自动评分系统中发音错误的研究

目前许多计算机辅助英语学习系统在发音错误判定过程上缺乏慎重考虑。描述一个基于sphinx-4的英语口语自动评分系统。提出一种以标准语音的平均发音水平作为发音错误判断依据的新方法,根据该方法的判断结果给出相应的反馈意见。实验结果证明,该方法可以有效降低误判率,提升错误检测的正确率。     

基于声学音素向量和孪生网络的二语者发音偏误确认

随着自动大规模语音识别的不断发展,以自动语音识别为基础的计算机辅助发音教学也随之进步,作为传统教学方法的补充,它极大地弥补了传统教育资源不足以及传统教育方法无法及时给学习者反馈的缺陷。二语学习者的发音偏误确认和评价在计算机辅助发音训练中是较为重要的研究课题之一。针对二语者发音偏误的确认任务中缺少二语偏误发音标注问题,该文提出了一种基于声学音素向量和孪生网络的方法,将带有配对信息的成对的语音特征作为系统输入,通过神经网络将语音特征映射到高层表示,期望将不同的音素区分开。训练过程引入了孪生网络,依照输出的两个音素向量是否来自于同一类音素来调整和优化输出向量之间的距离,并通过相应的损失函数实现优化过程。结果表明使用基于余弦最大间隔距离损失函数的孪生网络获得了89.93%的准确率,优于实验中其它方法。此方法应用在发音偏误确认任务时,不使用标注的二语发音偏误数据训练的情况下,也获得了89.19%的诊断正确率。     

基于语音感知的英语口语发音自动校准系统

为提升英语口语发音质量，设计基于语音感知的英语口语发音自动校准系统。通过语音感知传感器与英语口语发音处理器设计系统硬件，采集英语口语发音数字信号，并以此为基础，对信号进行预加重、分帧加窗处理，获取信号特征MFCC系数，将MFCC系数作为训练数据集，构建发音检错模型，以检测到的错误发音为依据，对英语口语发音自动校准。实验结果表明系统英语口语发音检错正确率与校准发音质量评分更高，具备更加优质的性能。     

目前流行的计算机辅助发音教学系统(CAPT)的比较分析研究

目前国外流行的计算机辅助发音教学系统(CAPT)有很多,本文通过对6种CAPT系统分析了它们的相同点及不同点,并对每一种系统的优、缺点做了详细的介绍,在此分析基础上,得出未来需要的计算机辅助发音教学系统的特点。     

基于GMM-UBM和GLDS-SVM的英文发音错误检测方法

将语种和说话人识别的方法应用到英语发音错误检测系统, 提出一种基于广义线性区分序列支持向量机 (Generalized linear discriminant sequence based SVM, GLDS-SVM)的发音错误检测方法. 主要创新点为: 1)提出一种基于状态拼接的特征规整方案, 增强SVM对发音特征的建模能力; 2)提出一种基于多模型融合的模型训练策略, 该策略可以更加充分地利用训练数据, 并在一定程度上解决了由于真实发音错误数据缺乏造成的正负样本不均衡的问题; 3)将GLDS-SVM与基于通用背景模型GMM (Universal background models based GMM, GMM-UBM)的方法进行融合, 以进一步提高发音检错性能. GLDS-SVM和GMM-UBM的融合系统在仿真测试集和真实测试集上的等错误率 (Equal error rate, EER)分别达到9.92%和16.35%. 同时, GLDS-SVM在模型占用空间和运算速度方面均比传统径向基函数 (Radial basic function, RBF)核方法具有明显优势.     

应用语音对比技术构造的英文发音训练系统

学好一门外语是一项既困难又耗时的任务。大多数学生都没有条件单独聘请外籍教师一对一地指导自己的口语，因此只能跟着磁带或碟片模仿纯正的外文发音，并自己检查自己的模仿效果。多数情况下，他们不能发现自己在发音上的弱点和错误。该文介绍了一个应用语音对比技术构造的英文发音训练系统，它可以帮助用户发现自己发音中的问题，定位到是哪个音节的发音最不准确，并提供相应的发音技巧指导。     

基于网络协同的IT技能计算机辅助评价系统研究

社会经济发展过程中,计算机网络技术和信息化水平不断提升。IT技能计算机辅助评价系统可以有效检测被检测人员相关技能的掌握情况,并保证检测质量,在社会中得到了广泛应用。IT技能计算机辅助评测系统即IT技能计算机自动阅卷系统,可以评阅各种IT技能测试,比如国家计算机等级考试及现代各种技术考试等。基于此,主要研究了基于网络协同的IT技能计算机辅助评价系统,希望能够提供一定参考价值。     

发音属性优化建模及其在偏误检测中的应用

近年来,发音属性常常被用于计算机辅助发音训练系统(CAPT)中.该文针对使用发音属性的一些难点,提出了 一种建模细颗粒度发音属性(FSA)的方法,并在跨语言属性识别、发音偏误检测中进行测试.最终,得到了最优平均识别准确率约为95％的属性检测器组;在两个二语测试集上的偏误检测表明,相比基线,基于FSA的方法均获得了超过1...     

基于语音识别技术的英语口语教学系统

许多计算机辅助英语学习的应用欠缺口语学习的评估和反馈.描述了一个采用语音识别技术的英语口语学习系统.除了通常的发音评分外,还提供基于音素关联和音素识别的错误检测功能.结合纠正知识库的改进建议和韵律修正语音,可以及时地给学习者以帮助.实验结果表明,能够纠正有一定基础学习者的多数非故意错误.     

基于JSM和MLP改进发音错误检测的方法

针对发音错误检测的发音字典生成提出基于联合序列多阶模型(Joint-sequence multi-gram, JSM)和多层神经感知(Multi-layer perception, MLP)的方法. 首先使用JSM模型对发音错误进行建模, 将标准发音和错误发音组合为发音对, 表示它们之间的对应关系, 再使用N元文法来统计各发音对之间的关系, 描述错误发音对上下文关系的依赖. 最后使用MLP对发音对之间的关系进行重新建模, 以学习到在相似的上下文条件下发生的相似的错误. 实验证明使用MLP对高阶模型进行概率重估能有效的平滑概率空间, 提高了发音错误检测的性能.     

基于可视语音的英语发音辅导系统

发音问题是初学英语的一大难题。在我国这样的非英语环境中,很多小学生课后缺少专业老师辅导,极易出现英语发音障碍。本文设计开发了一个基于可视语音的英语发音辅导系统EP Tutor,模拟一个卡通家教的脸部动画,生动亲切的为学生一对一辅导英语发音。本文重点讨论了系统设计理念、系统架构、部分关键功能的详细设计以及关键技术的实现。     

基于韵律信息的连续语流调型评测研究

汉语连续语流中的调型评测是汉语语音评测的一个重要环节,利用连续语流中韵律耦合效应和韵律结构紧密相关这一特性,以韵律词为基本建模单元,建立基于多空间概率分布的HMM调型模型(MSD-HMM),使得汉语普通话水平评测系统针对标准连续语流的调型识别率从82.0% 提升至84.6%;针对有方言背景的非标准发音,机器评分与专家评分的相关度绝对提升超过3.0%。     

针对发音质量评测的声学模型优化算法

在发音质量评测研究中,传统仅用发音标准的数据进行声学建模,难以描述实际测试面临的非标准发音,使得训练与测试的失配在所难免。针对上述问题,该文提出一种利用覆盖各种发音的数据,根据最小化机器分与人工分均方误差准则进行声学模型优化的算法。实验在普通话水平考试现场3 685份数据(其中498份测试,3 187份训练)上进行。实验表明采用优化算法得到的针对发音质量的评测声学模型相比传统建模方式得到的声学模型有显著的优势。     

语音词汇网单词联想记忆

语音联想记忆是一种高效的记忆方法。为了给学习者提供语音联想的素材,引导学习者进行语音联想,熟悉读音规则,加深对单词拼写和发音的记忆,帮助学习者建立字母组合与相关发音间的双向认知,提出一种基于语音的词汇网。语音词汇网是基于常见字母组合和单词读音之间的差异构建的,因此其中既包含了语音近似度信息,也包含了一定的单词结构信息。利用该网络,学习系统不但可以实现语音联想功能,还能提供语音方面的相关统计信息。语音词汇网的引入能进一步完善单词学习系统的联想记忆功能。     

新疆非母语汉语语音识别中的字典自适应技术

将标准普通话语音数据训练得到的声学模型应用于新疆维吾尔族说话人非母语汉语语音识别时,由于说话人的普通话发音存在较大偏误,将导致识别率急剧下降。针对这一问题,将多发音字典技术应用于新疆维吾尔族说话人汉语语音识别中,通过统计分析识别器的识别错误,建立音素混淆矩阵,获取音素的发音候选项。利用剪枝策略对发音候选项进行剪枝整合,扩展出符合维吾尔族说话人汉语发音规律的替代字典。对三种剪枝方法产生的发音字典的识别结果进行了对比。实验结果表明,使用相对最大剪枝策略产生的发音字典可以显著提高系统识别率。     

Within-word pronunciation variation modeling for Arabic ASRs: a direct data-driven approach

Pronunciation variation is a major obstacle in improving the performance of Arabic automatic continuous speech recognition systems. This phenomenon alters the pronunciation spelling of words beyond their listed forms in the pronunciation dictionary, leading to a number of out of vocabulary word forms. This paper presents a direct data-driven approach to model within-word pronunciation variations, in which the pronunciation variants are distilled from the training speech corpus. The proposed method consists of performing phoneme recognition, followed by a sequence alignment between the observation phonemes generated by the phoneme recognizer and the reference phonemes obtained from the pronunciation dictionary. The unique collected variants are then added to dictionary as well as to the language model. We started with a Baseline Arabic speech recognition system based on Sphinx3 engine. The Baseline system is based on a 5.4 hours speech corpus of modern standard Arabic broadcast news, with a pronunciation dictionary of 14,234 canonical pronunciations. The Baseline system achieves a word error rate of 13.39%. Our results show that while the expanded dictionary alone did not add appreciable improvements, the word error rate is significantly reduced by 2.22% when the variants are represented within the language model.     

Aligning Text and Phonemes for Speech Technology Applications Using an EM-Like Algorithm

A common requirement in speech technology is to align two different symbolic representations of the same linguistic ‘message’. For instance, we often need to align letters of words listed in a dictionary with the corresponding phonemes specifying their pronunciation. As dictionaries become ever bigger, manual alignment becomes less and less tenable yet automatic alignment is a hard problem for a language like English. In this paper, we describe the use of a form of the expectation-maximization (EM) algorithm to learn alignments of English text and phonemes, starting from a variety of initializations. We use the British English Example Pronunciation (BEEP) dictionary of almost 200,000 words in this work. The quality of alignment is difficult to determine quantitatively since no ‘gold standard’ correct alignment exists. We evaluate the success of our algorithm indirectly from the performance of a pronunciation by analogy system using the aligned dictionary data as a knowledge base for inferring pronunciations. We find excellent performance—the best so far reported in the literature. There is very little dependence on the start point for alignment, indicating that the EM search space is strongly convex. Since the aligned BEEP dictionary is a potentially valuable resource, it is made freely available for research use.     

Grading the Severity of Mispronunciations in CAPT Based on Statistical Analysis and Computational Speech Perception

Computer-aided pronunciation training（CAPT） technologies enable the use of automatic speech recognition to detect mispronunciations in second language（L2） learners＇ speech. In order to further facilitate learning, we aim to develop a principle-based method for generating a gradation of the severity of mispronunciations. This paper presents an approach towards gradation that is motivated by auditory perception. We have developed a computational method for generating a perceptual distance（PD） between two spoken phonemes. This is used to compute the auditory confusion of native language（L1）. PD is found to correlate well with the mispronunciations detected in CAPT system for Chinese learners of English,i.e., L1 being Chinese（Mandarin and Cantonese） and L2 being US English. The results show that auditory confusion is indicative of pronunciation confusions in L2 learning. PD can also be used to help us grade the severity of errors（i.e.,mispronunciations that confuse more distant phonemes are more severe） and accordingly prioritize the order of corrective feedback generated for the learners.     

基于计算机辅助汉语教学系统的发音评分

提出了一种适用于母语非汉语学习者（Learner with Mandarin as a second language,ML2）学习汉语的自动发音评分（Automatic Pronunciation Evaluation,APE）方法。引入双语料语音库,将发音评分分为发音方式和发音效果两部分评分,提取各部分相应的特征参数,提出一种 双语音动态时间规整（Bilingual Dynamic Time Warping,BDTW）的方法来匹配比较得到语音相似度,通过评分机制得到最后的评分结果。通过实验验证了该方法的有效性。     

基于WFST的俄语字音转换算法研究

在俄语语音信息处理的资源建设中,字音转换技术起到了至关重要的作用。该文尝试对基于SAMPA的俄语音素集进行改进设计,使标音结果能够反映俄语单词的重音位置及元音弱化现象。依据改进的新音素集构建了包含20 000词的俄语发音词典。在此基础上,实现了一种数据驱动的俄语字音转换算法,将加权有限状态转化器(WFST)应用于算法的对齐、建模和解码过程中。首先利用期望最大化算法以“多对多”的方式对俄语字音进行对齐,然后将对齐结果通过联合N-gram模型训练,并转化为WFST发音模型,最后通过WFST解码算法对任意单词的发音进行预测。交叉验证实验结果表明,平均词形正确率为62.9%,平均音素正确率为92.2%。