针对发音质量评测的声学模型优化算法

在发音质量评测研究中,传统仅用发音标准的数据进行声学建模,难以描述实际测试面临的非标准发音,使得训练与测试的失配在所难免。针对上述问题,该文提出一种利用覆盖各种发音的数据,根据最小化机器分与人工分均方误差准则进行声学模型优化的算法。实验在普通话水平考试现场3 685份数据(其中498份测试,3 187份训练)上进行。实验表明采用优化算法得到的针对发音质量的评测声学模型相比传统建模方式得到的声学模型有显著的优势。     

基于多模态语义分析的试题推荐方法

在教育场景下,教育资源推荐是一项关键且基础的任务,教育资源呈现出显著的多源、异构和多模态特性,给教育资源的理解、应用带来了巨大的挑战。对此,该文提出了一种基于多模态语义分析的试题推荐方法：首先进行多模态教育资源的特征抽取以及不同模态数据之间的语义关联,构建多模态教育资源的理解表示框架;并利用相同领域任务进行多模态视频和试题特征的预训练,进行关联知识建模;最后,利用线上收集的数据进行视频-试题关联特征微调,得到更加鲁棒的特征表示,进行多模态教学视频的相关性试题推荐。在教育领域数据集上的实验结果表明,该文所提出的方法能有效提升现有方法的效果,具有很好的应用价值。     

基于KLD差的统计错误模式生成算法

研究了用于指导计算机发音质量评价的错误模式的生成算法,它是普通话CALL系统研究工作中的一部分.传统的错误模式是根据语言学知识来生成的,只能得到那些最重要的常见错误模式.为了提高错误模式的覆盖面,本文提出了一种基于KLD差的统计错误模式生成算法,用模型间KLD作为模型间的距离,以标准模型间KLD与带方言口音模型间KLD的差代表两种模型间的差异,并以之为度量来生成错误模式.实验证明在引入了此算法生成的错误模式后,系统性能由0.809提升到0.826.     

自由表述口语语音评测后验概率估计改进方法

该文研究了两种用于改善深度神经网络声学建模框架下自由表述口语语音评测任务后验概率估计的方法: 1)使用RNN语言模型对一遍解码N-best候选做语言模型得分重估计来获得更准确的识别结果以重新估计后验概率;2)借鉴多语种神经网络训练框架,提出将方言数据聚类状态加入解码神经网络输出节点,在后验概率估计中引入方言似然度得分以评估方言程度的新方法。实验表明,这两种方法估计出的后验概率与人工分相关度分别绝对提升了3.5%和1.0%,两种方法融合后相关度绝对提升4.9%;对于一个真实的评测任务,结合该文改进的后验概率评分特征,总体评分相关度绝对提升2.2%。     

基于韵律信息的连续语流调型评测研究

汉语连续语流中的调型评测是汉语语音评测的一个重要环节,利用连续语流中韵律耦合效应和韵律结构紧密相关这一特性,以韵律词为基本建模单元,建立基于多空间概率分布的HMM调型模型(MSD-HMM),使得汉语普通话水平评测系统针对标准连续语流的调型识别率从82.0% 提升至84.6%;针对有方言背景的非标准发音,机器评分与专家评分的相关度绝对提升超过3.0%。     

计算机用于英语背诵题的自动评分技术初探

计算机辅助语言学习日益成为研究重点,但目前主要开展的还是朗读题型的自动评分技术研究。在已有的朗读题自动评分工作基础上,首次提出并尝试背诵题的自动评分研究工作。通过分析背诵题的特点和规律,提出了用＂结合静音模型和吸收模型的句子并联网络＂进行背诵文本的自动识别,并在识别结果基础上选取更适合背诵题的评分特征,再结合朗读评分中的自适应技术,实现英语背诵题的自动评分。在2006年外研杯新概念英语大赛采集的342份数据上,系统取得了较好的评分性能：人机评分相关度达到0.732,平均分差0.358,达到了专家间相关度的90%,在完整度和流畅度的细节评分上,自动评分水平甚至超过了人工评分水平。     

深度学习建模下的自动句子填空技术

该文提出了一种结合依存句法分析和深度神经网络的自动句子填空技术。首先,提出了一种依存句法信息展开的序列建模方案,可以在引入句法信息的同时兼顾效率,并在此基础上利用排序学习思想,训练候选答案排序模型;其次,针对整体序列建模的细节建模失准问题,提出了一种基于语言模型多状态信息融合的自动句子填空模型;最后,设计了一种结合序列表示、依存句法信息、多状态信息的多源信息融合模型。该文还构建出一个英文答题数据集并据此进行了实验。实验结果表明,依存句法展开模型相对于常用的序列建模方案,准确率有11%的绝对提升;语言模型状态排序模型相对于基线模型,准确率有9.3%的绝对提升;最终的多源信息融合模型,在测试集上获得最高76.9%的准确率。     

普通话发音检错系统中TANDEM方法的研究与实现

语音识别中常用的HMM/GMM框架由于训练准则和算法的限制,对模式的辨识能力较差;另一种HMM/ANN框架虽具有极强的模式分类能力,但缺乏成熟有效的优化手段.将一种综合两者优点的TANDEM方法应用到普通话发音检错系统中,通过使用区分性训练的神经网络去估计音素级后验概率,经过一系列后续处理将原始MFCC特征转化为TANDEM特征,作为基于HMM统计模型的发音检错系统的输入,进而完成评测过程.实验结果证明,TANDEM方法使系统的检错性能有了较大的提升,结合MLLR等自适应方法的使用效果会更为明显.     

基于得分域多维特征分类器的声纹密码系统

针对不同类型数据对目标发音人区分能力不同的现象,在传统系统基础上提出利用UBM模型对测试数据进行分类,使用分类后的似然比得分形成多维特征,在此基础上利用SVM分类器进行声纹密码确认。该方法把传统的似然比检验策略转换成多维特征空间上的二类分类问题。测试与注册数据同信道情况时,在4种手机数据集上,文中系统相对文本相关GMM-UBM声纹密码系统等错误率分别下降41。25%、33。33%、37。49%和26。03%,在交叉信道上系统性能也获得改善。