复杂环境下基于自适应深度神经网络的鲁棒语音识别

在连续语音识别系统中,针对复杂环境(包括说话人及环境噪声的多变性)造成训练数据与测试数据不匹配导致语音识别率低下的问题,提出一种基于自适应深度神经网络的语音识别算法。结合改进正则化自适应准则及特征空间的自适应深度神经网络提高数据匹配度;采用融合说话人身份向量i-vector及噪声感知训练克服说话人及环境噪声变化导致的问题,并改进传统深度神经网络输出层的分类函数,以保证类内紧凑、类间分离的特性。通过在TIMIT英文语音数据集和微软中文语音数据集上叠加多种背景噪声进行测试,实验结果表明,相较于目前流行的GMM-HMM和传统DNN语音声学模型,所提算法的识别词错误率分别下降了5.151%和3.113%,在一定程度上提升了模型的泛化性能和鲁棒性。     

双模态车载语音控制仿真系统的设计与实现

针对音、视频双模态语音识别能有效地提高噪声环境下的识别率的特性,本文设计了车载语音控制指令识别实验系统。该系统模拟车载环境,把说话时的视频信息融入到语音识别系统中,系统分为模型训练、离线识别和在线识别3部分。在线识别全程采用语音作为人机交互手段,并具备用户自适应的功能。离线识别部分将系统产生的数据分层次进行统计,非常适合进行双模态语音识别算法研究。     

基于知识蒸馏和生成对抗网络的远场语音识别

为了进一步利用近场语音数据来提高远场语音识别的性能,提出一种基于知识蒸馏和生成对抗网络相结合的远场语音识别算法.该方法引入多任务学习框架,在进行声学建模的同时对远场语音特征进行增强.为了提高声学建模能力,使用近场语音的声学模型（老师模型）来指导远场语音的声学模型（学生模型）进行训练.通过最小化相对熵使得学生模型的后验概率分布逼近老师模型.为了提升特征增强的效果,加入鉴别网络来进行对抗训练,从而使得最终增强后的特征分布更逼近近场特征.AMI数据集上的实验结果表明,该算法的平均词错误率（WER）与基线相比在单通道的情况下,在没有说话人交叠和有说话人交叠时分别相对下降5.6%和4.7%.在多通道的情况下,在没有说话人交叠和有说话人交叠时分别相对下降6.2%和4.1%.TIMIT数据集上的实验结果表明,该算法获得了相对7.2%的平均词错误率下降.为了更好地展示生成对抗网络对语音增强的作用,对增强后的特征进行了可视化分析,进一步验证了该方法的有效性.     

基于残差网络改进的中文语音情感识别

为解决小样本中文语音情感识别准确度低的问题，提出一种基于残差网络改进的中文语音情感识别网络结构AResnet。使用时域增强和频域增强生成更复杂的模拟样本扩充语音情感数据，将注意力机制引入至残差网络(residual networks)中，关注谱图中情感特征分布，提升情感识别率。在CASIA中文语音数据集上训练、测试，其结果显示，对比DCNN+LSTM、Trumpt-6网络结构，识别率分别提升约14.9%、3%,验证了AResnet在中文语音情感识别中的有效性。该方法也在英语语音数据集eNTERFACE’05上进行实验，识别准确率为92%,验证了AResnet有较好的泛化能力。     

基于声学模型共享的零资源韩语语音识别

精准的语音识别系统通常使用大量的有标注语音数据训练得到,但现有的开源大规模数据集只包含一些广泛使用的语言,诸多小语种则面临着训练数据不足的问题。声学模型共享方法给出了这个问题的一种解决方法,它利用不同语种间的相似性,可以实现不需要小语种语音数据的语音识别。本文将声学模型共享方法扩展到韩语语音识别上,利用汉语声学模型构建韩语和汉语之间的音素映射关系。在不使用任何韩语语音数据的情况下构建的语音识别系统在Zeroth测试集上的字错误率达到了27.33%。同时本文还测试了不同映射方式之间的差异,结果表明这种共享模型的音素映射应当采用将目标语言词汇映射为源语言音素的方式。     

基于计算听觉场景分析和语者模型信息的语音识别鲁棒前端研究

传统抗噪算法无法解决人声背景下语音识别(Automatic speech recognition, ASR)系统的鲁棒性问题. 本文提出了一种基于计算听觉场景分析(Computational auditory scene analysis, CASA)和语者模型信息的混合语音分离系统. 该系统在CASA框架下, 利用语者模型信息和因子最大矢量量化(Factorial-max vector quantization, MAXVQ)方法进行实值掩码估计, 实现了两语者混合语音中有效地分离出目标说话人语音的目标, 从而为ASR系统提供了鲁棒的识别前端. 在语音分离挑战(Speech separation challenge, SSC)数据集上的评估表明, 相比基线系统, 本文所提出的系统的语音识别正确率提高了15.68%. 相关的实验结果也验证了本文提出的多语者识别和实值掩码估计的有效性.     

常用藏语词汇语音评价关键技术研究和仿真实现

藏语音存在语料库缺少和地区方言较多等问题,因此关于藏语音的识别技术相对缺乏。基于此,提出一种使用卷积神经网络(Convolut ional Neural Network,CNN)、长短期记忆(Long Short Term Memory,LSTM)神经网路和动态神经网络(Dynamic Neural Network,DNN)的基于Python平台上TensorFlow框架的深度混合网络模型。首先,录制来自拉萨市、安多县和昌都市3个地区的藏语音数据制作语音数据集,并通过改进模型深度、结构、参数和算法来提升藏语音识别的准确率;其次,使用多层卷积残差网络和改进的LSTM神经网络解决模型训练过程中的梯度爆炸问题;最后,使用反向传播算法提高模型训练的准确度。仿真实验表明,该模型虽然在不同地区的藏语音数据识别准确率上存在差异,但是在整体的识别准确率和模型的收敛性上具有不错的效果。     

基于深层神经网络的藏语识别

文中首次涉及藏语的自然对话风格大词汇电话连续语音识别问题.作为一种少数民族语言,藏语识别面临的最大的困难是数据稀疏问题.文中在基于深层神经网络(DNN)的声学模型建模中,针对数据稀疏的问题,提出采用大语种数据训练好的DNN作为目标模型的初始网络进行模型优化的策略.另外,由于藏语语音学的研究很不完善,人工生成决策树问题集的方式并不可行.针对该问题,文中利用数据驱动的方式自动生成决策树问题集,对三音子隐马尔可夫模型(HMM)进行状态绑定,从而减少需要估计的模型参数.在测试集上,基于混合高斯模型(GMM)声学建模的藏字识别率为30.86%.在基于DNN的声学模型建模中,采用三种大语种数据训练好的DNN网络作为初始网络,并在测试集上验证该方法的有效性,藏字识别正确率达到43.26%.     

多噪声环境下的层级语音识别模型

针对多噪声环境下的语音识别问题,提出了将环境噪声作为语音识别上下文考虑的层级语音识别模型。该模型由含噪语音分类模型和特定噪声环境下的声学模型两层组成,通过含噪语音分类模型降低训练数据与测试数据的差异,消除了特征空间研究对噪声稳定性的限制,并且克服了传统多类型训练在某些噪声环境下识别准确率低的弊端,又通过深度神经网络（DNN）进行声学模型建模,进一步增强声学模型分辨噪声的能力,从而提高模型空间语音识别的噪声鲁棒性。实验中将所提模型与多类型训练得到的基准模型进行对比,结果显示所提层级语音识别模型较该基准模型的词错率（WER）相对降低了20.3%,表明该层级语音识别模型有利于增强语音识别的噪声鲁棒性。     

基于改进型SVM算法的语音情感识别

为有效提高语音情感识别系统的识别率,研究分析了一种改进型的支持向量机(SVM)算法。该算法首先利用遗传算法对SVM参数惩罚因子和核函数中参数进行优化,然后用优化后的参数进行语音情感的建模与识别。在柏林数据集上进行7种和常用5种情感识别实验,取得了91.03%和96.59%的识别率,在汉语情感数据集上,取得了97.67%的识别率。实验结果表明该算法能够有效识别语音情感。     

基于多项式拟合的中性-情感模型转换算法

情绪变化问题是说话人识别技术面临的一个难题。为了解决该问题,提出了基于多项式方程拟合的中性－情感模型转换算法。该算法建立了中性模型和情感模型之间的函数关系,只需要说话人的中性语音就能训练其各种情感类型的说话人模型。在普通话情感语音库上的实验表明,采用该方法后识别算法的等错误率由16.06%降低到10.31%,提高了系统性能。     

一种基于GMM模型的语音情感识别方法

在人机语音交互系统中,机器不仅要具有理解人类语音的能力,还应当具有识别说话人情感的能力.本文提出了基于高斯混合模型(GMM)的序列分类和识别的改进方法,并将该方法引入到语音情感识别的研究中.本文提出了观测值次序均衡的方法.实验结果证明这种新的方法有效地提高了语音情感识别的准确率.     

噪声环境下基于单高斯模型的声道归一化研究

声道归一化是语音识别中说话人自适应的方法之一,在噪声环境下对其进行了研究并做了一系列的实验.在实现过程中,首次在噪声环境下采用了基于单高斯混合模型选择弯折因子的方法,并取得了良好的结果.实验基于AURORA语音数据库,并用其所带的汽车噪声环境下的测试集对模型进行了识别验证.实验结果表明,采用声道归一化后的识别结果在各个噪声下均比原来有不同程度的改善,迭代训练能改进单轮声道归一化的结果,最佳结果出现在迭代训练的第三轮.噪声环境下基于一个高斯混合模型选择的弯折因子相比其他高斯混合模型选择的弯折因子,句子平均识别率提高了近1.68%.经过声道归一化后的性别独立模型的识别结果能接近于未经声道归一化后的性别依赖模型的识别结果,如果训练数据充分,声道归一化后的性别独立模型的识别结果能更好.     

多噪声环境下声音的身份鉴定技术研究与仿真

研究多噪声背景下基于声音的身份准确识别问题。当个体声音混淆在其它声音背景下的时候,个体独特的语音特征由于混有噪声特征,导致自身特征发生退化。造成的传统语音特征进行识别的方法,由于无法克服"噪声"干扰下语音特征的退化,造成识别准确性不高。提出了根据语音特征概率决策的混合语音识别方法。采用对混合语音进行独立的有效特征检测,根据特征概率决策算法将语音特征进行归属概率识别,并通过特征归属度计算完成身份识别,克服由于语音特征混合,造成语音特征退化造成的识别不准问题。实验结果表明,提出的方法能够对混合的语音特征进行有效的识别,提高了识别的准确度。     

DTZH1505：大规模开源中文普通话语音库

近年来,深度学习在语音识别领域取得了突破性进展,并推动语音识别技术广泛应用到人们的日常生活中。语音识别模型的进一步优化需要更大规模标定数据的驱动,然而,目前开源的语音数据集规模仍太小,语料多为偏向书面用语的新闻类长文本。针对人机交互、智能客服等热门语音识别应用,通过众包模式采集朗读式语音,构建并开源了迄今为止最大规模的中文普通话语音数据集DTZH1505。数据集记录了6?408位来自中国八大方言地域、33个省份的说话人的自然语音,时长达1?505?h,语料内容涵盖社交聊天、人机交互、智能客服以及车载命令等,可广泛用于语料库语言学、会话分析、语音识别、说话人识别等研究。开展一系列基准语音识别实验,实验结果表明：相较于同规模中文语音数据集aishell2,基于此数据集训练的语音识别模型效果更好。     

基于深度神经网络的噪声环境下对话行为分类模型

对话行为可以在一定程度上表达说话人的意图,对话行为分类是机器翻译、人机交互设计等领域的基本要求,对于语音识别领域具有重要的意义.针对噪音环境下的对话行为分类提出了一种新的模型,通过快速噪声估计谱减法进行语音增强,采用长短期记忆网络对经过卷积神经网络语言嵌入后的词向量进行学习,从而得到具有抗噪性的对话行为分类模型.使用中文日常用语语料库的样本进行了多组对比试验,以测试新模型的抗噪声能力和对话行为分类的准确性.结果表明在0 dB的噪声环境下,模型的对话行为分类准确度达到95.5％,当噪声增加到5 dB时仍能保持94.1％,为噪音环境下的对话分类提供了一种新的模型.     

基于自监督知识迁移的鲁棒性语音识别技术

针对标注神经网络训练数据的成本日益增加与噪声干扰阻碍语音识别系统性能提升的问题,提出一种基于自监督知识迁移的鲁棒性语音识别模型的模型训练算法。首先,在预处理阶段提取原始语音样本的三个人工特征;然后,在训练阶段将特征提取网络生成的高级特征分别通过三个浅层网络来拟合预处理阶段提取的人工特征;同时,把特征提取前端与语音识别后端进行交叉训练,并合并它们的损失函数;最后,通过梯度反向传播令特征提取网络学会提取更有助于去噪语音识别的高级特征,从而实现人工知识迁移与去噪,并高效利用了训练数据。在军事装备控制的应用场景下,基于加噪后的THCHS-30、希尔贝壳数据集AISHELL-1与ST-CMDS这三个开源中文语音识别数据集以及军事装备控制指令的数据集上进行测试,实验结果表明,基于自监督知识迁移的鲁棒性语音识别模型的模型训练算法词错率可以降低到0.12,不仅可以实现对鲁棒性语音识别模型的模型训练,同时通过自监督知识迁移提高了训练样本的利用率,可完成装备控制任务。     

基于领域知识的语音识别鲁棒性增强技术研究

针对语音识别软件在有噪声干扰时识别准确率降低的问题，为确保使用语音控制操作的安全性，提出一种基于领域知识的语音识别鲁棒性增强方法。以舰艇操控为应用背景，建立舰艇操控领域知识图谱；从航海图书资料和经典海战影视资料中提取舰艇操控指令，构建舰艇操控指令中文语音数据集；提出一种嵌入领域知识的解码方法，通过计算识别结果与领域知识图谱的匹配度对输出控制指令进行修正。实验结果表明，相较于目前流行的连接时序分类解码方法和基于注意力机制的解码方法，所提解码方法在识别信噪比为10 dB和20 dB的带噪语音时字错误率分别下降了4.0%和1.5%,指令识别准确率分别提升了10.3%和6.3%,提高了语音识别模型识别中文指令的鲁棒性。     

语音识别中声学模型研究综述

智能语音技术包含语音识别、自然语言处理、语音合成三个方面的内容,其中语音识别是实现人机交互的关键技术,识别系统通常需要建立声学模型和语言模型。神经网络的兴起使声学模型数量急剧增加,基于神经网络的声学模型与传统识别模型相结合的方式,极大地推动了语音识别的发展。语音识别作为人机交互的前端,具有许多研究方向,文中着重对语音识别任务中的文本识别、说话人识别、情绪识别三个方向的声学模型研究现状进行归纳总结,尽可能对语音识别技术的演化进行细致介绍,为以后的相关研究提供有价值的参考。同时对目前语音识别的主流方法进行概括比较,介绍了端到端的语音识别模型的优势,并对发展趋势进行分析展望,最后提出当前语音识别任务中面临的挑战。     

嵌入式语音识别系统的快速高斯计算实现

在基于隐含马尔可夫模型(HMM)的连续语音识别系统中,模型状态的高斯分布输出概率的计算会占到整个系统计算量的30%到70%。该文基于语音识别在缺乏浮点运算能力的嵌入式系统上的实现,给出了一种快速高斯计算的新方法。该方法使所有模型状态都共享一个有限的高斯输出概率集,以减少计算复杂度,并且无需重新训练模型参数。在嵌入式平台上的实验数据表明,识别速度能获得15%～25%的提高,而且识别率没有大幅降低。