感知联合优化的深度神经网络语音增强方法

基于深度神经网络的语音增强模型的训练一般采用均方误差作为代价函数,没有针对语音增强问题进行优化。针对这一问题,从相邻帧网络输出之间的相关性和各时频单元的语音存在情况两方面进行考虑;通过在代价函数中对相邻帧的网络输出进行关联,并设计一个反映时频单元语音存在情况的感知系数,提出了一种感知联合优化的深度神经网络语音增强方法。实验结果表明,相比基于均方误差的语音增强方法,该方法显著地提高了增强语音的语音质量和可懂度,具有更好的语音增强性能。     

一种基于时频域特征融合的语音增强方法

为充分利用含噪语音特征来提升深度神经网络的语音增强性能,提出一种融合时频域特征的语音增强方法。以含噪语音的波形和纯净语音的对数功率谱分别作为训练特征和训练目标,获取含噪语音时域特征到纯净语音频域特征的映射关系。将含噪语音的波形和对数功率谱共同作为训练特征,构建融合含噪语音时域和频域特征的深度神经网络实现语音增强。实验结果表明,与单纯使用频域特征的语音增强方法相比,该方法能够明显提升增强语音的质量和可懂度,具有更好的语音增强性能。     

利用生成噪声提高语音增强方法的泛化能力

如何提高对未知噪声类型的泛化能力是有监督语音增强方法中亟待解决的重要问题,通过对大量不同类型噪声进行建模,深度神经网络成为了解决该问题的有效手段.为了进一步提高基于深度神经网络的语音增强方法的泛化能力,本文基于生成式对抗网络（Generative Adversarial Networks,GAN）设计了能够由真实噪声数据生成新的噪声类型的NoiseGAN;通过在训练集中增加生成噪声类型,提高训练集噪声类型的多样性,从而达到提高语音增强模型泛化能力的目的.不同结构的网络下的语音增强实验结果表明,本文提出的NoiseGAN能够生成新的噪声类型,具备提高训练集噪声类型多样性的能力,有效提高了语音增强模型在未知噪声类型下的泛化能力.     

基于准循环神经网络的语音增强方法

在基于深度学习的语音增强模型中,长短时记忆网络能较好地解决序列语音增强问题,但该模型在处理大规模含噪语音数据时存在训练速度缓慢的问题.为此,提出一种基于准循环神经网络的语音增强方法.利用门函数和记忆单元确保含噪语音序列上下文的相关性,门函数的计算不再依赖上一时刻的输出,且该模型在含噪语音序列的输入和门函数的计算中都引入矩阵的卷积运算,使模型可以同时处理多个时刻的语音序列信息,从而增强模型并行计算的能力.实验结果表明,与长短时记忆网络相比,该方法能在保证语音增强性能的前提下,有效提高网络模型的训练速度.     

一种时频平滑的深度神经网络语音增强方法

由于现有的基于深度神经网络的语音增强方法在网络结构的设计上缺乏对语音增强问题自身特点的考虑, 针对这一问题,基于语音增强在时间和频率两个维度上的不同特性,受传统语音增强方法中的含噪语音局部特征计算方法启发,设计了一种在时间和频率两个维度上进行不同处理的时频平滑网络。该网络采用门控循环单元来表达含噪语音在时间上的相关性,同时采用卷积神经网络来表达含噪语音在频率上的相关性,实现了类似传统语音增强方法的时频平滑处理。实验结果表明,这种时频平滑网络在保证语音增强系统因果性的前提下,相比其他网络显著地提高了语音增强性能,增强后的语音具有更好的语音质量和可懂度。