基于卷积神经网络的面罩语音识别

针对带噪面罩语音识别率低的问题,结合语音增强算法,对面罩语音进行噪声抑制处理,提高信噪比,在语音增强中提出了一种改进的维纳滤波法,通过谱熵法检测有话帧和无话帧来更新噪声功率谱,同时引入参数控制增益函数;提取面罩语音信号的Mel频率倒谱系数(MFCC)作为特征参数;通过卷积神经网络(CNN)进行训练和识别,并在每个池化层后经局部响应归一化(LRN)进行优化.实验结果表明:该识别系统能够在很大程度上提高带噪面罩语音的识别率.     

基于麦克阵列的实时盲语音分离系统

通过使用多波束形成器对盲分离系统进行预处理滤波,结合频域内独立分量分析的方法,提出了一种基于麦克阵列的快速实时盲语音分离系统,它能够有效地分离在真实环境中的卷积混叠语音信号。     

麦克风阵列语音增强技术及其应用

本文简要叙述了应用麦克风阵列进行语音增强的原理及方法。且由于麦克风阵列在实际语音处理时具有良好的拾取语音能力及噪声鲁棒性,本文将介绍该技术在车载系统环境、机器人语音识别、大型场所的记录会议、助听装置及声源定位等系统中的应用。     

麦克风阵列语音增强的研究

文章介绍了各种基本的麦克风阵列语音增强算法,对其消噪性能进行了系统地分析,并以实测数据进行了测试。并介绍了基于稳健波束形成器、近场超定向波束形成器、广义奇异值分解和传输函数广义旁瓣相消器等结构的麦克风阵列语音增强的基本原理,总结了各种算法的特点及其所适用的声学环境特性。     

Speech enhancement with an adaptive Wiener filter

This paper proposes an adaptive Wiener filtering method for speech enhancement. This method depends on the adaptation of the filter transfer function from sample to sample based on the speech signal statistics; the local mean and the local variance. It is implemented in the time domain rather than in the frequency domain to accommodate for the time-varying nature of the speech signals. The proposed method is compared to the traditional frequency-domain Wiener filtering, spectral subtraction and wavelet denoising methods using different speech quality metrics. The simulation results reveal the superiority of the proposed Wiener filtering method in the case of Additive White Gaussian Noise (AWGN) as well as colored noise.     

基于麦克风小阵的多噪声环境语音增强算法

针对助听器等设备在非平稳或多种噪声并存环境下使用效果急剧下降的问题,提出一种基于小尺寸麦克风阵的相干滤波广义旁瓣抵消(CF-GSC)语音增强算法。该算法结合麦克风阵采集信号的特点,对各阵元间采集时表现为弱相关的海浪、风扇等近似白噪声,以及采集时表现为强相关的点源信号及其他竞争噪声,分别利用相干滤波和传统广义旁瓣抵消(GSC)结构对弱相关与强相关噪声的良好滤除效果,结合语音活动检测(VAD)在噪声段进行联合处理。仿真实验表明在多类噪声存在环境下,该算法能取得相对改进的通道间相干函数滤波算法及传统广义旁瓣抵消算法2 dB左右的增强效果提升,同时能获得良好的话音可懂度。     

Speech Enhancement and Recognition in Meetings With an Audio–Visual Sensor Array

This paper addresses the problem of distant speech acquisition in multiparty meetings, using multiple microphones and cameras. Microphone array beamforming techniques present a potential alternative to close-talking microphones by providing speech enhancement through spatial filtering. Beamforming techniques, however, rely on knowledge of the speaker location. In this paper, we present an integrated approach, in which an audio-visual multiperson tracker is used to track active speakers with high accuracy. Speech enhancement is then achieved using microphone array beamforming followed by a novel postfiltering stage. Finally, speech recognition is performed to evaluate the quality of the enhanced speech signal. The approach is evaluated on data recorded in a real meeting room for stationary speaker, moving speaker, and overlapping speech scenarios. The results show that the speech enhancement and recognition performance achieved using our approach are significantly better than a single table-top microphone and are comparable to a lapel microphone for some of the scenarios. The results also indicate that the audio-visual-based system performs significantly better than audio-only system, both in terms of enhancement and recognition. This reveals that the accurate speaker tracking provided by the audio-visual sensor array proved beneficial to improve the recognition performance in a microphone array-based speech recognition system.     

On the Importance of the Pearson Correlation Coefficient in Noise Reduction

Noise reduction, which aims at estimating a clean speech from noisy observations, has attracted a considerable amount of research and engineering attention over the past few decades. In the single-channel scenario, an estimate of the clean speech can be obtained by passing the noisy signal picked up by the microphone through a linear filter/transformation. The core issue, then, is how to find an optimal filter/transformation such that, after the filtering process, the signal-to-noise ratio (SNR) is improved but the desired speech signal is not noticeably distorted. Most of the existing optimal filters (such as the Wiener filter and subspace transformation) are formulated from the mean-square error (MSE) criterion. However, with the MSE formulation, many desired properties of the optimal noise-reduction filters such as the SNR behavior cannot be seen. In this paper, we present a new criterion based on the Pearson correlation coefficient (PCC). We show that in the context of noise reduction the squared PCC (SPCC) has many appealing properties and can be used as an optimization cost function to derive many optimal and suboptimal noise-reduction filters. The clear advantage of using the SPCC over the MSE is that the noise-reduction performance (in terms of the SNR improvement and speech distortion) of the resulting optimal filters can be easily analyzed. This shows that, as far as noise reduction is concerned, the SPCC-based cost function serves as a more natural criterion to optimize as compared to the MSE.     

滤波器组自适应语音增强方法

双麦克风噪声抵消应用中,由于交叉串的存在,传统自适应算法降噪性能受到很大的影响。为了提高双麦克风算法降噪性能,使用两级自适应滤波系统消除交叉串扰问题。为提高自适应滤波器收敛性能,采用主从结构LMS算法自适应调节步长因子。同时为了适合窄带处理算法,将输入信号进行子带分析预处理,对每个子带独立进行抗交叉串绕自适应处理,将各子带增强信号合并得到增强语音信号。实验结果表明,该方消噪量大,语音损伤小,语音增强效果显著。     

基于微分麦克风阵列的自适应语音增强算法研究及DSP实现

自适应滤波是语音增强算法中的常用技术, 而算法复杂度与收敛速度是设计各种自适应算法需要首要考虑的问题. 本文提出一种用于片上的语音增强自适应滤波新算法. 该算法分两步实现, 首先, 利用一阶微分麦克风阵列, 获得噪声的实时估计; 其次, 对传统的仿射投影算法(Affine projection algorithm, APA)加以改进, 得到计算误差向量的快速算法, 并根据估计误差动态调整搜索步长以及仿射投影维数, 对带噪语音进行自适应滤波消噪. 在TMS320VC5509 DSP芯片上实现该算法. 实验表明, 算法的自适应滤波过程具有接近递推最小二乘算法(Recursive least squares, RLS)的快速收敛速度, 以及类似最小均方误差算法(Least mean squares, LMS)的低算法复杂度.     

多通道助听器语音降噪算法研究

维纳滤波算法是改善噪声环境下听障患者语音理解度的常用算法之一。针对传统维纳滤波算法噪声谱估计偏差大的问题,提出一种基于改进的多通道维纳滤波算法的助听器语音降噪算法。算法首先结合人耳听觉特性和助听器响度补偿的特点,将语音信号进行Gammatone分解为多路子带信号。然后在每个子带内用基于先验信噪比估计的维纳滤波器进行语音增强处理。最后通过综合子带信号,得到增强的语音。此外,为了改善维纳滤波算法噪声谱估计的问题,提出一种基于包络估计的语音活动检测算法,并用于改善维纳滤波性能。实验结果表明,与传统维纳滤波法相比,该方法能更有效地抑制残留噪声,提高语音可懂度,具有较高的实用价值。     

智能音箱中的一种快速回声消除算法

考虑到智能音箱中多采用麦克风阵列作为拾音装置,而单通道自适应滤波技术对声学回声消除具有失真性和复杂性,提出一种麦克风阵列快速回声消除算法。该算法首先用自适应滤波技术估计第一通道回声,然后估计阵列间的相对回声传递函数,把两者相乘得到其他通道回声;其次,把估计出的回声和噪声当作广义旁瓣抵消器（GSC）波束形成下支路的噪声参考信号,利用GSC波束形成算法去除回声和噪声。仿真结果表明,在中度混响、远距离、低回噪比且用音乐作为回声环境时,该算法具有良好的回声消除与噪声抑制性能,不仅运算量小,而且使目标语音信号具有较高的信源失真率和可懂度。     

改进相位谱补偿的语音增强方法

针对传统单通道语音增强方法中用带噪语音相位代替纯净语音相位重建时域信号，使得语音主观感知质量改善受限的情况，提出了一种改进相位谱补偿的语音增强算法。该算法提出了基于每帧语音输入信噪比的Sigmoid型相位谱补偿函数，能够根据噪声的变化来灵活地对带噪语音的相位谱进行补偿；结合改进DD的先验信噪比估计与语音存在概率算法（SPP）来估计噪声功率谱；在维纳滤波中结合新的语音存在概率噪声功率谱估计与相位谱补偿来提高语音的增强效果。相比传统相位谱补偿（PSC）算法而言，改进算法可以有效抑制音频信号中的各类噪声，同时增强语音信号感知质量，提升语音的可懂度。     

脉冲噪声环境下基于卡尔曼滤波的语音增强

语音增强的目标在于从含噪信号中提取纯净语音,纯净语音在某些环境下会被脉冲噪声所污染,但脉冲噪声的时域分布特征却给语音增强带来困难,使传统方法在脉冲噪声环境下难以取得满意效果。为在平稳脉冲噪声环境下进行语音增强,提出了一种新方法。该方法通过计算确定脉冲噪声样本的能量与含噪信号样本的能量之比最大的频段,利用该频段能量分布情况逐帧判别语音信号是否被脉冲噪声所污染。进一步地,该方法只在被脉冲噪声污染的帧应用卡尔曼滤波算法去噪,并改进了传统算法执行时的自回归(AR)模型参数估计过程。实验中,采用白色脉冲噪声以及有色脉冲噪声污染语音信号,并对低输入信噪比的信号进行语音增强,结果表明所提出的算法能显著地改善信噪比和抑制脉冲噪声。     

基于波束形成与多参考源噪声对消的语音增强算法

通过传声器阵列采用波束形成技术采集语音信号,同时使用参考传声器获得背景噪声信号,本文提出一种基于波束形成和自适应多参考噪声对消的语音增强算法。该算法不依赖任何信号模型且无需对噪声信号的统计特性进行先验假设,可以适应背景噪声的突然改变,同时具有良好的实时性和鲁棒性。可广泛应用于复杂噪声环境下目标语音识别,仿真结果表明了该算法的有效性。     

基于小波包与自适应维纳滤波的语音增强算法

语音增强主要用来提高受噪声污染的语音可懂度和语音质量,它的主要应用与在嘈杂环境中提高移动通信质量有关。传统的语音增强方法有谱减法、维纳滤波、小波系数法等。针对复杂噪声环境下传统语音增强算法增强后的语音质量不佳且存在音乐噪声的问题,提出了一种结合小波包变换和自适应维纳滤波的语音增强算法。分析小波包多分辨率在信号频谱划分中的作用,通过小波包对含噪信号作多尺度分解,对不同尺度的小波包系数进行自适应维纳滤波,使用滤波后的小波包系数重构进而获取增强的语音信号。仿真实验结果表明,与传统增强算法相比,该算法在低信噪比的非平稳噪声环境下不仅可以更有效地提高含噪语音的信噪比,而且能较好地保存语音的谱特征,提高了含噪语音的质量。     

Single channel noise reduction system in low SNR

We propose a two stage noise reduction system for reducing background noise using single-microphone recordings in very low signal-to-noise ratio (SNR) based on Wiener filtering and ideal binary masking. The proposed system contains two stages. In first stage, the Wiener filtering with improved a priori SNR is applied to noisy speech for background noise reduction. In second stage, the ideal binary mask is estimated at every time–frequency channel by using pre-processed first stage speech and comparing the time–frequency channels against a pre-selected threshold T to reduce the residual noise. The time–frequency channels satisfying the threshold are preserved whereas all other time–frequency channels are attenuated. The results revealed substantial improvements in speech intelligibility and quality over that accomplished with the traditional noise reduction algorithms and unprocessed speech.     

人机交互中的声源定位与增强方法

基于人机交互的实际应用场景,提出了一种交互目标声源三维定位与语音增强算法。该算法首先在广义相关法的基础上提出一种声达时延差的估计方法,通过由6个麦克风构成的平行均匀线阵接收模型,实现对目标声源的三维定位;然后在交互目标声源定位的基础上,通过调整时延波束叠加的权值,实现对目标语音的增强。仿真实验结果表明,文中提出的算法能够准确定位目标声源并对目标语音进行有效增强。在信噪比大于1.5 dB 的环境中,该算法可使目标声源达到98%以上定位精度,5 dB 以上信噪比改善,同时算法运算量小且易于硬件实现。     

基于多统计模型和人耳听觉特性的麦克风阵列后滤波语音增强算法

针对麦克风阵列后滤波语音增强算法的不足, 结合人耳的听觉掩蔽效应, 提出了改进的后滤波语音增强算法. 提出了最大化目标语音存在概率来确定信号子空间维度的方法, 在噪声子空间上, 利用条件概率估计出噪声功率谱. 基于人耳的听觉掩蔽效应, 提出了后滤波器的一种合理的设计方法. 实验证明, 所提的噪声估计方法比传统方法更加准确, 所提的后滤波算法比传统的后滤波算法更好, 在多项语音评价指标上, 都取得了更好的实验效果.     

基于奇异谱分析和维纳滤波的语音去噪算法

针对维纳滤波算法对非平稳语音信号去噪存在的信号失真、信噪比(SNR)不高的问题,提出了一种奇异谱分析(SSA)和维纳滤波(WF)相结合的语音去噪算法SSA-WF。通过奇异谱分析将非线性、非平稳的语音信号初步去噪,提高含噪语音的信噪比以获取尽可能平稳的语音,并将其作为维纳滤波的输入,以剔除其中仍存在的高频噪声,最终获取纯净的去噪语音。在不同强度的背景噪声下进行仿真实验,结果表明SSA-WF算法在SNR和均方根误差(RMSE)等方面都要优于传统的语音去噪算法,能够有效去除背景噪声,降低有用信号的失真,适用于非线性、非平稳语音信号的去噪。