联合频谱映射与掩蔽估计的协作式语音增强方法

为提高目前基于掩蔽与基于频谱映射的语音增强方法性能上界以及复杂环境下的泛化能力,提出了一种在联合复频谱 与复掩蔽学习框架下的协作式单通道语音增强方法。 该方法采用编码器-双分支解码器结构,在编解码部分设计了一种交互协 作学习单元(ICU)来监督交互语音信息流,并提供有效的潜在特征空间;中间层则是设计出一种多尺度融合 Transformer,以少 量参数在空间-通道维度上多尺度地提取细节信息后融合输出,同时对语音子频带与全频带信息建模。 在大、小数据集与 115 种噪声环境下进行实验,结果表明该方法仅以 0. 57 M 的参数量,取得比大部分先进且相关方法更优的主、客观指标,具有良好 的鲁棒性与有效性。