基于声场重建的三维音频技术

近年来,随着人们对视听体验的要求不断提高,三维（空间）音频技术被广泛应用于娱乐影音等各领域,并取得显著进展。如何便捷地创造一个具有沉浸式空间听觉体验的环境是一直以来的研究热点。因此综述了主流三维声场重建的相关技术,并分析了其优缺点,主要讨论了三维声场的表达与维度、不同扬声器下的三维声场重建以及相应的混响均衡技术。最后,归纳了三维声场重建技术目前存在的问题,并展望未来发展的新方向。     

基于CycleGAN的语音可懂度关键技术

语音可懂度增强是一种在嘈杂环境中再现清晰语音的感知增强技术. 许多研究通过说话风格转换(SSC)来增强语音可懂度, 这种方法仅依靠伦巴第效应, 因此在强噪声干扰下效果不佳. SSC还利用简单的线性变换对基频(F0)的转换进行建模, 并且只映射很少维的梅尔倒谱系数(MCEPs). 因为F0和MCEPs是语音的两个重要特征, 对这些特征进行充分的建模是非常必要的. 因此本文进行了一个创新性研究即通过连续小波变换(CWT)将F0分解为10维来描述不同时间尺度的语音, 以实现F0的有效转换, 而且使用20维表示MCEPs实现MCEPs的转换. 除此之外, 还利用iMetricGAN网络来优化强噪声中的语音可懂度指标. 实验结果表明, 提出的基于CycleGAN使用CWT和iMetricGAN的非平行语音风格转换方法(NS-CiC)在客观和主观评价上均显著提高了强噪声环境下的语音可懂度.     

三维音频技术综述

三维(Three-dimension,3D)多媒体技术,尤其是和3D视频相比有所差距的3D音频技术受到了广泛的关注.当前三维音频技术研究可分为基于物理声场重建的多声道音频技术和基于感知的声音场景重建的多声道音频技术两大类.物理声场重建技术的重要代表是基于球谐分解的声重放技术和波场合成技术(Wave fieldsynthesis,WFS),基于感知的声音场景重建技术主要包括幅度平移技术(Amplitude panning,AP)和基于头相关传输函数的双耳重建技术(Head related transfer function,HRTF).本文对上述4类三维音频技术及其对应的典型系统进行了介绍及对比分析,并对三维音频技术当前3大主要研究热点:空间听觉机制、三维音频压缩编码以及三维音频系统精简的现状与前沿技术进行了介绍.