一种提高神经网络集成系统泛化能力的方法

为了充分利用神经网络的原始训练数据,提高神经网络集成系统的泛化能力,提出了一种有效的神经网络集成方法.通过在训练样本上加入一定量的噪声,增大训练样本集,使得不同的个体网络在不同的训练样本上训练,在提高个体网络精度的同时,增加了集成中个体网络的差异度.实验结果表明,该方法能有效的提高神经网络集成系统的泛化能力与计算精度.     

基于Python的深度学习BP网络语音增强方法研究

语音增强技术就是要抑制噪声,从带噪语音信号中尽可能的提取纯净的语音信号,提升其可懂度和清晰度。神经网络能够模拟人脑的工作原理,具有自学习能力和强大的非线性映射能力,故采取BP神经网络以及深度学习两种主流模型来展开研究,在此基础上研究了基于深度学习的反馈网络语音增强方法。通过对神经网络重复预训练和自学习,使之可以实现从带噪语音幅度谱到噪声幅度谱的非线性映射,同时训练了多个阈值和权重下的深度网络。通过真并对比其性能取得了很好的去噪效果。     

利用奇异谱分析的深度神经网络语音增强方法

针对现有深度神经网络语音增强方法对带噪语音的去噪能力有限、语音质量提升不高的问题，提出了一种基于奇异谱分析的深度神经网络语音增强方法。通过引入奇异谱分析算法对带噪语音进行预处理，以初步分离得到语音信号与噪声。接着将语音信号与噪声用于深度神经网络模型得训练，以得到性能更优的网络模型，从而使得本文方法具有更好的性能。最后在重建干净语音的环节中，同时使用神经网络估计得到的对数功率谱和带噪语音的对数功率谱，并加入了权重系数，使得本文提出的方法可以适应不同信噪比的情形，有效的去除背景噪声，降低语音信号的失真。本文通过仿真实验验证了该方法的有效性和鲁棒性。      

深度神经网络在无源定位中的应用研究

针对无源定位中噪声统计特性不准确和对多源信息的综合利用,提出一种利用深度神经网络（DNN）的无源定位方法,该方法将训练集数据输入到深度神经网络中进行学习训练,利用随机失活这一正则化方法提高了模型的泛化能力,对模型的超参数选择进行二维搜索,最终得到深度神经网络模型的最优参数设置。将其和传统的无源定位方程解算方法以及单层神经网络模型进行对比,仿真结果表明提出的方法能有效降低噪声对无源定位的精度影响,增强了系统鲁棒性,同时也证明了深度神经网络对多源信息的综合利用能力。     

基于自监督对比学习的深度神经网络对抗鲁棒性提升

基于深度神经网络的多源图像内容自动分析与目标识别方法近年来不断取得新的突破,并逐步在智能安防、医疗影像辅助诊断和自动驾驶等多个领域得到广泛部署。然而深度神经网络的对抗脆弱性给其在安全敏感领域的部署带来巨大安全隐患。对抗鲁棒性的有效提升方法是采用最大化网络损失的对抗样本重训练深度网络,但是现有的对抗训练过程生成对抗样本时需要类别标记信息,并且会大大降低无攻击数据集上的泛化性能。本文提出一种基于自监督对比学习的深度神经网络对抗鲁棒性提升方法,充分利用大量存在的无标记数据改善模型在对抗场景中的预测稳定性和泛化性。采用孪生网络架构,最大化训练样本与其无监督对抗样本间的多隐层表征相似性,增强模型的内在鲁棒性。本文所提方法可以用于预训练模型的鲁棒性提升,也可以与对抗训练相结合最大化模型的“预训练+微调”鲁棒性,在遥感图像场景分类数据集上的实验结果证明了所提方法的有效性和灵活性。      

基于群卷积神经网络的恶意域名检验方法

针对恶意域名检测中存在的随机性大、现实样本少的缺陷,导致深度学习模型训练易出现过拟合的问题,提出了一种基于群卷积神经网络的恶意域名检测方法。首先将域名转换为嵌入词向量表示,然后通过随机维度组合生成随机数据集并构建卷积神经网络组,鉴于Inception结构优势将其加入到网络中,最后针对数据集易出现的类间样本失衡问题,引入了类间平衡系数以抑制模型训练过拟合,提高模型泛化能力。实验结果表明,在采集的域名检测数据集上,所构建的模型能够有效实现恶意域名检测;经过参数优化,相比于浅层模型组合分类器与典型深度神经网络模型LSTM-CNN,群卷积神经网络对所构建的域名检测集检测准确率分别提升了4%、1%,达到98.9%。     

一种优化的卷积神经网络调制识别算法

针对非合作接收条件下信号的调制识别问题,提出了一种基于循环谱特征和深度卷积神经网络的自动调制分类算法。该算法首先利用二值化、形态学操作等技术对循环谱数据集预处理,提高网络泛化能力;然后将数据集输入到卷积神经网络模型中,经过网络的特征提取实现分类识别。在网络中添加残差块网络增大感受野,提高特征提取能力。采用Dropout、优化函数等技术优化网络结构,防止训练过拟合。仿真结果表示,与传统方法和现有的一些深度学习调制识别方法相比,该算法在低信噪比条件下有更高的准确率,具有明显的抗噪声优势,是一个有效的调制识别算法。     

基于时频注意力机制与U-Net的骨导语音鲁棒增强方法

近年来,基于神经网络的方法大量应用于骨导语音增强中。然而,由于骨导数据集样本较少,骨导语音高频部分缺失,不同说话人高频部分失真程度不同,神经网络难以有效学习骨导语音的频谱特征。因此,现有骨导语音增强模型对于未知说话人骨导语音数据集增强效果不佳、鲁棒性不强。为充分利用骨导语音的时频信息,引导模型关注骨导语音的低频部分特征,提出一种基于时频注意力机制和U-Net的骨导语音增强方法。该方法将时频注意力机制引入U-Net结构中,首先根据骨导语音时间、频率方向特征信息的重要程度自动为其分配权重,而后以加权后的骨导语音谱作为输入,对应的气导语音谱作为目标进入U-Net结构训练,最后利用训练完成的增强模型重构骨导语音全频带的语音。仿真实验与可视化分析结果表明,对比基线U-Net结构与其他注意力机制,该方法对于未知说话人骨导语音数据集能够取得更高的PESQ和STOI客观评价指标,增强语音更加清晰。     

基于生成对抗网络联合训练的语音分离方法

基于深度神经网络的语音分离方法大都在频域上进行训练，并且在训练过程中往往只关注目标语音特征，不考虑干扰语音特征。为此，提出了一种基于生成对抗网络联合训练的语音分离方法。该方法以时域波形作为网络输入，保留了信号时延导致的相位信息。同时，利用对抗机制，使生成模型和判别模型分别训练目标语音和干扰语音的特征，提高了语音分离的有效性。实验中，采用Aishell数据集进行对比测试。结果表明，本文所提方法在三种信噪比条件下都有良好的分离效果，能更好地恢复出目标语音中的高频频段信息。      

基于多目标联合优化的语音增强方法研究

语音增强旨在从受噪声干扰的语音中提取目标语音,目前基于神经网络的语音增强方法在提升语音质量和可懂度方面已被证明是有效的。通过多目标联合优化,利用不同特征之间的互补性,可以提升基于神经网络的语音增强方法的性能。然而,这类多目标学习的语音增强方法在网络优化过程中,通常分别对单个输出目标进行损失函数的计算,多目标之间是并行的,并没有充分利用多目标之间可能存在的关联。为了在网络训练过程中增加输出目标间的关联,本文利用长短时记忆网络构建一种双输出系统框架,设计一种多目标损失函数计算策略用于网络训练。该框架估计出目标语音和噪声,基于此得到估计的带噪语音,然后对这三部分进行联合优化。实验结果表明,所提方法可以提高网络对噪声抑制能力,通过该策略可以获得质量更高,噪声残留更少的增强语音。      

基于深度神经网络的单通道语音增强方法回顾

语音增强是一种试图从噪声中分离出语音的技术,目的是提高语音的质量和可懂度。在过去的几十年里,人们提出了多种类型的语音增强方法,但这些方法在非平稳噪声环境中的表现还未达到最佳程度,因为他们没有充分利用语音和噪声的先验信息。近年来,随着深度学习的发展,深度神经网络已成为当下实现语音增强的主流方法,在改善语音质量和提升可懂度方面发挥了积极作用。本文从深度神经网络的结构出发,回顾了基于深度学习的单通道语音增强方法。首先,介绍了语音增强的背景;其次,详细描述了四种不同类型神经网络实现语音增强的方法;最后,给出了未来语音增强方法的建议和本文的结论。      

基于注意力门控膨胀卷积网络的单通道语音增强

在有监督语音增强任务中,上下文信息对目标语音的估计产生重要影响,为了获取更加丰富的语音全局相关特征,该文以尽可能小的参数为前提,设计了一种新型卷积网络来进行语音增强。所提网络包含编码层、传输层与解码层3个部分：编解码部分提出一种2维非对称膨胀残差(2D-ADR)模块,其能明显减小训练参数并扩大感受野,提升网络对上下文信息的获取能力;传输层提出一种1维门控膨胀残差(1D-GDR)模块,该模块结合膨胀卷积、残差学习与门控机制,能够选择性传递特征并获取更多时序相关信息,同时采用密集跳跃连接的方式对8个1D-GDR模块进行堆叠,以增强层间信息流动并提供更多梯度传播方式;最后,对相应编解码层进行跳跃连接并引入注意力机制,以使解码过程获得更加鲁棒的底层特征。实验部分,使用了不同的参数设置以及对比方法来验证网络的有效性与鲁棒性,通过在28种噪声环境下训练及测试,相比于其他方法,该文方法以1.25×10⁶的参数取得了更优的客观和主观指标,具备较强的增强效果与泛化能力。     

改进的非负矩阵分解语音增强算法

本文提出了一种改进的非负矩阵分解语音增强算法,该算法可分为训练和增强两部分。首先,为了降低训练复杂度,采用卷积非负矩阵分解只提取噪声字典。增强时,考虑语音信号稀疏性比噪声信号稀疏性强,通过稀疏非负矩阵分解重构出语音幅度谱,采用交替方向乘子法进行优化迭代,克服了经典乘性迭代易陷入局部最优、分母只能收敛到零极限等问题。最后,基于算法融合的思想,将重构的语音幅度谱与谱减法、最小均方误差幅度谱估计得到的幅度谱进行加权融合。仿真实验中,在10种不同噪声环境中,通过多种评价标准证明所提算法能取得较好的增强效果。      

基于门控残差卷积编解码网络的单通道语音增强方法

针对卷积编解码网络（CED, Convolution encoder-and-decoder）对语音时序相关信息捕获困难的问题,本文提出了一种基于门控残差卷积编解码网络的语音增强方法。该方法在卷积编解码网络的基础上引入了门控机制、膨胀卷积与残差连接:门控机制能够很好地处理序列前后相关信息;膨胀卷积使得卷积过程获得更大的感受野,提取更加丰富的全局信息;残差连接能够防止梯度消失与梯度爆炸,提升网络精度。此外,采用频域损失函数与时域评价指标联合优化的策略对网络进行训练,以进一步提升网络增强效果。实验表明,在匹配噪声和不匹配噪声下,相比于基线CED与其他对比方法,本文方法取得了更高的PESQ、STOI与SI-SDR,对语音的清浊音都有较好恢复效果,且具有较强的泛化能力。      

一种融合相位估计的深度卷积神经网络语音增强方法

在时频域的语音增强中,幅度估计和相位估计都是影响语音增强性能的重要因素.为了在基于深度学习的语音增强方法中融合对相位的估计,本文将含噪语音短时傅里叶变换（STFT）的实部和虚部特征作为两个通道输入深度卷积神经网络,通过建立一个同步估计纯净语音STFT的实部和虚部特征的多任务学习模型,实现了对幅度和相位的同步估计.实验结果表明,相比仅考虑幅度估计的方法,本文方法具有更好的噪声抑制能力,在低信噪比条件下,显著提高了语音增强性能.     

An immunological approach based on the negative selection algorithm for real noise classification in speech signals

This paper presents a new approach to detect and classify background noise in speech sentences based on the negative selection algorithm and dual-tree complex wavelet transform. The energy of the complex wavelet coefficients across five wavelet scales are used as input features. Afterward, the proposed algorithm identifies whether the speech sentence is, or is not, corrupted by noise. In the affirmative case, the system returns the type of the background noise amongst the real noise types considered. Comparisons with classical supervised learning methods are carried out. Simulation results show that the artificial immune system proposed overcomes classical classifiers in accuracy and capacity of generalization. Future applications of this tool will help in the development of new speech enhancement or automatic speech recognition systems based on noise classification.     

基于广义合成分析和深度神经网络的自回归系数估计方法

自回归(AR)模型是一类描述时序序列相关性的有效方法,经典的AR系数估计方法对残差信号做了简单的假设,在噪声干扰等复杂场景中难以准确估计AR系数,而基于深度神经网络(DNN)的AR(DNN-AR)系数估计方法在训练中容易受到莱文逊-杜宾迭代(LDR)解法的数值稳定性的影响.为改善DNN-AR系数训练的稳定性和整体性能,...     

Intelligent detection method on network malicious traffic based on sample enhancement

To address the problem that the existing methods of network traffic anomaly detection not only need a large number of training sets,but also have poor generalization ability,an intelligent detection method on network malicious traffic based on sample enhancement was proposed.The key words were extracted from the training set and the sample of the training set was enhanced based on the strategy of key word avoidance,and the ability for the method to extract the text features from the training set was improved.The experimental results show that,the accuracy of network traffic anomaly detection model and cross dataset can be significantly improved by small training set.Compared with other methods,the proposed method can reduce the computational complexity and achieve better detection ability.     

加性噪声条件下鲁棒说话人确认

基于非负矩阵分解的语音去噪,在提高语音信号信噪比的同时,也会引起语音失真,从而导致噪声环境下说话人确认系统性能下降.本文提出基于分区约束非负矩阵分解的语音去噪方法（Nonnegative Matrix Factorization with Partial Constrains,PCNMF）,目的是在未知和非平稳噪声条件下提高话人确认系统的鲁棒性.PCNMF在满足分区约束条件的基础上分别构建语音字典和噪声字典.考虑到传统语音训练产生的语音字典往往含有一定的噪声成分,PCNMF通过数学模型产生基音及泛音频谱,在此基础上利用该频谱模仿人声的共振峰结构来合成字典,从而保证语音字典纯净性.另一方面,为了克服传统噪声字典构建方法带来的部分噪声信息丢失问题,PCNMF对在线分离出的噪声样本进行分帧和短时傅里叶变换,然后以帧为单位线性组合生成噪声字典.性能评估实验引入了多种噪声类型,实验结果表明PCNMF可有效提高说话人确认系统的鲁棒性,特别是在未知和非平稳噪声条件下其等错率相比基线系统（Multi-Condition）平均降低了5.2%.