基于改进池化层的弱标记声音事件检测

针对DCASE2017挑战赛任务4提供的大规模弱标记声音事件检测数据集,搭建了基于梅尔滤波器特征(Fbank)、卷积神经网络(CNN)以及循环神经网络(RNN)的多类别声音事件检测系统,分析了attention和linear softmax两种已有的常用池化层在神经网络反向传播中的部分推演过程,并在linear softmax池化层的基础上进行改进,提出了一种“指数可学习的幂函数softmax”池化层。实验结果表明,相比于DCASE竞赛中获得第一名的模型,应用“指数可学习的幂函 softmax”池化层的检测系统,将段级别的声音事件预测的F1值从0.556提高到0.652,帧级别预测的F1值从0.518提高到0.583,帧级别预测的error rate (ER) 从0.730降低到0.667。      

基于多尺度注意力特征融合CRNN的声音事件检测

针对声音事件检测中仅在时频维度使用注意力机制的局限性以及卷积层单一导致的 特征提取不足问题,本文提出基于多尺度注意力特征融合的卷积循环神经网络(convolutional recurrent neural network,CRNN)模型,以提高声音事件检测性能。首 先,提出多尺度注意力模块,实现对局部时频单元和全局通道特征的多尺度注意,提高模型 的特征选择能力;其次,提出一种多尺度特征融合方法,融合含有丰富上下文信息的多尺度 注意力特征,提高模型的特征表达能力;最后,双向门控循环网络层对时间依赖性进行建模 , 全连接层对声音事件进行逐帧分类。除此之外,使用数据平衡技术进一步泛化模型。在 AudioSet子数据集上的实验结果表明:提出的网络模型与CRNN相比,评估集(error rate, ER)下降 11%,F1分数 (F1-score, F1)提升8.3%,有效地提高了声音事件检测性能。     

音频标记一致性约束CRNN声音事件检测

级联卷积神经网络(CNN)结构和循环神经网络(RNN)结构的卷积循环神经网络(CRNN)及其改进是当前主流的声音事件检测模型.然而,以端到端方式训练的CRNN声音事件检测模型无法从功能上约束CNN和RNN结构的作用.针对这一问题,该文提出了音频标记一致性约束CRNN声音事件检测方法(ATCC-CRNN).该方法在CRN...     

基于深度神经网络的声事件识别和定向

提出一种卷积循环神经网络联合估计声事件的类型和方向.使用DCASE2020提供的数据集,声事件保持静止或以缓慢的速度在四面体阵列周围移动.提取4个通道的梅尔谱和通道之间的广义互相关谱作为输入的特征图,输出每一帧中声事件的类型和到达角.这种神经网络取得了比两种基线方法更好的识别和定向效果.     

基于关系图卷积神经网络的多标签事件预测

事件预测需要综合考虑的要素众多,现有预测模型多数存在数据稀疏、事件的组合特征及时序特征考虑不足、预测类型单一等问题。为此,提出了基于关系图卷积神经网络的多标签事件预测方法,通过节点特征聚合技术实现数据的稠密化表示。模型利用卷积神经网络的卷积和池化运算,提取预测数据的组合时间段特征信息,并结合长短期记忆网络的时序特征提取能力,进一步提取预测数据的时序规律特征;最后,模型通过全连接的多标签分类器,输出多种类型事件发生的概率值。实验结果表明,所提模型可以支持进行多日期、多类型事件预测,在特定数据集上最高F1值可以达到0.85。     

基于多尺度池化和范数注意力机制的遥感图像检索

遥感图像内容丰富,一般的深度模型提取遥感图像特征时容易受复杂背景干扰,对关键特征的提取效果不佳,并且难以表达图像的空间信息,该文提出一种基于多尺度池化和范数注意力机制的深度卷积神经网络,在通道层面与空间层面自适应地给显著特征加权.首先,在多尺度池化通道注意力模块中,结合空间金字塔池化的思想,对每个通道上的特征图进行不同...     

美尔谱系数与卷积神经网络相组合的环境声音识别方法

通过对复杂环境下声音识别技术进行研究，本文提出了美尔谱系数（MFSC）与卷积神经网络（CNN）相组合的环境声音识别方法。对声音事件提取其MFSC特征，将特征参数作为输入送入设计好的CNN模型中对声音事件进行分类。实验数据集采用ESC-10，将构建的卷积神经网络模型与随机森林、支持向量机（SVM）、深度神经网络（DNN）及DCASE比赛中常用的三种识别模型进行对比实验。实验结果表明，在相同数据集下，本文所设计的美尔谱系数与卷积神经网络相组合的环境声音识别方法相较传统的声音识别方法在识别率上分别有13.1%，18.3%，15.7%的提升，相较于DCASE比赛中的三种常用识别模型，本文所设计识别模型识别率及识别效率均有明显的优势。      

保留立体声相位信息的声音场景分类系统

针对立体声音频采集设备逐渐普及的趋势，本文提出了一种保留立体声相位信息的声音场景分类算法。在预处理阶段，根据左右通道的相位信息对音频样本进行源环境提取，生成一种全新的四通道特征。在此基础上，通过集成多个卷积神经网络，搭建一个针对立体声音频样本的声音场景分类系统。区别于现有声音场景分类系统只使用时频谱幅度信息，本文所提出的方法保留了立体声音频的相位信息。这使得声学特征中所包含的空间方位信息更丰富，立体声音频的优势得到发挥。实验结果证明保留立体声相位信息的声音场景分类系统具有更好的性能，在2019年IEEE声学信号处理技术委员会举办的声音场景分类赛事中相比于基线系统的识别准确率提升了18.3%。      

多优化机制下深度神经网络的音频场景识别

随着并行计算能力的不断攀升和音频数据量的日益扩增,音频场景识别成为场景理解领域重要的研究内容之一。针对音频场景识别建模难度大和识别准确率不高的问题,本文提出了融合多优化机制的并行卷积循环神经网络算法模型。首先,将音频信号经预处理后转化为一定尺寸的梅尔声谱图,之后输入到网络模型中进行充分的空间特征和时间特征学习,最后进行识别。为了验证模型的有效性,在DCASE2019音频场景数据集上进行识别性能测试,结果显示,该算法模型对音频场景的识别准确率能够达到88.84%,优于传统网络模型,说明该算法模型对音频场景识别问题的有效性。      

基于卷积注意力门控循环网络的加密流量分类方法

流量加密技术给流量分类带来了新的挑战,为实现加密流量的快速准确分类,提出了一种基于卷积注意力门控循环网络的加密流量分类方法。将卷积神经网络和门控循环单元相结合,针对流量数据的特点,修改卷积神经网络的池化层以提取单个数据包特征,通过注意力机制寻找单个数据包的关键特征并赋予高权重;然后采用门控循环单元提取流层面数据包间的时间序列特征,从包层面和流层面全面反映流量的整体和局部特征。实验证明该方法相对于现有方法,提高了分类准确率、实时性和训练效率。      

基于加性间距胶囊网络的家庭活动识别方法研究

本文研究基于音频的家庭活动识别方法,提出了一种基于加性间距胶囊神经网络识别模型,针对传统胶囊神经网络目标函数仅以输出胶囊模长作为约束的弊端,本文以几何学的视角,在胶囊神经网络结构中加入Transition层,使用Transition层对胶囊单元空间关系进行变基至一维空间,再使用加性间距Softmax作为目标函数,以同类特征变化小,非同类特征差异大作为优化策略构建基于胶囊向量空间关系的目标函数以提高模型分类能力,最后对方法进行试验,采用音频事件对家庭活动进行分类识别.选择声学场景和事件检测与分类（Detection and Classification of Acoustic Scenes and Events,DCASE）2018挑战任务5作为数据集,进行分类器构建和测试,最终平均F1分数达到92.3%,优于其他主流方法.     

正交约束域适应的跨工况滚动轴承剩余使用寿命预测方法

针对跨工况轴承剩余使用寿命(RUL)预测模型的决策边界不明显、特征可辨识性低的问题,该文提出一种正交约束的最大分类器差异方法(MCD＿OC)。首先,将采集的轴承原始振动信号进行快速傅里叶变换,得到振动信号的频域信号作为模型的输入;然后,通过卷积神经网络(CNN)和门控循环神经网络(GRU)提取轴承信号的深层时空特征,利用最大分类器差异将源域和目标域特征对齐,并对目标域轴承深层特征进行正交约束,增大无标签目标域样本特征之间的可辨识性;最后,基于轴承寿命数据集开展了跨工况轴承寿命预测对比实验,对该文所提方法进行评估,并在多组实验中取得最优结果。     

基于卷积神经网络的材质分类识别研究

目前,空间目标中约6%为正在工作的航天器,而约94%的空间目标为太空垃圾,严重干扰和限制了航天器发射、运行等正常的太空活动轨道,在有效清除空间碎片之前,必须对其进行有效识别。本文基于散射光谱,使用卷积神经网络对空间碎片四种材质进行分类识别,并与BP神经网络的识别结果分析比较。鉴于试验所得的材质的原始光谱信噪比低、特征信息弱等特点,需要对光谱信号进行预处理包括去噪、BRDF计算和归一化处理。然后各取四种材质的200帧样本数据进行训练,另各取50帧数据预测,结果表明：卷积神经网络的总体精度比BP神经网络低2%,耗时少101 s;而增加训练样本数据量达到每个材质各500帧时,卷积神经网络的总体精度仅比BP神经网络低0.05%,耗时则少了891 s,卷积神经网络极大的体现了其时间的优越性。该方法对大数据量的空间碎片材质的分类,具有较大的实用性和借鉴意义。     

一种基于GRU神经网络的电力负荷预测

针对电力负荷序列不稳定且传统的神经网络在电力负荷预测中预测精度较低等问题,提出了门控循环单元神经网络(Gated Recurrent Unit Neural Network,GRU)负荷预测的方法.利用python编程语言在Tensorflow框架在搭建门控循环单元神经网络,将影响电力负荷的特征数据输入模型中进行训练....     

基于双通道卷积神经网络的视频目标移除取证算法

针对现有数字视频目标移除取证算法的伪造帧识别准确率低的问题,本文提出了一种基于双通道卷积神经网络的视频目标移除取证算法。该算法利用双通道结构,分别提取视频绝对帧差图像的RGB特征和噪声特征,并利用双线性池化对二者进行特征融合,而后通过分类层输出视频帧的分类结果,从而有效地识别经过篡改的视频帧。其中,RGB通道能够发现绝对帧差图像中不自然的篡改边界和对比度,噪声通道能够发现原始区域和篡改区域之间噪声的不一致性。此外,算法在网络前端增加了预处理层来放大篡改视频帧的伪造痕迹。实验结果显示,所提算法有效地提高了伪造视频帧的识别准确率,且相对于传统的单通道网络结构,双通道特征融合的方式取得了更好的检测性能。      

一种基于Siamese卷积神经网络的变化检测技术

本文针对传统变化检测卷积神经网络难以兼顾正确判断变化特征和提取与变化标签相切合的影像特征以及仅通过交叉熵损失函数难以获取较高精度的网络预测参数,同时因为变化样本和不变化样本的数量分布差异较大而导致训练时模型漏检严重并且训练收敛过慢的情况,提出了一种基于Siamese卷积神经网络的变化检测技术,结合基于场景分类的变化检测增强技术和变化检测损失函数硬例关注技术,有效的提高了检测准确率。     

基于多头类特定残差注意力和图卷积的多标签图像分类算法

针对ML-GCN中全局最大池化所获得的图像特征对特定类别在不同图像区域上缺乏针对性和丢失图像局部特征信息的问题,提出了类特定残差注意力(CSRA)模块.该模块可以有效捕获不同类别对象所占据的不同空间区域.此外,将提出的类特定残差注意力与图卷积神经网络相结合,提出了基于多头类特定残差注意力与图卷积的多标签图像分类算法(ML-CSRA).首先利用卷积神经网络提取通用的图像特征图,之后将提出的类特定残差注意力扩展为多头形式,并将其应用于通过卷积神经网络提取到的通用图像特征图,提取各个区域对应不同类别的特征.最后将图卷积神经网络提取的标签相关特征与多头类特定残差注意力提取的图像特征结合,得到最后的多标签图像分类结果.在MS-COCO 2014和VOC-2007数据集上的实验结果表明提出算法在所有评估指标上都优于目前已有算法.     

基于通道注意力机制与金字塔池化的包裹破损检测算法

为了解决自然场景包裹破损检测中由于目标形态与尺度多样、模型耗时过长造成的检测难题,设计了一种基于通道注意力机制与快速空间金字塔池化(Space Pyramid Pool-Fast, SPPF)的轻量级包裹破损检测算法。在YOLOv5s的基础上,使用改进的ShuffleNetV2网络模型对其主干结构进行轻量级优化,降低模型计算量,提高检测速度;在模型的主干网络部分引入通道注意力机制——Squeeze Excitation(SE),减少了卷积神经网络对图像相关特征的重复提取,提高信息的表征能力;利用SPPF有效避免了对图像区域裁剪、缩放操作导致的图像失真,有效减少误检与漏检。在数据集上的测试结果表明,该方法对包裹图像的检测速度达到了68.5帧/秒,模型计算量仅为2.5 GFLOPs,与YOLOv5s相比,检测速度提升了105.7%,模型计算量下降了84.2%,利于边缘计算设备部署。     

一种用于语音增强的卷积门控循环网络

为了充分利用含噪语音特征来提高语音增强网络的性能,基于含噪语音在时间和频率两个维度上的相关性,本文结合卷积神经网络的局部特征提取能力和门控循环单元的长期依赖建模能力,设计了一种适用于语音增强的卷积门控循环网络.该网络采用卷积网络结构代替全连接网络结构来改进门控循环单元中的特征计算过程,从而能够更好地保留含噪语音特征中的时频结构信息.实验结果表明,与其它语音增强网络相比,本文网络在语音成分的保留和噪声成分的抑制上具有明显优势,增强后语音具有更好的语音质量和可懂度.     

卷积神经网络在异常声音识别中的研究

卷积神经网络(CNNs)已广泛应用于语音识别领域中以改善传统声学模型存在的鲁棒性弱、实时性差、识别性能低等缺点。本文对卷积神经网络在异常声音识别任务中的适用性及其识别性能进行了研究,针对日常常见的6种不同异常声音样本,分析了不同声音特征的维度对卷积神经网络识别性能的的影响,还将卷积神经网络分别与高斯混合模型、BP神经网络进行比较。实验结果表明,无噪声条件下,一维特征在卷积神经网络中的平均识别率比二维特征相对提升了2.91%,且误差收敛速度更快,但在有噪声条件下,二维特征的平均识别率比一维特征相对提升了3.41%。同时卷积神经网络比其它两种识别模型在对噪声的鲁棒性和误差收敛速度等方面均有明显的优势。