小样本学习研究综述

小样本学习旨在通过少量样本学习到解决问题的模型.近年来,在大数据训练模型的趋势下,机器学习和深度学习在许多领域中取得了成功.但是在现实世界中的很多应用场景中,样本量很少或者标注样本很少,而对大量无标签样本进行标注工作将会耗费很大的人力.所以,如何用少量样本进行学习就成为目前人们需要关注的问题.系统地梳理了当前小样本学习...     

基于ECAMTL模型的小样本变工况轴承故障诊断

为解决小样本变工况轴承故障诊断中故障诊断模型参数多且泛化性能弱、故障诊断率低、诊断速度慢的问题，提出了将高效通道注意力(Efficient Channel Attention, ECA)机制与元迁移学习(Meta Transfer Learning, MTL)相结合的在线故障诊断方法。首先，将不同工况的原始振动信号转化为二维灰度图像，采用改进后的残差网络作为特征提取器进行特征提取。在不提升模型复杂度的情况下，增强了模型对重要特征的关注度，增强了模型的特征提取能力。之后，将提取到的特征与现场数据结合进行元训练，获得训练参数。最后，在元测试阶段，利用不同工况的元学习任务对模型进行微调，实现在线变工况轴承故障诊断。对比实验验证了本文方法的有效性和泛化能力。     

面向图像分类的小样本学习算法综述

目前,以深度学习为代表的人工智能算法凭借超大规模数据集以及强大的计算资源,在图像分类、生物特征识别、医疗辅助诊断等领域取得了优秀的成果并成功落地.然而,在许多实际的应用场景中,因诸多限制,研究人员无法获取到大量样本或者获取样本的代价过高,因此研究图像分类任务在小样本情形下的学习算法成为了推动智能化进程的核心动力,同时也...     

小样本SAR图像分类方法综述

合成孔径雷达（synthetic aperture radar,SAR）图像分类作为SAR图像应用的重要底层任务受到了广泛关注与研究。SAR图像分类是处理和分析遥感图像的重要手段,在环境监测、目标侦察和地质勘探等任务中发挥着关键作用,但是目前基于深度学习的SAR图像分类任务存在小样本问题。本文针对小样本SAR图像分类方法进行全面的论述和分析。1）介绍了SAR图像分类任务的重要性和早期的SAR图像分类方法,并阐述了小样本SAR图像分类任务的必要性。2）介绍了小样本SAR图像分类任务的定义、常用的数据集、评价指标和应用。3）整理了各类方法的贡献点和使用的数据集,将已有的小样本SAR图像分类方法分为基于迁移学习的方法、基于元学习的方法、基于度量学习的方法和综合性方法4类。根据分类总结了4类方法存在的缺陷,为后续工作提供了一定的参考。在统一的框架内测试了16种可见光数据集方法迁移到SAR图像数据集上的分类性能,并从分类精度和运行时间两个方面综合评估了小样本学习模型迁移效果。该项工作利用SAR图像分类通用数据集MSTAR（moving and stationary target acquisition and recognition）完成,极大地补充了小样本SAR图像分类任务的测评基准。4）对小样本SAR图像分类方法的发展趋势进行了展望,提出了未来可能的一些严峻挑战。     

小样本困境下的深度学习图像识别综述

小样本学习（few-shot learning,FSL）旨在利用少量样本学习得到解决问题的模型,为解决应用场景中样本量少或标注样本少的问题. 图神经网络（graph neural network,GNN）由于其在许多应用中的卓越性能引起了极大的关注,许多学者开始尝试利用图神经网络进行小样本学习,基于图神经网络的方法在小样本领域取得了卓越的成绩. 目前与基于图神经网络的小样本学习方法相关的综述性研究较少,缺乏该类方法的划分体系与介绍性工作,因此系统地梳理了当前基于图神经网络的小样本学习的相关工作：概括了小样本学习的图神经网络方法的概念,根据模型的基本思想将其划分为基于节点特征、基于边特征、基于节点对特征和基于类级特征的4类方法,介绍了这4类方法的研究进展;总结了目前常用的小样本数据集和代表性模型在这些数据集上的实验结果,归纳各类方法主要的研究内容和优劣势;最后概述了基于图神经网络的小样本学习方法的应用和面临的挑战,并展望其未发展方向.

     

深度神经网络的小样本学习综述

随着最近深度学习技术的蓬勃发展,深度神经网络(DNN)在大规模的图像分类与识别任务中取得了突破性的进展,但其在解决小样本学习问题时仍面临巨大挑战.小样本学习(FSL)是指在少量有监督样本的情况下学习一个能解决实际问题的模型,在深度学习领域具有重要意义.这促使该系统梳理了已有的DNN下的小样本学习工作,根据它们在解决小样...     

小样本困境下的图像语义分割综述

近年来,由于大规模数据集的出现,图像语义分割技术得到快速发展。但在实际场景中,并不容易获取到大规模、高质量的图像,图像的标注也需要消耗大量的人力和时间成本。为了摆脱对样本数量的依赖,小样本语义分割技术逐渐成为研究热点。当前小样本语义分割的方法主要利用了元学习的思想,按照不同的模型结构可划分为基于孪生神经网络、基于原型网络和基于注意力机制三大类。基于近年来小样本语义分割的发展现状,介绍了小样本语义分割各类方法的发展及优缺点,以及小样本语义分割任务中常用的数据集及实验设计。在此基础上,总结了小样本语义分割技术的应用场景及未来的发展方向。     

面向深度网络的小样本学习综述

深度学习以数据为驱动,被广泛应用于各个领域,但由于数据隐私、标记昂贵等导致样本少、数据不完备性等问题,同时小样本难于准确地表示数据分布,使得分类模型误差较大,且泛化能力差。为此,小样本学习被提出,旨在利用较少目标数据训练模型快速学习的能力。系统梳理了近几年来小样本学习领域的相关工作,主要整理和总结了基于数据增强、基于元学习和基于转导图小样本学习方法的研究进展。首先,从基于监督增强和基于无监督增强阐述数据增强的主要特点。其次,从基于度量学习和基于参数优化两方面对基于元学习的方法进行分析。接着,详细总结转导图小样本学习方法,介绍常用的小样本数据集,并通过实验阐述分析具有代表性的小样本学习模型。最后总结现有方法的局限性,并对小样本学习的未来研究方向进行展望。     

小样本下基于元学习和网络结构搜索的新模态故障诊断

实际多模态化工过程通常由于产品需求等调整而产生新模态,现有基于深度学习的故障诊断方法存在未充分利用现有模态设计经验、小样本下难以训练模型等局限.针对上述问题,提出一种基于元学习(meta learning, ML)和网络结构搜索(neural architecture search, NAS)的新模态故障诊断方法MetaNAS.首先,利用NAS自动获取现有模态性能最优的网络模型;然后,利用ML从现有模态的NAS过程中学习故障诊断模型的设计经验;最后,当新模态产生时,在已学习设计经验基础上进行梯度更新,即在小样本条件下快速得到新模态故障诊断模型.通过数值系统和田纳西伊斯曼(Tennessee Eastman, TE)化工过程的仿真实验充分验证所提出方法的有效性和可行性.     

结合记忆与迁移学习的小样本学习

小样本学习是视觉识别中的一个受关注的领域,旨在通过少量的数据来学习新的视觉概念。为了解决小样本问题,一些元学习方法提出从大量辅助任务中学习可迁移的知识并将其应用于目标任务上。为了更好地对知识进行迁移,提出了一种基于记忆的迁移学习方法。提出一种权重分解策略,将部分权重分解为冻结权重与可学习权重,在迁移学习中通过固定冻结权重,仅更新可学习权重的方式来减少模型需要学习的参数。通过一个额外的记忆模块来存储之前任务的经验,在学习新任务时,这些经验被用来初始化模型的参数状态,以此更好地进行迁移学习。通过在miniImageNet、tieredImageNet以及CUB数据集上的实验结果表明,相对于其他先进的方法,该方法在小样本分类任务上取得了具有竞争力甚至是更好的表现。     

基于ResNet和领域自适应的轴承故障诊断研究

轴承故障诊断在实际工业场景中意义重大。基于信号处理方法和机器学习方法,往往非常依赖先验知识,难以保证特征提取的有效性,深度学习方法要求训练集和测试集满足同一分布,这在工业现场难以满足,使得模型性能大幅下降。提出一种基于多层领域自适应的故障诊断方法,能够实现多种类、多尺寸的轴承故障诊断。首先,采用预训练好的ResNet18(Residual Network)作为特征提取器,并对每个残差块提取的特征计算MK-MMD(Multiple Kernel-Maximum Mean Discrepancy)距离,通过同时匹配高层和低层特征以有效匹配边缘分布差异。其次,每个残差块提取的特征都进入与之匹配的分类器中,通过Softmax层计算的预测概率分布,并转化为伪标签,缩小条件分布差异。最后,引入Adam优化器,对整体模型参数进行优化,加快模型训练,提高模型收敛速度。实验结果表明,所提出的方法能够有效提取可迁移特征,在负载变化的场景下达到了较高的诊断精度,并具有一定的泛化能力。     

用于轴承故障诊断的两步迁移学习法

由于轴承故障数据存在数据量少和分布不均衡的问题,将迁移学习引入故障诊断领域,同时由于轴承故障数据的分布与源数据集分布差异巨大,直接采用迁移学习的方法会产生负迁移效应,即由于源数据集与目标数据集间分布差异过大而导致无法学习到源数据集的知识,提出一种对迁移学习进行改进的诊断新方法:即两步迁移学习法,使用DCGAN来制作辅助...     

轴承故障的智能诊断方法

总结了轴承故障诊断的模糊规则,并把这些规则晨射到模糊神经网络,提高了诊断的智能性。提出了部分层学习算法,并推导出隶属度函数的参数学习算法,改善了诊断规则和学习性能,所研制的诊断系统在对轴承邦联伯诊断中取得了满意的结果。     

基于BO-DKELM的滚动轴承故障诊断

滚动轴承作为旋转机械中的必需元件,其任何故障都可能导致机器乃至整个系统发生故障,从而导致巨大的经济损失和时间的浪费,因此必须要及时准确地诊断滚动轴承故障。针对传统极限学习机中模型参数对滚动轴承故障诊断精度影响较大的问题,提出了一种基于贝叶斯优化的深度核极限学习机的滚动轴承故障诊断方法。首先,将自动编码器与核极限学习机相结合,构建了深度核极限学习机(Deep kernel extreme learning machine, DKELM)模型。其次,利用贝叶斯优化(Bayesian optimization, BO)算法对DKELM中的超参数进行寻优,使得训练数据集和验证数据集在DKELM模型中的分类错误率之和最低。然后,将测试数据集输入到训练好的BO-DKELM中进行故障诊断。最后,采用凯斯西储大学轴承故障数据集对所提方法进行验证,最终故障诊断精度为99.6%,与深度置信网络和卷积神经网络等传统智能算法进行对比,所提方法具有更高的故障诊断精度。     

滚动轴承故障诊断中数据不均衡问题的研究

滚动轴承缺陷是导致滚动轴承在运行过程中产生故障的主要原因之一,因此对滚动轴承缺陷诊断技术进行研究具有十分重要的意义。但是,在轴承故障诊断数据集中,故障样本数通常比非故障样本数要少很多,由此引发了数据不均衡情况下故障诊断的问题。以往的研究很少关注这种数据不均衡问题对故障诊断的影响。此外,在故障数据集中有一些冗余甚至是不相关的特征,这些特征降低了学习器的泛化能力。为解决这类问题,本文提出了一种基于Fisher准则的EasyEnsemble算法来解决故障诊断中的数据不均衡问题。在UCI数据集和滚动轴承数据集上的实验结果表明,新算法提高了分类器在不均衡数据集上的分类性能和预报能力。     

大数据驱动的钢铁工业智能故障诊断技术综述

钢铁工业智能故障诊断系统在当前大数据时代背景下面临着新的机遇与挑战。针对工业大数据的特征,分别从数据的采集与实时监控技术,基于机器学习的故障诊断方法,以及迁移学习在工业故障诊断中的应用三个角度对近年来国内外工业故障诊断方法的研究进展进行了总结与回顾;并在此基础上,结合钢铁企业的实际需求与现存问题,提出了将高炉炼铁过程划分为“系统—模块—功能—属性”四层次结构的面向整体的分层故障诊断新思想及未来可能的研究方向,阐明研究多技术融合的智能故障诊断系统对推进钢铁工业在大数据时代的绿色数字化发展具有十分重要的意义。     

基于小样本学习的垃圾邮件过滤方法

针对客户端垃圾邮件过滤器难以获取足够训练样本的问题,提出一种基于小样本学习的垃圾邮件过滤方法,利用容易获取的未标记样本提高垃圾邮件过滤的性能。该方法使用已标记的小样本邮件实例集训练一个初始Na?ve Bayes分类器,以此标注未标记邮件,再使用所有数据训练新的分类器,利用EM算法进行迭代直至收敛。实验结果证明,当给定5个~20个已标记小样本训练邮件时,该方法可有效提高垃圾邮件过滤性能。     

基于迁移QCNN的孪生网络轴承故障诊断方法

轴承故障诊断对于降低旋转机械的损坏风险,进一步提高经济效益具有重要意义。深度学习在轴承故障诊断中应用广泛,但是深度学习模型在训练与测试时容易受到噪声的干扰导致性能下降。并且轴承的工况变化频繁,不同工况下的数据采集困难。对此,提出了一种基于迁移QCNN的孪生网络轴承故障诊断方法,先预训练QCNN获取具有较强判别性的模型参数,将预训练的参数迁移到QCNN作为子网络的孪生网络中,然后正常训练孪生网络获取模型,最后将测试数据与故障数据组成数据对输入模型,即可得到测试数据的故障类型。该方法将QCNN与孪生网络相结合,QCNN中的Quadratic神经元具有强大的特征提取能力,孪生网络共享权重和相对关系的训练方式,使得模型可以缓解噪声和工况数据不平衡问题的影响。实验结果显示,相较与传统机器学习模型和QCNN等模型,所提出方法在面对噪声和工况数据不平衡问题表现更好。     

故障诊断自适应策略研究

大多数故障诊断系统不能适应环境的变化,即不具备自适应性。针对这种情况,论文提出了故障诊断自适应策略,该自适应策略由状态空间和策略空间构成,状态空间用来描述环境状态,策略空间用来描述采用的策略。对于状态空间中的某一具体的环境状态,在策略空间存在唯一的策略与之对应。实验结果表明,论文提出的故障诊断自适应策略是比较有效的。     

引入动态调节学习率的SAE轴承故障诊断研究

为提高轴承故障分类收敛速度和分类精度,提出一种动态调节学习率的堆叠自编码网络（SAE）。初始时刻给予一个较大的学习率,迭代过程中利用当前重构误差动态调节学习率的大小,根据重构误差梯度的正负值给出两种不同的学习率减小策略,使学习率大小更符合网络当前的运行状态,最后通过不同的有标签数据量进行反向微调,验证故障分类识别的准确率。实验结果表明：相比固定学习率,该动态调节学习率SAE网络预训练收敛时间减少17.70%,重构误差下降22.92%,故障分类准确率得到提高,且能在保持分类准确率的前提下,减少有标签样本量。