小样本场景下的元迁移学习睡眠分期模型

睡眠障碍受到越来越多的关注,且自动化睡眠分期的准确性、泛化性受到了越来越多的挑战.然而,公开的睡眠数据十分有限,睡眠分期任务实际上更近似于一种小样本场景;同时由于睡眠特征的个体差异普遍存在,现有的机器学习模型很难保证准确判读未参与训练的新受试者的数据.为了实现对新受试者睡眠数据的精准分期,现有研究通常需要额外采集、标注新受试者的大量数据,并对模型进行个性化微调.基于此,借鉴迁移学习中基于缩放-偏移的权重迁移思想,提出一种元迁移睡眠分期模型MTSL(Meta Transfer Sleep Learner),设计了一种新的元迁移学习框架:训练阶段包括预训练与元迁移训练两步,其中元迁移训练时使用大量的元任务进行训练;而在测试阶段仅使用极少的新受试者数据进行微调,模型就能轻松适应新受试者的特征分布,大幅减少对新受试者进行准确睡眠分期的成本.在两个公开的睡眠数据集上的实验结果表明,MTSL模型在单数据集、跨数据集两种条件下都能取得更高的准确率和F1分数,这表明MTSL更适合小样本场景下的睡眠分期任务.     

小样本学习研究综述

小样本学习旨在通过少量样本学习到解决问题的模型.近年来,在大数据训练模型的趋势下,机器学习和深度学习在许多领域中取得了成功.但是在现实世界中的很多应用场景中,样本量很少或者标注样本很少,而对大量无标签样本进行标注工作将会耗费很大的人力.所以,如何用少量样本进行学习就成为目前人们需要关注的问题.系统地梳理了当前小样本学习...     

小样本困境下的深度学习图像识别综述

小样本学习（few-shot learning,FSL）旨在利用少量样本学习得到解决问题的模型,为解决应用场景中样本量少或标注样本少的问题. 图神经网络（graph neural network,GNN）由于其在许多应用中的卓越性能引起了极大的关注,许多学者开始尝试利用图神经网络进行小样本学习,基于图神经网络的方法在小样本领域取得了卓越的成绩. 目前与基于图神经网络的小样本学习方法相关的综述性研究较少,缺乏该类方法的划分体系与介绍性工作,因此系统地梳理了当前基于图神经网络的小样本学习的相关工作：概括了小样本学习的图神经网络方法的概念,根据模型的基本思想将其划分为基于节点特征、基于边特征、基于节点对特征和基于类级特征的4类方法,介绍了这4类方法的研究进展;总结了目前常用的小样本数据集和代表性模型在这些数据集上的实验结果,归纳各类方法主要的研究内容和优劣势;最后概述了基于图神经网络的小样本学习方法的应用和面临的挑战,并展望其未发展方向.

     

基于迁移学习的小样本齿轮箱故障诊断方法

实际工程场景中齿轮箱受工况、环境等因素影响,数据难以满足特征分布相同、训练数据充足等条件,如何在变工况情况下对齿轮故障进行诊断是故障诊断领域一大难点。为此,提出了一种结合Logistic混沌麻雀搜索优化算法(LSSA)与深度置信网络(DBN)的智能故障诊断方法,即LSSADBN。首先,将时域振动信号进行快速傅里叶变换(FFT)转换为频域信号作为训练数据集,运用Logistic混沌映射对SSA种群进行初始化,采用LSSA方法对训练数据集进行DBN结构寻优;使用最优结构DBN对源域训练集进行预训练,并加入少量目标域样本用于反向权重调优,最终实现在小样本情况下对目标域齿轮箱健康状况的准确识别。实验对比结果证明,LSSADBN方法在模型调优阶段具有更快的收敛速度,且针对不同的目标域进行迁移时都具备较高的准确率,LSSADBN方法的研究对小样本情况下的齿轮箱故障诊断具有一定的应用价值。     

基于迁移学习的小样本DGA恶意域名检测方法

域名生成算法(DGA)存在变化多、部分类别样本难获取的特点,使得采用传统机器学习的恶意域名检测模型准确性不高.提出一种基于迁移学习和多核CNN的小样本DGA恶意域名检测模型.该模型将目标域名映射到向量空间中,使用样本充足的DGA种类进行预训练,并迁移预训练得到的参数到小样本检测模型.采用多核CNN小样本分类模型根据发音...     

基于元学习的小样本遥感图像分类

为改善传统分类算法在小样本遥感图像分类上效果差的缺陷,提升模型的快速学习能力,提出融合迁移学习和元学习的小样本分类算法.设计基于长短期记忆网络的元学习器,通过门控结构拟合网络参数更新方式最下化损失下界,具有自动学习分类器参数更新方式的机制,相比于传统方法,能够有效扩展优化算法的搜索空间;考虑样本的跨类别知识转移和训练时...     

结合多尺度特征与掩码图网络的小样本学习

对样本所含信息的提取能力决定网络模型进行小样本分类的效果,为了进一步提高模型挖掘信息的能力,提出一种结合多尺度特征与掩码图网络的小样本学习方法。设计由1×1卷积、全局平均池化和跳跃连接组成的最小残差神经网络块,与卷积块拼接成特征提取器,以提取样本不同尺度的特征,并通过注意力机制将不同尺度特征融合;使用融合的多尺度特征构建包含结点与边特征的图神经网络,并在其中加入一个元学习器（meta-learner）用于生成边的掩码,通过筛选边特征来指导图结点聚类与更新,进一步强化样本特征;通过特征贡献度和互斥损失改进类在嵌入空间表达特征的求解过程,提升模型度量学习能力。在MiniImagenet数据集上,该方法 1-shot准确率为61.4%,5-shot准确率为78.6%,分别超过传统度量学习方法 12.0个百分点与10.4个百分点;在Cifar-100数据集上分别提升9.7个百分点和6.0个百分点。该方法有效提升了小样本学习场景下的模型分类准确率。     

小样本轴承故障诊断研究综述

随着数据时代的来临,基于数据驱动的轴承故障诊断方法表现出了优越的性能,但是此类方法依赖大量标记数据,而在实际生产过程中很难收集到大量的数据,因此小样本的轴承故障诊断具有很高的研究价值。对小样本条件下的轴承故障诊断方法进行了回顾,并将其分为两类：基于数据的方法和基于模型的方法。其中基于数据的方法是从数据角度对原始样本进行扩充;基于模型的方法是指利用模型优化特征提取或者提高分类精度等。总结了当前小样本条件下故障诊断方法的不足,并展望了小样本轴承故障诊断的未来。     

基于模型分解的小样本学习

机器学习依赖大量样本的统计信息进行模型的训练,从而能对未知样本进行精准的预测.搜集样本及标记需要耗费大量的资源,因而如何基于少量样本(few-shot learning)进行模型的训练至关重要.有效的模型先验(prior)能够降低模型训练对样本的需求.本文基于元学习(meta learning)框架,从相关的、类别不同...     

基于CNN-BiLSTM迁移自反馈学习的小样本恶意域名检测

针对现有恶意域名检测算法对于新出现或新变种等小样本恶意域名检测精度不高和检测范围较小的问题,本文提出一种迁移自反馈学习的小样本恶意域名检测算法.首先,该算法融合卷积神经网络(Convolutional Neural Networks, CNN)和双向长短时记忆神经网络(Bi-directional Long Short Term Memory, BiLSTM)的串行混合模型(CNN-BiLSTM),在提取域名字符特征的基础上保留上下文语义信息;然后,将学习到的网络模型参数迁移至小样本的恶意域名检测模型中;最后,利用提取的多维人工特征验证小样本恶意域名检测模型的检测结果,并将其检测结果反馈至迁移模型中,重新优化网络模型.通过在多家族域名数据集和小样数据集上进行测试验证,算法结果表明,本文模型在保持检测精度的基础上,能够识别出更多种新出现或新变种的小样本恶意域名.     

融合主题模型和动态路由的小样本学习方法

针对小样本学习标注训练样本过少,导致特征表达力弱的问题,本文结合有监督主题模型（Supervised LDA, SLDA）和动态路由算法提出一种新的动态路由原型网络模型（Dynamic routing prototypical network based on SLDA, DRP-SLDA）。利用SLDA主题模型建立词汇与类别之间的语义映射,增强词的类别分布特征,从词粒度角度编码获得样本的语义表示。提出动态路由原型网络（Dynamic routing prototypical network,DR-Proto）,通过提取交叉特征利用样本之间的语义关系,采用动态路由算法迭代生成具有类别代表性的动态原型,旨在解决特征表达问题。实验结果表明,DRP-SLDA模型能有效提取词的类别分布特征,且获取动态原型提高类别辨识力,从而能够有效提升小样本文本分类的泛化性能。     

Self-Supervised Task Augmentation for Few-Shot Intent Detection

Few-shot intent detection is a practical challenge task, because new intents are frequently emerging and collecting large-scale data for them could be costly. Meta-learning, a promising technique for leveraging data from previous tasks to enable efficient learning of new tasks, has been a popular way to tackle this problem. However, the existing meta-learning models have been evidenced to be overfitting when the meta-training tasks are insufficient. To overcome this challenge, we present a novel self-supervised task augmentation with meta-learning framework, namely STAM. Firstly, we introduce the task augmentation, which explores two different strategies and combines them to extend meta-training tasks. Secondly, we devise two auxiliary losses for integrating self-supervised learning into meta-learning to learn more generalizable and transferable features. Experimental results show that STAM can achieve consistent and considerable performance improvement to existing state-of-the-art methods on four datasets.     

语义匹配网络的小样本学习

针对深度学习领域内通过少量样本难以实现视觉识别的小样本学习问题,提出一种新的语义匹配网络.利用双注意力机制匹配图像的语义信息,并在多尺度分类网络下匹配图像的相似度,提升同类别样本之间的语义相关性,从而获得更加准确的样本类别.实验结果表明,与Siamese Net、Matching Net等网络相比,该语义匹配网络可有效...     

面向小样本学习的嵌入学习方法研究综述

为了解决机器学习在样本量较少的情况下所面临的巨大挑战,研究人员提出了小样本学习的概念.在现有的小样本学习研究工作中,嵌入学习方法取得了不错的效果,引发了大量关注.根据训练特征嵌入函数时结合任务特征信息的方式,将嵌入学习方法划分为单一嵌入模型和混合嵌入模型两大类.依据划分的类别,对现有的嵌入学习方法的研究工作展开进行研究...     

适于少样本缺陷检测的两阶段缺陷增强网络

缺陷检测模型一般需要大量样本来学习缺陷的特征,但实际场景中一些重要缺陷的样本难以收集,如何用少量样本来学习罕见缺陷的特征成为一个具有挑战性的问题。为了促进少样本缺陷检测的研究,构建了一个新的工业表面缺陷数据集,包括缺陷样本和无缺陷样本。同时提出了一个两阶段缺陷增强网络以提升少样本场景下的缺陷检测性能,它利用了无缺陷样本,并将整个训练过程分为两个阶段。第一阶段的训练需要大量缺陷样本,而第二阶段的训练只需要少量缺陷样本和无缺陷样本。此外,还提出了一个缺陷突显模块,可以更好地利用无缺陷样本来增强缺陷区域的特征。在新数据集上的实验表明,该缺陷检测模型的性能优于其他的少样本目标检测模型,在工业表面缺陷检测中具有更好的应用前景。     

基于图像插值的小样本手写数字识别研究

人工智能方法的高性能通常需要有充足的数据来训练模型参数。如何在数据量不足的情况下提升模型的性能,即小样本学习,是人工智能领域的重要研究方向之一。本文提出了基于图像插值的小样本学习策略,并在手写数字图像识别任务中验证了该策略的可行性。系统研究了全连接神经网络和卷积神经网络对MNIST和USPS手写数字图像识别的小样本学习性能。计算结果表明,基于图像插值的数据增强方法可以显著提升神经网络在小样本数据中的特征提取能力和学习效率,且选择合适的图像插值缩放系数可以进一步优化神经网络的小样本学习性能。     

基于注意力机制和图卷积的小样本分类网络

深度神经网络在有着大量标注数据的图像识别任务上已经占据了统治地位,但是在只有少量标注数据的数据集上训练一个好的网络仍然是一个据有挑战性的任务.如何从有限的标注数据中学习已经成为了一个有着很多应用场景的热点问题.目前有很多解决小样本分类任务的方法,但是仍然存在识别准确率低的问题,根本原因是在小样本学习中,神经网络只能接收...     

小样本关系分类研究综述

关系分类作为构建结构化知识的重要一环,在自然语言处理领域备受关注.但在很多应用领域中(如医疗、金融等领域)收集充足的用于训练关系分类模型的数据十分困难.近年来,仅需要少量训练样本的小样本学习逐渐应用于关系分类研究中.该文对近期小样本关系分类模型与方法进行了系统的综述.根据度量方法的不同,将现有方法分为原型式和分布式两大...     

面向深度网络的小样本学习综述

深度学习以数据为驱动,被广泛应用于各个领域,但由于数据隐私、标记昂贵等导致样本少、数据不完备性等问题,同时小样本难于准确地表示数据分布,使得分类模型误差较大,且泛化能力差。为此,小样本学习被提出,旨在利用较少目标数据训练模型快速学习的能力。系统梳理了近几年来小样本学习领域的相关工作,主要整理和总结了基于数据增强、基于元学习和基于转导图小样本学习方法的研究进展。首先,从基于监督增强和基于无监督增强阐述数据增强的主要特点。其次,从基于度量学习和基于参数优化两方面对基于元学习的方法进行分析。接着,详细总结转导图小样本学习方法,介绍常用的小样本数据集,并通过实验阐述分析具有代表性的小样本学习模型。最后总结现有方法的局限性,并对小样本学习的未来研究方向进行展望。