融合SLDA主题模型的不均衡文本分类方法

在标签均衡分布且标注样本足够多的数据集上,监督式分类算法通常可以取得比较好的分类效果.然而,在实际应用中样本的标签分布通常是不均衡的,分类算法的分类性能就变得比较差.为此,结合SLDA(Supervised LDA)有监督主题模型,提出一种不均衡文本分类新算法ITC-SLDA(Imbalanced Text Categ...     

基于模型分解的小样本学习

机器学习依赖大量样本的统计信息进行模型的训练,从而能对未知样本进行精准的预测.搜集样本及标记需要耗费大量的资源,因而如何基于少量样本(few-shot learning)进行模型的训练至关重要.有效的模型先验(prior)能够降低模型训练对样本的需求.本文基于元学习(meta learning)框架,从相关的、类别不同...     

基于提示学习的小样本文本分类方法

文本分类任务通常依赖足量的标注数据,针对低资源场景下的分类模型在小样本上的过拟合问题,提出一种基于提示学习的小样本文本分类方法BERT-P-Tuning.首先,利用预训练模型BERT(Bidirectional Encoder Representations from Transformers)在标注样本上学习到最优的提示模板;然后,在每条样本中补充提示模板和空缺,将文本分类任务转化为完形填空任务;最后,通过预测空缺位置概率最高的词并结合它与标签之间的映射关系得到最终的标签.在公开数据集FewCLUE上的短文本分类任务上进行实验,实验结果表明,所提方法相较于基于BERT微调的方法在评价指标上有显著提高.所提方法在二分类任务上的准确率与F1值分别提升了25.2和26.7个百分点,在多分类任务上的准确率与F1值分别提升了6.6和8.0个百分点.相较于手动构建模板的PET(Pattern Exploiting Training)方法,所提方法在两个任务上的准确率分别提升了2.9和2.8个百分点,F1值分别提升了4.4和4.2个百分点,验证了预训练模型应用在小样本任务的有效性.     

基于自适应原型特征类矫正的小样本学习方法

针对小样本学习过程中样本数量不足导致的性能下降问题,基于原型网络(Prototype network, ProtoNet)的小样本学习方法通过实现查询样本与支持样本原型特征间的距离度量,从而达到很好的分类性能.然而,这种方法直接将支持集样本均值视为类原型,在一定程度上加剧了对样本数量稀少情况下的敏感性.针对此问题,提出了基于自适应原型特征类矫正的小样本学习方法 (Few-shot learning based on class rectification via adaptive prototype features, CRAPF),通过自适应生成原型特征来缓解方法对数据细微变化的过度响应,并同步实现类边界的精细化调整.首先,使用卷积神经网络构建自适应原型特征生成模块,该模块采用非线性映射获取更为稳健的原型特征,有助于减弱异常值对原型构建的影响;然后,通过对原型生成过程的优化,提升不同类间原型表示的区分度,进而强化原型特征对类别表征的整体效能;最后,在3个广泛使用的基准数据集上的实验结果显示,该方法提升了小样本学习任务的表现.     

图自适应原型网络的小样本节点分类方法

小样本节点分类旨在让机器从少量节点中学习到快速认知和分类的能力,现有小样本节点分类模型的分类性能容易受到图编码器提取的节点特征不够准确和子任务中支撑集实例的类内异常值的影响．为此,文中提出图自适应原型网络(Graph Adaptive Prototypical Networks,GAPN)的小样本节点分类方法．首先,将图中的节点通过图编码器嵌入度量空间中．然后,将全局重要度和局部重要度的融合结果作为支撑集实例的权重计算类原型,使查询集实例能自适应地学习更鲁棒的类原型．最后,计算自适应任务的类原型与查询集实例之间距离产生的分类概率,最小化分类概率和真实标签间的正间隔损失,反向更新网络参数,学习到更有判别性的节点特征．在常用图数据集上的实验表明,文中方法具有较优的节点分类性能．     

基于知识增强和提示学习的小样本新闻主题分类方法

基于预训练微调的分类方法通常需要大量带标注的数据,导致无法应用于小样本分类任务。因此,针对中文小样本新闻主题分类任务,提出一种基于知识增强和提示学习的分类方法 KPL(Knowledge enhancement and Prompt Learning)。首先,利用预训练模型在训练集上学习最优的提示模板;其次,将提示模板与输入文本结合,使分类任务转化为完形填空任务;同时利用外部知识扩充标签词空间,丰富标签词的语义信息;最后,对预测的标签词与原始的标签进行映射。通过在THUCNews、SHNews和Toutiao这3个新闻数据集上进行随机采样,形成小样本训练集和验证集进行实验。实验结果表明,所提方法在上述数据集上的1-shot、5-shot、10-shot和20-shot任务上整体表现有所提升,尤其在1-shot任务上提升效果突出,与基线小样本分类方法相比,准确率分别提高了7.59、2.11和3.10个百分点以上,验证了KPL在小样本新闻主题分类任务上的有效性。     

基于自监督学习和二阶表示的小样本图像分类

小样本图像分类旨在利用少量的标注样本实现对未见类别的预测。最近的研究表明,预训练策略和图像表示方法在该任务中发挥着关键作用。然而,这些方法的应用仍面临两个主要挑战:第一,自监督学习在小样本分类的预训练阶段尚未得到充分的探索;第二,二阶表示在不同粒度的小样本任务中的作用尚不明确,制约了其在复杂任务中的应用。针对上述问题,本文首先提出了一个多任务协同优化的预训练方法,实现了对比式自监督、生成式自监督和有监督学习的联合训练。该方法旨在促进模型学习具有迁移性的特征,从而提升模型的泛化性能。其次,本文利用紧致的双线性池化对模型进行微调,以获取更具分辨力的二阶表示,从而进一步增强模型的非线性建模能力。最后,本文提出了一种基于类间相似关系的任务难度指标,用于量化小样本任务的分类粒度,并通过线性探测分析系统地研究了二阶表示在粗细粒度不同的小样本任务中的表现。实验表明,多任务协同的预训练有效提高了模型的泛化性能,并且不同的分支任务呈现相互促进的效果;在更加困难的细粒度任务中,二阶表示相对于一阶表示展现出更强的线性可分性,这为一阶和二阶表示在不同场景中的应用提供了有益参考。本文通过广泛的消融实验深入评估了每个关键设计的贡献。与当前最先进的方法相比,本文方法在miniImageNet和CUB数据集的1-shot/5-shot分类任务中分别取得0.66%/0.53%和3.12%/0.98%的提升,在tiered ImageNet数据集的5-shot分类任务中取得可比结果(87.19%vs.87.31%),在跨域数据集miniImageNet→CUB、miniImageNet→Aircraft和miniImageNet→Cars中分别取得1.25%、1.96%和4.34%的提升,验证了本文方法的有效性。     

一种基于原型校正的小样本学习算法

现有的少样本学习(Few-Shot Learning)方法通常使用基于任务(episode)的训练策略训练模型,但在随机采样构建任务的过程中不可避免地存在采样偏差问题,质量较差的支持样本一定程度上导致模型难以收敛.本文提出了交互视图原型校正网络通过两种策略缓解这个问题,首先,模型利用全局信息来纠正每个任务中的支持样本特征,从而缓解随机采样导致的原型偏移问题;其次,文中提出了实例原型生成算法,该算法利用支持样本特征的局部视图原型集根据不同的查询样本实例生成对应的实例级原型,从而优化了使用支持样本全局特征作为类原型区分度不足的问题.模型在多个基准数据集上的进行了充分实验,实验结果验证了方法的有效性及鲁棒性.     

基于VAE和注意力机制的小样本图像分类方法

小样本图像识别是人工智能中具有挑战性的新兴领域。传统的深度学习方法无法解决样本匮乏带来的问题,模型易出现过拟合导致训练效果不佳的情况。针对以上问题,提出结合表征学习和注意力机制的小样本学习方法。通过预训练VAE(Variational Auto-encoder)从任务中学习丰富的隐特征;对提取出的隐特征构建注意力机制,使得元学习器能快速地注意到对当前任务重要的特征;将注意力模块增强之后的特征使用分类器进行图像分类。实验表明,该算法在Mini-ImageNet和Omniglot数据集上达到72.5%和98.8%的准确率,显著优于现有元学习算法的性能。     

基于双向注意力和类生成器的小样本文本分类

在小样本文本分类领域中,查询集和支持集的特征提取是影响分类结果的关键之一,但以往的研究大多忽略了两者之间存在匹配信息且在各自的信息提取中忽略了特征间的重要性程度不同,因此提出了一种新的小样本分类模型.模型结合GRU的全局信息提取能力和注意力机制的局部细节学习能力对文本特征进行建模,同时采用双向注意力机制来获取支持样本与查询样本间的交互信息,并创新性的提出“类生成器”用以区分同类样本间的不同重要性同时生成更具判别性的类别表示.此外,为了获得更为清晰的分类界限,还设计了一个原型感知的正则化项来优化原型学习.模型在2个小样本分类数据集上进行了实验,均取得了比目前最优基线模型更好的分类效果.     

面向深度网络的小样本学习综述

深度学习以数据为驱动,被广泛应用于各个领域,但由于数据隐私、标记昂贵等导致样本少、数据不完备性等问题,同时小样本难于准确地表示数据分布,使得分类模型误差较大,且泛化能力差。为此,小样本学习被提出,旨在利用较少目标数据训练模型快速学习的能力。系统梳理了近几年来小样本学习领域的相关工作,主要整理和总结了基于数据增强、基于元学习和基于转导图小样本学习方法的研究进展。首先,从基于监督增强和基于无监督增强阐述数据增强的主要特点。其次,从基于度量学习和基于参数优化两方面对基于元学习的方法进行分析。接着,详细总结转导图小样本学习方法,介绍常用的小样本数据集,并通过实验阐述分析具有代表性的小样本学习模型。最后总结现有方法的局限性,并对小样本学习的未来研究方向进行展望。     

小样本困境下的图像语义分割综述

近年来,由于大规模数据集的出现,图像语义分割技术得到快速发展。但在实际场景中,并不容易获取到大规模、高质量的图像,图像的标注也需要消耗大量的人力和时间成本。为了摆脱对样本数量的依赖,小样本语义分割技术逐渐成为研究热点。当前小样本语义分割的方法主要利用了元学习的思想,按照不同的模型结构可划分为基于孪生神经网络、基于原型网络和基于注意力机制三大类。基于近年来小样本语义分割的发展现状,介绍了小样本语义分割各类方法的发展及优缺点,以及小样本语义分割任务中常用的数据集及实验设计。在此基础上,总结了小样本语义分割技术的应用场景及未来的发展方向。     

面向垂直领域上下文特性的少样本关系抽取方法

现有的少样本关系抽取解决方案主要基于通用领域语料,尚未充分考虑垂直领域中存在的长文本、关系重叠等问题,面对垂直领域上下文时其关系抽取性能有待提升。针对上述问题,该文以桥梁检测领域和医疗健康领域为背景,提出了一种面向垂直领域上下文特性的少样本关系抽取方法。该方法首先通过预训练语言模型RoBERTa_chinese_base对文本进行编码,再分别在双向长短时记忆网络(BiLSTM)和实体特征提取模块中进一步提取上下文特征和实体级特征,并在特征融合的基础上,通过原型网络进行关系预测。实验结果显示,该文方法在自建的桥梁检测领域数据集Bridge-FewRel上评测结果优于对比的基线模型。在中文医疗健康领域数据集TinyRel-CM的少样本关系抽取任务上,该文方法的大部分结果优于基线模型。同时,该文方法在公有领域数据集FewRel 1.0的5-way-5-shot和10-way-5-shot任务上也取得了有竞争力的结果。     

结合记忆与迁移学习的小样本学习

小样本学习是视觉识别中的一个受关注的领域,旨在通过少量的数据来学习新的视觉概念。为了解决小样本问题,一些元学习方法提出从大量辅助任务中学习可迁移的知识并将其应用于目标任务上。为了更好地对知识进行迁移,提出了一种基于记忆的迁移学习方法。提出一种权重分解策略,将部分权重分解为冻结权重与可学习权重,在迁移学习中通过固定冻结权重,仅更新可学习权重的方式来减少模型需要学习的参数。通过一个额外的记忆模块来存储之前任务的经验,在学习新任务时,这些经验被用来初始化模型的参数状态,以此更好地进行迁移学习。通过在miniImageNet、tieredImageNet以及CUB数据集上的实验结果表明,相对于其他先进的方法,该方法在小样本分类任务上取得了具有竞争力甚至是更好的表现。     

基于细粒度原型网络的小样本命名实体识别方法

原型网络直接应用于小样本命名实体识别(few-shot named entity recognition, FEW-NER)时存在以下问题:非实体之间不具有较强的语义关系,对实体和非实体都采用相同的方式构造原型将会造成非实体原型不能准确表示非实体的语义特征;仅使用平均实体向量表示作为原型的计算方式将难以捕捉语义特征相差较大的同类实体.针对上述问题,提出基于细粒度原型网络的小样本命名实体识别(FEW-NER based on fine-grained prototypical networks, FNFP)方法,有助于提高小样本命名实体识别的标注效果.首先,为不同的查询集样本构造不同的非实体原型,捕捉句子中关键的非实体语义特征,得到更为细粒度的原型,提升模型对非实体的识别效果;然后,设计一个不一致性度量模块以衡量同类实体之间的不一致性,对实体与非实体采用不同的度量函数,从而减小同类样本之间的特征表示,提升原型的特征表示能力;最后,引入维特比解码器捕捉标签转换关系,优化最终的标注序列.实验结果表明,采用基于细粒度原型网络的小样本命名实体识别方法,在大规模小样本命名实体识别数据集FEW-NERD上,较基线方法获得提升;同时在跨领域数据集上验证所提方法在不同领域场景下的泛化能力.