融合MAML和CBAM的安卓恶意应用家族分类模型

为满足对新兴安卓恶意应用家族的快速检测需求,提出一种融合MAML(model-agnostic meta-learning)和CBAM(convolutional block attention module)的安卓恶意应用家族分类模型MAML-CAS。将安卓恶意应用样本集中的DEX文件可视化为灰度图,并构建任务集;融合混合域注意力机制CBAM,设计两个具有同等结构的卷积神经网络,分别作为基学习器和元学习器,这两个学习器在自动提取任务集中样本特征的同时,可从通道和空间两个维度来增强关键特征表达;利用元学习方法 MAML对两个学习器进行训练,其中基学习器完成特定恶意家族分类任务的属性学习,元学习器则学习不同任务的共性;在两个学习器训练完成后,MAML-CAS将获得初始化参数,在面对新的安卓恶意应用家族分类任务时,不需要重新训练,只需要少量样本就可以快速迭代;利用训练完成的基学习器提取安卓恶意应用家族特征,并利用SVM进行恶意家族分类。实验结果表明,MAML-CAS模型对新兴小样本安卓恶意应用家族具有良好的检测效果,检测速度较快,并具有较好的稳定性。     

基于卷积神经网络的小样本图像识别方法

为提高仅包含少量训练样本的图像识别准确率,利用卷积神经网络作为图像的特征提取器,提出一种基于卷积神经网络的小样本图像识别方法。在原始小数据集中引入数据增强变换,扩充数据样本的范围;在此基础上将大规模数据集上的源预训练模型在目标小数据集上进行迁移训练,提取除最后全连接层之外的模型权重和图像特征;结合源预训练模型提取的特征,采用层冻结方法,微调目标小规模数据集上的卷积模型,得到最终分类识别结果。实验结果表明,该方法在小规模图像数据集的识别问题中具有较高的准确率和鲁棒性。     

局部特征融合的小样本分类

目的 小样本学习是一项具有挑战性的任务,旨在利用有限数量的标注样本数据对新的类别数据进行分类。基于度量的元学习方法是当前小样本分类的主流方法,但往往仅使用图像的全局特征,且模型分类效果很大程度上依赖于特征提取网络的性能。为了能够充分利用图像的局部特征以及提高模型的泛化能力,提出一种基于局部特征融合的小样本分类方法。方法 首先,将输入图像进行多尺度网格分块处理后送入特征提取网络以获得局部特征;其次,设计了一个基于Transformer架构的局部特征融合模块来得到包含全局信息的局部增强特征,以提高模型的泛化能力;最后,以欧几里得距离为度量,计算查询集样本特征向量与支持集类原型之间的距离,实现分类。结果 在小样本分类中常用的3个数据集上与当前先进的方法进行比较,在5-way 1-shot和5-way 5-shot的设置下相对次优结果,所提方法在MiniImageNet数据集上的分类精度分别提高了2.96%和2.9%,在CUB（Caltech-UCSD Birds-200-2011）数据集上的分类精度分别提高了3.22%和1.77%,而在TieredImageNet数据集上的分类精度与最优结果相当,实验结果表明了所提方法的有效性。结论 提出的小样本分类方法充分利用了图像的局部特征,同时改善了模型的特征提取能力和泛化能力,使小样本分类结果更为准确。     

文本分类中用于协同的特征集分割

用于文本分类领域的协同训练往往需要特征集的一个自然独立分割,但对大多数语料而言这种分割都很难获取或不存在.给出了特征子集间在类别下条件独立性的定量描述,并在此意义下提出了局部特征集分割的策略,以及两种分别基于样本聚类和图分块的以独立性为前提的特征集分割算法.在两个语料库上的分类实验证明:在该方法所获得的特征集分割下,协同训练方法能有效利用未标注样本提高分类器的综合效果,从而有效扩展了协同训练的可用性.     

一种基于直推判别字典学习的零样本分类方法

零样本分类的目标是对训练阶段未出现过的类别的样本进行识别和分类,其主要思路是,借助类别语义信息,将可见类别的知识转移到未见类别中.提出了一种直推式的字典学习方法,包含以下两个步骤：首先,提出一个判别字典学习模型,对带标签的可见类别样本的视觉特征和类别语义特征建立映射关系模型;然后,针对可见类别和未见类别不同引起的域偏移问题,提出了一个基于直推学习的修正模型.通过在3个基准数据集（AwA,CUB和SUN）上的实验结果,证明了该方法的有效性和先进性.     

基于MV-PearlNet的珍珠细粒度分类方法

提出多视图卷积神经网络模型MV-PearlNet,替代人工进行细粒度珍珠分类.该模型采用并行化处理方式,针对珍珠的多个视角图片提取特征,可提升珍珠图片的特征提取效果,并且采用中间层特征融合作为珍珠的特征表达.在训练集数据量有限的情况下,通过MV-PearlNet结合K-means方法,将无监督聚类算法应用到提取得到的特征中,并利用相似度计算完成自动类标学习,这些操作起到了扩充数据集的作用,有助于改善深度分类模型因为训练集不足导致的欠拟合问题,可提高模型的分类准确率.实验结果表明,相比于主流卷积神经网络模型,MV-PearlNet对珍珠细粒度图片的分类准确率有明显的提高.     

双分支多维注意特征融合的高光谱图像分类

为改善高光谱图像小样本类别的分类性能,提高模型特征表达的稳健性,提出了双分支多维注意力特征融合的神经网络分类模型（DBMD）。DBMD采用两个分支分别进行光谱特征提取和混合特征提取。光谱分支通过密集连接的扩张卷积逐级提取特征,然后融合低、中、高级语义信息作为特征输出。混合分支采用3D-2D网络架构,并通过改进的Inception块提取空间尺度特征。此外,注意力机制分别应用于光谱、空间和空谱特征,进行特征细化,增强重要区域的特征响应。最后,将不同维度的细化特征联合输入至分类器进行分类。在Indian Pines和Salinas Valley数据集上利用5%和1%的样本进行实验,分别取得了98.40%和99.78%的总体精度,与其他六种网络架构相比,该模型在准确性和稳定性上都具有更优的表现。     

基于注意力机制和图卷积的小样本分类网络

深度神经网络在有着大量标注数据的图像识别任务上已经占据了统治地位,但是在只有少量标注数据的数据集上训练一个好的网络仍然是一个据有挑战性的任务.如何从有限的标注数据中学习已经成为了一个有着很多应用场景的热点问题.目前有很多解决小样本分类任务的方法,但是仍然存在识别准确率低的问题,根本原因是在小样本学习中,神经网络只能接收少量有标签的数据,导致神经网络不能获取足够的用来识别的信息.因此,提出了一种基于注意力机制和图卷积网络的小样本分类模型.这个模型不仅能够更好地提取特征,而且能够充分利用提取的特征对目标图像进行分类.通过注意力机制,能够指导神经网络关注更有用的信息,而图卷积使得网络能够利用支撑集中其他类别的信息做出更准确的判断.经过大量的实验,证明了提出的模型在Omniglot数据集和mini-ImageNet数据集上的分类准确率都超过了基于传统神经网络的关系网络.     

基于差异特征协同语义标注的三维模型检索方法

提出一种基于差异特征协同语义标注的三维模型检索方法.该方法利用多种特征提取方法的优点,借鉴半监督学习中的协同训练思想,首先通过3种差异特征提取算法分别训练学习器,构造出3个差异学习器;然后通过协同迭代训练找到最优学习器对三维模型进行自动语义标注;最后结合语义进行三维模型检索.在普林斯顿大学的PSB三维模型数据集上的实验...     

基于特征融合的小样本学习

深度学习是通过大量标注数据训练模型,从而使得模型能够准确预测未知目标.样本数据的收集与标注需要耗费大量时间,并且在某些特殊场景下难以获取大量的标注数据,因此如何基于小样本训练模型变得至关重要.针对这一问题,提出基于特征融合的模型,融合方式主要体现在两方面,一是在特征提取模块融合多层次特征,二是样本融合模块综合多个样本特...     

基于对比约束的可解释小样本学习

不同于基于大规模监督的深度学习方法,小样本学习旨在从极少的几个样本中学习这类样本的特性,其更符合人脑的视觉认知机制.近年来,小样本学习受到很多学者关注,他们联合元学习训练模式与度量学习理论,挖掘查询集(无标记样本)和支持集(少量标记样本)在特征空间的语义相似距离,取得不错的小样本分类性能.然而,这些方法的可解释性偏弱,不能为用户提供一种便于直观理解的小样本推理过程.为此,提出一种基于区域注意力机制的小样本分类网络INT-FSL,旨在揭示小样本分类中的2个关键问题：1)图像哪些关键位置的视觉特征在决策中发挥了重要作用;2)这些关键位置的视觉特征能体现哪些类别的特性.除此之外,尝试在每个小样本元任务中设计全局和局部2种对比学习机制,利用数据内部信息来缓解小样本场景中的监督信息匮乏问题.在3个真实图像数据集上进行了详细的实验分析,结果表明：所提方法INT-FSL不仅能有效提升当前小样本学习方法的分类性能,还具备良好的过程可解释性.     

融合多粒度注意力特征的小样本分类模型

在小样本分类任务中,现有的CNN模型存在特征提取不足、特征单一和小样本数据集类间差异化较弱的问题,导致分类精度较低。针对以上问题,提出一种融合多粒度注意力特征（fusion multi-granular attention feature,FMAF）的小样本分类模型。首先,该方法借鉴多粒度思想,重新设计CNN特征提取网络的架构来增强特征多样性;其次,在多粒度特征提取网络后添加自注意力层,提取多粒度图像特征中的关键特征,在多粒度注意力特征的基础上,借助特征融合方法融合多粒度注意力特征信息,突出关键特征,提高特征的表征力;最后,在两个经典的小样本数据集miniImageNet和tieredImageNet上进行了评估。实验结果表明,FMAF方法能有效提升分类的准确度和效率。     

融合小样本元学习和原型对齐的点云分割算法

目的 针对点云分割需要大量监督信息所造成的时间成本高、计算效率低的问题，采用融合原型对齐的小样本元学习算法对点云进行语义分割，使模型能够在监督信息很少的情况下完成分割任务。方法 首先，为了避免小样本训练时易导致的过拟合问题，采用2个边缘卷积层（edge convolution layer，EdgeConv）与6个MLP （multilayer perceptron）交叉构造DGCNN （dynamic graph convolutional neural network），同时还保证了能充分学习到点云信息；然后，以N-way K-shot的形式将数据集输入上述网络学习支持集与查询集的特征，通过average pooling feature获取类别原型并融合原型对齐算法得到更为鲁棒的支持集原型；最后，通过计算查询集点云特征与支持集原型的欧氏距离实现点云分割。结果 在S3DIS （Stanford large-scale 3D indoor spaces dataset）、ScanNet和闽南古建筑数据集上进行点云语义分割实验，与原型网络和匹配网络在S3DIS数据集上进行比较。分割1-way时，平均交并比（mean intersection over union，mIoU）相比原型网络和匹配网络分别提高了0.06和0.33，最高类别的mIoU达到0.95；分割2-way时，mIoU相比原型网络提高了0.04；将DGCNN网络与PointNet++做特征提取器的对比时，分割ceiling和floor的mIoU分别提高了0.05和0.30。方法应用在ScanNet数据集和闽南古建筑数据集上的分割mIoU分别为0.63和0.51。结论 提出的方法可以在少量标记数据的情况下取得良好的点云分割效果。相比于此前需用大量标记数据所训练的模型而言，只需要很少的监督信息，便能够分割出该新类，提高了模型的泛化能力。当面临样本的标记数据难以获得的情况时，提出的方法更能够发挥关键作用。     

多模态引导的局部特征选择小样本学习方法

深度学习模型取得了令人瞩目的成绩,但其训练依赖于大量的标注样本,在标注样本匮乏的场景下模型表现不尽人意.针对这一问题,近年来以研究如何从少量样本快速学习的小样本学习被提了出来,方法主要采用元学习方式对模型进行训练,取得了不错的学习效果.但现有方法:1)通常仅基于样本的视觉特征来识别新类别,信息源较为单一; 2)元学习的使用使得模型从大量相似的小样本任务中学习通用的、可迁移的知识,不可避免地导致模型特征空间趋于一般化,存在样本特征表达不充分、不准确的问题.为解决上述问题,将预训练技术和多模态学习技术引入小样本学习过程,提出基于多模态引导的局部特征选择小样本学习方法.所提方法首先在包含大量样本的已知类别上进行模型预训练,旨在提升模型的特征表达能力;而后在元学习阶段,方法利用元学习对模型进行进一步优化,旨在提升模型的迁移能力或对小样本环境的适应能力,所提方法同时基于样本的视觉特征和文本特征进行局部特征选择来提升样本特征的表达能力,以避免元学习过程中模型特征表达能力的大幅下降;最后所提方法利用选择后的样本特征进行小样本学习.在MiniImageNet、CIFAR-FS和FC-100这3个基准数...     

提高小样本高光谱图像分类性能的变维卷积神经网络

目的 为了解决基于卷积神经网络的算法对高光谱图像小样本分类精度较低、模型结构复杂和计算量大的问题,提出了一种变维卷积神经网络。方法 变维卷积神经网络对高光谱分类过程可根据内部特征图维度的变化分为空—谱信息融合、降维、混合特征提取与空—谱联合分类的过程。这种变维结构通过改变特征映射的维度,简化了网络结构并减少了计算量,并通过对空—谱信息的充分提取提高了卷积神经网络对小样本高光谱图像分类的精度。结果 实验分为变维卷积神经网络的性能分析实验与分类性能对比实验,所用的数据集为Indian Pines和Pavia University Scene数据集。通过实验可知,变维卷积神经网络对高光谱小样本可取得较高的分类精度,在Indian Pines和Pavia University Scene数据集上的总体分类精度分别为87.87%和98.18%,与其他分类算法对比有较明显的性能优势。结论 实验结果表明,合理的参数优化可有效提高变维卷积神经网络的分类精度,这种变维模型可较大程度提高对高光谱图像中小样本数据的分类性能,并可进一步推广到其他与高光谱图像相关的深度学习分类模型中。     

面向元余弦损失的少样本图像分类

目的 度量学习是少样本学习中一种简单且有效的方法,学习一个丰富、具有判别性和泛化性强的嵌入空间是度量学习方法实现优秀分类效果的关键。本文从样本自身的特征以及特征在嵌入空间中的分布出发,结合全局与局部数据增强实现了一种元余弦损失的少样本图像分类方法(a meta-cosine loss for few-shot image classification,AMCL-FSIC)。方法 首先,从数据自身特征出发,将全局与局部的数据增广方法结合起来,利于局部信息提供更具区别性和迁移性的信息,使训练模型更多关注图像的前景信息。同时,利用注意力机制结合全局与局部特征,以得到更丰富更具判别性的特征。其次,从样本特征在嵌入空间中的分布出发,提出一种元余弦损失(meta-cosine loss,MCL)函数,优化少样本图像分类模型。使用样本与类原型间相似性的差调整不同类的原型,扩大类间距,使模型测试新任务时类间距更加明显,提升模型的泛化能力。结果 分别在5个少样本经典数据集上进行了实验对比,在FC100(Few-shot Cifar100)和CUB(Caltech-UCSD Birds-200-2011)数据集上,本文方法均达到了目前最优分类效果;在MiniImageNet、TieredImageNet和Cifar100数据集上与对比模型的结果相当。同时,在MiniImageNet,CUB和Cifar100数据集上进行对比实验以验证MCL的有效性,结果证明提出的MCL提升了余弦分类器的分类效果。结论 本文方法能充分提取少样本图像分类任务中的图像特征,有效提升度量学习在少样本图像分类中的准确率。     

融合弱监督目标定位的细粒度小样本学习

目的 小样本学习旨在通过一幅或几幅图像来学习全新的类别。目前许多小样本学习方法基于图像的全局表征,可以很好地实现常规小样本图像分类任务。但是,细粒度图像分类需要依赖局部的图像特征,而基于全局表征的方法无法有效地获取图像的局部特征,导致很多小样本学习方法不能很好地处理细粒度小样本图像分类问题。为此,提出一种融合弱监督目标定位的细粒度小样本学习方法。方法 在数据量有限的情况下,目标定位是一个有效的方法,能直接提供最具区分性的区域。受此启发,提出了一个基于自注意力的互补定位模块来实现弱监督目标定位,生成筛选掩膜进行特征描述子的筛选。基于筛选的特征描述子,设计了一种语义对齐距离来度量图像最具区分性区域的相关性,进而完成细粒度小样本图像分类。结果 在mini Image Net数据集上,本文方法在1-shot和5-shot下的分类精度相较性能第2的方法高出0.56%和5.02%。在细粒度数据集Stanford Dogs和Stanford Cars数据集上,本文方法在1-shot和5-shot下的分类精度相较性能第2的方法分别提高了4.18%,7.49%和16.13,5.17%。在CUB 200-...     

基于特征迁移学习的综合能源系统小样本日前电力负荷预测

基于历史数据和深度学习的负荷预测已广泛应用于以电能为中心的综合能源系统中以提高预测精度,然而,当区域中出现新用户时,其历史负荷数据往往极少,此时,深度学习难以适用.针对此,本文提出基于负荷特征提取和迁移学习的预测机制.首先,依据源域用户历史负荷数据,融合聚类算法和门控循环单元网络构建源域数据的特征提取和分类模型;然后,...     

基于特征重加权的小样本遥感图像目标检测算法

针对遥感图像具有目标尺度多变、目标模糊、背景复杂的特点,提出了一种基于特征重加权的遥感小样本目标检测算法RE-FSOD。该模型包括3部分:元特征提取器、特征重加权提取器、预测模块,其中元特征提取器由CSPDarknet-53、FPN以及PAN构成,负责提取数据的元特征;特征重加权提取器用于生成特征重加权向量,用于调整元特征来强化对于检测新类有帮助的特征;预测模块由YOLOv3的预测模块构成,在此基础上将定位损失函数替换为CIOU损失函数,提升模型的定位精度。最后在NWPU VHR-10遥感数据集上进行了训练和测试,实验结果表明,该方法相较于基线方法FSODM的在3-shot、5-shot、10-shot情况下分别提升了约19%、11%、8%。     

半监督类保持局部线性嵌入方法

为使局部线性嵌入（local linear embedding, LLE）这一无监督高维数据的非线性特征提取方法提取出的特征在分类或聚类学习上更优,提出一种半监督类保持局部线性嵌入(semi-supervised class preserving local linear embedding, SSCLLE)的非线性特征提取方法。该方法将半监督信息融入到LLE中,首先对标记样本近邻赋予伪标签,增大标记样本数量。其次,对标记样本之间的距离进行局部调整,缩小同类样本间距,扩大异类样本间距。同时在局部线性嵌入优化目标函数中增加全局同类样本间距和异类样本间距的约束项,使得提取出的低维特征可以确保同类样本点互相靠近,而异类样本点彼此分离。在一系列实验中,其聚类精确度以及可视化效果明显高于无监督LLE和现有半监督流特征提取方法,表明该方法提取出的特征具有很好的类保持特性。