一种半监督对抗鲁棒模型无关元学习方法

元学习期望训练所得的元模型在学习到的“元知识”基础上利用来自新任务的少量标注样本,仅通过较少的梯度下降步骤微调模型就能够快速适应该任务。但是,由于缺乏训练样本,元学习算法在元训练期间对现有任务过度训练时所得的分类器决策边界不够准确,不合理的决策边界使得元模型更容易受到微小对抗扰动的影响,导致元模型在新任务上的鲁棒性能降低。提出一种半监督对抗鲁棒模型无关元学习（semi-ARMAML）方法,在目标函数中分别引入半监督的对抗鲁棒正则项和基于信息熵的任务无偏正则项,以此优化决策边界,其中对抗鲁棒正则项的计算允许未标注样本包含未见过类样本,从而使得元模型能更好地适应真实应用场景,降低对输入扰动的敏感性,提高对抗鲁棒性。实验结果表明,相比ADML、R-MAML-TRADES等当下主流的对抗元学习方法,semi-ARMAML方法在干净样本上准确率较高,在MiniImageNet数据集的5-way 1-shot与5-way 5-shot任务上对抗鲁棒性能分别约提升1.8%和2.7%,在CIFAR-FS数据集上分别约提升5.2%和8.1%。     

融合MAML与BiLSTM的微博负面情感多分类方法

随着社交网络的不断发展,微博成为人们日常生活中分享观点和感情的重要平台,分析用户的情感倾向可以有效地应用于舆情控制、民意调查、商品推荐等工作.传统的深度学习算法在面对新的工作任务时,往往需要大量数据重新训练才能得到较好准确率.针对这一情况,提出了一种基于MAML(model-agnostic meta-learning...     

Fast Theta-Subsumption with Constraint Satisfaction Algorithms

Relational learning and Inductive Logic Programming (ILP) commonly use as covering test the -subsumption test defined by Plotkin. Based on a reformulation of -subsumption as a binary constraint satisfaction problem, this paper describes a novel -subsumption algorithm named Django,¹ which combines well-known CSP procedures and -subsumption-specific data structures. Django is validated using the stochastic complexity framework developed in CSPs, and imported in ILP by Giordana et Saitta. Principled and extensive experiments within this framework show that Django improves on earlier -subsumption algorithms by several orders of magnitude, and that different procedures are better at different regions of the stochastic complexity landscape. These experiments allow for building a control layer over Django, termed Meta-Django, which determines the best procedures to use depending on the order parameters of the -subsumption problem instance. The performance gains and good scalability of Django and Meta-Django are finally demonstrated on a real-world ILP task (emulating the search for frequent clauses in the mutagenesis domain) though the smaller size of the problems results in smaller gain factors (ranging from 2.5 to 30).     

元学习研究综述

深度学习在大量领域取得优异成果,但仍然存在着鲁棒性和泛化性较差、难以学习和适应未观测任务、极其依赖大规模数据等问题.近两年元学习在深度学习上的发展,为解决上述问题提供了新的视野.元学习是一种模仿生物利用先前已有的知识,从而快速学习新的未见事物能力的一种学习定式.元学习的目标是利用已学习的信息,快速适应未学习的新任务.这...     

Introduction to the Special Issue on Meta-Learning

Recent advances in meta-learning are providing the foundations to construct meta-learning assistants and task-adaptive learners. The goal of this special issue is to foster an interest in meta-learning by compiling representative work in the field. The contributions to this special issue provide strong insights into the construction of future meta-learning tools. In this introduction we present a common frame of reference to address work in meta-learning through the concept of meta-knowledge. We show how meta-learning can be simply defined as the process of exploiting knowledge about learning that enables us to understand and improve the performance of learning algorithms.     

融入注意力机制的小样本遥感图像场景分类

遥感图像场景分类是计算机视觉领域的热点研究方向,对遥感图像场景及其语义理解意义重大.目前,基于深度学习的遥感图像场景分类方法在该领域占据主导地位.然而实际应用场景面临着样本数据较少、模型泛化能力较差的问题,致使基于深度学习的遥感图像场景分类方法实现难度较大,性能大幅下降.针对上述难点,提出了基于注意力机制的小样本遥感图像场景分类方法,设计了一种双分支判别结构进行相似性度量.该方法基于元学习训练策略对数据集进行任务制划分;为最大限度保留遥感图像中的特征分布,对输入图像进行重叠分块;在特征提取网络中引入轻量级注意力模块,降低过拟合风险并保证判别性特征的获取;在EMD(earth mover's distance)距离的基础上设计添加双分支相似性度量模块,提升分类器的判别能力.实验结果表明,相较于经典小样本学习方法,所提出的小样本遥感图像场景分类方法能够显著提升分类性能.     

基于元学习聚合分类器的流程工业故障诊断

针对基于多元统计分析和深度学习的故障诊断方法需要大量的训练样本,但当前流程工业具有故障样本不足等特点,文章提出了一种模型无关的聚合分类器元学习框架（MAACML）。首先,该框架将模型无关的元学习与卷积神经网络相结合并引入一种聚合分类器来提高模型的分类准确率和泛化能力;然后,对田纳西伊士曼仿真数据集进行仿真实验验证模型的性能;最终,为了验证模型在实际数据集上的效果,在实际压缩机组数据集进行验证。研究结果表明：MAACML框架具有较高的平均准确率优于其他方法,且具有良好的泛化能力;并且引入的聚合分类器模块对分类结果有明显提升作用;在实际数据集上的分类准确率达到100%,证明了MACCML框架的实用性和有效性。     

基于CNN-AE-MAML的低压配电网自适应分类方法

低压配电网分类有利于提高低压配电网经济运行管理措施及新能源规划运行方案制定的效率。随着各类新能源、充电桩等新型源荷的不断接入,低压配电网原有负荷特征发生变化,一方面导致配电网负荷特征复杂,另一方面导致变化后可用的新负荷特征数据较少,给配电网分类带来挑战。针对以上挑战,提出一种基于卷积自编码器和模型不可知元学习(convolutional neural network-auto encoder-model agnostic meta learning, CNN-AE-MAML)的低压配电网自适应分类方法。首先,利用卷积自编码器(convolutional neural network auto encoder, CNN-AE)提取可表征低压配电网的配变负荷、光伏发电特征,采用谱聚类(spectral clustering, SC)对低压配电网进行分类;然后,构建基于softmax配电网类型识别方法,利用低压配电网实际数据的降维特征识别配电网类型;此外,利用模型不可知元学习(model-agnostic meta-learning, MAML)方法训练CNN-AE特征提取模型,使CNN-AE模型在少量数据下能自适应提取配电网新负荷特征,最终实现低压配电网准确、快速自适应分类。最后,利用低压配电网实际数据验证了所提方法的有效性。     

融合MAML和CBAM的安卓恶意应用家族分类模型

为满足对新兴安卓恶意应用家族的快速检测需求,提出一种融合MAML(model-agnostic meta-learning)和CBAM(convolutional block attention module)的安卓恶意应用家族分类模型MAML-CAS。将安卓恶意应用样本集中的DEX文件可视化为灰度图,并构建任务集;融合混合域注意力机制CBAM,设计两个具有同等结构的卷积神经网络,分别作为基学习器和元学习器,这两个学习器在自动提取任务集中样本特征的同时,可从通道和空间两个维度来增强关键特征表达;利用元学习方法 MAML对两个学习器进行训练,其中基学习器完成特定恶意家族分类任务的属性学习,元学习器则学习不同任务的共性;在两个学习器训练完成后,MAML-CAS将获得初始化参数,在面对新的安卓恶意应用家族分类任务时,不需要重新训练,只需要少量样本就可以快速迭代;利用训练完成的基学习器提取安卓恶意应用家族特征,并利用SVM进行恶意家族分类。实验结果表明,MAML-CAS模型对新兴小样本安卓恶意应用家族具有良好的检测效果,检测速度较快,并具有较好的稳定性。