基于VAE的伪样本重排练实现的类增量学习

针对神经网络模型进行类增量学习时产生的灾难性遗忘问题,提出一种基于VAE的伪样本重排练实现的类增量学习方法.采用VAE生成伪样本的方法,实现重排练,生成与真实图像相似的伪图像;引入大边界Softmax损失训练分类器,使分类器学习到类间距离更大、类内距离更小的特征;采用一种基于类均值特征的伪样本选择策略,基于分类器训练样本的类均值特征,使筛选出来的伪样本更具代表性.在MNIST、FASHION数据集上的实验结果表明,所提方法能有效减少灾难性遗忘的影响,提高图像分类精度.     

双分支迭代的深度增量图像分类方法

针对深度增量学习可能产生灾难性遗忘的问题,提出双分支迭代的深度增量图像分类方法,使用主网络存储旧类知识,分支网络学习增量数据中的新类知识,并在增量过程中使用主网络的权重优化分支网络的参数.使用基于密度峰值聚类的方法从迭代数据集中筛选典型样本并构建保留集,并加入增量迭代训练中,减轻灾难性遗忘.实验表明,文中方法的性能较优.     

基于增量学习的非平衡SVM分类方法

针对传统支持向量机（SupportVectorMachine,SVM）无法有效处理非平衡分类的问题,提出一种基于增量学习的非平衡SVM分类方法（ImbalancedSVMBasedonIncrementalLearning,ISVM_IL）。该方法首先提取多数类样本中的部分样本,与少数类样本合并参与训练得到初始分类器,然后根据分类器与其他样本的关系,选择距离分类器最近的样本作为增量样本加入训练集参与训练,从而减小实际参与训练的负类数据规模,提高非平衡分类的性能。实验结果表明,本文提出的ISVM_IL方法可以有效提高非平衡分类中重要的少数类样本的分类性能。     

基于脑启发的类增量学习

现有的类增量学习方法多是采用存储数据或者扩展网络结构,但受内存资源限制不能有效缓解灾难性遗忘问题。针对这一问题,创新地提出基于脑启发生成式重放方法。首先,通过VAE-ACGAN模拟记忆自组织系统,提高生成伪样本的质量;再引入共享参数模块和私有参数模块,保护已提取的特征;最后,针对生成器中的潜在变量使用高斯混合模型,采样特定重放伪样本。在MNIST、Permuted MNIST和CIFAR-10数据集上的实验结果表明,所提方法的分类准确率分别为92.91%、91.44%和40.58%,显著优于其他类增量学习方法。此外,在MNIST数据集上,反向迁移和正向迁移指标达到了3.32%和0.83%,证明该方法实现任务的稳定性和可塑性之间的权衡,有效地防止了灾难性遗忘。     

面向不平衡数据的分类算法

不平衡数据在分类时往往会偏向"多数"，传统过采样生成的样本不能较好的表达原始数据集分布特征.改进的变分自编码器结合数据预处理方法，通过少数类样本训练，使用变分自编码器的生成器生成样本，用于以均衡训练数据集，从而解决传统采样导致的不平衡数据引起分类过拟合问题.我们在UCI四个常用的数据集上进行了实验，结果表明该算法在保证准确率的同时提高了F_measure和G_mean.     

基于类别信息的分类器集成方法Cagging

提出一种基于类别信息的分类器集成方法Cagging.基于类别信息重复选择样本生成基本分类器的训练集,增强了基本分类器之间的差异性;利用基本分类器对不同模式类的分类能力为每个基本分类器设置一组权重.使用权重对各分类器输出结果进行加权决策,较好地利用了各个基本分类器之间的差异性.在人脸图像库ORL上的实验验证了Cagging的有效性.此外,Cagging方法的基本分类器生成方式适合于通过增量学习生成集成分类器,扩展Cagging设计了基于增量学习的分类器集成方法Cagging-Ⅰ,实验验证了它的有效性.     

结合面部动作单元感知的三维人脸重建算法

真实场景往往面临数据稀缺和数据动态变化的问题, 小样本增量学习的目的是利用少量数据推理数据知识并减缓模型对于旧知识的灾难性遗忘. 已有的小样本增量学习的算法(CEC和FACT等)主要是利用视觉特征来调整特征编码器或者分类器, 实现模型对于新数据的迁移和旧数据的抗遗忘. 但是少量数据的视觉特征往往难以建模一个类别的完整特征分布, 导致上述算法的泛化能力较弱. 相比于视觉特征, 图像类别描述的文本特征具有较好的泛化性和抗遗忘性. 因此, 在视觉语言模型的基础上, 研究基于文本知识嵌入的小样本增量学习, 通过在视觉特征中嵌入具有抗遗忘能力的文本特征, 实现小样本增量学习中新旧类别数据的有效学习. 具体而言, 在基础学习阶段, 利用视觉语言模型抽取图像的预训练视觉特征和类别的文本描述, 并通过文本编码器实现预训练视觉特征到文本空间的映射. 进一步利用视觉编码器融合学习到的文本特征和预训练视觉特征抽象具有高辨别能力的视觉特征. 在增量学习阶段, 提出类别空间引导的抗遗忘学习, 利用旧数据的类别空间编码和新数据特征微调视觉编码器和文本编码器, 实现新数据知识学习的同时复习旧知识. 在4个数据集(CIFAR-100, CUB-200, Car-196和 miniImageNet)上验证算法的有效性, 证明基于视觉语言模型文本知识嵌入可以在视觉特征的基础上进一步提升小样本增量学习的鲁棒性.     

基于去冗余特征和语义关系约束的零样本属性识别

基于生成式的零样本识别方法在生成特征时受冗余信息和域偏移的影响,识别精度不佳.针对此问题,文中提出基于去冗余特征和语义关系约束的零样本属性识别方法.首先,将视觉特征映射到一个新的特征空间,通过互相关信息对视觉特征进行去冗余处理,在去除冗余视觉特征的同时保留类别的相关性,由于在识别过程中减少冗余信息的干扰,从而提高零样本识别的精度.然后,利用可见类和不可见类之间的语义关系建立知识迁移模型,并引入语义关系约束损失,约束知识迁移的过程,使生成器生成的视觉特征更能反映可见类和不可见类之间语义关系,缓解两者之间的域偏移问题.最后,引入循环一致性结构,使生成的伪特征更接近真实特征.在数据集上的实验证实文中方法提高零样本识别任务的精度,并具有较优的泛化性能.     

自然语言场景下增量知识构造与遮蔽回放策略

在增量学习中, 随着增量任务的数量增多, 模型在新增任务上训练后, 由于数据分步偏移等一系列问题, 模型对旧任务上所学到的知识发生灾难性遗忘, 致使模型在旧任务上性能下降. 对此, 本文提出了基于知识解耦的类增量学习方法, 分层次的学习不同任务共有知识与特有知识, 并对这两种知识进行动态的结合, 应用于下游的分类任务中. 并在回放学习中运用自然语言模型的遮蔽策略, 促进模型快速回忆起先前任务的知识. 在自然语言处理数据集AGNews、Yelp、Amazon、DBPedia和Yahoo的类增量实验中, 本文所提出的方法能有效降低模型的遗忘, 提高在各个任务上的准确率等一系列指标.     

自适应类增量学习的物联网入侵检测系统

传统物联网入侵检测系统难以实时检测新类别攻击,为此,提出一种基于堆叠稀疏自编码器（SSAE）和自组织增量神经网络（SOINN）的物联网入侵检测方法。SSAE对已知类别的攻击样本进行稀疏编码和特征提取,所提取的特征输入SOINN,SOINN形成符合流量特征空间分布的拓扑结构。当出现新类别训练样本的特征时,SOINN自适应地生成新节点以建立新的局部拓扑结构。为了保留SSAE在旧类别样本上的知识,对SOINN已有的拓扑结构施加约束,通过误差反向传递间接约束SSAE权重的变化。针对SOINN在新类别上产生的新局部拓扑结构进行自适应聚合和优化,从而实现新类别样本学习。实验结果表明,该方法能基于新类别数据对模型进行增量训练而无需历史类别数据,在CIC-IDS2017数据集的动态数据流中能有效检测新类别攻击同时缓解旧类别数据中存在的灾难性遗忘问题,在初始已知数据集上的准确率达到98.15%,完成3个阶段的类别增量学习后整体准确率仍能达到57.34%,优于KNN-SVM、mCNN等增量学习方法。     

面向恶意网页训练数据生成的GAN模型

针对基于机器学习算法识别恶意网页时恶意网页样本收集困难的问题,提出了一种基于生成对抗网络（GAN）的扩展恶意网页样本数据集的方法（WS-GAN）,使用少量的原始样本数据训练生成对抗网络,利用生成器模拟生成网页样本。同时在原有生成对抗网络的结构中加入了多个判别器：全局判别器判别整体样本的真伪,控制生成样本整体的质量;各特征判别器判别其对应类别特征数据的真伪,控制生成样本细节部分的质量。实验结果表明,WS-GAN生成的网页特征样本可用于恶意网页分类器的训练,并且其生成样本的质量优于条件生成对抗网络和条件变分自编码器生成样本的质量。     

基于任务相似度的增量学习优化方法

针对增量学习存在的灾难性遗忘和新任务数据逐步积累问题,提出了基于新旧任务之间相似度的样本重放优化学习方法,相似度越高,重放样本越少。并选择MINIST数据集在卷积神经网络上进行了实验研究,验证了该方法的可行性和有效性。     

基于图持续学习的时序数据分析

随着可穿戴设备大规模进入生活, 基于动作传感器产生的时序数据来人体行为识别已成为该领域的研究热点. 然而目前的方法无法发现多个传感器数据在时空中相互作用的关系. 此外, 传统神经网络在学习新任务时, 由于学习的新任务参数会覆盖掉旧任务参数, 这会引起“灾难性遗忘”问题. 为解决这两个问题, 本文提出了一种基于图注意力网络与生成式回放持续学习机制融合方法的人体行为识别算法. 该算法通过卷积神经网络与图注意力网络提取时序特征, 使得模型能够同时关注时间与空间特征, 同时, 采用了基于生成式数据重放策略的情景记忆持续学习方法, 通过条件变分自编码器记忆历史数据分布来解决灾难性遗忘问题. 最后, 通过在多个公开数据集上与不同的基线算法对比, 实验结果表明本文所提算法可以在取得较高的准确率的同时, 缓解灾难性遗忘问题.     

新的基于代价敏感集成学习的非平衡数据集分类方法NIBoost

现实生活中存在大量的非平衡数据,大多数传统的分类算法假定类分布平衡或者样本的错分代价相同,因此在对这些非平衡数据进行分类时会出现少数类样本错分的问题。针对上述问题,在代价敏感的理论基础上,提出了一种新的基于代价敏感集成学习的非平衡数据分类算法--NIBoost（New Imbalanced Boost）。首先,在每次迭代过程中利用过采样算法新增一定数目的少数类样本来对数据集进行平衡,在该新数据集上训练分类器;其次,使用该分类器对数据集进行分类,并得到各样本的预测类标及该分类器的分类错误率;最后,根据分类错误率和预测的类标计算该分类器的权重系数及各样本新的权重。实验采用决策树、朴素贝叶斯作为弱分类器算法,在UCI数据集上的实验结果表明,当以决策树作为基分类器时,与RareBoost算法相比,F-value最高提高了5.91个百分点、G-mean最高提高了7.44个百分点、AUC最高提高了4.38个百分点;故该新算法在处理非平衡数据分类问题上具有一定的优势。     

A Bayesian attractor network with incremental learning

A realtime online learning system with capacity limits needs to gradually forget old information in order to avoid catastrophic forgetting. This can be achieved by allowing new information to overwrite old, as in a so-called palimpsest memory. This paper describes an incremental learning rule based on the Bayesian confidence propagation neural network that has palimpsest properties when employed in an attractor neural network. The network does not suffer from catastrophic forgetting, has a capacity dependent on the learning time constant and exhibits faster convergence for newer patterns.     

基于Hadoop架构的数据驱动的SVM并行增量学习算法

针对传统支持向量机（SVM）算法难以处理大规模训练数据的困境,提出一种基于Hadoop的数据驱动的并行增量Adaboost-SVM算法（PIASVM）。利用集成学习策略,局部分类器处理一个分区的数据,融合其分类结果得到组合分类器;增量学习中用权值刻画样本的空间分布特性,对样本进行迭代加权,利用遗忘因子实现新增样本的选择及历史样本的淘汰;采用基于HBase的控制器组件用以调度迭代过程,持久化中间结果并减小MapReduce原有框架迭代过程中的带宽压力。多组实验结果表明,所提算法具有优良的加速比、扩展率和数据伸缩度,在保证分类精度的基础上提高了SVM算法对大规模数据的处理能力。