类别增量学习研究进展和性能评价

机器学习技术成功地应用于计算机视觉、自然语言处理和语音识别等众多领域.然而,现有的大多数机器学习模型在部署后类别和参数是固定的,只能泛化到训练集中出现的类别,无法增量式地学习新类别.在实际应用中,新的类别或任务会源源不断地出现,这要求模型能够像人类一样在较好地保持已有类别知识的基础上持续地学习新类别知识.近年来新兴的类别增量学习研究方向,旨在使得模型能够在开放、动态的环境中持续学习新类别的同时保持对旧类别的判别能力(防止“灾难性遗忘”).本文对类别增量学习(Class-incremental learning, CIL)方法进行了详细综述.根据克服遗忘的技术思路,将现有方法分为基于参数正则化、基于知识蒸馏、基于数据回放、基于特征回放和基于网络结构的五类方法,对每类方法的优缺点进行了总结.此外,本文在常用数据集上对代表性方法进行了实验评估,并通过实验结果对现有算法的性能进行了比较分析.最后,对类别增量学习的研究趋势进行展望.     

结合面部动作单元感知的三维人脸重建算法

真实场景往往面临数据稀缺和数据动态变化的问题, 小样本增量学习的目的是利用少量数据推理数据知识并减缓模型对于旧知识的灾难性遗忘. 已有的小样本增量学习的算法(CEC和FACT等)主要是利用视觉特征来调整特征编码器或者分类器, 实现模型对于新数据的迁移和旧数据的抗遗忘. 但是少量数据的视觉特征往往难以建模一个类别的完整特征分布, 导致上述算法的泛化能力较弱. 相比于视觉特征, 图像类别描述的文本特征具有较好的泛化性和抗遗忘性. 因此, 在视觉语言模型的基础上, 研究基于文本知识嵌入的小样本增量学习, 通过在视觉特征中嵌入具有抗遗忘能力的文本特征, 实现小样本增量学习中新旧类别数据的有效学习. 具体而言, 在基础学习阶段, 利用视觉语言模型抽取图像的预训练视觉特征和类别的文本描述, 并通过文本编码器实现预训练视觉特征到文本空间的映射. 进一步利用视觉编码器融合学习到的文本特征和预训练视觉特征抽象具有高辨别能力的视觉特征. 在增量学习阶段, 提出类别空间引导的抗遗忘学习, 利用旧数据的类别空间编码和新数据特征微调视觉编码器和文本编码器, 实现新数据知识学习的同时复习旧知识. 在4个数据集(CIFAR-100, CUB-200, Car-196和 miniImageNet)上验证算法的有效性, 证明基于视觉语言模型文本知识嵌入可以在视觉特征的基础上进一步提升小样本增量学习的鲁棒性.     

视觉语言模型引导的文本知识嵌入的小样本增量学习

真实场景往往面临数据稀缺和数据动态变化的问题,小样本增量学习的目的是利用少量数据推理数据知识并减缓模型对于旧知识的灾难性遗忘.已有的小样本增量学习的算法(CEC和FACT等)主要是利用视觉特征来调整特征编码器或者分类器,实现模型对于新数据的迁移和旧数据的抗遗忘.但是少量数据的视觉特征往往难以建模一个类别的完整特征分布,导致上述算法的泛化能力较弱.相比于视觉特征,图像类别描述的文本特征具有较好的泛化性和抗遗忘性.因此,在视觉语言模型的基础上,研究基于文本知识嵌入的小样本增量学习,通过在视觉特征中嵌入具有抗遗忘能力的文本特征,实现小样本增量学习中新旧类别数据的有效学习.具体而言,在基础学习阶段,利用视觉语言模型抽取图像的预训练视觉特征和类别的文本描述,并通过文本编码器实现预训练视觉特征到文本空间的映射.进一步利用视觉编码器融合学习到的文本特征和预训练视觉特征抽象具有高辨别能力的视觉特征.在增量学习阶段,提出类别空间引导的抗遗忘学习,利用旧数据的类别空间编码和新数据特征微调视觉编码器和文本编码器,实现新数据知识学习的同时复习旧知识.在4个数据集(CIFAR-100, CUB-200, Car...     

基于多特征融合自动编码器的增量式入侵检测

针对增量式入侵检测算法由于对旧知识产生灾难性遗忘而导致对旧类别数据分类准确率不高的问题,本文提出了一种基于非对称式多特征融合自动编码器(asymmetric multi-feature fusion auto-encoder, AMAE)和全连接分类神经网络(classification deep neural network, C-DNN)的增量式入侵检测算法(ImFace).在增量学习阶段, ImFace会为每一批新的数据集训练一个AMAE模型和C-DNN模型.同时,本文通过使用变分自动编码器(variational auto-encoder, VAE)对数据进行过采样的方式来改善由于数据集不平衡而导致C-DNN对某些类别数据的检测能力不足的问题.在检测阶段, ImFace将输入数据经过所有AMAE和C-DNN,然后将AMAE的结果作为置信度来选择某一个C-DNN的输出结果作为最终结果.本文使用CICIDS2017数据集来检验ImFace算法的有效性.实验结果表明, ImFace算法不仅能够保留对旧类别的分类能力,同时对新类别的数据也有很高的检测准确率.     

自适应类增量学习的物联网入侵检测系统

传统物联网入侵检测系统难以实时检测新类别攻击,为此,提出一种基于堆叠稀疏自编码器（SSAE）和自组织增量神经网络（SOINN）的物联网入侵检测方法。SSAE对已知类别的攻击样本进行稀疏编码和特征提取,所提取的特征输入SOINN,SOINN形成符合流量特征空间分布的拓扑结构。当出现新类别训练样本的特征时,SOINN自适应地生成新节点以建立新的局部拓扑结构。为了保留SSAE在旧类别样本上的知识,对SOINN已有的拓扑结构施加约束,通过误差反向传递间接约束SSAE权重的变化。针对SOINN在新类别上产生的新局部拓扑结构进行自适应聚合和优化,从而实现新类别样本学习。实验结果表明,该方法能基于新类别数据对模型进行增量训练而无需历史类别数据,在CIC-IDS2017数据集的动态数据流中能有效检测新类别攻击同时缓解旧类别数据中存在的灾难性遗忘问题,在初始已知数据集上的准确率达到98.15%,完成3个阶段的类别增量学习后整体准确率仍能达到57.34%,优于KNN-SVM、mCNN等增量学习方法。     

基于残差连接LSTM的雷达目标分类识别方法

近年来随着多种小型智能探测设备的出现(如无人机、小型智能车等),给传统雷达目标识别方法带来了巨大挑战;在使用雷达对此类小型目标进行探测时得到的信号回波能量通常较低,导致在复杂环境噪声与杂波影响下难以使用传统恒虚警(CFAR)目标检测方法对其进行识别;针对以上问题,结合深度学习的方法提出一种基于残差连接长短期记忆网络(LSTM,long short-term memory)的多类别雷达目标识别模型,以同一距离门的相邻时间点的回波序列数据作为样本来设计数据集,使用多层的LSTM网络提取雷达回波样本中的时序信息,并在网络中加入残差连接以避免网络层数增多出现网络退化问题,同时将用于多类别分类问题的CCE(categorical cross-entropy)函数作为网络的损失函数来训练网络,实现对包括无人机、智能车、行人以及噪声在内的4类目标的识别和分类;试验结果表明基于残差连接LSTM网络的多类别雷达目标识别模型相比于传统恒虚警检测方法具有更高的识别准确率和F1值。     

自然语言场景下增量知识构造与遮蔽回放策略

在增量学习中, 随着增量任务的数量增多, 模型在新增任务上训练后, 由于数据分步偏移等一系列问题, 模型对旧任务上所学到的知识发生灾难性遗忘, 致使模型在旧任务上性能下降. 对此, 本文提出了基于知识解耦的类增量学习方法, 分层次的学习不同任务共有知识与特有知识, 并对这两种知识进行动态的结合, 应用于下游的分类任务中. 并在回放学习中运用自然语言模型的遮蔽策略, 促进模型快速回忆起先前任务的知识. 在自然语言处理数据集AGNews、Yelp、Amazon、DBPedia和Yahoo的类增量实验中, 本文所提出的方法能有效降低模型的遗忘, 提高在各个任务上的准确率等一系列指标.     

基于目标均衡度量的核增量学习跌倒检测方法

针对增量学习模型在更新阶段的识别效果不稳定的问题,提出一种基于目标均衡度量的核增量学习方法。通过设置经验风险均值最小化的优化目标项,设计了均衡度量训练数据个数的优化目标函数,以及在增量学习训练条件下的最优求解方案;再结合基于重要性分析的新增数据有效选择策略,最终构建出了一种轻量型的增量学习分类模型。在跌倒检测公开数据集上的实验结果显示：当已有代表性方法的识别精度下滑至60%以下时,所提方法仍能保持95%以上的精度,同时模型更新的计算消耗仅为3 ms。实验结果表明,所提算法在显著提高增量学习模型更新阶段识别能力稳定性的同时,大大降低了时间消耗,可有效实现云服务平台中关于可穿戴设备终端的智能应用。     

采用蒸馏训练的时空图卷积动作识别融合模型

目的 基于深度学习的动作识别方法识别准确率显著提升,但仍然存在很多挑战和困难。现行方法在一些训练数据大、分类类别多的数据集以及实际应用中鲁棒性较差,而且许多方法使用的模型参数量较大、计算复杂,提高模型准确度和鲁棒性的同时对模型进行轻量化仍然是一个重要的研究方向。为此,提出了一种基于知识蒸馏的轻量化时空图卷积动作识别融合模型。方法 改进最新的时空卷积网络,利用分组卷积等设计参数量较少的时空卷积子模型;为了训练该模型,选取两个现有的基于全卷积的模型作为教师模型在数据集上训练,在得到训练好的教师模型后,再利用知识蒸馏的方法结合数据增强技术训练参数量较少的时空卷积子模型;利用线性融合的方法将知识蒸馏训练得到的子模型融合得到最终的融合模型。结果 在广泛使用的NTU RGB + D数据集上与前沿的多种方法进行了比较,在CS(cross-subject)和CV(cross-view)两种评估标准下,本文模型的准确率分别为90.9%和96.5%,与教师模型2s-AGCN(two-stream adaptive graph convolutional networks for skeleton-based action)相比,分别提高了2.4%和1.4%;与教师模型DGNN(directed graph neural network)相比,分别提高了1.0%和0.4%;与MS-AAGCN(multi-stream attention-enhanced adaptive graph convolutional neural network)模型相比,分别提高了0.9%和0.3%。结论 本文提出的融合模型,综合了知识蒸馏、数据增强技术和模型融合的优点,使动作识别更加准确和鲁棒。     

基于迁移学习的类别级物体识别与检测研究与进展

类别级物体识别与检测属于计算机视觉领域的一个基础性问题,主要研究在图像或视频流中识别和定位出其中感兴趣的物体.在基于小规模数据集的类别级物体识别与检测应用中,模型过拟合、类不平衡和跨领域时特征分布变化等关键问题与挑战交织在一起.本文介绍了迁移学习理论的研究现状,对迁移学习理论解决基于小规模数据集的物体识别与检测中遇到的主要问题的研究思路和前沿技术进行了着重论述和分析.最后对该领域的研究重点和技术发展趋势进行了探讨.     

知识蒸馏方法研究与应用综述

随着深度学习方法的不断发展,其存储代价和计算代价也不断增长,在资源受限的平台上,这种情况给其应用带来了挑战。为了应对这种挑战,研究者提出了一系列神经网络压缩方法,其中知识蒸馏是一种简单而有效的方法,成为研究热点之一。知识蒸馏的特点在于它采用了“教师—学生”架构,使用一个大型网络指导小型网络进行训练,以提升小型网络在应用场景下的性能,从而间接达到网络压缩的目的。同时,知识蒸馏具有不改变网络结构的特性,从而具有较好的可扩展性。本文首先介绍知识蒸馏的由来以及发展,随后根据方法优化的目标将知识蒸馏的改进方法分为两大类,即面向网络性能的知识蒸馏和面向网络压缩的知识蒸馏,并对经典方法和最新方法进行系统的分析和总结,最后列举知识蒸馏方法的几种典型应用场景,以便加深对各类知识蒸馏方法原理及其应用的理解。知识蒸馏方法发展至今虽然已经取得较好的效果,但是各类知识蒸馏方法仍然有不足之处,本文也对不同知识蒸馏方法的缺陷进行了总结,并根据网络性能和网络压缩两个方面的分析,给出对知识蒸馏研究的总结和展望。     

基于Faster R-CNN和增量学习的车辆目标检测

随着深度学习的研究热潮,近年来对车辆目标的检测逐步从机器学习方法转变为深度学习方法.目前,大多数深度学习方法对车辆目标的检测都存在不同程度的错检漏检问题.针对车辆目标检测中存在的小目标的错检漏检、截断式待检目标的漏检和重叠遮挡待检目标的漏检等问题,提出一种基于增量学习数据集的车辆目标检测方法,该方法与Faster R-CNN算法结合对车辆目标实现检测和分类.在实验的最后,分别从主观判断和客观检测数据两个方面,对比了车辆目标检测中未使用增量学习方法和使用增量学习方法对实验结果的影响.实验证明,使用基于增量学习和Faster R-CNN的车辆目标检测方法在主观判断方面对错检漏检的目标有明显地改善效果,从客观数据分析,使用该方法与未使用增量学习方法相比,VGG16网络mAP值提升了4%,ResNet101网络mAP值提升了6%.     

目标不同视角下观察信息的迁移和再利用

基于视觉信息的目标检测和识别模型在训练时往往依赖于来自于训练样本的视角信息,然而附带了视角信息的训练样本通常只有很少的数据库可以提供。当此类信息缺失时,传统的通用目标检测系统通常通过一些非监督学习方法来对样本的视角信息进行粗略估计。本文改进并引入了一种选择性迁移学习方法即TransferBoost方法来解决目标视角信息缺失的问题。本文TransferBoost方法基于GentleBoost框架实现,该方法通过重新利用其它类别样本中的先验信息来提升当前类别样本的学习质量。当给定一个标定完善的样本集作为源数据库时,TransferBoost通过同时调整每个样本的权值和每个源任务的权值实现样本级和任务级的两级知识迁移。这种双层迁移学习更有效地从混合了相关源数据和不相关源数据的数据集中提取了有用的信息。实验结果表明,和直接使用传统的机器学习方法相比较,迁移学习方法所需要的训练样本数大大减少,从而降低了目标检测与识别系统的训练代价,扩展了现有系统的应用范围。     

基于分类特征约束变分伪样本生成器的类增量学习

针对神经网络模型进行类增量训练时产生的灾难性遗忘问题,提出一种基于分类特征约束变分伪样本生成器的类增量学习方法.首先,通过构造伪样本生成器记忆旧类样本来训练新的分类器及新的伪样本生成器.伪样本生成器以变分自编码器为基础,用分类特征进行约束,使生成的样本更好地保留旧类在分类器上的性能.然后,用旧分类器的输出作为伪样本的精馏标签,进一步保留从旧类获得的知识.最后,为了平衡旧类样本的生成数量,采用基于分类器分数的伪样本选择,在保持每个旧类伪样本数量平衡的前提下选择一些更具代表性的旧类伪样本.在MNIST、FASHION、E-MNIST和SVHN数据集上的实验结果表明,所提出的方法能有效减少灾难性遗忘的影响,提高图像的分类精度.     

基于弱监督学习的目标检测研究进展

随着卷积神经网络（Convolutional Neural Network,CNN）的不断发展,目标检测作为计算机视觉中最基本的技术,已取得了令人瞩目的进展。介绍了强监督目标检测算法对数据集标注精度要求高的现状。对基于弱监督学习的目标检测算法进行研究,按照不同的特征处理方法将该算法归为四类,并分析比较了各类算法的优缺点。通过实验比较了各类基于弱监督学习的目标检测算法的检测精度,并将其与主流的强监督目标检测算法进行了比较。展望了基于弱监督学习的目标检测算法未来的研究热点。     

面向小样本学习的轻量化知识蒸馏

小样本学习旨在模拟人类基于少数样例快速学习新事物的能力, 对解决样本匮乏情境下的深度学习任务具有重要意义. 但是, 在诸多计算资源有限的现实任务中, 模型规模仍可能限制小样本学习的广泛应用. 这对面向小样本学习的轻量化任务提出了现实的需求. 知识蒸馏作为深度学习领域广泛使用的辅助策略, 通过额外的监督信息实现模型间知识迁移, 在提升模型精度和压缩模型规模方面都有实际应用. 首先验证知识蒸馏策略在小样本学习模型轻量化中的有效性. 并结合小样本学习任务的特点, 针对性地设计两种新的小样本蒸馏方法: (1)基于图像局部特征的蒸馏方法; (2)基于辅助分类器的蒸馏方法. 在miniImageNet和TieredImageNet数据集上的相关实验证明所设计的新的蒸馏方法相较于传统知识蒸馏在小样本学习任务上具有显著优越性.     

基于改进注意力迁移的实时目标检测方法

目前深度神经网络模型需要部署在资源受限的环境中,故需要设计高效紧凑的网络结构。针对设计紧凑的神经网络提出一种基于改进注意力迁移的模型压缩方法(KE),主要使用一个宽残差教师网络(WRN)指导一个紧凑的学生网络(KENet),将空间和通道的注意力迁移到学生网络来提升性能,并将该方法应用于实时目标检测。在CIFAR上的图像分类实验验证了经过改进注意力迁移的知识蒸馏方法能够提升紧凑模型的性能,在VOC上的目标检测实验验证了模型KEDet具有很好的精度(72.7 mAP)和速度(86 fps)。实验结果充分说明基于改进注意力迁移的目标检测模型具有很好的准确性和实时性。