面向小样本学习的轻量化知识蒸馏

小样本学习旨在模拟人类基于少数样例快速学习新事物的能力, 对解决样本匮乏情境下的深度学习任务具有重要意义. 但是, 在诸多计算资源有限的现实任务中, 模型规模仍可能限制小样本学习的广泛应用. 这对面向小样本学习的轻量化任务提出了现实的需求. 知识蒸馏作为深度学习领域广泛使用的辅助策略, 通过额外的监督信息实现模型间知识迁移, 在提升模型精度和压缩模型规模方面都有实际应用. 首先验证知识蒸馏策略在小样本学习模型轻量化中的有效性. 并结合小样本学习任务的特点, 针对性地设计两种新的小样本蒸馏方法: (1)基于图像局部特征的蒸馏方法; (2)基于辅助分类器的蒸馏方法. 在miniImageNet和TieredImageNet数据集上的相关实验证明所设计的新的蒸馏方法相较于传统知识蒸馏在小样本学习任务上具有显著优越性.     

基于小样本度量迁移学习的表面缺陷检测

将小样本学习中的度量学习方法引入缺陷检测领域,提出小样本度量迁移学习方法,用于解决深度学习方法中需要大量学习样本的问题.方法主要分为两个阶段:第一阶段使用公开或便于获得的大型数据集预训练深度网络;第二阶段将网络学习到的相关知识通过度量学习模块迁移到表面缺陷检测领域.实验表明,小样本学习在缺陷检测领域的可行性.     

跨模态交互融合与全局感知的RGB-D显著性目标检测

近年来, RGB-D显著性检测方法凭借深度图中丰富的几何结构和空间位置信息, 取得了比RGB显著性检测模型更好的性能, 受到学术界的高度关注. 然而, 现有的RGB-D检测模型仍面临着持续提升检测性能的需求. 最近兴起的Transformer擅长建模全局信息, 而卷积神经网络(CNN)擅长提取局部细节. 因此, 如何有效结合CNN和Transformer两者的优势, 挖掘全局和局部信息, 将有助于提升显著性目标检测的精度. 为此, 提出一种基于跨模态交互融合与全局感知的RGB-D显著性目标检测方法, 通过将Transformer网络嵌入U-Net中, 从而将全局注意力机制与局部卷积结合在一起, 能够更好地对特征进行提取. 首先借助U-Net编码-解码结构, 高效地提取多层次互补特征并逐级解码生成显著特征图. 然后, 使用Transformer模块学习高级特征间的全局依赖关系增强特征表示, 并针对输入采用渐进上采样融合策略以减少噪声信息的引入. 其次, 为了减轻低质量深度图带来的负面影响, 设计一个跨模态交互融合模块以实现跨模态特征融合. 最后, 5个基准数据集上的实验结果表明, 所提算法与其他最新的算法相比具有显著优势.     

多层自适应聚合的自监督小样本图像分类

目的 在图像分类领域,小样本学习旨在利用从大规模数据集中训练到的知识来处理仅包含少量有标记训练样本的下游分类任务。通常情况下,下游任务只涉及新类样本,由于元训练阶段会构造大量任务随机抽取训练集中不同类别的样本且训练集与测试集类别间存在领域间隙,因此模型训练周期长且可能对训练集过拟合,以致元知识无法迁移到测试集,进而导致模型泛化性差。针对以上问题,提出一种多层自适应聚合的自监督小样本图像分类模型。方法 首先使用分组卷积对残差块进行改进,减少神经网络参数量,降低训练难度,缩短训练时间;然后采用多层自适应聚合的方法改进骨干网络,对网络各层语义信息加以提炼聚合,自适应分配各层权重,将聚合后的特征图作为后续分类的依据;最后加入自监督对比学习结合有监督学习挖掘样本自身潜在的信息,从而提升样本特征表达能力。结果 在mini-ImageNet数据集和CUB(Caltech-UCSD birds-200-2011)数据集上与当前主流模型进行分类效果对比实验,与baseline相比,所提模型的准确率在mini-ImageNet数据集的5-way 1-shot与5-way 5-shot实验上分别提升了6.3...     

面向深度网络的小样本学习综述

深度学习以数据为驱动,被广泛应用于各个领域,但由于数据隐私、标记昂贵等导致样本少、数据不完备性等问题,同时小样本难于准确地表示数据分布,使得分类模型误差较大,且泛化能力差。为此,小样本学习被提出,旨在利用较少目标数据训练模型快速学习的能力。系统梳理了近几年来小样本学习领域的相关工作,主要整理和总结了基于数据增强、基于元学习和基于转导图小样本学习方法的研究进展。首先,从基于监督增强和基于无监督增强阐述数据增强的主要特点。其次,从基于度量学习和基于参数优化两方面对基于元学习的方法进行分析。接着,详细总结转导图小样本学习方法,介绍常用的小样本数据集,并通过实验阐述分析具有代表性的小样本学习模型。最后总结现有方法的局限性,并对小样本学习的未来研究方向进行展望。     

面向小样本数据的机器学习方法研究综述

小样本学习是面向小样本数据的机器学习,旨在利用较少的有监督样本数据去构建能够解决实际问题的机器学习模型。小样本学习能够解决传统机器学习方法在样本数据不充分时性能严重下降的问题,可以为新型小样本任务实现低成本和快速的模型部署,缩小人类智能与人工智能之间的距离,对推动发展通用型人工智能具有重要意义。从小样本学习的概念、基础模型和实际应用入手,系统梳理当前小样本学习的相关工作,将小样本学习方法分类为基于模型微调、基于数据增强、基于度量学习和基于元学习,并具体阐述这4大类方法的核心思想、基本模型、细分领域和最新研究进展,以及每一类方法在科学研究或实际应用中存在的问题,总结目前小样本学习研究的常用数据集和评价指标,整理基于部分典型小样本学习方法在Omniglot和Mini-ImageNet数据集上的实验结果。最后对各种小样本学习方法及其优缺点进行总结,分别从数据层面、理论研究和应用研究3个方面对小样本学习的未来研究方向进行展望。     

基于深度图像增益的RGB-D显著性物体检测

深度信息已被证明在显著性物体检测中是一个实用信息,但是深度信息和RGB信息如何更好地实现互补从而达到更高的性能仍是一个值得探究的事情。为此,本文提出一种基于深度图像增益的RGB-D显著性物体检测方法。在双分支的网络结构中增加一个增益子网,采用显著图作差的方法获得深度图片为显著性检测带来的增益,作为增益子网预训练的伪GT。三分支网络分别获取RGB特征、深度特征和深度增益信息,最终将三分支的特征进行融合得到最终的显著性物体检测的结果,增益信息为双分支特征融合提供融合依据。基于深度图像增益的显著性物体检测实验结果表明,该方法得到的显著性物体前景物体更加突出,在多个实验数据集上也有着更优秀的表现。     

基于多模态特征交互的RGB-D显著性目标检测

现有的大多数RGB-D显著性目标检测方法利用深度图来提高检测效果,而忽视了其质量的影响。低质量的深度图会对最终显著目标预测结果造成污染,影响显著性检测的性能。为了消除低质量深度图带来的干扰,并准确突出RGB图像中的显著目标,提出了一个用于多模态特征交互的RGB-D显著性目标检测模型。在编码阶段,设计了一个特征交互模块,其包含三个子模块：用于增强特征表述能力的全局特征采集子模块、用于过滤低质量深度信息的深度特征精炼子模块和用于实现特征融合的多模态特征交互子模块。在解码阶段,逐层融合经过特征交互后的多模态特征,实现多层次特征融合。通过在五个基准数据集上与十二种先进方法进行的综合实验表明,该模型在NLPR、SIP和NJU2K数据集上的指标上均优于其他对比方法,其中在NJU2K数据集上,该模型的性能比第二名在平均F值上提升了0.008,加权F值上提升了0.014,E-measure上提升了0.007,表现出了较好的检测效果。     

改进YOLOX的轻量级安全帽检测方法

针对施工环境下安全帽数据集少,被检测物体目标小和现有检测模型参数量大导致的模型鲁棒性差,准确率低,训练时间长问题,提出了一种改进YOLOX网络的安全帽检测方法。使用在线困难样本挖掘（OHEM）寻找数据集中的困难样本,结合马赛克（Mosaic）方法对困难样本拼接来扩充训练集数量;在模型预测端（prediction）加入分支注意力模块,将网络输出分为两部分输入模块来提取空间层面和通道层面上关键信息;提出一种新的余弦退火算法,初始时加入预热（warm up）,过程中逐段减小学习率曲线的振荡幅度,训练中减小模型的收敛时间。实验结果表明,与原方法相比,改进安全帽检测方法对安全帽检测的mAP、准确率、召回率分别提高了6.77、2.52、9.14个百分点,训练中使用CDWR余弦退火算法在同周期下损失值减少了0.5～1.0,与原算法相比训练收敛时间减少约50%。     

多模态引导的局部特征选择小样本学习方法

深度学习模型取得了令人瞩目的成绩,但其训练依赖于大量的标注样本,在标注样本匮乏的场景下模型表现不尽人意.针对这一问题,近年来以研究如何从少量样本快速学习的小样本学习被提了出来,方法主要采用元学习方式对模型进行训练,取得了不错的学习效果.但现有方法:1)通常仅基于样本的视觉特征来识别新类别,信息源较为单一; 2)元学习的使用使得模型从大量相似的小样本任务中学习通用的、可迁移的知识,不可避免地导致模型特征空间趋于一般化,存在样本特征表达不充分、不准确的问题.为解决上述问题,将预训练技术和多模态学习技术引入小样本学习过程,提出基于多模态引导的局部特征选择小样本学习方法.所提方法首先在包含大量样本的已知类别上进行模型预训练,旨在提升模型的特征表达能力;而后在元学习阶段,方法利用元学习对模型进行进一步优化,旨在提升模型的迁移能力或对小样本环境的适应能力,所提方法同时基于样本的视觉特征和文本特征进行局部特征选择来提升样本特征的表达能力,以避免元学习过程中模型特征表达能力的大幅下降;最后所提方法利用选择后的样本特征进行小样本学习.在MiniImageNet、CIFAR-FS和FC-100这3个基准数...     

基于度量学习的行人检测算法

针对拥挤场景下行人漏检率较高的问题,设计了新的类平衡策略.其次,采用度量学习方法改进目前的行人语义提取效果,并设计了新的距离度量方法.最后,结合提取的行人语义信息设计了新的非极大值抑制算法.在行人检测数据集CityPersons和CrowdHuman上,与目前的行人检测器进行对比,效果优于目前最优无锚框的行人检测器,同时也证明了度量学习方法在行人检测中的有效性.     

异常检测中的持续学习研究

提出了阶段化学习的概念，分阶段学习区分出了模式的完备性和不完备性。基于此概念，提出一种新的异常检测模式持续学习算法（PADPL）。仿真结果显示，PADPL能够满足由不完备性引起的异常检测模式持续学习的要求。     

基于图像的城市场景垃圾自动检测

基于城市场景照片快速准确地自动检测垃圾在“智慧城管”等应用中具有重要的研究价值。城市垃圾在颜色纹理、几何形态上具有极大的多样性,甚至部分垃圾的认定具有一定的主观性,这给垃圾自动检测带来很大的挑战。文章提出了一种基于高速区域卷积神经网络的垃圾检测方法,通过使用数据融合、数据扩充、迁移学习等方法解决训练样本不足的问题,实现了城市场景图片中垃圾的自动、快速、准确检测。文章最后基于深圳市道路垃圾照片构建了一个包含多种形态类型垃圾的垃圾图片数据库,在该库中垃圾检测准确度高达89.07%。     

基于非监督学习的入侵分析新方法

提出一种新的基于非监督学习的入侵分析方法.该方法具有发现未知攻击类型的能力,既可以作为独立的分析方法使用,又可以作为基于数据融合的入侵检测的一个分析引擎.在该方法中,核心非监督学习算法采用最大最小距离算法,同时融合非线性的归一化预处理和非数值型特征的有效编码等技术.与同类方法相比,该方法检测率较高,尤其是对于DoS和Probing两大类攻击效果更好.     

基于数据挖掘的入侵检测研究

网络入侵检测系统已经成为网络安全架构的一部分.但是当前的NIDS（network intrusion detection system）在未知攻击的检测上都存在虚警率过高的问题.首先对在线和离线系统的优缺点做了对比,重点介绍了分类器的集成学习和多检测器关联以及数据挖掘方法中的一些实用技术,然后介绍现存的系统和评价数据集,最后总结了入侵检测领域的工作并给出了这个领域的发展方向.     

基于对比学习和伪异常合成的无监督火灾检测

传统的火灾检测方法大多基于目标检测技术, 存在火灾样本获取难度高、人工标注成本高的问题. 为解决该问题, 本研究提出了一种基于对比学习和伪异常合成的无监督火灾检测模型. 为了实现无监督图像特征学习, 提出了交叉输入对比学习模块. 然后, 引入了一个记忆原型学习正常场景图像的特征分布, 通过特征重建实现对火灾场景的判别. 并且, 提出了伪异常火灾场景合成方法和基于欧氏距离的异常特征区分损失, 使模型对于火灾场景具有针对性. 根据实验表明, 我们的方法在Fire-Flame-Dataset和Fire-Detection-Image-Dataset两个公开火灾检测数据集上的图像级AUC分别达到89.86%和89.56%, 优于PatchCore、PANDA、Mean-Shift等主流图像异常检测算法.     

数据异常的监测技术综述

在目前大数据的环境下,相对于正常数据,异常类数据更难获取,也显得更加重要。异常检测的目的是检测出异于正常主体的活动数据。异常检测适用于机器故障诊断、数据挖掘以及疾病和入侵检测等多个领域。基于目前大量的异常检测方法,主要从异常类数据的有无来阐述,根据这个框架将主要的异常检测方法进行了分类,并评价了这些方法的优劣;最后重点讨论了基于深度学习的大数据异常检测方法,并分别介绍了不同的方法及相关的应用和未来的研究热点。     

非对称AdaBoost算法及其在目标检测中的应用

针对目标检测中的非对称分类问题,在分析现有的由离散AdaBoost算法扩展得到的代价敏感(即非对称)学习算法的基础上,提出了以三个不同的非对称错误率上界为核心的推导非对称AdaBoost算法的统一框架. 在该框架下, 不仅现有离散型非对称AdaBoost算法之间的关系非常清晰, 而且其中不符合理论推导的部分可以很容易得到修正. 同时, 利用不同的优化方法, 最小化这三个不同上界, 推出了连续型AdaBoost算法的非对称扩展(用Asym-Real AdaBoost和Asym-Gentle AdaBoost 表示). 新的算法不仅在弱分类器组合系数的计算上比现有离散型算法更加方便, 而且实验证明, 在人脸检测和行人检测两方面都获得了比传统对称AdaBoost算法和离散型非对称AdaBoost算法更好的性能.     

Principle Components and Importance Ranking of Distributed Anomalies

Correlations between locally averaged host observations, at different times and places, hint at information about the associations between the hosts in a network. These smoothed, pseudo-continuous time-series imply relationships with entities in the wider environment. For anomaly detection, mining this information might provide a valuable source of observational experience for determining comparative anomalies or rejecting false anomalies. The difficulties with distributed analysis lie in collating the distributed data and in comparing observables on different hosts, in different frames of reference. In the present work, we examine two methods (Principle Component Analysis and Eigenvector Centrality) that shed light on the usefulness of comparing data destined for different locations in a network.     

基于卫星遥感图像的变化检测算法

在石油勘探、开发炼制及运储过程中,由于意外事故或操作失误,造成原油或油品从作业现场储器里外泄,溢流向地面、水面、海滩或海面,同时由于油质的不同,形成薄厚等一片膜这现象称为溢油.大范围的海上溢油往往会对数个国家的生态、社会以及经济带来严重影响.本文基于卫星遥感数据,将变化检测引入海上溢油的问题中,研究实现对比了多个变化检测算法,最终实现了一个变化检测的溢油检测系统.实验表明,变化检测能有效地减少因地理位置、光照条件因素的影响,泛化能力显著地强于单幅图的分类方法,文章提供的系统能有效地将油区与水面、轻油区域与重油区域分割.