基于伪标签的无监督领域自适应行人重识别研究综述

行人重识别是计算机视觉领域的热点研究课题之一。近年来，为了解决行人重识别实际应用中标签数据稀缺的问题，同时也为了有效地利用现有的标签数据，研究者们提出了基于生成对抗网络以及基于伪标签的领域自适应方法，用于进行跨领域的行人重识别研究。基于伪标签的无监督领域自适应行人重识别方法由于效果显著而备受研究者的青睐。文中梳理了近7年来基于伪标签的无监督领域自适应行人重识别的研究成果，将基于伪标签的方法从模型训练角度划分为两个阶段。1)伪标签生成阶段。现有工作的伪标签生成方法大多使用聚类方法，部分工作采用基于图结构学习的图匹配、图卷积网络方法来生成目标域的伪标签。2)伪标签精炼阶段。文中将现有的伪标签精炼方法归纳为基于表征学习的精炼方法以及基于相似度学习的精炼方法，并分别进行模型方法的总结与整理。最后，讨论现阶段基于伪标签的无监督领域自适应行人重识别面临的挑战并对未来可能的发展方向进行展望。     

基于分层伪标签的图像聚类方法

图像聚类是图像处理中一个重要且开放的问题。最近，一些方法利用联合对比学习的良好表征能力来进行端到端聚类学习，利用伪标签技术来生成高质量的伪标签以提升聚类模型的鲁棒性。伪标签方法通常需要设置一个较大的概率阈值，并对满足要求的样本生成one-hot的标签，同时利用生成的标签来更新模型。但是，这种简单的伪标签生成方法难以获得足够数量的高质量伪标签。为了解决以上问题，提出了一种基于分层伪标签的图像聚类方法，它旨在利用结构化信息与伪标签信息对分类模型进行训练和精炼。引入3个假设来指导聚类方法的设计，包括局部平滑假设、自训练假设及低密度分离假设。新方法包含两个阶段：1)基于流形的一致性学习，利用近邻一致性学习来初始化聚类模型；2)基于分层伪标签的模型精炼，基于第一阶段的结果生成伪标签，并利用其来提升聚类模型的鲁棒性。首先，将基于第一阶段的结果生成强伪标签数据集及弱伪标签数据集；然后，提出了基于标签传播及分层混合的伪标签提升技术来提升弱伪标签数据集的质量；最后，同时利用强伪标签数据集及弱伪标签数据集来提升分类模型的泛化能力。相较于最优结果，SPC算法在STL10和Cifar100-20基准数据集上，...     

基于弱监督表示学习的热红外目标跟踪

由于热红外成像技术具有更强的穿透雾、霾、雨、雪的能力,在恶劣天气条件下的成像效果几乎不受影响,使得基于热红外图像的目标跟踪任务越来越被研究者重视。针对基于卷积神经网络的热红外目标跟踪算法在模型训练过程中需要的带有标签的数据不足的问题,提出了一种基于弱监督表示学习的方法,利用少量的标签数据及大量的无标签数据进行模型训练,从而用于热红外目标跟踪任务。首先,利用主动学习的指导在大量无标签的数据中挑选最具有代表性的训练样本;然后,给定每个样本序列的首帧目标的真实标签,利用基础跟踪器生成该序列中其他图像帧中目标的伪标签;之后,利用带有真实标签和伪标签的训练数据进行模型训练;最后,利用训练好的模型在热红外目标跟踪算法测试数据集上进行模型测试。实验结果表明：该方法可以在减少模型训练对标签数据需求的同时保证跟踪器的准确性。     

面向RGB-D语义分割的多模态任意旋转自监督学习

基于RGB-D数据的自监督学习受到广泛关注, 然而大多数方法侧重全局级别的表示学习, 会丢失对识别对象至关重要的局部细节信息. 由于RGB-D数据中图像和深度具有几何一致性, 因此这可以作为线索来指导RGB-D数据的自监督特征表示学习. 在本文中, 我们提出了ArbRot, 它可以无限制地旋转角度并为代理任务生成多个伪标签用于自监督学习, 而且还建立了全局和局部之间的上下文联系. 本文所提出的ArbRot可以与其他对比学习方法联合训练, 构建多模态多代理任务自监督学习框架, 以增强图像和深度视图的特征表示一致性, 从而为RGB-D语义分割任务提供有效的初始化. 在SUN RGB-D和NYU Depth Dataset V2数据集上的实验结果表明, 多模态任意旋转自监督学习得到的特征表示质量均高于基线模型. 开源代码: https://github.com/Physu/ArbRot.     

BERT-Single：半监督的话题检测与追踪方法

针对无监督聚类方法在应用于话题检测与追踪任务时难以学习到深层语义特征及任务相关特征,K均值聚类、潜在狄利克雷分布（LDA）等方法无法用于增量式聚类的问题,提出基于预训练语言模型的BERT-Single半监督算法。首先使用小规模有标注数据训练预训练语言模型BERT,使BERT模型学习到任务特定的先验知识,生成能够适应话题检测与追踪任务且包含深层语义特征的文本向量;然后利用改进的Single-Pass聚类算法将预训练语言模型学习到的有标签样本信息泛化到无标签数据上,提升模型在话题检测与追踪任务上性能。在构建的数据集上进行实验,结果显示,相较于对比模型,BERT-Single模型精确率至少提升了3个百分点、召回率至少提升了1个百分点、F1值至少提升了3个百分点。BERT-Single模型对于解决话题检测与追踪问题具有较好效果,并能够很好地适应增量式聚类任务。     

基于伪标签增强的多视角模糊聚类

针对大部分基于表示学习的多视角聚类算法分裂了表示学习和聚类任务,导致学习的共性表示对聚类任务缺乏针对性的问题,因此提出了一种新的基于伪标签增强的多视角模糊聚类算法。首先,利用多视角非负矩阵分解提取各个视角间的共性表示,并将其融入聚类过程,使学习的共性表示对聚类更具有针对性。其次,引入伪标签学习以提高表示学习的质量。最后,将伪标签增强的表示学习和模糊聚类划分矩阵学习整合在同一个联合学习框架下,实现相互促进。实验表明,所提出的方法的聚类性能优于现有的多种多视角聚类算法。     

伪标签半监督通信辐射源个体识别方法

针对通信辐射源个体识别技术中有标签信号样本不足导致个体识别准确率较低的问题,提出了基于伪标签半监督深度学习的辐射源个体识别方法,该方法利用加权平均思想改进了伪标签的赋值方式,有效增强了伪标签的质量,提升了网络模型的鲁棒性;介绍了如何基于伪标签思想设计半监督深度学习方法,并运用熵正则化算法的概念从理论方面解释了伪标签的有效性;实验设计了适合于信号样本的卷积神经网络,采取不同数目的有标签样本与无标签样本组建的训练集方案,得到了改进的伪标签半监督方法在测试集的识别准确率,结果表明,该方法较全监督方法和改进前的伪标签半监督方法有着更好的识别效果和更强的优越性.     

基于融合变分图注意自编码器的深度聚类模型

聚类作为数据挖掘和机器学习中最基本的任务之一,在各种现实世界任务中已得到广泛应用.随着深度学习的发展,深度聚类成为一个研究热点.现有的深度聚类算法主要从节点表征学习或者结构表征学习两个方面入手,较少考虑同时将这两种信息进行融合以完成表征学习.提出一种融合变分图注意自编码器的深度聚类模型FVGTAEDC(Deep Clustering Model Based on Fusion Varitional Graph Attention Self-encoder),此模型通过联合自编码器和变分图注意自编码器进行聚类,模型中自编码器将变分图注意自编码器从网络中学习(低阶和高阶)结构表示进行集成,随后从原始数据中学习特征表示.在两个模块训练的同时,为了适应聚类任务,将自编码器模块融合节点和结构信息的表示特征进行自监督聚类训练.通过综合聚类损失、自编码器重构数据损失、变分图注意自编码器重构邻接矩阵损失、后验概率分布与先验概率分布相对熵损失,该模型可以有效聚合节点的属性和网络的结构,同时优化聚类标签分配和学习适合于聚类的表示特征.综合实验证明,该方法在5个现实数据集上的聚类效果均优于当前先进的深度聚类方法.     

基于语义伪标签和双重特征存储库的无监督跨模态行人重识别

现有的有监督可见光-近红外行人重识别方法需要大量人力资源去除手工标注数据,容易受到标注数据场景的限制,难以满足真实多变应用场景的泛化性.因此,文中提出基于语义伪标签和双重特征存储库的无监督跨模态行人重识别方法.首先,提出基于对比学习框架的预训练方法,利用可见光行人图像和其生成的辅助灰度图像进行训练.利用该预训练方法获取对颜色变化具有鲁棒性的语义特征提取网络.然后,使用DBSCAN(Density-Based Spatial Clustering of Applications with Noise)聚类方法生成语义伪标签.相比现有的伪标签生成方法,文中提出的语义伪标签在生成过程中充分利用跨模态数据之间的结构信息,减少跨模态数据颜色变化带来的模态差异.此外,文中还构建实例级困难样本特征存储库和中心级聚类特征存储库,充分利用困难样本特征和聚类特征,让模型对噪声伪标签具有更强的鲁棒性.在SYSU-MM01、RegDB两个跨模态数据集上的实验验证文中方法的有效性.     

一种鲁棒的双教师自监督蒸馏哈希学习方法

为了提高无监督哈希学习的性能,实现鲁棒的哈希图像检索,提出了一种鲁棒的双教师自监督蒸馏哈希学习方法。该方法包括自监督双教师学习和鲁棒哈希学习两个阶段：第一阶段设计了一种改进的聚类算法,有效提高了硬伪标签的标注精度,而后通过微调教师网络得到了图像的初始软伪标签;第二阶段提出了一种结合混合去噪和双教师共识去噪策略的软伪标签去噪方法,有效去除了初始软伪标签中的噪声,而后利用蒸馏学习将双教师网络中的信息通过去噪软伪标签传递给学生网络,进而获得无标签图像的鲁棒哈希码。在CIFAR-10,FLICKR25K和EuroSAT上进行了实验,实验结果表明,与TBH方法相比,在CIFAR-10上所提方法的MAP平均提高了18.6%;与DistillHash方法相比,在FLICKR25K上所提方法的MAP平均提高了2.4%;与ETE-GAN方法相比,在EuroSAT上所提方法的MAP平均提高了18.5%。     

基于相机感知距离矩阵的无监督行人重识别

在跨场景、跨设备的行人重识别中虽然增加了可利用的行人数据,但由于行人姿态不同、部分遮挡现象,难以避免引入样本噪声,在聚类过程中易生成错误的伪标签,造成标签噪声,影响模型的优化。为减弱噪声影响,应用相机感知的距离矩阵对抗相机偏移引起的样本噪声问题,利用对噪声鲁棒的动态对称对比损失减少标签噪声,提出基于相机感知距离矩阵的无监督行人重识别算法。在聚类前通过更改度量行人特征相似度的距离矩阵,利用相机感知距离矩阵来增强类内距离度量准确性,减少由于拍摄视角不同对聚类效果造成的负面影响。同时,结合噪声标签学习方法,进行损失设计,提出动态对称对比损失函数,联合损失训练,不断精炼伪标签。在DukeMTMC-reID和Market-1501两个数据集上进行实验,验证了提出方法的有效性。     

基于自监督预训练和有监督微调的伪造语音检测方法

随着深度学习技术的发展，合成语音的质量和听感与真实自然语音越来越难以区分，这严重威胁了基于声纹识别相关应用的可靠性和安全性。现有研究从特征提取和后端二分类器两个维度上提出了各种方法用于伪造语音检测，取得了优异的效果。然而，当模型面对未知的伪造类型数据时，模型检测准确率急剧下降，特别是对于跨数据集评估测试场景。受到自监督学习框架在多种语音识别下游任务成功经验的启发，提出一种基于预训练和微调结合的伪造语音检测框架。预训练使用无标签数据学习通用的语音表征，之后利用有标签的真实伪造语音数据集来微调整个网络参数，达到区分真实自然音和伪造语音的目的。该方法在ASVspoof 2019逻辑攻击数据集上的联合检测代价函数值为0.006 1，等错误率（EER）值为0.19%，同时在ASVspoof 2015和Fake or Real跨数据集评测上也展现了良好的泛化能力。     

基于自适应融合网络的跨域行人重识别方法

无监督跨域的行人重识别旨在将从有标签的源域中学习到的知识迁移到无标签的目标域,具有实用性和有效性而得到广泛关注.基于聚类的跨域行人重识别可以生成伪标签并对模型进行优化使得其表现较其他方法更优,然而这类方法由于过于依赖聚类伪标签的准确性,忽略了对伪标签噪声的处理,导致噪声随着网络迭代而不断扩大,影响模型的鲁棒性.针对这个问题,提出了基于自适应融合网络的方法,利用双网络结构共同学习,并将学习到的知识进行融合得到融合网络;为了区分两个网络的学习能力,设计了自适应融合策略;同时,利用细粒度风格转换模块对目标域数据集进行处理,降低行人图像对相机变换的敏感度.在行人重识别基准数据集Market1501、DukeMTMC-ReID和MSMT17上,通过评估指标平均精度均值和Rank-n与主流的方法进行了对比实验,验证了该方法的有效性.     

无监督学习的车辆重识别方法研究综述

车辆重识别作为智能交通系统的关键技术之一,旨在从不同监控场景下识别同一车辆,对构建平安智慧城市起着重要作用。随着计算机视觉技术的不断发展,使用监督学习的重识别方法存在训练过程对人工标注依赖强、场景泛化能力弱的问题,因此无监督学习的车辆重识别逐渐成为近年来研究的重点。首先,介绍了当前主流的车辆重识别数据集以及常用的模型评价指标。然后,系统梳理了近几年基于无监督学习的车辆重识别方法,根据目前的研究思路将这些方法归纳为生成对抗网络和聚类算法两大类;从域偏差、跨视域偏差以及数据样本信息不足的问题出发,将前者进一步分为风格转换、多视角生成和数据增强三类;又针对标签的问题,将后者分为伪标签的无监督域适应和无需标签信息两类;以解决问题为着手点,总结出每类方法的基本原理、优缺点以及在主流数据集上的性能结果。最后,讨论分析了目前无监督学习的车辆重识别所面临的挑战,并对该研究方向的未来工作进行展望。     

基于可靠性集成的无监督域自适应行人重识别

为了缓解基于伪标签的无监督域自适应行人重识别(UDA person ReID)方法中噪声标签带来的负面影响,提出了一种基于可靠性集成的无监督域自适应行人重识别(UDA-RI)方法。该方法包含渐进式伪标签提炼策略和基于可靠性集成策略两个部分。渐进式伪标签提炼策略通过建立一个不确定性的定量标准来衡量伪标签的可靠性,并采用渐进式采样使得模型得到更加稳定的训练。基于可靠性集成策略考虑了来自不同适应时刻的知识,将来自不同迭代的模型按照可靠性高低分配的权重进行了集成,并将自集成后的两种不同架构的模型再进行集成作为最终推理模型。实验表明,与目前先进的无监督域自适应行人重识别方法相比,UDA-RI方法在Market1501、DukeMTMC-ReID和MSMT17数据集上都取得了优越的性能。     

基于多分支注意网络与相似度学习策略的无监督行人重识别

无监督行人重识别的挑战在于学习没有真实标签的行人的判别性特征。为增强网络对行人特征的表达能力,进一步从空间和通道维度上提取更丰富的特征信息,提出了一种基于多分支注意网络的行人重识别特征提取方法。该方法通过捕获空间维度和通道维度上不同分支之间的交互信息,能够学习到更具判别性的行人特征表示。此外,针对噪声标签会对聚类质心产生干扰的问题,提出了相似度学习策略(SLS)。该策略先计算每个聚类中样本特征之间的相似性,然后选取相似性分数最高的特征向量所对应的样本进行对比学习,有效地缓解了聚类噪声导致的累积训练误差。实验结果表明,和无监督场景下的自步对比学习方法(SPCL)相比,在Market-1501,DukeMTMC-reID和MSMT17等3个数据集上的rank-1准确度分别提升了4.6%,3.3%和16.3%,显著地提高了无监督行人重识别的检索精度。     

基于半监督学习的恶意URL检测方法

检测恶意URL对防御网络攻击有着重要意义. 针对有监督学习需要大量有标签样本这一问题, 本文采用半监督学习方式训练恶意URL检测模型, 减少了为数据打标签带来的成本开销. 在传统半监督学习协同训练(co-training)的基础上进行了算法改进, 利用专家知识与Doc2Vec两种方法预处理的数据训练两个分类器, 筛选两个分类器预测结果相同且置信度高的数据打上伪标签(pseudo-labeled)后用于分类器继续学习. 实验结果表明, 本文方法只用0.67%的有标签数据即可训练出检测精确度(precision)分别达到99.42%和95.23%的两个不同类型分类器, 与有监督学习性能相近, 比自训练与协同训练表现更优异.     

半监督单样本深度行人重识别方法

本文提出一种采用单样本训练的行人重识别方法,在迭代的过程中采用一种渐进学习框架,充分利用有标签数据和无标签数据的特性来优化模型.本文方法主要分为以下3个步骤:(1)训练卷积神经网络来不断优化模型;(2)样本评估:通过本文提出的抽样策略,使用多个模型共同训练,共同挑选出较优的伪标签数据;(3)进行下一轮的训练更新数据.在训练的过程中,我们训练数据由有标签数据、伪标签数据,映射标签数据三部分组成,使用三组数据进行联合学习,每组数据对应使用相应的损失函数对模型进行优化,并且随着迭代的进行,伪标签数据和映射标签数据总是不断更新.在使用单样本训练条件下, rank-1=65.3, mAP=45.6.当训练数据的标注率提升至40%时,rank-1=83.8, mAP=64.9.实验结果表明:本文提出的半监督行人重识别方法可以在使用更少标签数据的情况下,提供与完全监督学习方法相媲美的结果,充分体现了本方法的有效性.     

改进协同训练的肺部CT影像COVID-19病灶分割方法

在新型冠状病毒肺炎的肺部病灶分割任务中，基于半监督学习进行病灶分割可以利用大量未标记数据。针对半监督学习中伪标签置信度不足问题，采用UNet和DeepLabV3+作为基础网络搭建协同训练框架，以集成方法获取高质量伪标签；引入JS距离度量伪标签的不确定性，给予伪标签监督损失一个正则项，减轻低质量伪标签对分割性能的影响。在公开数据集中进行实验，获得Dice系数76.06%、IOU分数65.1%、敏感度分数77.22%和精确率分数81.46%。     

基于半监督学习的蛋白质相互作用预测模型

基于有监督学习的预测模型在预测过程中存在以下缺陷:一是过分依赖训练集中有标签样本的数量,导致分类精度受有标签样本数量多少的制约;二是其预测分类一次完成,导致大量的无标签样本无法用来修正分类器的预测精度,大量数据信息被浪费,从而影响分类性能.针对以上问题,该文提出一种基于AP聚类与Renyi熵融合的自训练半监督相关向量机...