时间特征互补的无监督视频行人重识别

目前的视频行人重识别方法不能有效提取视频帧之间的时空信息,且需要解决人工标签的问题,提出一种时间特征互补的无监督视频行人重识别方法。利用时间特征擦除网络模块对视频帧与帧之间的时间信息特征及空间信息特征进行擦除提取,挖掘行人不同的特征以减少每帧特征的冗余,进而得到目标行人不同视觉的完整特征。通过约束性无监督层次聚类模块计算每个样本之间的距离得到高质量的不同身份集群,根据集群之间距离进行聚类生成高质量的伪标签,提高不同身份极度相似的样本识别性,并根据PK抽样困难样本三元组损失模块从已经聚类好的结果中抽取样本生成一个新的数据集,以便在每次聚类迭代后进行训练,减少困难样例对模型的影响。在MARS数据集和DukeMTMC-VideoReID数据集上的实验结果表明,该方法的平均精度均值分别达到了46.4%和72.5%,Rank-1分别达到了69.3%和80.5%,性能指标优于传统的RACM和DAL等方法。     

基于语义伪标签和双重特征存储库的无监督跨模态行人重识别

现有的有监督可见光-近红外行人重识别方法需要大量人力资源去除手工标注数据,容易受到标注数据场景的限制,难以满足真实多变应用场景的泛化性.因此,文中提出基于语义伪标签和双重特征存储库的无监督跨模态行人重识别方法.首先,提出基于对比学习框架的预训练方法,利用可见光行人图像和其生成的辅助灰度图像进行训练.利用该预训练方法获取对颜色变化具有鲁棒性的语义特征提取网络.然后,使用DBSCAN(Density-Based Spatial Clustering of Applications with Noise)聚类方法生成语义伪标签.相比现有的伪标签生成方法,文中提出的语义伪标签在生成过程中充分利用跨模态数据之间的结构信息,减少跨模态数据颜色变化带来的模态差异.此外,文中还构建实例级困难样本特征存储库和中心级聚类特征存储库,充分利用困难样本特征和聚类特征,让模型对噪声伪标签具有更强的鲁棒性.在SYSU-MM01、RegDB两个跨模态数据集上的实验验证文中方法的有效性.     

近邻中心迭代策略的单标注视频行人重识别

为解决视频行人重识别数据集标注困难的问题,提出了基于单标注样本视频行人重识别的近邻中心迭代策略.该策略逐步利用伪标签视频片段迭代更新网络结构,以获得最佳的模型.针对预测无标签视频片段的伪标签准确率低的问题,提出了一种标签评估方法：每次训练后,将所选取的伪标签视频片段和有标签视频片段特征中每个类的中心点作为下一次训练中预测伪标签的度量中心点;同时提出基于交叉熵损失和在线实例匹配损失的损失控制策略,使得训练过程更加稳定,无标签数据的伪标签预测准确率更高.在MARS,DukeMTMC-VideoReID这两个大型数据集上的实验验证了该方法相比于最新的先进方法,在性能上得到非常好的提升.     

半监督单样本深度行人重识别方法

本文提出一种采用单样本训练的行人重识别方法,在迭代的过程中采用一种渐进学习框架,充分利用有标签数据和无标签数据的特性来优化模型.本文方法主要分为以下3个步骤:(1)训练卷积神经网络来不断优化模型;(2)样本评估:通过本文提出的抽样策略,使用多个模型共同训练,共同挑选出较优的伪标签数据;(3)进行下一轮的训练更新数据.在训练的过程中,我们训练数据由有标签数据、伪标签数据,映射标签数据三部分组成,使用三组数据进行联合学习,每组数据对应使用相应的损失函数对模型进行优化,并且随着迭代的进行,伪标签数据和映射标签数据总是不断更新.在使用单样本训练条件下, rank-1=65.3, mAP=45.6.当训练数据的标注率提升至40%时,rank-1=83.8, mAP=64.9.实验结果表明:本文提出的半监督行人重识别方法可以在使用更少标签数据的情况下,提供与完全监督学习方法相媲美的结果,充分体现了本方法的有效性.     

近邻优化跨域无监督行人重识别算法

目的 无监督行人重识别可缓解有监督方法中数据集标注成本高的问题,其中无监督跨域自适应是最常见的行人重识别方案。现有UDA（unsupervised domain adaptive）行人重识别方法在聚类过程中容易引入伪标签噪声,存在对相似人群区分能力差等问题。方法 针对上述问题,基于特征具有类内收敛性、类内连续性与类间外散性的特点,提出了一种基于近邻优化的跨域无监督行人重识别方法,首先采用有监督方法得到源域预训练模型,然后在目标域进行无监督训练。为增强模型对高相似度行人的辨识能力,设计了邻域对抗损失函数,任意样本与其他样本构成样本对,使类别确定性最强的一组样本对与不确定性最强的一组样本对之间进行对抗。为使类内样本特征朝着同一方向收敛,设计了特征连续性损失函数,将特征距离曲线进行中心归一化处理,在维持特征曲线固有差异的同时,拉近样本k邻近特征距离。结果 消融实验结果表明损失函数各部分的有效性,对比实验结果表明,提出方法性能较已有方法更具优势,在Market-1501（1501 identities dataset from market）和DukeMTMC-reID（multi-targetmulti-camera person re-identification dataset from Duke University）数据集上的Rank-1和平均精度均值（mean averageprecision,mAP）指标分别达到了92.8%、84.1%和83.9%、71.1%。结论 提出方法设计了邻域对抗损失与邻域连续性损失函数,增强了模型对相似人群的辨识能力,从而有效提升了行人重识别的性能。     

基于一致性约束和标签优化的无监督域适应行人重识别

目的 无监督域适应行人重识别（unsupervised domain adaptive pedestrians’ re-identification,UDA Re-ID）旨在通过已有标记的应用场景（即源域）数据和新的无标记应用场景（即目标域）数据,训练一个可以在目标域泛化性能好的行人重识别模型。现有方法没有考虑实例特征在训练过程中的不稳定问题,也没有显式考虑由于相机变化所导致的行人类内距离变大、类间距离变小的问题,以及无标注目标域数据聚类误差带来的伪标签噪声问题。针对这些问题,提出了一种具有一致性约束和标签优化的方法。方法 首先提出了实例一致性以约束同一实例在不同增广下的特征距离,提升行人实例特征稳定性;然后提出相机一致性以约束跨相机正实例特征对之间的距离,提升对相机变化的鲁棒性;最后提出了基于标签集成的标签优化,将one-hot编码的伪标签转换为更可靠的软标签,提升了监督信号的鲁棒性。结果 本文方法在Duke→Market,Market→Duke,Duke→MSMT,Market→MSMT等常用的UDA Re-ID任务上的平均精度均值（mean average precision,m...     

局部特征引导标签平滑与优化的井下弱特征人员重识别

煤矿井下低照度、强光扰、高粉尘等环境条件,以及井下人员服装的相似性和脸部落煤现象,导致井下弱特征人员重识别困难。现有人员重识别方法仅提取全局特征,未充分考虑局部特征,使得井下人员重识别准确率较低。针对上述问题,提出了一种局部特征引导标签平滑与优化的井下弱特征人员重识别方法。该方法首先通过卷积神经网络提取井下人员图像的全局特征与局部特征;然后利用k最近邻相似性计算全局特征和局部特征的互补性得分,来衡量全局特征和局部特征的相似程度;最后根据特征互补性得分对局部特征进行标签平滑及对全局特征进行标签优化,即动态调整每个局部特征的权重,以改进每个局部特征的标签,并对局部特征的预测结果进行汇总,利用更可靠的信息来完善标签以作为全局特征的标签,从而减少图像噪声并增强特征识别能力。实验结果表明,该方法在公开数据集和包含井下人员图像的自建数据集上的平均精度均值（mAP）、第一匹配正确率（Rank-1）和平均逆置负样本惩罚率（mINP）总体优于主流人员重识别方法,具有良好的泛化性和鲁棒性,能有效实现井下弱特征人员重识别。     

基于局部异质协同双路网络的跨模态行人重识别

针对现有跨模态行人重识别方法忽略行人的局部特征及模态间的相互协同的问题,文中提出基于局部异质协同双路网络的跨模态行人重识别方法.首先,通过双路网络提取不同模态的全局特征进行局部精细化,挖掘行人的结构化局部信息.然后,通过标签和预测信息建立跨模态局部信息之间的关联,进行协同自适应的跨模态融合,使不同模态的特征之间相互补充,获得富有判别力的特征.在RegDB、SYSU-MM01跨模态行人重识别数据集上的实验验证文中方法的有效性.     

基于改进度量学习的煤矿井下行人重识别方法研究

传统基于度量学习的煤矿井下行人重识别方法中,由于度量学习忽略正负样本绝对距离,造成损失函数梯度消失或梯度弥散,导致井下人员位置信息识别精度不高。针对该问题,提出了一种基于改进度量学习的煤矿井下行人重识别方法。首先,采用基于手工设计特征的井下人员特征提取方法,对颜色空间、纹理空间等特征进行手动加工提炼,丰富特征维度。然后,采用欧氏距离对人员高维特征进行相似性计算。最后,提出一种改进的三重损失函数,通过在传统三重损失函数中加入自适应权重,增加有效样本的权重,解决了由于忽略正负样本绝对距离导致的梯度消失或梯度弥散问题。将传统识别方法与基于改进度量学习的煤矿井下行人重识别方法进行了累积匹配特征曲线验证、识别速率验证,结果表明：(1)基于改进度量学习的煤矿井下行人重识别方法在相似样本个数为50左右时,样本匹配概率达100%。(2)在2种不同标定大小图像的推理耗时上,基于改进度量学习的煤矿井下行人重识别方法较传统重识别方法分别减少了44,68 ms。(3)基于改进度量学习的煤矿井下行人重识别方法在舍弃行人头脚部分图像后表现更好,在相似样本个数为42左右时,样本匹配概率达100%。     

基于伪标签的无监督领域自适应行人重识别研究综述

行人重识别是计算机视觉领域的热点研究课题之一。近年来，为了解决行人重识别实际应用中标签数据稀缺的问题，同时也为了有效地利用现有的标签数据，研究者们提出了基于生成对抗网络以及基于伪标签的领域自适应方法，用于进行跨领域的行人重识别研究。基于伪标签的无监督领域自适应行人重识别方法由于效果显著而备受研究者的青睐。文中梳理了近7年来基于伪标签的无监督领域自适应行人重识别的研究成果，将基于伪标签的方法从模型训练角度划分为两个阶段。1)伪标签生成阶段。现有工作的伪标签生成方法大多使用聚类方法，部分工作采用基于图结构学习的图匹配、图卷积网络方法来生成目标域的伪标签。2)伪标签精炼阶段。文中将现有的伪标签精炼方法归纳为基于表征学习的精炼方法以及基于相似度学习的精炼方法，并分别进行模型方法的总结与整理。最后，讨论现阶段基于伪标签的无监督领域自适应行人重识别面临的挑战并对未来可能的发展方向进行展望。     

基于可靠性集成的无监督域自适应行人重识别

为了缓解基于伪标签的无监督域自适应行人重识别(UDA person ReID)方法中噪声标签带来的负面影响,提出了一种基于可靠性集成的无监督域自适应行人重识别(UDA-RI)方法。该方法包含渐进式伪标签提炼策略和基于可靠性集成策略两个部分。渐进式伪标签提炼策略通过建立一个不确定性的定量标准来衡量伪标签的可靠性,并采用渐进式采样使得模型得到更加稳定的训练。基于可靠性集成策略考虑了来自不同适应时刻的知识,将来自不同迭代的模型按照可靠性高低分配的权重进行了集成,并将自集成后的两种不同架构的模型再进行集成作为最终推理模型。实验表明,与目前先进的无监督域自适应行人重识别方法相比,UDA-RI方法在Market1501、DukeMTMC-ReID和MSMT17数据集上都取得了优越的性能。     

基于多尺度混合注意力与度量融合的小样本行人重识别

针对行人重识别中可用行人图像不足导致的小样本问题,以双相似网络为基础,提出一种基于多尺度混合注意力与度量融合的小样本行人重识别方法.首先,将多尺度混合注意力机制引入特征嵌入模块,即在不同尺度层内的特征提取中引入空间注意力,在不同尺度层间的特征融合中引入通道注意力,实现更具判别力的小样本行人特征提取;然后,在度量模块,提出欧氏距离与余弦距离融合的双重度量方法,实现行人特征的空间绝对距离和方向差异的综合度量,提升行人相似性度量的可靠性;接着,采用双重度量方式和关系度量方式,分别获得行人特征的相似度得分;最后,通过加权融合获得联合度量得分,构建联合损失实现网络的整体优化和训练.在Market-mini、Duke-mini和MSMT17-mini三个小型数据集上的实验表明,所提出方法在5-way 1-shot和5-way 5-shot两种模式下的平均识别准确率分别达到90.40%和95.69%、86.77%和94.96%、71.08%和82.63%,与其他小样本学习算法相比,识别性能有较大提升.     

基于单标注样本的多损失学习与联合度量视频行人重识别

为解决行人重识别标注成本巨大的问题,提出了基于单标注样本的多损失学习与联合度量视频行人重识别方法.针对标签样本数量少,得到的模型不够鲁棒的问题,提出了多损失学习(MLL)策略:在每次训练过程中,针对不同的数据,采用不同的损失函数进行优化,提高模型的判别力.其次,在标签估计时,提出了一个联合距离度量(JDM),该度量将样...     

基于相机感知距离矩阵的无监督行人重识别

在跨场景、跨设备的行人重识别中虽然增加了可利用的行人数据,但由于行人姿态不同、部分遮挡现象,难以避免引入样本噪声,在聚类过程中易生成错误的伪标签,造成标签噪声,影响模型的优化。为减弱噪声影响,应用相机感知的距离矩阵对抗相机偏移引起的样本噪声问题,利用对噪声鲁棒的动态对称对比损失减少标签噪声,提出基于相机感知距离矩阵的无监督行人重识别算法。在聚类前通过更改度量行人特征相似度的距离矩阵,利用相机感知距离矩阵来增强类内距离度量准确性,减少由于拍摄视角不同对聚类效果造成的负面影响。同时,结合噪声标签学习方法,进行损失设计,提出动态对称对比损失函数,联合损失训练,不断精炼伪标签。在DukeMTMC-reID和Market-1501两个数据集上进行实验,验证了提出方法的有效性。     

一种基于改进三元组损失和特征融合的行人重识别方法

行人重识别旨在跨摄像头条件下,从目标数据库中检索出特定的行人目标,其在视频监控领域有重要的应用价值.目前其研究难点为样本图像类内差异大、类间差异小,因此如何设计并训练深度神经网络对行人图片提取一个判别力更强的特征成为了其关键.针对以往研究只单独进行全局特征或局部特征学习的不足,提出了一种联合全局特征和局部特征学习的网络结构,该结构能够同时提取全局特征和具有较强区分力的局部细节特征;针对每部分局部特征对行人特征描述的重要性不同,文中提出了一种局部特征的融合方式,该方法能够自适应地生成各个局部特征的权重,最后将融合后的局部特征和全局特征结合使行人特征得到更全面的表征;另外,针对以往的基于难样本挖掘的三元组损失具有优化目标模糊的特点,提出了一种改进的基于难样本挖掘的三元组损失函数.文中分别在行人重识别主流数据集Market-1501和DukeMTMC-reID上验证了所提方法的有效性,其mAP值分别达到了82.16％和74.02％,Rank-1值分别达到了92.75％和86.8％.     

模态不变性特征学习和一致性细粒度信息挖掘的跨模态行人重识别

跨模态行人重识别方法主要通过对齐不同模态的像素分布或特征分布以缓解模态差异,却忽略具有判别性的行人细粒度信息.为了获取不受模态差异影响且更具判别性的行人特征,文中提出模态不变性特征学习和一致性细粒度信息挖掘的跨模态行人重识别方法.方法主要包括模态不变性特征学习模块和语义一致的细粒度信息挖掘模块,联合两个模块,使特征提取网络获取具有判别性的特征.具体地,首先利用模态不变性特征学习模块去除特征图中的模态信息,缓解模态差异.然后,使用语义一致的细粒度信息挖掘模块,对特征图分别进行通道分组和水平分块,在充分挖掘具有判别性的细粒度信息的同时实现语义对齐.实验表明,文中方法性能较优.     

基于全局特征改进的行人重识别

由于行人重识别面临姿态变化、遮挡干扰、光照差异等挑战, 因此提取判别力强的行人特征至关重要. 本文提出一种在全局特征基础上进行改进的行人重识别方法, 首先, 设计多重感受野融合模块充分获取行人上下文信息, 提升全局特征辨别力; 其次, 采用GeM池化获取细粒度特征; 最后, 构建多分支网络, 融合网络不同深度的特征预测行人身份. 本文方法在Market1501和DukeMTMC-ReID两大数据集上的mAP指标分别达到83.8%和74.9%. 实验结果表明, 本文方法有效改进了基于全局特征的模型, 提升了行人重识别的识别准确率.     

融合多尺度对比池化特征的行人重识别方法

行人重识别是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。受行人姿态、遮挡、光照变化等因素的影响,传统的行人重识别方法中特征的表达能力有限,导致准确率降低,提出一种融合不同尺度对比池化特征的行人重识别方法。利用残差网络ResNet50提取行人图像的多尺度特征,在网络的不同层次上,通过对输入的特征进行全局平均池化和最大平均池化,将每组平均池化特征和最大池化特征相减,对相减得到的差异特征与最大池化特征进行相加,获得具有强判别性的对比池化特征。在此基础上,利用三元组损失和交叉熵损失联合优化模型,提高模型的泛化能力,同时采用重排序技术优化网络性能。实验结果表明,该方法在Market1501和DukeMTMC-reID数据集上的首位命中率分别达到96.41%和91.43%,平均精度均值为94.52%和89.30%,相比SVDNet、GLAD和PCB等方法,其行人重识别的准确率较高。     

基于支持对挖掘的主动学习行人再识别

基于监督学习的行人再识别方法需要大量人工标注的数据,对于实际应用并不适用。为了降低大规模行人再识别的标注成本,提出了一种基于支持对挖掘主动学习(support pair active learning, SPAL)的行人再识别方法。具体地,建立了一种无监督主动学习框架,在该框架中设计了一种双重不确定性选择策略迭代地挖掘支持样本对并提供给标注者标注;其次引入了一种约束聚类算法,将有标签的支持样本对的关系传播到其他无标签的样本中;最后提出了一种由无监督对比损失和监督支持样本对损失组成的混合学习策略来学习具有判别性的特征表示。在大规模行人再识别数据集MSMT17上,该方法相比于当前最先进的方法,标注成本降低了64.0%,同时mAP和rank1分别提升了11.0%和14.9%。大量实验结果表明,该方法有效地降低了标注成本并且优于目前最先进的无监督主动学习行人再识别方法。     

基于多分支注意网络与相似度学习策略的无监督行人重识别

无监督行人重识别的挑战在于学习没有真实标签的行人的判别性特征。为增强网络对行人特征的表达能力,进一步从空间和通道维度上提取更丰富的特征信息,提出了一种基于多分支注意网络的行人重识别特征提取方法。该方法通过捕获空间维度和通道维度上不同分支之间的交互信息,能够学习到更具判别性的行人特征表示。此外,针对噪声标签会对聚类质心产生干扰的问题,提出了相似度学习策略(SLS)。该策略先计算每个聚类中样本特征之间的相似性,然后选取相似性分数最高的特征向量所对应的样本进行对比学习,有效地缓解了聚类噪声导致的累积训练误差。实验结果表明,和无监督场景下的自步对比学习方法(SPCL)相比,在Market-1501,DukeMTMC-reID和MSMT17等3个数据集上的rank-1准确度分别提升了4.6%,3.3%和16.3%,显著地提高了无监督行人重识别的检索精度。