联合可靠实例挖掘和特征优化的无监督行人重识别

针对无监督行人重识别方法的伪标签中包含大量噪声的问题,提出一种联合可靠实例挖掘和特征优化的行人重识别方法.首先设计一种衡量伪标签可靠度的指标,利用不同参数下DBSCAN聚类结果的稳定性衡量伪标签的质量;然后提出可靠实例挖掘策略进行伪标签去噪,伪标签可靠度大于预设阈值的实例保留其原伪标签,反之则修正其伪标签;再提出融合全局和局部特征的二重动量更新策略,每个batch对涉及的样本进行即时特征更新,每个epoch对存储字典中所有样本特征进行更新;最后利用统一对比损失对骨干神经网络进行训练优化.在2个大型公共数据集Market-1501和DukeMTMC-reID上的实验结果表明,mAP分别达到77.9%和67.4%,Rank-1分别达到90.2%和88.2%.     

基于单标注样本的多损失学习与联合度量视频行人重识别

为解决行人重识别标注成本巨大的问题,提出了基于单标注样本的多损失学习与联合度量视频行人重识别方法.针对标签样本数量少,得到的模型不够鲁棒的问题,提出了多损失学习(MLL)策略:在每次训练过程中,针对不同的数据,采用不同的损失函数进行优化,提高模型的判别力.其次,在标签估计时,提出了一个联合距离度量(JDM),该度量将样...     

基于伪标签的无监督领域自适应行人重识别研究综述

行人重识别是计算机视觉领域的热点研究课题之一。近年来，为了解决行人重识别实际应用中标签数据稀缺的问题，同时也为了有效地利用现有的标签数据，研究者们提出了基于生成对抗网络以及基于伪标签的领域自适应方法，用于进行跨领域的行人重识别研究。基于伪标签的无监督领域自适应行人重识别方法由于效果显著而备受研究者的青睐。文中梳理了近7年来基于伪标签的无监督领域自适应行人重识别的研究成果，将基于伪标签的方法从模型训练角度划分为两个阶段。1)伪标签生成阶段。现有工作的伪标签生成方法大多使用聚类方法，部分工作采用基于图结构学习的图匹配、图卷积网络方法来生成目标域的伪标签。2)伪标签精炼阶段。文中将现有的伪标签精炼方法归纳为基于表征学习的精炼方法以及基于相似度学习的精炼方法，并分别进行模型方法的总结与整理。最后，讨论现阶段基于伪标签的无监督领域自适应行人重识别面临的挑战并对未来可能的发展方向进行展望。     

基于CNN的改进行人重识别技术

针对行人重识别研究中训练样本的不足,为提高识别精度及泛化能力,提出一种基于卷积神经网络的改进行人重识别方法。首先对训练数据集进行扩充,使用生成对抗网络无监督学习方法生成无标签图像;然后与原数据集联合作半监督卷积神经网络训练,通过构建一个Siamese网络,结合分类模型和验证模型的特点进行训练;最后加入无标签图像类别分布方法,计算交叉熵损失来进行相似度量。实验结果表明,在Market-1501、CUHK03和DukeMTMC-reID数据集上,该方法相比原有的Siamese方法在Rank-1和mAP等性能指标上有近3～5个百分点的提升。当样本较少时,该方法具有一定应用价值。     

近邻中心迭代策略的单标注视频行人重识别

为解决视频行人重识别数据集标注困难的问题,提出了基于单标注样本视频行人重识别的近邻中心迭代策略.该策略逐步利用伪标签视频片段迭代更新网络结构,以获得最佳的模型.针对预测无标签视频片段的伪标签准确率低的问题,提出了一种标签评估方法：每次训练后,将所选取的伪标签视频片段和有标签视频片段特征中每个类的中心点作为下一次训练中预测伪标签的度量中心点;同时提出基于交叉熵损失和在线实例匹配损失的损失控制策略,使得训练过程更加稳定,无标签数据的伪标签预测准确率更高.在MARS,DukeMTMC-VideoReID这两个大型数据集上的实验验证了该方法相比于最新的先进方法,在性能上得到非常好的提升.     

结合时空距离的多网络互学习行人重识别

目的 在真实行人识别场景中,获得准确的标注需要耗费大量人力,因此无监督领域自适应成为行人重识别具有潜力的研究方向,这类方法通常需要聚类生成伪标签,往往会存在噪音。此外,在行人搜索过程中,好的排序算法也是取得更好识别性能的关键,但寻常的Re-Ranking排序优化由于巨大的性能消耗,限制了在真实场景下的应用。针对这两个问题,本文提出了一个联合多网络、分摄像头训练的框架,利用时空信息对排序进行优化。方法对源域数据使用有监督进行预训练,利用未标记的目标域样本进行多个网络模型的深度互学习无监督训练,提高网络的泛化能力,同时在训练过程中进行分摄像头处理,减小跨摄像头的影响,提升伪标签的质量。在排序匹配阶段利用时空信息对排序进行优化,进一步提升匹配性能。结果 实验在2个跨域实验数据集上进行测试比较,在源域为DukeMTMC-ReID(Duke multi-tracking multi-camera re-identification)数据集,目标域为Market-1501数据集的实验中,本文方法的平均精度均值（mean average precision,mAP）和Rank1分别为82.5%和95...     

基于支持对挖掘的主动学习行人再识别

基于监督学习的行人再识别方法需要大量人工标注的数据,对于实际应用并不适用。为了降低大规模行人再识别的标注成本,提出了一种基于支持对挖掘主动学习(support pair active learning, SPAL)的行人再识别方法。具体地,建立了一种无监督主动学习框架,在该框架中设计了一种双重不确定性选择策略迭代地挖掘支持样本对并提供给标注者标注;其次引入了一种约束聚类算法,将有标签的支持样本对的关系传播到其他无标签的样本中;最后提出了一种由无监督对比损失和监督支持样本对损失组成的混合学习策略来学习具有判别性的特征表示。在大规模行人再识别数据集MSMT17上,该方法相比于当前最先进的方法,标注成本降低了64.0%,同时mAP和rank1分别提升了11.0%和14.9%。大量实验结果表明,该方法有效地降低了标注成本并且优于目前最先进的无监督主动学习行人再识别方法。     

基于可靠性集成的无监督域自适应行人重识别

为了缓解基于伪标签的无监督域自适应行人重识别(UDA person ReID)方法中噪声标签带来的负面影响,提出了一种基于可靠性集成的无监督域自适应行人重识别(UDA-RI)方法。该方法包含渐进式伪标签提炼策略和基于可靠性集成策略两个部分。渐进式伪标签提炼策略通过建立一个不确定性的定量标准来衡量伪标签的可靠性,并采用渐进式采样使得模型得到更加稳定的训练。基于可靠性集成策略考虑了来自不同适应时刻的知识,将来自不同迭代的模型按照可靠性高低分配的权重进行了集成,并将自集成后的两种不同架构的模型再进行集成作为最终推理模型。实验表明,与目前先进的无监督域自适应行人重识别方法相比,UDA-RI方法在Market1501、DukeMTMC-ReID和MSMT17数据集上都取得了优越的性能。     

基于自适应融合网络的跨域行人重识别方法

无监督跨域的行人重识别旨在将从有标签的源域中学习到的知识迁移到无标签的目标域, 具有实用性和有效性而得到广泛关注. 基于聚类的跨域行人重识别可以生成伪标签并对模型进行优化使得其表现较其他方法更优, 然而这类方法由于过于依赖聚类伪标签的准确性, 忽略了对伪标签噪声的处理, 导致噪声随着网络迭代而不断扩大, 影响模型的鲁棒性. 针对这个问题, 提出了基于自适应融合网络的方法, 利用双网络结构共同学习, 并将学习到的知识进行融合得到融合网络; 为了区分两个网络的学习能力, 设计了自适应融合策略; 同时, 利用细粒度风格转换模块对目标域数据集进行处理, 降低行人图像对相机变换的敏感度. 在行人重识别基准数据集Market1501、DukeMTMC-ReID和MSMT17上, 通过评估指标平均精度均值和Rank-n与主流的方法进行了对比实验, 验证了该方法的有效性.     

近邻优化跨域无监督行人重识别算法

目的 无监督行人重识别可缓解有监督方法中数据集标注成本高的问题,其中无监督跨域自适应是最常见的行人重识别方案。现有UDA（unsupervised domain adaptive）行人重识别方法在聚类过程中容易引入伪标签噪声,存在对相似人群区分能力差等问题。方法 针对上述问题,基于特征具有类内收敛性、类内连续性与类间外散性的特点,提出了一种基于近邻优化的跨域无监督行人重识别方法,首先采用有监督方法得到源域预训练模型,然后在目标域进行无监督训练。为增强模型对高相似度行人的辨识能力,设计了邻域对抗损失函数,任意样本与其他样本构成样本对,使类别确定性最强的一组样本对与不确定性最强的一组样本对之间进行对抗。为使类内样本特征朝着同一方向收敛,设计了特征连续性损失函数,将特征距离曲线进行中心归一化处理,在维持特征曲线固有差异的同时,拉近样本k邻近特征距离。结果 消融实验结果表明损失函数各部分的有效性,对比实验结果表明,提出方法性能较已有方法更具优势,在Market-1501（1501 identities dataset from market）和DukeMTMC-reID（multi-targetmulti-camera person re-identification dataset from Duke University）数据集上的Rank-1和平均精度均值（mean averageprecision,mAP）指标分别达到了92.8%、84.1%和83.9%、71.1%。结论 提出方法设计了邻域对抗损失与邻域连续性损失函数,增强了模型对相似人群的辨识能力,从而有效提升了行人重识别的性能。     

两路互补对称CNN结构的行人再识别

目的 行人再识别的任务是研究如何在海量监控数据中准确地识别出某个特定场合中曾经出现过的人,已成为公共安全领域中一项新的且具有挑战性的研究课题。其挑战在于,行人在图像中有较大的姿态、视角、光照等变化,这些复杂的变化会严重影响行人再识别性能。近年来,以卷积神经网络（CNN）为代表的深度学习方法在计算机视觉领域取得了巨大的成功,也带动了行人再识别领域的相关研究。CNN有效地克服了行人变化,取得较高的准确率。然而,由于行人再识别数据集中行人标注量小,利用现有的一路CNN模型,其训练过程并不够充分,影响了深度学习模型的鉴别能力。为了解决上述问题,通过对网络结构进行改进,提出一种两路互补对称的CNN结构用于行人再识别任务。方法 本文方法每次同时输入两路样本,其中每路样本之间具有互补特性,此时在有限的训练样本下,输入的组合会更加多样化,CNN模型的训练过程更加丰富。结果 对本文提出的方法在两个公开的大规模数据集（Market-1501和DukeMTMC-reID）上进行实验评估,相比于基线方法有稳定的提升,相比于现存的其他一些方法,其结果也有竞争力。在Market-1501数据集上,1选识别正确率和平均精度均值分别达到了73.25%和48.44%。在DukeMTMC-reID数据集上,1选识别正确率和平均精度均值分别达到了63.02%和41.15%。结论 本文提出的两路互补对称CNN结构的行人再识别方法,能够在现有的有限训练样本下,更加充分地训练CNN模型,学习得到鉴别能力更强的深度学习模型,从而有效地提升行人再识别的性能。     

基于UV贴图优化人体特征的行人重识别

现有行人重识别研究大多关注人体在二维平面的特征表示,而在现实社会中,人体以一种对称的三维结构存在,三维人体结构相较二维平面像素含有更多的体型、姿态等特征,仅研究二维平面上的行人特征限制了计算机对人体特征的理解。利用人体是一种三维对称的刚体结构这一先验事实,提出一种基于UV贴图优化人体特征的行人重识别方法。对图像底库进行数据预处理,通过数据增广方法生成更多的训练数据,对预处理后的图片进行特征提取,将特征矩阵解耦为姿态、色彩、形状以及视角参数,利用参数信息调整预定义的人体模型以得到重构后的三维人体模型。将重构后的三维人体模型转化为UV贴图,即将人体特征从三维空间映射到二维平面,同时对UV贴图进行优化从而丰富人体特征。使用UV贴图训练三维行人重识别网络模型,利用后处理的方法对输出结果做进一步优化,以得到最终的行人重识别结果。在Market-1501数据集上的实验结果表明,该方法的rank-1准确率和mAP分别达到94.76%和82.53%,相较OG-Net模型分别提升13.82%和22.56%。     

Learning deep embedding with mini-cluster loss for person re-identification

Recently, the triplet loss is commonly used in many deep person re-identification (ReID) frameworks to learn an embedding space in which similar data points are close and dissimilar data points are far away. However, the triplet loss simply focuses on the relative orders of points. This may lead to a relatively large intra-class variance and then a weak generalization capacity on the test set. In this paper, we propose a mini-cluster loss, which regards images belonging to the same identity as a mini-cluster and treats them as a whole during the training instead of considering them separately. For each mini-cluster in a batch, we define the largest distance between points in a mini-cluster as its inner divergence and the shortest distance with outer points as its outer divergence. By constraining the outer divergence larger than the inner divergence, our framework with the mini-cluster loss achieves the more compact mini-clusters while keeping the diversity distributions of the classes. As a result, a better generalization ability and a higher performance can be obtained. In the extensive experiments, our proposed framework achieves a state-of-the-art performance on two large-scale person ReID datasets (Market1501, DukeMTMC-reID) which clearly demonstrates its effectiveness. Specifically, 72.44% mAP and 87.05% rank-1 score are achieved on the Market1501 dataset with single query setting, 78.17% mAP and 91.05% rank-1 score with multiply query setting, and on the DukeMTMC-reID dataset, 60.19% mAP and 77.20% rank-1 score are obtained.

     

基于LSTM的无监督域自适应行人重识别

本文提出一种基于无监督域自适应的行人重识别方法.给定有标签的源域训练集和无标签的目标域训练集,探索如何提升行人重识别模型在目标域测试集上的泛化能力.以此为目的,在模型的训练过程中,将源域和目标域训练集同时输入到模型中进行训练,提取全局特征的同时,提取局部特征进行行人图像描述以学到更加细粒度的特征.提出将长短时记忆网络(LSTM)以端到端的方式应用于行人的建模,将其视为从头到脚的身体部分序列.本文方法主要分为两个步骤:(1)利用StarGAN对无标签目标域图片进行数据增强;(2)源域和目标域数据集同时输入到全局分支和基于LSTM的局部分支共同训练.在Market-1501和DukeMTMC-reID数据集上,本文提出的模型都取得了较好的性能,充分体现了其有效性.     

改进型深度迁移学习的跨镜行人追踪算法

跨镜行人追踪是计算机视觉和视频监控公共安全体系构建等领域的重要课题。伴随大规模数据集的发展和深度学习网络的广泛研究,深度学习在跨镜行人追踪问题中取得了良好效果。然而在应用中,除了监控视频自身的不同摄像头、不同视角引起的不同视觉表象变化外,面向跨镜行人追踪的整体数据集偏小,具有标记的训练数据样本量更小,从而制约了基于深度学习的跨镜行人追踪效果。提出了改进型深度迁移学习的跨镜行人追踪算法,将在大数据集上训练好的成熟模型进行微调并迁移到目标数据集上,结合目标数据进行优化,使其能更好地针对新数据集做特征提取。在模型训练过程中,通过改进三元组损失函数,拉近相同样本之间的距离,加大不同样本之间的距离,同时设定正样本之间的最大距离阈值,从而保证特征空间生成的簇不会太大,利于模型的优化。该算法减少了深度学习训练模型的时间,避免了小数据集上数据量不足等缺点,提高了跨镜行人追踪的准确度。在五个基准数据集上的跨镜行人追踪对比实验显示,改进算法取得了良好效果。     

基于生成对抗网络联合时空模型的行人重识别方法

跨摄像头的行人跟踪是智慧城市和智能安防的技术难题,而行人重识别是跨摄像头行人跟踪中最关键的技术。针对因领域偏差而导致行人重识别算法跨场景应用时准确率大幅下降的问题,提出一种基于生成对抗网络（GAN）联合时空模型的方法（STUGAN）。首先,通过引入GAN生成目标场景的训练样本,以增强识别模型的稳定性;然后,利用时空特征构建目标场景样本的时空模型,以筛选低概率匹配样本;最后,融合识别模型与时空模型来进行行人的重识别。在该领域典型的公开数据集Market-1501和DukeMTMC-reID上与词袋模型（BoW）、先进的无监督学习（PUL）、无监督多任务字典学习（UMDL）等先进无监督算法进行实验对比。实验结果分析表明,所提方法在Market-1501数据集上的rank-1、rank-5及rank-10指标的准确率达到66.4%、78.9%及84.7%,比对比算法最好结果分别高5.7,5.0和4.4个百分点;平均精度均值（mAP）仅低于保持主题一致性的循环生成网络（SPGAN）。     

基于生成对抗网络联合时空模型的行人重识别方法

跨摄像头的行人跟踪是智慧城市和智能安防的技术难题，而行人重识别是跨摄像头行人跟踪中最关键的技术。针对因领域偏差而导致行人重识别算法跨场景应用时准确率大幅下降的问题，提出一种基于生成对抗网络（GAN）联合时空模型的方法（STUGAN）。首先，通过引入GAN生成目标场景的训练样本，以增强识别模型的稳定性；然后，利用时空特征构建目标场景样本的时空模型，以筛选低概率匹配样本；最后，融合识别模型与时空模型来进行行人的重识别。在该领域典型的公开数据集Market-1501和DukeMTMC-reID上与词袋模型（BoW）、先进的无监督学习（PUL）、无监督多任务字典学习（UMDL）等先进无监督算法进行实验对比。实验结果分析表明，所提方法在Market-1501数据集上的rank-1、rank-5及rank-10指标的准确率达到66.4%、78.9%及84.7%，比对比算法最好结果分别高5.7，5.0和4.4个百分点；平均精度均值（mAP）仅低于保持主题一致性的循环生成网络（SPGAN）。