基于多尺度特征融合的行人重识别方法

针对行人重识别任务在特征提取时缺乏对行人特征尺度变化的考虑,导致其易受环境影响而具有低行人重识别准确率的问题,提出了一种基于多尺度特征融合的行人重识别方法。首先,在网络浅层通过混合池化操作来提取多尺度的行人特征,从而帮助网络提升特征提取能力;然后,在残差块内添加条形池化操作以分别提取水平和竖直方向的远程上下文信息,从而避免无关区域的干扰;最后,在残差网络之后利用不同尺度的空洞卷积进一步保留多尺度的特征,从而帮助模型灵活有效地解析场景结构。实验结果表明,在Market-1501数据集上,所提方法的Rank1达到95.9%,平均精度均值（mAP）为88.5%;在DukeMTMC-reID数据集上,该方法的Rank1达到90.1%,mAP为80.3%。可见所提方法能够较好地保留行人特征信息,从而提高行人重识别任务准确率。     

基于自适应融合网络的跨域行人重识别方法

无监督跨域的行人重识别旨在将从有标签的源域中学习到的知识迁移到无标签的目标域,具有实用性和有效性而得到广泛关注.基于聚类的跨域行人重识别可以生成伪标签并对模型进行优化使得其表现较其他方法更优,然而这类方法由于过于依赖聚类伪标签的准确性,忽略了对伪标签噪声的处理,导致噪声随着网络迭代而不断扩大,影响模型的鲁棒性.针对这个问题,提出了基于自适应融合网络的方法,利用双网络结构共同学习,并将学习到的知识进行融合得到融合网络;为了区分两个网络的学习能力,设计了自适应融合策略;同时,利用细粒度风格转换模块对目标域数据集进行处理,降低行人图像对相机变换的敏感度.在行人重识别基准数据集Market1501、DukeMTMC-ReID和MSMT17上,通过评估指标平均精度均值和Rank-n与主流的方法进行了对比实验,验证了该方法的有效性.     

基于一致性约束和标签优化的无监督域适应行人重识别

目的 无监督域适应行人重识别（unsupervised domain adaptive pedestrians’ re-identification,UDA Re-ID）旨在通过已有标记的应用场景（即源域）数据和新的无标记应用场景（即目标域）数据,训练一个可以在目标域泛化性能好的行人重识别模型。现有方法没有考虑实例特征在训练过程中的不稳定问题,也没有显式考虑由于相机变化所导致的行人类内距离变大、类间距离变小的问题,以及无标注目标域数据聚类误差带来的伪标签噪声问题。针对这些问题,提出了一种具有一致性约束和标签优化的方法。方法 首先提出了实例一致性以约束同一实例在不同增广下的特征距离,提升行人实例特征稳定性;然后提出相机一致性以约束跨相机正实例特征对之间的距离,提升对相机变化的鲁棒性;最后提出了基于标签集成的标签优化,将one-hot编码的伪标签转换为更可靠的软标签,提升了监督信号的鲁棒性。结果 本文方法在Duke→Market,Market→Duke,Duke→MSMT,Market→MSMT等常用的UDA Re-ID任务上的平均精度均值（mean average precision,m...     

基于多尺度生成对抗网络的遮挡行人重识别方法

行人重识别是指在多个非重叠摄像头拍摄的场景下,给定一幅查询行人图像,从大规模行人图像库中检索出具有相同身份的行人图像,是一类特殊的图像检索任务.随着深度学习的不断发展,行人重识别方法的性能得到了显著提升.但是行人重识别在实际应用中经常遭遇遮挡问题（例如背景遮挡、行人互相遮挡等）.由于遮挡图像不仅丢失了部分目标信息,而且引入了额外的干扰,使得现有方法往往难以学习到鲁棒的特征表示,从而导致识别性能严重下降.最近,生成对抗网络在各类计算机视觉任务上展现出强大的图像生成能力.受到生成对抗网络的启发,提出了一种基于多尺度生成对抗网络的遮挡行人重识别方法.首先,利用成对的遮挡图像和非遮挡图像训练一个多尺度生成器和一个判别器.多尺度生成器能够对随机遮挡区域进行去遮挡操作,生成高质量的重构图;而判别器能够区分输入图像是真实图像还是生成图像.其次,利用训练好的多尺度生成器,生成去除随机遮挡的训练图像,添加到原始训练图像集,用于增加训练样本的多样性.最后,基于此扩充训练图像集,训练分类识别模型,有效地提高模型在测试图像集上的泛化性.在多个有挑战性的行人重识别数据集上的实验结果,验证了所提出方法的有效性.     

近邻优化跨域无监督行人重识别算法

目的 无监督行人重识别可缓解有监督方法中数据集标注成本高的问题,其中无监督跨域自适应是最常见的行人重识别方案。现有UDA（unsupervised domain adaptive）行人重识别方法在聚类过程中容易引入伪标签噪声,存在对相似人群区分能力差等问题。方法 针对上述问题,基于特征具有类内收敛性、类内连续性与类间外散性的特点,提出了一种基于近邻优化的跨域无监督行人重识别方法,首先采用有监督方法得到源域预训练模型,然后在目标域进行无监督训练。为增强模型对高相似度行人的辨识能力,设计了邻域对抗损失函数,任意样本与其他样本构成样本对,使类别确定性最强的一组样本对与不确定性最强的一组样本对之间进行对抗。为使类内样本特征朝着同一方向收敛,设计了特征连续性损失函数,将特征距离曲线进行中心归一化处理,在维持特征曲线固有差异的同时,拉近样本k邻近特征距离。结果 消融实验结果表明损失函数各部分的有效性,对比实验结果表明,提出方法性能较已有方法更具优势,在Market-1501（1501 identities dataset from market）和DukeMTMC-reID（multi-targetmulti-camera person re-identification dataset from Duke University）数据集上的Rank-1和平均精度均值（mean averageprecision,mAP）指标分别达到了92.8%、84.1%和83.9%、71.1%。结论 提出方法设计了邻域对抗损失与邻域连续性损失函数,增强了模型对相似人群的辨识能力,从而有效提升了行人重识别的性能。     

基于跨域特征关联与聚类的无监督行人重识别

行人重识别的目标是利用计算机视觉技术在多个摄像头采集的图像序列或视频中识别目标行人,基于监督学习的行人重识别算法虽然提高了目标的识别性能,但难以解决行人重识别中无标注目标域的域内变化问题,从而导致无标注数据检索准确度低。提出一种基于域自适应的无监督行人重识别算法,其主要由ResNet-50骨干网络、跨域特征提取器和用以存储目标域特征的特征库组成。通过跨域特征提取器融合行人样本在特征图与通道方向的特征,以挖掘不同行人重识别数据集间潜在的特征关联关系,同时为无标注目标数据集样本内的特征关联构建特征库,在无任何标注信息的情况下从一个未知数据集学习判别性特征。实验结果表明,该算法在源域DukeMTMC-reID/Market-1501和目标域Market-1501/DukeMTMC-reID的首位命中率相较于ECN算法分别提高8.9和6.8个百分点,能够提高模型在未知数据集上的泛化能力和无监督跨域行人重识别的准确度。     

基于伪标签的无监督领域自适应行人重识别研究综述

行人重识别是计算机视觉领域的热点研究课题之一。近年来，为了解决行人重识别实际应用中标签数据稀缺的问题，同时也为了有效地利用现有的标签数据，研究者们提出了基于生成对抗网络以及基于伪标签的领域自适应方法，用于进行跨领域的行人重识别研究。基于伪标签的无监督领域自适应行人重识别方法由于效果显著而备受研究者的青睐。文中梳理了近7年来基于伪标签的无监督领域自适应行人重识别的研究成果，将基于伪标签的方法从模型训练角度划分为两个阶段。1)伪标签生成阶段。现有工作的伪标签生成方法大多使用聚类方法，部分工作采用基于图结构学习的图匹配、图卷积网络方法来生成目标域的伪标签。2)伪标签精炼阶段。文中将现有的伪标签精炼方法归纳为基于表征学习的精炼方法以及基于相似度学习的精炼方法，并分别进行模型方法的总结与整理。最后，讨论现阶段基于伪标签的无监督领域自适应行人重识别面临的挑战并对未来可能的发展方向进行展望。     

融合随机擦除和通道注意力的行人重识别方法

通过不同角度和方位的视频传感器对进入重点区域的人员视频数据进行分析管控,精准、快速定位视频中的目标人员对于保障社会安全具有重大意义.为解决传统方法受复杂环境干扰严重,识别准度低的问题,本文提出一种基于随机擦除和残差注意力网络的行人重识别方法.首先使用随机擦除的方法对原始数据进行数据增强,其次基于原始ResNet网络,提出一种融合注意力机制的残差网络模型,能够提取通道维度的视频序列特征,并且抑制冗余背景干扰,提高模型对重要特征的关注程度和提取能力,最后使用级联的难采样三元组损失函数和交叉熵损失函数对网络模型进行训练,使样本能够在高维特征空间中实现聚类,从而有效提供识别精度.实验结果表明,该算法在CUHK03数据集上的精准度优于其它被比较的方法,证明了该方法能够应用于不同条件下的行人重识别任务.     

基于LSTM的无监督域自适应行人重识别

本文提出一种基于无监督域自适应的行人重识别方法.给定有标签的源域训练集和无标签的目标域训练集,探索如何提升行人重识别模型在目标域测试集上的泛化能力.以此为目的,在模型的训练过程中,将源域和目标域训练集同时输入到模型中进行训练,提取全局特征的同时,提取局部特征进行行人图像描述以学到更加细粒度的特征.提出将长短时记忆网络(LSTM)以端到端的方式应用于行人的建模,将其视为从头到脚的身体部分序列.本文方法主要分为两个步骤:(1)利用StarGAN对无标签目标域图片进行数据增强;(2)源域和目标域数据集同时输入到全局分支和基于LSTM的局部分支共同训练.在Market-1501和DukeMTMC-reID数据集上,本文提出的模型都取得了较好的性能,充分体现了其有效性.     

基于可靠性集成的无监督域自适应行人重识别

为了缓解基于伪标签的无监督域自适应行人重识别(UDA person ReID)方法中噪声标签带来的负面影响,提出了一种基于可靠性集成的无监督域自适应行人重识别(UDA-RI)方法。该方法包含渐进式伪标签提炼策略和基于可靠性集成策略两个部分。渐进式伪标签提炼策略通过建立一个不确定性的定量标准来衡量伪标签的可靠性,并采用渐进式采样使得模型得到更加稳定的训练。基于可靠性集成策略考虑了来自不同适应时刻的知识,将来自不同迭代的模型按照可靠性高低分配的权重进行了集成,并将自集成后的两种不同架构的模型再进行集成作为最终推理模型。实验表明,与目前先进的无监督域自适应行人重识别方法相比,UDA-RI方法在Market1501、DukeMTMC-ReID和MSMT17数据集上都取得了优越的性能。     

基于多对多生成对抗网络的非对称跨域迁移行人再识别

无监督跨域迁移学习是行人再识别中一个非常重要的任务. 给定一个有标注的源域和一个没有标注的目标域, 无监督跨域迁移的关键点在于尽可能地把源域的知识迁移到目标域. 然而, 目前的跨域迁移方法忽略了域内各视角分布的差异性, 导致迁移效果不好. 针对这个缺陷, 本文提出了一个基于多视角的非对称跨域迁移学习的新问题. 为了实现这种非对称跨域迁移, 提出了一种基于多对多生成对抗网络(Many-to-many generative adversarial network, M2M-GAN)的迁移方法. 该方法嵌入了指定的源域视角标记和目标域视角标记作为引导信息, 并增加了视角分类器用于鉴别不同的视角分布, 从而使模型能自动针对不同的源域视角和目标域视角组合采取不同的迁移方式. 在行人再识别基准数据集Market1501、DukeMTMC-reID和MSMT17上, 实验验证了本文的方法能有效提升迁移效果, 达到更高的无监督跨域行人再识别准确率.     

基于迁移学习的无监督跨域人脸表情识别

本文主要研究了基于迁移学习的无监督跨域人脸表情识别.在过去的几年里,提出的许多方法在人脸表情识别方面取得了令人满意的识别效果.但这些方法通常认为训练和测试数据来自同一个数据集,因此其具有相同的分布.而在实际应用中,这一假设通常并不成立,特别当训练集和测试集来自不同的数据集时,即跨域人脸表情识别问题.为了解决这一问题,本...     

基于注意力机制学习域内变化的跨域行人重识别方法

针对行人重识别任务跨域迁移时性能严重衰退的问题,提出了一种基于注意力机制学习域内变化的跨域行人重识别方法。首先,以ResNet50为基础架构并对其进行调整使其适合行人重识别任务,并引入实例-批归一化网络（IBN-Net）以提高模型的泛化能力,同时增加区域注意力分支以提取更具鉴别性的行人特征。对于源域的训练,将其作为分类任务,使用交叉熵损失进行源域的有监督学习,同时引入三元组损失来挖掘源域样本的细节,从而提高源域的分类性能。对于目标域的训练,通过学习域内变化来适应源域和目标域间的数据分布差异。在测试阶段,以ResNet50 pool-5层的输出作为图像特征,并计算查询图像与候选图像间的欧氏距离来度量两者的相似度。在两个大规模公共数据集Market-1501和DukeMTMC-reID上进行实验,所提方法的Rank-1准确率分别达到80.1%和67.7%,平均精度均值（mAP）分别为49.5%和44.2%。实验结果表明,所提方法在提高模型泛化能力方面性能较优。     

基于极限学习机的无监督领域适应分类器

在构建基于极限学习机的无监督自适应分类器时, 隐含层的参数通常都是随机选取的, 而随机选取的参数不具备领域适应能力. 为了增强跨领域极限学习机的知识迁移能力,提出一种新的基于极限学习机的无监督领域适应分类器学习方法, 该方法主要利用自编码极限学习机对源域和目标域数据进行重构学习, 从而可以获得具有领域不变特性的隐含层参数. 进一步, 结合联合概率分布匹配和流形正则的思想, 对输出层权重进行自适应调整. 所提出算法能对极限学习机的两层参数均赋予领域适应能力,在字符数据集和对象识别数据集上的实验结果表明其具有较高的跨领域分类精度.     

Cross-domain person re-identification by hybrid supervised and unsupervised learning

Although the single-domain person re-identification (Re-ID) method has achieved great accuracy, the dependence on the label in the same image domain severely limits the scalability of this method. Therefore, cross-domain Re-ID has received more and more attention. In this paper, a novel cross-domain Re-ID method combining supervised and unsupervised learning is proposed, which includes two models: a triple-condition generative adversarial network (TC-GAN) and a dual-task feature extraction network (DFE-Net). We first use TC-GAN to generate labeled images with the target style, and then we combine supervised and unsupervised learning to optimize DFE-Net. Specifically, we use labeled generated data for supervised learning. In addition, we mine effective information in the target data from two perspectives for unsupervised learning. To effectively combine the two types of learning, we design a dynamic weighting function to dynamically adjust the weights of these two approaches. To verify the validity of TC-GAN, DFE-Net, and the dynamic weight function, we conduct multiple experiments on Market-1501 and DukeMTMC-reID. The experimental results show that the dynamic weight function can improve the performance of the models, and our method is better than many state-of-the-art methods.

     

基于自监督知识的无监督新集域适应学习

无监督域适应(unsupervised domain adaptation,UDA)旨在利用带大量标注数据的源域帮助无任何标注信息的目标域学习.在UDA中,通常假设源域和目标域间的数据分布不同,但共享相同的类标签空间.但在真实开放学习场景中,域间的标签空间很可能存在差异.在极端情形下,域间的类别不存在交集,即目标域中类...     

注意力迁移的联合平衡领域自适应

目的 现有的图像识别方法应用于从同一分布中提取的训练数据和测试数据时具有良好性能,但这些方法在实际场景中并不适用,从而导致识别精度降低。使用领域自适应方法是解决此类问题的有效途径,领域自适应方法旨在解决来自两个领域相关但分布不同的数据问题。方法 通过对数据分布的分析,提出一种基于注意力迁移的联合平衡自适应方法,将源域有标签数据中提取的图像特征迁移至无标签的目标域。首先,使用注意力迁移机制将有标签源域数据的空间类别信息迁移至无标签的目标域。通过定义卷积神经网络的注意力,使用关注信息来提高图像识别精度。其次,基于目标数据集引入网络参数的先验分布,并且赋予网络自动调整每个领域对齐层特征对齐的能力。最后,通过跨域偏差来描述特定领域的特征对齐层的输入分布,定量地表示每层学习到的领域适应性程度。结果 该方法在数据集Office-31上平均识别准确率为77.6%,在数据集Office-Caltech上平均识别准确率为90.7%,不仅大幅领先于传统手工特征方法,而且取得了与目前最优的方法相当的识别性能。结论 注意力迁移的联合平衡领域自适应方法不仅可以获得较高的识别精度,而且能够自动学习领域间特征的对齐程度,同时也验证了进行域间特征迁移可以提高网络优化效果这一结论。     

基于集成一致性的多源跨领域情感分类模型

现有的跨领域情感分类方法大多只利用了单个源领域到目标域的迁移特征,没有充分考虑目标域实例与不同源域之间的联系。针对此问题,本文提出一种无监督的多源跨领域情感分类模型。首先利用单个源域到目标域的迁移特征训练基分类器,并对不同的基分类器加权;然后将不同基分类器对目标域实例预测的集成一致性作为目标函数,优化该目标函数,得到不同基分类器的权重;最后利用加权后的基分类器得到目标域的情感分类结果。该模型在Amazon数据集上进行了多源域情感迁移实验,取得了较好的实验结果,相对其他基线模型,在4组实验中平均提升了0.75%。