基于生成对抗网络联合时空模型的行人重识别方法

跨摄像头的行人跟踪是智慧城市和智能安防的技术难题，而行人重识别是跨摄像头行人跟踪中最关键的技术。针对因领域偏差而导致行人重识别算法跨场景应用时准确率大幅下降的问题，提出一种基于生成对抗网络（GAN）联合时空模型的方法（STUGAN）。首先，通过引入GAN生成目标场景的训练样本，以增强识别模型的稳定性；然后，利用时空特征构建目标场景样本的时空模型，以筛选低概率匹配样本；最后，融合识别模型与时空模型来进行行人的重识别。在该领域典型的公开数据集Market-1501和DukeMTMC-reID上与词袋模型（BoW）、先进的无监督学习（PUL）、无监督多任务字典学习（UMDL）等先进无监督算法进行实验对比。实验结果分析表明，所提方法在Market-1501数据集上的rank-1、rank-5及rank-10指标的准确率达到66.4%、78.9%及84.7%，比对比算法最好结果分别高5.7，5.0和4.4个百分点；平均精度均值（mAP）仅低于保持主题一致性的循环生成网络（SPGAN）。     

基于多尺度生成对抗网络的遮挡行人重识别方法

行人重识别是指在多个非重叠摄像头拍摄的场景下,给定一幅查询行人图像,从大规模行人图像库中检索出具有相同身份的行人图像,是一类特殊的图像检索任务.随着深度学习的不断发展,行人重识别方法的性能得到了显著提升.但是行人重识别在实际应用中经常遭遇遮挡问题(例如,背景遮挡、行人互相遮挡等).由于遮挡图像不仅丢失了部分目标信息,而且引入了额外的干扰,使得现有方法往往难以学习到鲁棒的特征表示,从而导致识别性能严重下降.最近,生成对抗网络在各类计算机视觉任务上展现出强大的图像生成能力.受到生成对抗网络的启发,提出了一种基于多尺度生成对抗网络的遮挡行人重识别方法.首先,利用成对的遮挡图像和非遮挡图像训练一个多尺度生成器和一个判别器.多尺度生成器能够对随机遮挡区域进行去遮挡操作,生成高质量的重构图;而判别器能够区分输入图像是真实图像还是生成图像.其次,利用训练好的多尺度生成器,生成去除随机遮挡的训练图像,添加到原始训练图像集,用于增加训练样本的多样性.最后,基于此扩充训练图像集,训练分类识别模型,有效地提高模型在测试图像集上的泛化性.在多个有挑战性的行人重识别数据集上的实验结果,验证了所提出方法的有效性.     

基于生成对抗网络的行人重识别方法研究综述

近年来,随着公共安全需求的不断增长以及智能监控网络的快速发展,行人重识别已成为计算机视觉领域的热门研究课题之一,其目标是在不同摄像头中检索具有相同身份的行人.首先,介绍目前经典的行人重识别数据集;然后,重点梳理了近年来基于生成对抗网络的行人重识别方法,根据生成对抗网络的特点和应用场景将这些方法归纳为风格转换、数据增强和...     

基于多粒度特征生成对抗网络的跨分辨率行人重识别

现有基于生成对抗网络（GAN）的超分辨率（SR）重建方法用于跨分辨率行人重识别（ReID）时,重建图像在纹理结构内容的恢复和特征一致性保持方面均存在不足。针对上述问题,提出基于多粒度信息生成网络的跨分辨率行人ReID方法。首先,在生成器的多层网络上均引入自注意力机制,聚焦多粒度稳定的结构关联区域,重点恢复低分辨率（LR）行人图像的纹理结构信息;同时,在生成器后增加一个识别器,在训练过程中最小化生成图像与真实图像在不同粒度特征上的损失,提升生成图像与真实图像在特征上的一致性。然后,联合自注意力生成器和识别器,与判别器交替优化,在内容和特征上改进生成图像。最后,联合改进的GAN和行人ReID网络交替训练优化网络的模型参数,直至模型收敛。在多个跨分辨率行人数据集上的实验结果表明,所提算法的累计匹配曲线（CMC）在其首选识别率（rank?1）上的准确率较现有同类算法平均提升10个百分点,在提升SR图像内容一致性和特征表达一致性方面均表现更优。     

基于深度卷积生成对抗网络和拓展近邻重排序的行人重识别

行人重识别任务旨在识别不相交摄像头视图下的相同行人.这项任务极具挑战性,尤其是当数据集中每个行人仅仅有几张图片时.针对行人重识别数据集中行人图片数量不足的问题,提出一个从原始数据集中生成额外训练数据的方法.在这项工作之中存在2个挑战：1)如何从原始数据集之中获取更多的训练数据;2)如何处理这些新生成的训练数据.使用深度卷积生成对抗网络来生成额外的无标签行人图片,并采用标签平滑正则化来处理这些新生成的无标签行人图片.为了进一步提升行人重识别准确度,提出了一种新的无监督重排序框架.此框架既不需要为每组图像对重新计算新的排序列表,也不需要任何人工交互或标签信息.在Market-1501,CUHK03和DukeMTMC-reID数据集上的实验验证了所提方法的有效性.     

融合生成对抗网络和姿态估计的视频行人再识别方法

随着国家对社会公共安全的日益重视, 无重叠视域监控系统已大规模的普及.行人再识别任务通过匹配不同视域摄像机下的行人目标, 在当今环境下显得尤为重要.由于深度学习依赖大数据解决过拟合的特性, 针对当前视频行人再识别数据量较小和学习特征单一的问题, 我们提出了一种基于视频的改进行人再识别方法, 该方法通过生成对抗网络去生成视频帧序列来增加样本数量和加入了行人关节点的特征信息去提升模型效率.实验结果表明, 本文提出的改进方法可以有效地提高公开数据集的识别率, 在PRID2011, iLIDS-VID数据集上进行实验, Rank 1分别达到了80.2%和66.3 %.     

基于Siamese网络的行人重识别方法

针对目前行人重识别技术的缺点,提出一种基于Siamese网络的行人重识别方法.首先使用Dropout算法对卷积神经网络进行改良,降低发生过拟合问题的概率;而后构造一个Siamese网络,将CNN (Convolution Neural Network)中特征提取和检验相融合,提高图像识别的效率和准确率;最后利用度量学习算法中的马氏距离作为检索图像匹配相似度的评价指标.实验结果表明:针对Market-1501数据集,该方法可以有效提高采用卷积神经网络的行人重识别方法识别效率和准确率.     

多尺度梯度对抗样本生成网络

传统的行人重识别(Person Re-identification, ReID)对抗攻击方法存在需要依赖注册集(Gallery)以生成对抗样本或样本生成方式过于单一等局限.为了解决此问题,文中提出具有强攻击性的ReID对抗攻击模型,即多尺度梯度对抗样本生成网络(Multi-scale Gradient Adversarial Examples Generation Network, MSG-AEGN).MSG-AEGN采用多尺度的网络结构,获得不同语义级别的原始样本输入和生成器中间特征.利用注意力调制模块将生成器中间特征转换成多尺度权重,从而对原始样本像素进行调制,最终输出高质量的对抗样本以迷惑ReID模型.在此基础上,提出基于图像特征平均距离和三元组损失的改进型对抗损失函数,约束和引导MSG-AEGN的训练.在Market1501、CUHK03、DukeMTMC-reID这3个行人重识别数据集上的实验表明,MSG-AEGN对基于深度卷积神经网络和基于变形器网络(Transformer)的主流Re-ID方法均具有较好的攻击效果.此外,MSG-AEGN具有所需攻击能量较低且对抗样本与原始...     

基于变分对抗与强化学习的行人重识别

行人重识别技术在实际应用中易受行人姿态变化的干扰, 由于行人姿态的变化不仅丢失部分行人信息, 而且还会引起大于身份差异的外观变化, 导致现有工作难以学到鲁棒的行人特征. 为了解决上述问题, 本文提出一种基于变分对抗与强化学习的生成式对抗网络(RL-VGAN)用于多姿态行人重识别任务. 该方法的核心思想是在不受姿态变化干扰的情况下通过外观编码器和姿态编码器将行人属性分解为外观特征和姿态特征, 用以学习鲁棒的身份视觉特征. 首先, 设计的变分生成网络利用Kullback-Leibler散度损失促进外观编码器推断与身份信息相关的连续隐变量. 其次, 为了使生成式对抗网络逐步收敛到稳定状态, 采用强化学习策略平衡变分生成网络和判别网络的性能. 此外, 针对基于姿态引导图像生成任务, 提出一种新的Inception Score损失用于规范变分生成网络生成图像质量的过程. 实验结果证明, 所提出的RL-VGAN方法在多个基准数据集上优于其他方法.     

多姿态图像生成的行人重识别算法研究

不同行人的高度相似性以及相同行人外观姿态的差异性,使得不同摄像头下的行人重识别面临严峻的挑战。生成对抗网络可以合成新的图像,被认为是解决行人姿态变化的主要技术手段。提出一种基于多姿态图像生成的行人重识别算法,利用生成对抗网络生成不同姿态的行人图像,通过归一化消除姿态的影响,从而大幅度提升行人重识别的整体性能。该行人重识别算法包括多姿态行人图像生成、不同姿态的行人特征提取与融合、距离度量和重排序三部分内容。在Market-1501数据集和DukeMTMC-ReID数据集上的实验证实了所提出算法的有效性,通过与state-of-the-art行人重识别方法比较,展示了多姿态图像生成方法在行人重识别任务中的优越性,同时表明生成行人图像的特征与原始图像的特征是相互补充的。     

基于时空正则化的视频序列中行人的再识别

由于现实复杂情况中各种因素的干扰,行人再识别的过程中可能出现识别错误等问题。为了提高行人再识别的准确性,提出了一种基于时空正则化的行人再识别算法。首先,利用ResNet-50网络对输入的视频序列逐帧进行特征提取,将一系列帧级特征输入到时空正则化网络并产生对应的权重分数;然后,对帧级特征使用加权平均得到视频序列级特征,为避免权重分数聚集在一帧,使用帧级正则化来限制帧间差异;最后,通过最小化损失得到最优结果。在DukeMTMC-ReID和MARS数据集中做了大量的测试,实验结果表明,所提方法与Triplet算法相比能够有效提高行人再识别的平均精度（mAP）和准确率,并且对于人体姿势变化、视角变化和相似外观目标的干扰具有出色的性能表现。     

用于白盒目标攻击的GAN对抗样本生成

深度神经网络易受对抗样本攻击的影响并产生错误输出,传统的生成对抗样本的方法都是从优化角度生成对抗样本.文中提出基于生成对抗网络(GAN)的对抗样本生成方法,使用GAN进行白盒目标攻击,训练好的生成器对输入样本产生扰动,生成对抗样本.使用四种损失函数约束生成对抗样本的质量并提高攻击成功率.在MNIST、CIFAR-10、ImageNet数据集上的大量实验验证文中方法的有效性,文中方法的攻击成功率较高.     

基于GAN的图像识别系统蜕变测试方法

图像识别是图像处理的重点研究领域,在测试结果难以判定以及数据集样本类别不平衡的影响下,适用于图像识别系统健壮性以及稳定性的测试技术较为欠缺.为有效测试图像识别系统,本文提出将蜕变测试方法用于图像识别系统的测试过程中,依据生成式对抗网络来生成贴近现实的衍生数据以构建适用于图像识别系统的蜕变关系,引入衍生图像质量验证方法与...     

基于条件Wassertein生成对抗网络的图像生成

生成对抗网络(GAN)能够自动生成目标图像,对相似地块的建筑物排布生成具有重要意义.而目前训练模型的过程中存在生成图像精度不高、模式崩溃、模型训练效率太低的问题.针对这些问题,提出了一种面向图像生成的条件Wassertein生成对抗网络(C-WGAN)模型.首先,该模型需要识别真实样本和目标样本之间特征对应关系,然后,...     

基于深度学习的行人重识别综述

行人重识别(Re-ID)是计算机视觉领域的热点问题,主要研究的是“如何关联位于不同物理位置的不同摄像机捕获到的特定人员的问题”。传统的行人Re-ID方法主要基于底层特征如局部描述符、颜色直方图和人体姿势的提取。近几年,针对行人遮挡和姿势不对齐等传统方法所遗留问题,业内提出了基于区域、注意力机制、姿势和生成对抗性网络(GAN)等深度学习的行人Re-ID方法,实验结果得到较明显的提高。故对深度学习在行人Re-ID中的研究进行了总结和分类,区别于以前的综述,将行人重识别方法分成四大类来讨论。首先,通过区域、注意力、姿势和GAN四类方法来综述基于深度学习的行人Re-ID方法;然后,分析这些方法在主流数据集上的mAP和Rank-1指标性能表现,结果显示基于深度学习的方法可以增强局部特征之间的联系并缩小域间隙,从而减少模型过拟合;最后,展望了行人Re-ID方法研究的发展方向。     

基于灰度域特征增强的行人重识别方法

在显著的类内变化中所学特征是否具有较好的不变性会决定行人重识别（ReID）模型的性能表现的上限,环境光线、图像分辨率变化、运动模糊等因素都会引起行人图像的颜色偏差,这些问题将导致模型对数据的颜色信息过度拟合从而限制模型的性能表现。而模拟数据样本的颜色信息丢失并凸显样本的结构信息可以促进模型学习到更稳健的特征。具体来说,在模型训练时,按照所设定的概率随机选择训练数据批组,然后对所选中批组中的每一个RGB图像样本随机选取图像的一个矩形区域或者直接选取整张图像,并将所选区域的像素替换为相应灰度图像中相同的矩形区域的像素,从而生成包含不同灰度区域的训练图像。实验结果表明,所提方法与基准模型相比在平均精度均值（mAP）评价指标上最高提升了3.3个百分点,并在多个数据集上表现良好。     

基于块稀疏表示的行人重识别方法

针对非重叠视角下的行人重识别和高维特征提取等问题,提出基于块稀疏表示的行人重识别方法。采取典型相关分析（CCA）方法进行特征投影变换,通过提高特征匹配能力来避免高维特征运算引起的维数灾难问题,并在CCA转换后的投影空间使投影后查询集行人特征向量与相应的数据集特征向量近似成线性关系;利用行人数据集的块结构特征构建行人重识别模型,采用交替方向框架求解优化问题;最后对查询集中要识别的行人采用残差项处理,并将最小残差项所对应的指标作为最终识别的行人记号。在公开数据集PRID 2011、iLIDS-VID和VIPeR上进行多次实验,结果显示所提方法的Rank1性能在三个数据集上分别达到40.4%、38.11%和23.68%,明显高于大间隔最近邻分类（LMNN）等算法,其在Rank-1上的匹配率也远大于LMNN算法;其总体性能也优于经典的基于特征表示与度量学习的算法。实验结果验证了所提方法在行人重识别上的有效性。     

基于深度多视图特征距离学习的行人重识别

传统手工特征很大程度上依赖于行人的外观特征，而深度卷积特征作为高维特征，直接用来匹配图像会消耗大量的时间和内存，并且来自较高层的特征很容易受到行人姿势背景杂波影响。针对这些问题，提出一种基于深度多视图特征距离学习的方法。首先，提出一种新的整合和改善深度区域的卷积特征，利用滑框技术对卷积特征进行处理，得到低维的深度区域聚合特征并使其维数等于卷积层通道数；其次，通过交叉视图二次判别分析方法，从深度区域聚合特征和手工特征两个角度出发，提出一种多视图特征距离学习算法；最后，利用加权融合策略来完成传统特征和卷积特征之间的协作。在Market-1501和VIPeR数据集上的实验结果显示，所提融合模型的Rank1值在两个数据集上分别达到80.17%和75.32%；在CUHK03数据集新分类规则下，所提方法的Rank1值达到33.5%。实验结果表明，通过距离加权融合之后的行人重识别的精度明显高于单独的特征距离度量取得的精度，验证了所提的深度区域特征和算法模型的有效性。     

基于全局特征拼接的行人重识别算法研究

针对目前行人重识别出现网络模型复杂化、识别率低的问题,提出一种基于全局特征拼接的行人重识别算法。首先利用卷积神经网络(CNN)提取全局特征;然后把不同卷积层提取的特征进行拼接,使特征信息互补;最后将拼接后的特征再次进行卷积处理,获得高表征能力的特征。网络训练时,采用聚类损失函数和标签平滑损失函数联合训练,同时引入了随机擦除和减小池化步长的训练技巧。在Market1501、DukeMTMC-reID、CUHK03和MSMT17数据集上进行了实验验证,实验表明所提算法具有良好性能,其中在Market1501上,Rank-1、mAP分别达到了95.9%和94.6%。