基于生成对抗网络联合时空模型的行人重识别方法

跨摄像头的行人跟踪是智慧城市和智能安防的技术难题,而行人重识别是跨摄像头行人跟踪中最关键的技术。针对因领域偏差而导致行人重识别算法跨场景应用时准确率大幅下降的问题,提出一种基于生成对抗网络(GAN)联合时空模型的方法(STUGAN)。首先,通过引入GAN生成目标场景的训练样本,以增强识别模型的稳定性;然后,利用时空特征构建目标场景样本的时空模型,以筛选低概率匹配样本;最后,融合识别模型与时空模型来进行行人的重识别。在该领域典型的公开数据集Market-1501和DukeMTMC-reID上与词袋模型(BoW)、先进的无监督学习(PUL)、无监督多任务字典学习(UMDL)等先进无监督算法进行实验对比。实验结果分析表明,所提方法在Market-1501数据集上的rank-1、rank-5及rank-10指标的准确率达到66.4%、78.9%及84.7%,比对比算法最好结果分别高5.7,5.0和4.4个百分点;平均精度均值(mAP)仅低于保持主题一致性的循环生成网络(SPGAN)。     

基于多尺度生成对抗网络的遮挡行人重识别方法

行人重识别是指在多个非重叠摄像头拍摄的场景下,给定一幅查询行人图像,从大规模行人图像库中检索出具有相同身份的行人图像,是一类特殊的图像检索任务.随着深度学习的不断发展,行人重识别方法的性能得到了显著提升.但是行人重识别在实际应用中经常遭遇遮挡问题(例如,背景遮挡、行人互相遮挡等).由于遮挡图像不仅丢失了部分目标信息,而且引入了额外的干扰,使得现有方法往往难以学习到鲁棒的特征表示,从而导致识别性能严重下降.最近,生成对抗网络在各类计算机视觉任务上展现出强大的图像生成能力.受到生成对抗网络的启发,提出了一种基于多尺度生成对抗网络的遮挡行人重识别方法.首先,利用成对的遮挡图像和非遮挡图像训练一个多尺度生成器和一个判别器.多尺度生成器能够对随机遮挡区域进行去遮挡操作,生成高质量的重构图;而判别器能够区分输入图像是真实图像还是生成图像.其次,利用训练好的多尺度生成器,生成去除随机遮挡的训练图像,添加到原始训练图像集,用于增加训练样本的多样性.最后,基于此扩充训练图像集,训练分类识别模型,有效地提高模型在测试图像集上的泛化性.在多个有挑战性的行人重识别数据集上的实验结果,验证了所提出方法的有效性.     

基于生成对抗网络的行人重识别方法研究综述

近年来,随着公共安全需求的不断增长以及智能监控网络的快速发展,行人重识别已成为计算机视觉领域的热门研究课题之一,其目标是在不同摄像头中检索具有相同身份的行人.首先,介绍目前经典的行人重识别数据集;然后,重点梳理了近年来基于生成对抗网络的行人重识别方法,根据生成对抗网络的特点和应用场景将这些方法归纳为风格转换、数据增强和...     

基于多粒度特征生成对抗网络的跨分辨率行人重识别

现有基于生成对抗网络（GAN）的超分辨率（SR）重建方法用于跨分辨率行人重识别（ReID）时,重建图像在纹理结构内容的恢复和特征一致性保持方面均存在不足。针对上述问题,提出基于多粒度信息生成网络的跨分辨率行人ReID方法。首先,在生成器的多层网络上均引入自注意力机制,聚焦多粒度稳定的结构关联区域,重点恢复低分辨率（LR）行人图像的纹理结构信息;同时,在生成器后增加一个识别器,在训练过程中最小化生成图像与真实图像在不同粒度特征上的损失,提升生成图像与真实图像在特征上的一致性。然后,联合自注意力生成器和识别器,与判别器交替优化,在内容和特征上改进生成图像。最后,联合改进的GAN和行人ReID网络交替训练优化网络的模型参数,直至模型收敛。在多个跨分辨率行人数据集上的实验结果表明,所提算法的累计匹配曲线（CMC）在其首选识别率（rank?1）上的准确率较现有同类算法平均提升10个百分点,在提升SR图像内容一致性和特征表达一致性方面均表现更优。     

基于深度卷积生成对抗网络和拓展近邻重排序的行人重识别

行人重识别任务旨在识别不相交摄像头视图下的相同行人.这项任务极具挑战性,尤其是当数据集中每个行人仅仅有几张图片时.针对行人重识别数据集中行人图片数量不足的问题,提出一个从原始数据集中生成额外训练数据的方法.在这项工作之中存在2个挑战：1)如何从原始数据集之中获取更多的训练数据;2)如何处理这些新生成的训练数据.使用深度卷积生成对抗网络来生成额外的无标签行人图片,并采用标签平滑正则化来处理这些新生成的无标签行人图片.为了进一步提升行人重识别准确度,提出了一种新的无监督重排序框架.此框架既不需要为每组图像对重新计算新的排序列表,也不需要任何人工交互或标签信息.在Market-1501,CUHK03和DukeMTMC-reID数据集上的实验验证了所提方法的有效性.     

融合生成对抗网络和姿态估计的视频行人再识别方法

随着国家对社会公共安全的日益重视, 无重叠视域监控系统已大规模的普及.行人再识别任务通过匹配不同视域摄像机下的行人目标, 在当今环境下显得尤为重要.由于深度学习依赖大数据解决过拟合的特性, 针对当前视频行人再识别数据量较小和学习特征单一的问题, 我们提出了一种基于视频的改进行人再识别方法, 该方法通过生成对抗网络去生成视频帧序列来增加样本数量和加入了行人关节点的特征信息去提升模型效率.实验结果表明, 本文提出的改进方法可以有效地提高公开数据集的识别率, 在PRID2011, iLIDS-VID数据集上进行实验, Rank 1分别达到了80.2%和66.3 %.     

基于Siamese网络的行人重识别方法

针对目前行人重识别技术的缺点,提出一种基于Siamese网络的行人重识别方法.首先使用Dropout算法对卷积神经网络进行改良,降低发生过拟合问题的概率;而后构造一个Siamese网络,将CNN (Convolution Neural Network)中特征提取和检验相融合,提高图像识别的效率和准确率;最后利用度量学习算法中的马氏距离作为检索图像匹配相似度的评价指标.实验结果表明:针对Market-1501数据集,该方法可以有效提高采用卷积神经网络的行人重识别方法识别效率和准确率.     

多尺度梯度对抗样本生成网络

传统的行人重识别(Person Re-identification, ReID)对抗攻击方法存在需要依赖注册集(Gallery)以生成对抗样本或样本生成方式过于单一等局限.为了解决此问题,文中提出具有强攻击性的ReID对抗攻击模型,即多尺度梯度对抗样本生成网络(Multi-scale Gradient Adversarial Examples Generation Network, MSG-AEGN).MSG-AEGN采用多尺度的网络结构,获得不同语义级别的原始样本输入和生成器中间特征.利用注意力调制模块将生成器中间特征转换成多尺度权重,从而对原始样本像素进行调制,最终输出高质量的对抗样本以迷惑ReID模型.在此基础上,提出基于图像特征平均距离和三元组损失的改进型对抗损失函数,约束和引导MSG-AEGN的训练.在Market1501、CUHK03、DukeMTMC-reID这3个行人重识别数据集上的实验表明,MSG-AEGN对基于深度卷积神经网络和基于变形器网络(Transformer)的主流Re-ID方法均具有较好的攻击效果.此外,MSG-AEGN具有所需攻击能量较低且对抗样本与原始...     

基于变分对抗与强化学习的行人重识别

行人重识别技术在实际应用中易受行人姿态变化的干扰, 由于行人姿态的变化不仅丢失部分行人信息, 而且还会引起大于身份差异的外观变化, 导致现有工作难以学到鲁棒的行人特征. 为了解决上述问题, 本文提出一种基于变分对抗与强化学习的生成式对抗网络(RL-VGAN)用于多姿态行人重识别任务. 该方法的核心思想是在不受姿态变化干扰的情况下通过外观编码器和姿态编码器将行人属性分解为外观特征和姿态特征, 用以学习鲁棒的身份视觉特征. 首先, 设计的变分生成网络利用Kullback-Leibler散度损失促进外观编码器推断与身份信息相关的连续隐变量. 其次, 为了使生成式对抗网络逐步收敛到稳定状态, 采用强化学习策略平衡变分生成网络和判别网络的性能. 此外, 针对基于姿态引导图像生成任务, 提出一种新的Inception Score损失用于规范变分生成网络生成图像质量的过程. 实验结果证明, 所提出的RL-VGAN方法在多个基准数据集上优于其他方法.     

多姿态图像生成的行人重识别算法研究

不同行人的高度相似性以及相同行人外观姿态的差异性,使得不同摄像头下的行人重识别面临严峻的挑战。生成对抗网络可以合成新的图像,被认为是解决行人姿态变化的主要技术手段。提出一种基于多姿态图像生成的行人重识别算法,利用生成对抗网络生成不同姿态的行人图像,通过归一化消除姿态的影响,从而大幅度提升行人重识别的整体性能。该行人重识别算法包括多姿态行人图像生成、不同姿态的行人特征提取与融合、距离度量和重排序三部分内容。在Market-1501数据集和DukeMTMC-ReID数据集上的实验证实了所提出算法的有效性,通过与state-of-the-art行人重识别方法比较,展示了多姿态图像生成方法在行人重识别任务中的优越性,同时表明生成行人图像的特征与原始图像的特征是相互补充的。     

基于时空正则化的视频序列中行人的再识别

由于现实复杂情况中各种因素的干扰,行人再识别的过程中可能出现识别错误等问题。为了提高行人再识别的准确性,提出了一种基于时空正则化的行人再识别算法。首先,利用ResNet-50网络对输入的视频序列逐帧进行特征提取,将一系列帧级特征输入到时空正则化网络并产生对应的权重分数;然后,对帧级特征使用加权平均得到视频序列级特征,为避免权重分数聚集在一帧,使用帧级正则化来限制帧间差异;最后,通过最小化损失得到最优结果。在DukeMTMC-ReID和MARS数据集中做了大量的测试,实验结果表明,所提方法与Triplet算法相比能够有效提高行人再识别的平均精度（mAP）和准确率,并且对于人体姿势变化、视角变化和相似外观目标的干扰具有出色的性能表现。     

基于灰度域特征增强的行人重识别方法

在显著的类内变化中所学特征是否具有较好的不变性会决定行人重识别（ReID）模型的性能表现的上限,环境光线、图像分辨率变化、运动模糊等因素都会引起行人图像的颜色偏差,这些问题将导致模型对数据的颜色信息过度拟合从而限制模型的性能表现。而模拟数据样本的颜色信息丢失并凸显样本的结构信息可以促进模型学习到更稳健的特征。具体来说,在模型训练时,按照所设定的概率随机选择训练数据批组,然后对所选中批组中的每一个RGB图像样本随机选取图像的一个矩形区域或者直接选取整张图像,并将所选区域的像素替换为相应灰度图像中相同的矩形区域的像素,从而生成包含不同灰度区域的训练图像。实验结果表明,所提方法与基准模型相比在平均精度均值（mAP）评价指标上最高提升了3.3个百分点,并在多个数据集上表现良好。     

基于块稀疏表示的行人重识别方法

针对非重叠视角下的行人重识别和高维特征提取等问题,提出基于块稀疏表示的行人重识别方法。采取典型相关分析（CCA）方法进行特征投影变换,通过提高特征匹配能力来避免高维特征运算引起的维数灾难问题,并在CCA转换后的投影空间使投影后查询集行人特征向量与相应的数据集特征向量近似成线性关系;利用行人数据集的块结构特征构建行人重识别模型,采用交替方向框架求解优化问题;最后对查询集中要识别的行人采用残差项处理,并将最小残差项所对应的指标作为最终识别的行人记号。在公开数据集PRID 2011、iLIDS-VID和VIPeR上进行多次实验,结果显示所提方法的Rank1性能在三个数据集上分别达到40.4%、38.11%和23.68%,明显高于大间隔最近邻分类（LMNN）等算法,其在Rank-1上的匹配率也远大于LMNN算法;其总体性能也优于经典的基于特征表示与度量学习的算法。实验结果验证了所提方法在行人重识别上的有效性。     

多特征融合的人体目标再识别

在非重叠的多摄像机监控系统中,人体目标再识别是需要解决的主要问题之一。针对当前人体目标再识别使用目标的外观统计特征或者通过训练获取目标特征时存在的问题,提出一种无需训练,对视角、光照变化和姿态变化具有较强鲁棒性的基于多特征的人体目标再识别算法。首先根据空间直方图建立目标整体外观表现模型对目标进行粗识别,之后将人体目标分为3部分,忽略头部信息,分别提取躯干和腿部的主色区域的局部颜色和形状特征,并通过EMD(earth movers distance)距离进行目标精识别。实验结果表明,本文算法具有较高的识别率,且不受遮挡和背景粘连的影响。     

Person re-identification based on multi-appearance model

Person re-identification plays important roles in many practical applications. Due to various human poses, complex backgrounds and similarity of person clothes, person re-identification is still a challenging task. In this paper, we mainly focus on the robust and discriminative appearance feature representation and proposed a novel multi-appearance method for person re-identification. First, we proposed a deep feature fusion method and get the multi-appearance feature by combining two Convolutional Neural Networks. Then, in order to further enhance the representation of the appearance feature, the multi-part model was constructed by combining the whole body and the six body parts. Additionally, we optimized the feature extraction process by adding a pooling layer. Comprehensive and comparative experiments with the state-of-the-art methods over publicly available datasets demonstrated that the proposed method can get promising results.

     

基于特征融合的行人重识别方法

针对行人重识别中已有方法难以解决行人图像光照、视角变化大的问题,提出了一种基于特征融合的行人重识别方法。首先利用Retinex变换对图像进行预处理;然后将CN特征与原有的颜色和纹理特征融合,并通过区域和块划分的方式提取直方图获得图像特征;最后采用不同的距离学习方法在4个数据集上进行行人重识别。实验结果表明,融合后的特征对行人图像具有更好的表述能力,实现了重识别精度的较大提升,验证了方法的有效性。     

基于视觉感知模型的行人再识别

行人再识别是多摄像机协同监控系统中需要解决的关键问题之一。针对行人再识别问题的影响因素,根据人类视觉系统对行人进行识别的过程,提出一种基于视觉感知模型的行人再识别方法。该方法根据行人的局部对称性将行人分为头部、躯干和腿部,分别以行人的躯干和腿部的垂直对称轴为中心建立基于感知均匀颜色空间CIELAB的局部加权空间直方图,结合贝叶斯框架下基于局部统计特征的显著区域检测方法描述行人外观特征。两种特征分别采用不同的距离测度计算相似度,并通过自适应选取权值的方法进行线性融合。基于VIPeR数据库的实验比较和分析验证了该方法的行人再识别性能。     

基于多支路特征融合的行人重识别研究

针对目前行人重识别不能充分利用有效特征信息进行识别的问题,提出了一种基于多支路特征融合的行人重识别模型.首先将3个不同的卷积块分别接出1条支路;然后对每条支路上的特征采用注意力机制、批特征擦除等方法处理;最后将各支路特征进行融合,获得了高细粒度表征能力的特征.训练时,各支路相互监督.在Market1501、DukeMT...     

基于相关性得分的伪标签优化行人重识别

无监督域自适应行人重识别旨在将源域训练的识别能力泛化到目标域上,以减少对标签的依赖.目前基于聚类方法的网络,聚类过程中不可避免地会受到环境噪声的影响,降低网络原有识别性能.为了解决这一问题,提出一种基于相关性得分的伪标签优化行人重识别网络.首先,通过计算全局与局部特征间前k个相似样本集合的相关性得分,找到两类特征直接可靠的关联性,从而提取已有伪标签优化方法所忽略的局部细粒度特征;然后,利用得分对局部伪标签进行优化处理,降低网络对与行人无关局部特征的关注;最后,依赖于相关性得分,利用优化后局部伪标签的预测结果对全局伪标签进行细化,缓解聚类过程中噪声的同时也细化了行人的特征完整表示.与近年无监督域自适应行人重识别方法相比,所提出网络在DukeMTMC-ReID、Market1501和MSMT17三个公开数据集上的实验结果表现优异,验证了所提出网络的有效性.