跨模态异构行人再识别的研究进展

同构行人再识别技术研究基于可见光图像的行人检索问题,但无法完全应对复杂多变真实场景,大量研究工作开始探索基于可见光图像与其它异构数据之间的行人检索问题,即跨模态异构行人再识别.该研究相比同构行人再识别,更具挑战性.文中首先简述跨模态异构行人再识别的概念及与一般行人再识别的区别,再针对文本与图像、图像与视频、跨分辨率图像、红外图像与可见光图像、深度图与可见光图像、素描与可见光图像这6类场景,归纳整理和分析跨模态异构行人再识别的代表性工作、常用数据集及一些算法的性能表现.最后,总结目前整体研究进展,展望未来发展趋势.     

基于多源信息的行人再识别研究综述

随着计算机视觉技术的不断发展,行人再识别技术在安防、侦查和智能监控等领域发挥了巨大的作用,成为了当下的研究热点。传统的行人再识别技术聚焦于摄像机采集到的可见光图像这一视觉信息的研究,并且在实验室条件下已经达到了较好的效果,但在光照情况差、目标遮挡、画质模糊等不利条件下,算法的识别率出现了断崖式的下降。如今视觉信息不单单再聚焦于可见光图像,而是引入了红外图像、深度图像、素描人像等信息用以提高算法的识别率。与此同时,文本信息和时空信息的应用同样也提升了行人再识别算法的性能。但由于各个模态间存在天然差异,如何连接多种信息成了多源信息行人再识别研究的主要问题。对近年公开发表的多源信息行人再识别研究论文的梳理,阐述了行人再识别的研究现状、技术困难以及未来的发展趋势。     

行人再识别技术综述

行人再识别指的是判断不同摄像头下出现的行人是否属于同一行人, 可以看作是图像检索的子问题, 可以广泛应用于智能视频监控、安保、刑侦等领域.由于行人图像的分辨率变化大、拍摄角度不统一、光照条件差、环境变化大、行人姿态不断变化等原因, 使得行人再识别成为目前计算机视觉领域一个既具有研究价值又极具挑战性的研究热点和难点问题.早期的行人再识别方法大多基于人工设计特征, 在小规模数据集上开展研究.近年来, 大规模行人再识别数据集不断推出, 以及深度学习技术的迅猛发展, 为行人再识别技术的发展带来了新的契机.本文对行人再识别的发展历史、研究现状以及典型方法进行梳理和总结.首先阐述了行人再识别的基本研究框架, 然后分别针对行人再识别的两个关键技术(特征表达和相似性度量), 进行了归纳总结, 重点介绍了目前发展迅猛的深度学习技术在行人再识别中的应用.另外, 本文对行人再识别中代表性的数据集以及在各个数据集上可以取得优异性能的方法进行了分析和比较.最后对行人再识别技术的未来发展趋势进行了展望.     

开放式行人再识别研究进展综述

开放式行人再识别是在一个未知的空间环境中,候选行人库中并不一定包含有待检索的行人,被视为图像检索的子问题,是比封闭式行人再识别更具挑战和更为实用的应用研究.本文首先总结了开放式行人再识别的发展历程,与封闭式行人再识别的异同,开放式行人再识别建模过程和数据集的比较分析;然后重点总结了开放式行人再识别技术的研究方法,它们分...     

基于自注意力模态融合网络的跨模态行人再识别方法研究

行人再识别是实现多目标跨摄像头跟踪的核心技术, 该技术能够广泛应用于安防、智能视频监控、刑事侦查等领域. 一般的行人再识别问题面临的挑战包括摄像机的低分辨率、行人姿态变化、光照变化、行人检测误差、遮挡等. 跨模态行人再识别相比于一般的行人再识别问题增加了相同行人不同模态的变化. 针对跨模态行人再识别中存在的模态变化问题, 本文提出了一种自注意力模态融合网络. 首先是利用CycleGAN生成跨模态图像. 在得到了跨模态图像后利用跨模态学习网络同时学习两种模态图像特征, 对于原始数据集中的图像利用SoftMax 损失进行有监督的训练, 对生成的跨模态图像利用LSR (Label smooth regularization) 损失进行有监督的训练. 之后, 使用自注意力模块将原始图像和CycleGAN生成的图像进行区分, 自动地对跨模态学习网络的特征在通道层面进行筛选. 最后利用模态融合模块将两种筛选后的特征进行融合. 通过在跨模态数据集SYSU-MM01上的实验证明了本文提出的方法和跨模态行人再识别其他方法相比有一定程度的性能提升.     

基于深度学习的行人再识别技术研究综述

行人再识别（Re-id）作为智能视频监控技术之一,其目的是在不同的摄像机视图中检索出指定身份的行人,因此该项技术对维护社会治安稳定具有重大研究意义。针对传统的手工特征方法难以应对行人Re-id任务中复杂的摄像机环境的问题,大量基于深度学习的行人Re-id方法被提出,极大地推动了行人Re-id技术的发展。为了深入了解基于深度学习的行人Re-id技术,整理和分析了大量相关文献,首先从图像、视频、跨模态这3个方面展开综述性介绍,将图像行人Re-id技术分为有监督和无监督两大类并分别进行概括;然后列举了部分相关数据集,并对近年来在图像和视频数据集上的一些算法进行性能的比较与分析;最后总结了行人Re-id技术的发展难点,并深入讨论了该技术未来可能的研究方向。     

基于深度学习的行人再识别技术研究综述

行人再识别（Re-id）作为智能视频监控技术之一，其目的是在不同的摄像机视图中检索出指定身份的行人，因此该项技术对维护社会治安稳定具有重大研究意义。针对传统的手工特征方法难以应对行人Re-id任务中复杂的摄像机环境的问题，大量基于深度学习的行人Re-id方法被提出，极大地推动了行人Re-id技术的发展。为了深入了解基于深度学习的行人Re-id技术，整理和分析了大量相关文献，首先从图像、视频、跨模态这3个方面展开综述性介绍，将图像行人Re-id技术分为有监督和无监督两大类并分别进行概括；然后列举了部分相关数据集，并对近年来在图像和视频数据集上的一些算法进行性能的比较与分析；最后总结了行人Re-id技术的发展难点，并深入讨论了该技术未来可能的研究方向。     

基于时空模型视频监控的行人活动预测算法

在现代监控和视频检索系统中,跨摄像头行人跟踪问题仍然是个挑战,其原因是行人再识别时庞大的搜索空间,特别是当有大量的摄像头和行人的时候。针对跨摄像头行人再匹配计算量大,耗时久等问题,提出一种融合样本数理统计和混合高斯分布的时空关系模型。该模型可以有效地预测行人活动,即当一个行人从一个摄像头可视区域离开时,我们能够预测该行人下一次直接进入摄像头可视区域的时间和所在的出入点位置。根据预测的结果,极大地减少了行人再识别的匹配范围,从而提高匹配识别的准确率,再依赖行人的表现模型和轨迹进行行人再识别,最终实现跨摄像头行人持续跟踪的目的。实验结果表明了模型的表现与实际情况比较接近。     

基于胶囊网络的跨域行人再识别

行人再识别是在不同环境下再次对特定行人进行检索,近几年来受到国内外学者的广泛关注。目前行人再识别算法多采用局部特征与全局特征相结合的方法,在单一数据集上的训练和测试取得了非常好的成绩,但是在跨域测试中成绩并不理想,泛化能力较低。提出一种基于深度胶囊网络的跨域行人再识别方法,通过视角分类训练任务,模型可以学习图像中行人的有效特征,这些特征可以直接迁移到行人再识别任务中,缓解了行人再识别泛化能力不足的问题。实验结果表明,本文模型优于目前所有无监督学习行人再识别方法,具有良好泛化能力。     

基于辨识特征后融合的行人再识别

跨摄像机行人因光照、视角、姿态的差异,会使其外观变化显著,给行人再识别的研究带来严峻挑战。基于多特征融合和距离度量学习技术,提出辨识特征后融合的算法,并将其应用于行人再识别中。首先,对跨摄像机行人样本图像分别提取局部最大出现频次(LOMO)特征和基于显著颜色名称的颜色描述子(SCNCD)特征,表示跨摄像机行人的外观;然后,基于所提取的LOMO和SCNCD特征,分别去训练跨视图二次判别分析(XQDA)距离度量学习模型,分别获取跨摄像机每对行人每个特征优化的距离。最后,应用最小最大标准化距离融合的算法,获取跨摄像机行人最终的距离,用于跨摄像机行人的匹配。在具有挑战的VIPeR和PRID450S两个公开数据集上进行实验,实验结果表明所提出的行人再识别算法有效地提高了行人再识别的准确率。     

针对形变与遮挡问题的行人再识别

目的 姿态变化和遮挡导致行人表现出明显差异,给行人再识别带来了巨大挑战。针对以上问题,本文提出一种融合形变与遮挡机制的行人再识别算法。方法 为了模拟行人姿态的变化,在基础网络输出的特征图上采用卷积的形式为特征图的每个位置学习两个偏移量,偏移量包括水平和垂直两个方向,后续的卷积操作通过考虑每个位置的偏移量提取形变的特征,从而提高网络应对行人姿态改变时的能力;为了解决遮挡问题,本文通过擦除空间注意力高响应对应的特征区域而仅保留低响应特征区域,模拟行人遮挡样本,进一步改善网络应对遮挡样本的能力。在测试阶段,将两种方法提取的特征与基础网络特征级联,保证特征描述子的鲁棒性。结果 本文方法在行人再识别领域3个公开大尺度数据集Market-1501、DukeMTMC-reID和CUHK03（包括detected和labeled）上进行评估,首位命中率Rank-1分别达到89.52%、81.96%、48.79%和50.29%,平均精度均值（mean average precision,mAP）分别达到73.98%、64.45%、43.77%和45.58%。结论 本文提出的融合形变与遮挡机制的行人再识别算法可以学习到鉴别能力更强的行人再识别模型,从而提取更加具有区分性的行人特征,尤其是针对复杂场景,在发生行人姿态改变及遮挡时仍能保持较高的识别准确率。     

Random linear interpolation data augmentation for person re-identification

Person Re-Identification (person re-ID) is an image retrieval task which identifies the same person in different camera views. Generally, a good person re-ID model requires a large dataset containing over 100000 images to reduce the risk of over-fitting. Most current handcrafted person re-ID datasets, however, are insufficient for training a learning model with high generalization ability. In addition, the lacking of images with various levels of occlusion is still remaining in most existing datasets. Motivated by these two problems, this paper proposes a new data augmentation method called Random Linear Interpolation that can enlarge the sizes of person re-ID datasets and improve the generalization ability of the learning model. The key enabler of our approach is generating fused images by interpolating pairs of original images. In other words, the innovation of the proposed approach is considering data augmentation between two random samples. Plenty of experimental results demonstrates that the proposed method is effective to improve baseline models. On Market1501 and DukeMTMC-reID datasets, our approach can achieve 92.71% and 82.19% rank-1 accuracy, respectively.

     

基于虚拟属性学习的文本-图像行人检索方法

文本-图像行人检索旨在从行人数据库中查找符合特定文本描述的行人图像.近年来受到学术界和工业界的广泛关注.该任务同时面临两个挑战:细粒度检索以及图像与文本之间的异构鸿沟.部分方法提出使用有监督属性学习提取属性相关特征,在细粒度上关联图像和文本.然而属性标签难以获取,导致这类方法在实践中表现不佳.如何在没有属性标注的情况下提取属性相关特征,建立细粒度的跨模态语义关联成为亟待解决的关键问题.为解决这个问题,融合预训练技术提出基于虚拟属性学习的文本-图像行人检索方法,通过无监督属性学习建立细粒度的跨模态语义关联.第一,基于行人属性的不变性和跨模态语义一致性提出语义引导的属性解耦方法,所提方法利用行人的身份标签作为监督信号引导模型解耦属性相关特征.第二,基于属性之间的关联构建语义图提出基于语义推理的特征学习模块,所提模块通过图模型在属性之间交换信息增强特征的跨模态识别能力.在公开的文本-图像行人检索数据集CUHK-PEDES和跨模态检索数据集Flickr30k上与现有方法进行实验对比,实验结果表明了所提方法的有效性.     

基于多尺度生成对抗网络的遮挡行人重识别方法

行人重识别是指在多个非重叠摄像头拍摄的场景下,给定一幅查询行人图像,从大规模行人图像库中检索出具有相同身份的行人图像,是一类特殊的图像检索任务.随着深度学习的不断发展,行人重识别方法的性能得到了显著提升.但是行人重识别在实际应用中经常遭遇遮挡问题（例如背景遮挡、行人互相遮挡等）.由于遮挡图像不仅丢失了部分目标信息,而且引入了额外的干扰,使得现有方法往往难以学习到鲁棒的特征表示,从而导致识别性能严重下降.最近,生成对抗网络在各类计算机视觉任务上展现出强大的图像生成能力.受到生成对抗网络的启发,提出了一种基于多尺度生成对抗网络的遮挡行人重识别方法.首先,利用成对的遮挡图像和非遮挡图像训练一个多尺度生成器和一个判别器.多尺度生成器能够对随机遮挡区域进行去遮挡操作,生成高质量的重构图;而判别器能够区分输入图像是真实图像还是生成图像.其次,利用训练好的多尺度生成器,生成去除随机遮挡的训练图像,添加到原始训练图像集,用于增加训练样本的多样性.最后,基于此扩充训练图像集,训练分类识别模型,有效地提高模型在测试图像集上的泛化性.在多个有挑战性的行人重识别数据集上的实验结果,验证了所提出方法的有效性.     

基于多粒度匹配的行人搜索算法

行人搜索旨在从一系列未经裁剪的图像中对行人进行定位与识别,融合了行人检测和行人重识别两个子任务。现有的方法设计了基于Faster R-CNN的端到端框架来解决此任务,但是行人检测和重识别两个子任务之间存在特征优化目标粒度不一致问题。为了解决这一问题,提出一种双全局池化结构,使用全局平均池化提取检测分支的共性特征,使用基于注意力机制的全局K最大池化提取re-ID分支的特性特征,为两个子任务提取符合各自粒度特性的特征。同时由于re-ID子任务的细粒度特性,还提出一种改善粒度匹配的画廊边界框加权算法,把查询人和画廊边界框的分辨率差异纳入相似度计算。实验证明融入多粒度的方法有效地提高了单阶段算法在CHUK-SYSU和PRW数据集上的性能。     

多属性融合网络的行人重识别方法

针对基于视频的行人重识别中由于光照与视角变化带来的问题,提出了一种结合局域质量评估网络与行人属性特征的网络。对部分行人图像进行预处理,裁掉部分行人图像的底部;将行人分割成三段通过卷积神经网络对其进行质量评估;结合事先人工标注的行人属性标签,进行训练从而完成重识别的过程。通过学习行人的全局特征和局部特征,能够有效解决行人图像中出现的遮挡和不对齐问题,通过在三个数据集上的结果对比表明方法实现了准确率上的提升。     

A benchmark for clothes variation in person re-identification

Person re-identification (re-ID) has drawn attention significantly in the computer vision society due to its application and research significance. It aims to retrieve a person of interest across different camera views. However, there are still several factors that hinder the applications of person re-ID. In fact, most common data sets either assume that pedestrians do not change their clothing across different camera views or are taken under constrained environments. Those constraints simplify the person re-ID task and contribute to early development of person re-ID, yet a person has a great possibility to change clothes in real life. To facilitate the research toward conquering those issues, this paper mainly introduces a new benchmark data set for person re-identification. To the best of our knowledge, this data set is currently the most diverse for person re-identification. It contains 107 persons with 9,738 images, captured in 15 indoor/outdoor scenes from September 2019 to December 2019, varying according to viewpoints, lighting, resolutions, human pose, seasons, backgrounds, and clothes especially. We hope that this benchmark data set will encourage further research on person re-identification with clothes variation. Moreover, we also perform extensive analyses on this data set using several state-of-the-art methods. Our dataset is available at https://github.com/nkicsl/NKUP-dataset .     

融合注意力机制与权重聚类学习的行人再识别

行人图像在行人再识别中常通过行人检测器自动检测获得,不仅包含行人主体,还包含一些干扰信息（比如,背景、遮挡等）。在基于注意力机制的行人再识别中,增强了对具有显著性特征行人部件的关注,削弱了对带有干扰信息部件的关注,有利于提取更具辨别力的行人特征表示。在深度学习中,卷积神经网络通过对特征映射重新赋权值,得到注意力特征,提出了一种新颖的基于聚类的全局注意力模块（cluster-based global attention module,CGAM）。在CGAM中,将注意力权重学习过程重新考虑为聚类中心学习过程,将特征映射中的空间位置点视为特征节点,通过聚类算法得到每个特征节点的重要分数并进行归一化后作为注意力权重。利用改进的Resnet50作为基本框架,嵌入注意力模块,得到注意力网络,仅使用了全局分支,具有简单高效特点。综上,基于聚类的注意力设计不仅充分利用了特征节点之间的成对相关性,而且挖掘了丰富的全局结构信息,得到一组更可信的注意力权重。实验结果表明,提出的行人再识别算法在Market-1501和DukeMTMC-reID两个流行数据集上均有显著的效果。     

基于非对称跨模态融合的RGB-D显著目标检测

目前大多数RGB-D显著目标检测方法在RGB特征和Depth特征的融合过程中采用对称结构,对两种特征进行相同的操作,忽视了RGB图像和Depth图像的差异性,易造成错误的检测结果.针对该问题,提出一种基于非对称结构的跨模态融合RGB-D显著目标检测方法,利用全局感知模块提取RGB图像的全局特征,并设计了深度去噪模块滤除低质量Depth图像中的大量噪声;再通过所提出的非对称融合模块,充分利用两种特征间的差异性,使用Depth特征定位显著目标,用于指导RGB特征融合,补足显著目标的细节信息,利用两种特征各自的优势形成互补.通过在4个公开的RGB-D显著目标检测数据集上进行大量实验,验证所提出的方法优于当前的主流方法.