跨模态异构行人再识别的研究进展

同构行人再识别技术研究基于可见光图像的行人检索问题,但无法完全应对复杂多变真实场景,大量研究工作开始探索基于可见光图像与其它异构数据之间的行人检索问题,即跨模态异构行人再识别.该研究相比同构行人再识别,更具挑战性.文中首先简述跨模态异构行人再识别的概念及与一般行人再识别的区别,再针对文本与图像、图像与视频、跨分辨率图像、红外图像与可见光图像、深度图与可见光图像、素描与可见光图像这6类场景,归纳整理和分析跨模态异构行人再识别的代表性工作、常用数据集及一些算法的性能表现.最后,总结目前整体研究进展,展望未来发展趋势.     

跨模态行人重识别研究与展望

行人重识别是计算机视觉的热门研究方向,其对智能安防、视频监控的发展有着重大意义.目前大部分工作主要集中在研究基于可见光的行人重识别,然而可见光摄像头无法在光线不足的黑夜中正常使用,而新型摄像头能够随机切换红外模式进行24小时视频监控,因此最近有一些工作对RGB-IR跨模态行人重识别问题进行了研究.本文分别从定义、研究难点和发展现状介绍了跨模态行人重识别问题,并根据不同的技术类型将目前存在的方法分为三类,即基于统一特征模型的方法;基于度量学习的方法;基于模态转换的方法.本文也详细介绍了该任务的数据集和评价准则,并对现有算法的性能进行分析与归纳.最后,总结了跨模态行人重识别的未来发展方向.     

基于自注意力模态融合网络的跨模态行人再识别方法研究

行人再识别是实现多目标跨摄像头跟踪的核心技术, 该技术能够广泛应用于安防、智能视频监控、刑事侦查等领域. 一般的行人再识别问题面临的挑战包括摄像机的低分辨率、行人姿态变化、光照变化、行人检测误差、遮挡等. 跨模态行人再识别相比于一般的行人再识别问题增加了相同行人不同模态的变化. 针对跨模态行人再识别中存在的模态变化问题, 本文提出了一种自注意力模态融合网络. 首先是利用CycleGAN生成跨模态图像. 在得到了跨模态图像后利用跨模态学习网络同时学习两种模态图像特征, 对于原始数据集中的图像利用SoftMax 损失进行有监督的训练, 对生成的跨模态图像利用LSR (Label smooth regularization) 损失进行有监督的训练. 之后, 使用自注意力模块将原始图像和CycleGAN生成的图像进行区分, 自动地对跨模态学习网络的特征在通道层面进行筛选. 最后利用模态融合模块将两种筛选后的特征进行融合. 通过在跨模态数据集SYSU-MM01上的实验证明了本文提出的方法和跨模态行人再识别其他方法相比有一定程度的性能提升.     

面向跨模态行人重识别的单模态自监督信息挖掘

目的 在智能监控视频分析领域中,行人重识别是跨无交叠视域的摄像头匹配行人的基础问题。在可见光图像的单模态匹配问题上,现有方法在公开标准数据集上已取得优良的性能。然而,在跨正常光照与低照度场景进行行人重识别的时候,使用可见光图像和红外图像进行跨模态匹配的效果仍不理想。研究的难点主要有两方面:1)在不同光谱范围成像的可见光图像与红外图像之间显著的视觉差异导致模态鸿沟难以消除;2)人工难以分辨跨模态图像的行人身份导致标注数据缺乏。针对以上两个问题,本文研究如何利用易于获得的有标注可见光图像辅助数据进行单模态自监督信息的挖掘,从而提供先验知识引导跨模态匹配模型的学习。方法 提出一种随机单通道掩膜的数据增强方法,对输入可见光图像的3个通道使用掩膜随机保留单通道的信息,使模型关注提取对光谱范围不敏感的特征。提出一种基于三通道与单通道双模型互学习的预训练与微调方法,利用三通道数据与单通道数据之间的关系挖掘与迁移鲁棒的跨光谱自监督信息,提高跨模态匹配模型的匹配能力。结果 跨模态行人重识别的实验在“可见光—红外”多模态行人数据集SYSU-MM01(Sun Yat-Sen University Multi...     

跨模态行人再识别的协同学习方法

跨模态行人再识别是实现全天候智能视频监控系统的一项关键技术。该技术旨在匹配某一特定身份行人在不重叠摄像头场景下的可见光图像和红外图像,因而面临着巨大的类内变化和模态差异。现有方法难以较好地解决这两大困难,很大程度上是由于欠缺了对特征判别能力的有效挖掘和对多源异质信息的充分利用。鉴于以上不足,使用协同学习方法设计了一个精细化多源特征协同网络,提取多种互补性特征进行信息融合,以提升网络的学习能力。从骨干卷积网络中提取多尺度和多层次特征,实现精细化特征协同学习,以增强特征的判别能力来应对类内变化。设计了模态共有与特有特征协同模块和跨模态人体语义自监督模块,达到多源特征协同学习的目的,以提高多源异质图像信息的利用率,进而解决模态差异。在SYSU-MM01和RegDB数据集上验证了该方法的有效性和先进性。     

低分辨率行人重识别数据集及其基准方法

目的 行人重识别旨在解决多个非重叠摄像头下行人的查询和识别问题。在很多实际的应用场景中,监控摄像头获取的是低分辨率行人图像,而现有的许多行人重识别方法很少关注真实场景中低分辨率行人相互匹配的问题。为研究该问题,本文收集并标注了一个新的基于枪球摄像头的行人重识别数据集,并基于此设计了一种低分辨率行人重识别模型来提升低分辨率行人匹配性能。方法 该数据集由部署在3个不同位置的枪机摄像头和球机摄像头收集裁剪得到,最终形成包含200个有身份标签的行人和320个无身份标签的行人重识别数据集。与同类其他数据集不同,该数据集为每个行人同时提供高分辨率和低分辨率图像。针对低分辨率下的行人匹配难题,本文提出的基准模型考虑了图像超分、行人特征学习以及判别3个方面因素,并设计了相应的超分模块、特征学习模块和特征判别器模块,分别完成低分辨率图像超分、行人特征学习以及行人特征判断。结果 提出的基准模型在枪球行人重识别数据集上的实验表明,对比于经典的行人重识别模型,新基准模型在平均精度均值（mean average precision,mAP）和Rank-1指标上分别提高了3.1%和6.1%。结论 本文构建了典型的...     

基于图像和特征联合约束的跨模态行人重识别

近年来, 基于可见光与近红外的行人重识别研究受到业界人士的广泛关注. 现有方法主要是利用二者之间的相互转换以减小模态间的差异. 但由于可见光图像和近红外图像之间的数据具有独立且分布不同的特点, 导致其相互转换的图像与真实图像之间存在数据差异. 因此, 本文提出了一个基于图像层和特征层联合约束的可见光与近红外相互转换的中间模态, 不仅实现了行人身份的一致性, 而且减少了模态间转换的差异性. 此外, 考虑到跨模态行人重识别数据集的稀缺性, 本文还构建了一个跨模态的行人重识别数据集, 并通过大量的实验证明了文章所提方法的有效性, 本文所提出的方法在经典公共数据集SYSU-MM01上比D2RL算法在 Rank-1和mAP上分别高出4.2 %和3.7 %, 该方法在本文构建的Parking-01数据集的近红外检索可见光模式下比ResNet-50算法在Rank-1和mAP上分别高出10.4 %和10.4 %.     

多姿态图像生成的行人重识别算法研究

不同行人的高度相似性以及相同行人外观姿态的差异性,使得不同摄像头下的行人重识别面临严峻的挑战。生成对抗网络可以合成新的图像,被认为是解决行人姿态变化的主要技术手段。提出一种基于多姿态图像生成的行人重识别算法,利用生成对抗网络生成不同姿态的行人图像,通过归一化消除姿态的影响,从而大幅度提升行人重识别的整体性能。该行人重识别算法包括多姿态行人图像生成、不同姿态的行人特征提取与融合、距离度量和重排序三部分内容。在Market-1501数据集和DukeMTMC-ReID数据集上的实验证实了所提出算法的有效性,通过与state-of-the-art行人重识别方法比较,展示了多姿态图像生成方法在行人重识别任务中的优越性,同时表明生成行人图像的特征与原始图像的特征是相互补充的。     

弱监督场景下的行人重识别研究综述

近年来随着智能监控领域的不断发展,行人重识别问题逐渐受到学术界和工业界的广泛关注,其主要研究将不同摄像头下相同身份的行人图像进行关联.当前大部分研究工作关注在有监督场景下,即给定的训练数据都存在标记信息,然而考虑到数据标注工作的高成本,这在现实应用中往往是难以拓展的.本文关注于弱监督场景下的行人重识别算法,包括无监督场景和半监督场景,并且对当前先进的方法进行了分类和描述.对于无监督场景的行人重识别算法,本文根据其技术类型划分为五类,分别为基于伪标记的方法、基于图像生成的方法、基于实例分类的方法、基于领域自适应的方法和其他方法;对于半监督场景的行人重识别方法,本文根据其场景类型划分为四类,分别为少量的人有标记的场景、每一个人有少量标记的场景、基于tracklet的学习的场景和摄像头內有标记但摄像头间无标记的场景.最后,本文对当前行人重识别的相关数据集进行了整理,并对现有的弱监督方法的实验结果进行分析与总结.     

Cross-domain person re-identification by hybrid supervised and unsupervised learning

Although the single-domain person re-identification (Re-ID) method has achieved great accuracy, the dependence on the label in the same image domain severely limits the scalability of this method. Therefore, cross-domain Re-ID has received more and more attention. In this paper, a novel cross-domain Re-ID method combining supervised and unsupervised learning is proposed, which includes two models: a triple-condition generative adversarial network (TC-GAN) and a dual-task feature extraction network (DFE-Net). We first use TC-GAN to generate labeled images with the target style, and then we combine supervised and unsupervised learning to optimize DFE-Net. Specifically, we use labeled generated data for supervised learning. In addition, we mine effective information in the target data from two perspectives for unsupervised learning. To effectively combine the two types of learning, we design a dynamic weighting function to dynamically adjust the weights of these two approaches. To verify the validity of TC-GAN, DFE-Net, and the dynamic weight function, we conduct multiple experiments on Market-1501 and DukeMTMC-reID. The experimental results show that the dynamic weight function can improve the performance of the models, and our method is better than many state-of-the-art methods.

     

时域模型对视频行人重识别性能影响的研究

行人重识别是计算机视觉领域一个重要的研究方向。近年来,随着视频监控需求的日益增长,基于视频序列的行人重识别研究受到了广泛的关注。典型的视频序列行人重识别系统由三部分构成：图片特征提取器（例如卷积神经网络）、提取时域信息的时域模型、损失函数。在固定特征提取器和损失函数的前提下,研究不同时域模型对视频行人重识别算法性能的影响,包括时域池化、时域注意力、循环神经网络。在Mars数据集上的实验结果表明：与基于图像的行人重识别基准算法相比,采用时域池化模型、时间注意力模型可以有效改善识别精度,但采用循环神经网络后识别效果比基准算法有所下降。     

基于联合损失胶囊网络的换衣行人重识别

目前的行人重识别（Re-ID）研究主要集中在短时间情形,即一个人的衣着不太可能发生改变的情况。然而现实中更常见的是长时间的情况,这时一个人有很大的机会更换衣服,Re-ID模型应该考虑这种情况。为此,研究了一种基于联合损失胶囊网络的换衣行人重识别方法。所提方法基于换衣行人重识别胶囊网络ReIDCaps,使用与传统的标量神经元相比包含更多信息的矢量胶囊,用其长度表示行人身份信息,用其方向表示行人衣着信息;采用软嵌入注意力（SEA）防止模型过拟合;使用特征稀疏表示（FSR）机制提取具有判别性的特征;增加标签平滑正则化交叉熵损失与Circle Loss的联合损失以提高模型的泛化能力和鲁棒性。在三个换衣行人重识别数据集Celeb-reID、Celeb-reID-light和NKUP上进行实验,实验结果表明所提方法与目前已有的Re-ID方法相比具有一定优势。     

基于迁移学习的行人再识别

行人再识别指的是在无重叠的多摄像机监控视频中,匹配不同摄像机中的行人目 标。提出了一种基于迁移学习的行人再识别方法。在训练阶段,针对现有的基于深度卷积神经 网络的图像识别模型进行参数微调,将网络模型迁移学习至行人再识别模型。测试阶段,利用 学习好的网络模型提取行人图像的特征,再采用余弦距离来描述行人对之间的相似度。在 CUHK03、Market-1501 和 DukeMTMC-reID 3 个数据集上进行了深入的实验分析,实验结果表 明该方法取得了较高的累积匹配得分,特别是第 1 匹配率远远超过了非深度学习的方法,与其 他基于深度学习的行人再识别方法相比,准确率也有所提升。     

基于增强特征融合网络的行人再识别

针对行人再识别问题,目前多数方法将行人的局部或全局特征分开考虑,从而忽略了行人整体之间的关系,即行人全局特征和局部特征之间的联系。本文提出一种增强特征融合网络(enhanced feature convergent network,EFCN)。在全局分支中,提出适用于获取全局特征的注意力网络作为嵌入特征,嵌入在基础网络模型中以提取行人的全局特征;在局部分支中,提出循环门单元变换网络(gated recurrent unit change network,GRU-CN)得到代表性的局部特征;再使用特征融合方法将全局特征和局部特征融合成最终的行人特征;最后借助损失函数训练网络。通过大量的对比实验表明,该算法网络模型在标准的Re-ID数据集上可以获得较好的实验结果。提出的增强特征融合网络能提取辨别性较强的行人特征,该模型能够应用于大场景非重叠多摄像机下的行人再识别问题,具有较高的识别能力和识别精度,且对背景变化的行人图像能提取具有较强的鲁棒性特征。     

基于局部异质协同双路网络的跨模态行人重识别

针对现有跨模态行人重识别方法忽略行人的局部特征及模态间的相互协同的问题,文中提出基于局部异质协同双路网络的跨模态行人重识别方法.首先,通过双路网络提取不同模态的全局特征进行局部精细化,挖掘行人的结构化局部信息.然后,通过标签和预测信息建立跨模态局部信息之间的关联,进行协同自适应的跨模态融合,使不同模态的特征之间相互补充,获得富有判别力的特征.在RegDB、SYSU-MM01跨模态行人重识别数据集上的实验验证文中方法的有效性.     

Learning Deep RGBT Representations for Robust Person Re-identification

Machine Intelligence Research - Person re-identification (Re-ID) is the scientific task of finding specific person images of a person in a non-overlapping camera networks, and has achieved many...