利用局部监督的跨模态行人重识别研究

跨模态行人重识别技术旨在从非重叠视域不同模态的摄像头捕获的行人图像中,识别出特定行人,行人图像间存在巨大的跨模态差异以及模态内部差异,导致识别率不高。为此,提出了一种利用局部监督的跨模态行人重识别方法(LSN)。首先将可见光图像转换成与红外图像更为接近的灰度图像,在图像层面缓解跨模态的差异,并使用共享参数的双流网络,提取具有判别性的共享特征,在特征层面缓解跨模态差异;其次,设计了局部监督网络,增强了对背景、遮挡等噪声的鲁棒性,缓解了模态内部差异;最后,设计了跨模态分组损失、联合身份损失对网络进行约束。实验结果显示,在SYSU-MM01数据集上,评价指标rank-1和mAP分别达到了53.31%、50.88%;在RegDB数据集上,达到了73.51%、68.55%,实验结果优于同类方法,验证了该方法的有效性和先进性。     

结合注意力机制和多属性分类的行人再识别

目的 在行人再识别中,经常出现由于行人身体部位被遮挡和行人图像对之间不对齐而导致误判的情况。利用人体固有结构的特性,关注具有显著性特征的行人部件,忽略带有干扰信息的其他部件,有利于判断不同摄像头拍摄的行人对是否为同一人。因此,提出了基于注意力机制和多属性分类的行人再识别方法。方法 在训练阶段,利用改进的ResNet50网络作为基本框架提取特征,随后传递给全局分支和局部分支。在全局分支中,将该特征作为全局特征进行身份和全局属性分类;在局部分支中,按信道展开特征,获取每层响应值最高的点,聚合这些点,分成4个行人部件,计算每个行人部件上显著性特征的权重,并乘以初始特征得到每个部件的总特征。最后将这4个部件的总特征都进行身份和对应属性的分类。在测试阶段,将通过网络提取的部位特征和全局特征串联起来,计算行人间的相似度,从而判断是否为同一人。结果 本文方法引入了Market-1501_attribute和DukeMTMC-attribute数据集中的属性信息,并在Market-1501和DukeMTMC-reid数据集上进行测试,其中rank-1分别达到90.67%和80.2%,mAP分别达到76.65%和62.14%;使用re-ranking算法后,rank-1分别达到92.4%和84.15%,mAP分别达到87.5%和78.41%,相比近年来具有代表性的其他方法,识别率有了极大提升。结论 本文方法通过学习行人属性能更快地聚集行人部件的注意力,而注意力机制又能更好地学习行人部位的显著性特征,从而有效解决了行人被遮挡和不对齐的问题,提高了行人再识别的准确率。     

结合注意力与批特征擦除的行人重识别模型

在行人重识别过程中,图像局部遮挡会造成识别准确率下降。提出一种结合注意力和批特征擦除的网络（ABFE-Net）模型,旨在学习具有辨别力的全局特征和局部细粒度特征,提高图像局部遮挡条件下行人特征的表达能力。将轻量级注意力模块嵌入到ResNet-50中自主学习每个通道的权重,通过强化有用特征和抑制无关特征增强网络特征的学习能力,提取行人更具辨别力的全局特征。对于深层特征使用批特征擦除方法,随机擦除同一批次特征图的相同区域,使得网络关注剩余的局部细粒度特征。将两种特征融合得到更加全面的行人特征表示,对其进行相似性度量并排序,得到行人重识别的结果。实验结果表明,与HA-CNN、PCB等方法相比,ABFE-Net模型在Market1501和DukeMTMC-reID数据集上的Rank-1和mAP分别达到94.4%、85.9%和88.3%、75.1%,能够明显增强行人特征的辨别性,提高行人重识别效果。     

Learn Robust Pedestrian Representation Within Minimal Modality Discrepancy for Visible-Infrared Person Re-Identification

Visible-infrared person re-identification has attracted extensive attention from the community due to its potential great application prospects in video surveillance. There are huge modality discrepancies between visible and infrared images caused by different imaging mechanisms. Existing studies alleviate modality discrepancies by aligning modality distribution or extracting modality-shared features on the original image. However, they ignore a key solution, i.e., converting visible images to gray images directly, which is efficient and effective to reduce modality discrepancies. In this paper, we transform the cross-modality person re-identification task from visible-infrared images to gray-infrared images, which is named as the minimal modality discrepancy. In addition, we propose a pyramid feature integration network (PFINet) which mines the discriminative refined features of pedestrian images and fuses high-level and semantically strong features to build a robust pedestrian representation. Specifically, PFINet first performs the feature extraction from concrete to abstract and the top-down semantic transfer to obtain multi-scale feature maps. Second, the multi-scale feature maps are inputted to the discriminative-region response module to emphasize the identity-discriminative regions by the spatial attention mechanism. Finally, the pedestrian representation is obtained by the feature integration. Extensive experiments demonstrate the effectiveness of PFINet which achieves the rank-1 accuracy of 81.95% and mAP of 74.49% on the multi-all evaluation mode of the SYSU-MM01 dataset.     

联合增强局部最大发生特征和k-KISSME 度量学习的行人再识别

摘要：行人再识别是一种在监控视频中自动搜索行人的重要技术,该技术包含特征表示 和度量学习2 部分。有效的特征表示应对光线和视角变化具有鲁棒性,具有判别性的度量学习 能够提高行人图像的匹配精度。但是,现有的特征大多都是基于局部特征表示或者全局特征表 示,没有很好的集成行人外观的精细细节和整体外观信息且度量学习通常是在线性特征空间进 行,不能高效地利用特征空间中的非线性结构。针对该问题,设计了一种增强局部最大发生的 有效特征表示(eLOMO)方法,可以实现行人图像精细细节和整体外观信息的融合,满足人类视 觉识别机制;并提出一种被核化的KISSME 度量学习(k-KISSME)方法,其计算简单、高效,只 需要对2 个逆协方差矩阵进行估计。此外,为了处理光线和视角变化,应用了Retinex 变换和 尺度不变纹理描述符。实验表明该方法具有丰富和完整的行人特征表示能力,与现有主流方法 相比提高了行人再识别的识别率。     

基于增强特征融合网络的行人再识别

针对行人再识别问题,目前多数方法将行人的局部或全局特征分开考虑,从而忽略了行人整体之间的关系,即行人全局特征和局部特征之间的联系。本文提出一种增强特征融合网络(enhanced feature convergent network,EFCN)。在全局分支中,提出适用于获取全局特征的注意力网络作为嵌入特征,嵌入在基础网络模型中以提取行人的全局特征;在局部分支中,提出循环门单元变换网络(gated recurrent unit change network,GRU-CN)得到代表性的局部特征;再使用特征融合方法将全局特征和局部特征融合成最终的行人特征;最后借助损失函数训练网络。通过大量的对比实验表明,该算法网络模型在标准的Re-ID数据集上可以获得较好的实验结果。提出的增强特征融合网络能提取辨别性较强的行人特征,该模型能够应用于大场景非重叠多摄像机下的行人再识别问题,具有较高的识别能力和识别精度,且对背景变化的行人图像能提取具有较强的鲁棒性特征。     

结合多尺度特征学习与特征对齐的行人重识别

利用卷积神经网络对行人图像提取一个简单的全局特征,在复杂的行人重识别任务中无法获得令人满意的结果。局部特征学习的方式有助于获取更丰富的人体特征,但往往需要图像中的人体具有良好的空间对齐,而且,将人体各部分特征输入到独立的分支学习局部信息,忽略了人体各部分特征间的相关性,限制模型的性能提升。在此背景下,提出了一种新的多尺度特征学习算法,结合全局与局部特征学习得到更好的行人表示,提升复杂场景下模型的识别能力。对骨干网络不同深度输出的行人特征图,通过特征对齐模块对其执行空间变换,实现行人特征在空间上的矫正和对齐,进一步增强模型的泛化性能。在公开的大型行人重识别数据集上,与当前一些流行的方法进行了比较,验证了所提方法的有效性。     

面向跨模态行人重识别的单模态自监督信息挖掘

目的 在智能监控视频分析领域中,行人重识别是跨无交叠视域的摄像头匹配行人的基础问题。在可见光图像的单模态匹配问题上,现有方法在公开标准数据集上已取得优良的性能。然而,在跨正常光照与低照度场景进行行人重识别的时候,使用可见光图像和红外图像进行跨模态匹配的效果仍不理想。研究的难点主要有两方面:1)在不同光谱范围成像的可见光图像与红外图像之间显著的视觉差异导致模态鸿沟难以消除;2)人工难以分辨跨模态图像的行人身份导致标注数据缺乏。针对以上两个问题,本文研究如何利用易于获得的有标注可见光图像辅助数据进行单模态自监督信息的挖掘,从而提供先验知识引导跨模态匹配模型的学习。方法 提出一种随机单通道掩膜的数据增强方法,对输入可见光图像的3个通道使用掩膜随机保留单通道的信息,使模型关注提取对光谱范围不敏感的特征。提出一种基于三通道与单通道双模型互学习的预训练与微调方法,利用三通道数据与单通道数据之间的关系挖掘与迁移鲁棒的跨光谱自监督信息,提高跨模态匹配模型的匹配能力。结果 跨模态行人重识别的实验在“可见光—红外”多模态行人数据集SYSU-MM01(Sun Yat-Sen University Multi...     

基于自注意力模态融合网络的跨模态行人再识别方法研究

行人再识别是实现多目标跨摄像头跟踪的核心技术, 该技术能够广泛应用于安防、智能视频监控、刑事侦查等领域. 一般的行人再识别问题面临的挑战包括摄像机的低分辨率、行人姿态变化、光照变化、行人检测误差、遮挡等. 跨模态行人再识别相比于一般的行人再识别问题增加了相同行人不同模态的变化. 针对跨模态行人再识别中存在的模态变化问题, 本文提出了一种自注意力模态融合网络. 首先是利用CycleGAN生成跨模态图像. 在得到了跨模态图像后利用跨模态学习网络同时学习两种模态图像特征, 对于原始数据集中的图像利用SoftMax 损失进行有监督的训练, 对生成的跨模态图像利用LSR (Label smooth regularization) 损失进行有监督的训练. 之后, 使用自注意力模块将原始图像和CycleGAN生成的图像进行区分, 自动地对跨模态学习网络的特征在通道层面进行筛选. 最后利用模态融合模块将两种筛选后的特征进行融合. 通过在跨模态数据集SYSU-MM01上的实验证明了本文提出的方法和跨模态行人再识别其他方法相比有一定程度的性能提升.     

多形状局部区域神经网络结构的行人再识别

目的 目前,行人再识别领域将行人图像的全局和局部特征相结合的方法已经成为基本的解决方法。现有的基于局部特征的方法更多的是侧重于定位具有特定的语义区域,这样增加了学习难度,并且对于差异较大的图像场景不具有鲁棒性。为了解决上述问题,通过对网络结构进行改进提出一种多形状局部区域网络（MSPN）结构,它具有多分支并将横向和纵向条状的特征作为局部特征,能够端到端进行训练。方法 网络的多个分支设计可以同时获得多粒度和多形状的局部特征,其中一个分支表示全局特征的学习,两个分支表示横条状不同粒度的局部特征学习,最后一个分支表示竖条状局部特征学习。网络不再学习定位具有特定语义的区域,而是将图像提取的特征切分成横向和竖向的若干条作为局部特征。不同分支条的形状和数量不一致,最后获得不同粒度或不同形状的局部特征信息。因为切分方向的不同,多粒度多形状的局部特征缓解了行人在不同图像中无法对齐的问题。结果 在包括Market-1501、DukeMTMC-ReID和CUHK03在内的主流评估数据集上的综合实验表明,多形状局部区域神经网络和现有的主要方法相比具有更好的表现。其中在数据集Market-1501上达到84.57%的平均准确率（mAP）和94.51%的rank-1准确率。结论 多形状局部区域网络能够学习得到判别能力更强的深度学习模型,从而有效地提升行人再识别的准确率。     

强化深度特征融合的行人搜索系统

针对行人图像的深度特征缺乏对局部细节的描述，及不完全具备对尺度、旋转、平移及光照变化等各种因素的不变性而导致行人搜索准确率低的问题，本文提出一种具有强化深度特征融合的行人搜索系统。该系统将行人候选网络和行人识别网络两部分整合优化成统一框架。其中，行人候选网络实现行人框的获取及标定，而行人识别网络在获取深度学习特征的基础上融入具有几何不变性的传统特征，建立一个强化深度特征融合网络模型。实验结果表明，本文采用强化深度特征融合的网络模型，在SSM数据集上检测并框出图片中的行人，其Top-1识别正确率高达80.7%，比单纯采用深度特征模型更具优越性。     

区域块分割与融合的行人再识别

目的 由于摄像机视角和成像质量的差异,造成行人姿态变化、图像分辨率变化和光照变化等问题的出现,从而导致同一行人在不同监控视频中的外观区别很大,给行人再识别带来很大挑战。为提高行人再识别的识别率,针对行人姿态变化问题,提出一种区域块分割和融合的行人再识别算法。方法 首先根据人体结构分布,将行人图像划分为3个局部区域。然后根据各区域在识别过程中的作用不同,将GOG（Gaussian of Gaussian）特征、LOMO（local maximal occurrence）特征和KCCA（Kernel canonical correlation analysis）特征的不同组合作为各区域特征。接着通过距离测度算法学习对应区域之间的相似度,并通过干扰块剔除算法消除图像中出现的无效干扰块,融合有效区域块的相似度。最后将行人图像对的全局相似度和各局部区域相似度进行融合,实现行人再识别。结果 在4个基准数据集VIPeR、GRID、PRID450S和CUHK01上进行了大量实验,其中Rank1（排名第1的搜索结果即为待查询人的比例）分别为62.85%、30.56%、71.82%和79.03%,Rank5分别为86.17%、51.20%、91.16%和93.60%,识别率均有显著提高,具有实际应用价值。结论 提出的区域块分割和融合方法,能够去除图像中的无用信息和干扰信息,同时保留行人的有效信息并高效利用。该方法在一定程度上能够解决行人姿态变化带来的外观差异问题,大幅度地提升识别率。     

融合属性特征的行人重识别方法

行人重识别旨在跨监控设备下检索出特定的行人目标.由于不同的行人可能具有相似的外观,因此要求行人重识别模型能够捕捉到充足的细粒度特征.本文提出一种融合属性特征的行人重识别的深度网络方法,将行人重识别和属性识别集成在分类网络中,进行端到端的多任务学习.此外,对于每张输入图片,网络自适应地生成对应于每个属性的权重,并将所有属性的特征以加权求和的方式结合起来,与全局特征一起用于行人重识别任务.全局特征关注行人的整体外观,而属性特征关注细节区域,两者相互补充可以对行人进行更全面的描述.在行人重识别的主流数据集DukeMTMC-reID和Market-1501上的实验结果表明了本文方法的有效性,平均精度均值(Mean average precision,mAP)分别达到了74.2%和83.5%,Rank-1值分别达到了87.1%和93.6%.此外,在这两个数据集上的属性识别也得到了比较好的结果.     

融合属性特征的行人重识别方法

行人重识别旨在跨监控设备下检索出特定的行人目标.由于不同的行人可能具有相似的外观,因此要求行人重识别模型能够捕捉到充足的细粒度特征.本文提出一种融合属性特征的行人重识别的深度网络方法,将行人重识别和属性识别集成在分类网络中,进行端到端的多任务学习.此外,对于每张输入图片,网络自适应地生成对应于每个属性的权重,并将所有属性的特征以加权求和的方式结合起来,与全局特征一起用于行人重识别任务.全局特征关注行人的整体外观,而属性特征关注细节区域,两者相互补充可以对行人进行更全面的描述.在行人重识别的主流数据集DukeMTMC-reID和Market-1501上的实验结果表明了本文方法的有效性,平均精度均值(Mean average precision,mAP)分别达到了74.2%和83.5%,Rank-1值分别达到了87.1%和93.6%.此外,在这两个数据集上的属性识别也得到了比较好的结果.     

基于全局空间约束块匹配的目标人体识别

目标人体识别即非重叠多摄像系统中人的重现(person re-identification)问题,当前多数的目标人体识别都是通过提取人体表观特征,并利用特征的相似性对目标人体进行重识别,这些方法对于一些大部分表观区域相似而小部分区域不同的行人仍然无法给出准确的识别结果.考虑到目标人体识别中的行人几乎都处于站立姿势,同一行人的不同图像在垂直方向上的全局结构比不同行人间的更加相似.在基于稠密块匹配的基础上,提出了全局空间约束块匹配的识别方法.该方法不仅考虑2幅图像中局部块的匹配,还考虑各块在自身图像中垂直方向上的全局空间约束.为了减少背景对识别的负面影响,采用姿势评估的方法来提取大致的人体前景.在实验中,提出的方法在经过最具挑战的公用VIPeR数据库和CUHK02数据库测试后,该方法对人体识别率起到了显著的改善作用.     

Combined salience based person re-identification

Human eye perceives an object as the entity with global information and local information. Human salience is distinctive local information in matching pedestrians across disjoint camera views, and matching on overall foreground guarantees reliable and robust identification. In this paper, we propose a strategy for the matching of mean salience to identify pedestrians. Also, we consider that person re-identification based on the local single directional matching suffers from the variations of pose, illumination and overlapping, and propose a global bi-directional matching to solve the challenging problems of person re-identification. Furthermore, our matching of mean salience is tightly combined with the global bi-directional matching. Patch matching is utilized to handle the misalignment problem in pedestrian images. We test our feature and matching approaches in person re-identification scenario. Experimental results demonstrate that the mean salience and the global bi-directional matching have promising discriminative capability in comparison with other ones.     

基于特征定位与融合的行人重识别算法

行人外观属性是区分行人差异的重要语义信息。行人属性识别在智能视频监控中有着至关重要的作用,可以帮助我们对目标行人进行快速的筛选和检索。在行人重识别任务中,可以利用属性信息得到精细的特征表达,从而提升行人重识别的效果。文中尝试将行人属性识别与行人重识别相结合,寻找一种提高行人重识别性能的方法,进而提出了一种基于特征定位与融合的行人重识别框架。首先,利用多任务学习的方法将行人重识别与属性识别结合,通过修改卷积步长和使用双池化来提升网络模型的性能。其次,为了提高属性特征的表达能力,设计了基于注意力机制的平行空间通道注意力模块,它不仅可以在特征图上定位属性的空间位置,而且还可以有效地挖掘与属性关联度较高的通道特征,同时采用多组平行分支结构减小误差,进一步提高网络模型的性能。最后,利用卷积神经网络设计特征融合模块,将属性特征与行人身份特征进行有效融合,以获得更具鲁棒性和表达力的行人特征。实验在两个常用的行人重识别数据集DukeMTMC-reID和Market-1501上进行,结果表明,所提方法在现有的行人重识别方法中处于领先水平。