整合全局—局部度量学习的人体目标再识别

目的 人体目标再识别的任务是匹配不同摄像机在不同时间、地点拍摄的人体目标。受光照条件、背景、遮挡、视角和姿态等因素影响,不同摄相机下的同一目标表观差异较大。目前研究主要集中在特征表示和度量学习两方面。很多度量学习方法在人体目标再识别问题上了取得了较好的效果,但对于多样化的数据集,单一的全局度量很难适应差异化的特征。对此,有研究者提出了局部度量学习,但这些方法通常需要求解复杂的凸优化问题,计算繁琐。方法 利用局部度量学习思想,结合近几年提出的XQDA（cross-view quadratic discriminant analysis）和MLAPG（metric learning by accelerated proximal gradient）等全局度量学习方法,提出了一种整合全局和局部度量学习框架。利用高斯混合模型对训练样本进行聚类,在每个聚类内分别进行局部度量学习;同时在全部训练样本集上进行全局度量学习。对于测试样本,根据样本在高斯混合模型各个成分下的后验概率将局部和全局度量矩阵加权结合,作为衡量相似性的依据。特别地,对于MLAPG算法,利用样本在各个高斯成分下的后验概率,改进目标损失函数中不同样本的损失权重,进一步提高该方法的性能。结果 在VIPeR、PRID 450S和QMUL GRID数据集上的实验结果验证了提出的整合全局—局部度量学习方法的有效性。相比于XQDA和MLAPG等全局方法,在VIPeR数据集上的匹配准确率提高2.0%左右,在其他数据集上的性能也有不同程度的提高。另外,利用不同的特征表示对提出的方法进行实验验证,相比于全局方法,匹配准确率提高1.3%~3.4%左右。结论 有效地整合了全局和局部度量学习方法,既能对多种全局度量学习算法的性能做出改进,又能避免局部度量学习算法复杂的计算过程。实验结果表明,对于使用不同的特征表示,提出的整合全局—局部度量学习框架均可对全局度量学习方法做出改进。     

自适应感受野网络的行人重识别

行人重识别通常删除特征提取网络中的最后一个空间下采样操作,以增加最后输出特征图的分辨率,保留更多的细粒度特征.然而,这种操作会大幅减小神经网络的感受野,而更大的感受野可以为行人重识别提供更多的上下文信息.同时,在实际的视觉皮层中,相同区域的神经元的感受野是不同的,但当前行人重识别网络的设计大多忽视了这一点.为了解决上述问题,提出一种新颖的自适应感受野网络.网络的设计受启发于生物的视觉系统,通过在多分支网络上设置不同大小的感受野,结合注意力机制让网络自行选择合适的感受野特征,从而实现网络感受野的自适应,并且采用分组卷积使得自适应感受野模块更加轻量级.同时在各个分支利用空洞卷积增大感受野,补偿删除最后下采样操作所减少的网络感受野.在公开的大规模数据集上进行实验,实验结果表明,所提出的算法相比于基线方法有显著的提升,当使用ResNet-50作为特征提取网络时,在DukeMTMC-reID、Market-1501数据集上的Rank-1和mAP分别达到89.2%和76.0%、95.2%和87.2%.与现有方法相比,所提出算法在精度上有明显的提升.     

Low illumination person re-identification

Multimedia Tools and Applications - Low illumination is a common problem for recognition and tracking. Low illumination video-based person re identification (re-id) is an important application in...     

Local region partition for person re-identification

Multimedia Tools and Applications - Due to the different posture and view angle, the image will appear some objects that do not exist in another image of the same person captured by another camera....     

基于多尺度特征表示的行人再识别

应用于复杂场景下的行人再识别方法,常采用结合全局特征和局部特征的行人表示策略来提升模型的判别能力.但是,提取局部特征往往需要针对特定的语义区域设计专门的模型,增加了算法的复杂性.为解决上述问题,提出一种基于多尺度特征表示的行人再识别模型.该模型通过对不同细粒度局部特征与全局特征的联合表示,得到多层次具有互补性的判别信息,端对端地完成行人再识别任务.为了在获取高区分度信息的同时保留更多的细节信息,采用最大池化加平均池化的方式对特征进行下采样;此外,通过引入TriHard loss约束全局特征并采用随机擦除方法增强数据来进一步提升模型对复杂场景的适应性.在Market-1501和DukeMTMC-reID数据集上进行对比实验,实验结果表明,rank-1的准确率分别达到94.9%和87.1%,从而验证了所提出方法的有效性.     

基于视觉信息积累的行人重识别网络

在以往的行人重识别方法中,绝大部分的工作集中于图像注意力区域的学习,却忽视了非注意力区域对最终特征学习的影响,如果在关注图像注意力区域的同时加强非注意力区域的特征学习,可进一步丰富最终的行人特征,有利于行人身份信息的准确识别。基于此,提出了视觉信息积累网络(VIA Net),该网络整体采用两分支结构,一个分支倾向于学习图像的全局特征,另一个分支则拓展为多分支结构,通过结合注意力区域和非注意力区域的特征逐步加强局部特征的学习,实现视觉信息的积累,进一步丰富特征信息。实验结果表明,在Market-1501等行人重识别数据集上,所提出的VIA Net网络达到了较高的实验性能;同时,在In-Shop Clothes Retrieval数据集上的实验证明：该网络也适用于一般的图像检索任务,具有一定的通用性。     

Learning discriminative features for semi-supervised person re-identification

Multimedia Tools and Applications - We focus on the one-example person re-identification (Re-ID) task, where each identity has only one labeled example along with many unlabeled examples. Since...     

Deep multi-instance learning for end-to-end person re-identification

Multimedia Tools and Applications - In this paper, we introduce a deep multi-instance learning framework to boost the instance-level person re-identification performance. Motivated by the...     

Combined salience based person re-identification

Human eye perceives an object as the entity with global information and local information. Human salience is distinctive local information in matching pedestrians across disjoint camera views, and matching on overall foreground guarantees reliable and robust identification. In this paper, we propose a strategy for the matching of mean salience to identify pedestrians. Also, we consider that person re-identification based on the local single directional matching suffers from the variations of pose, illumination and overlapping, and propose a global bi-directional matching to solve the challenging problems of person re-identification. Furthermore, our matching of mean salience is tightly combined with the global bi-directional matching. Patch matching is utilized to handle the misalignment problem in pedestrian images. We test our feature and matching approaches in person re-identification scenario. Experimental results demonstrate that the mean salience and the global bi-directional matching have promising discriminative capability in comparison with other ones.     

素描图像指导的换装行人重识别

目的 传统行人重识别方法提取到的特征中包含大量的衣物信息,在换装行人重识别问题中,依靠衣物相关的信息难以准确判别行人身份,使模型性能显著下降;虽然一些方法从轮廓图像中提取行人的体型信息以增强行人特征,但轮廓图像的质量参差不齐,鲁棒性差。针对这些问题,本文提出一种素描图像指导的换装行人重识别方法。方法 首先,本文认为相对于轮廓图像,素描图像能够提供更鲁棒、更精准的行人体型信息,因此本文使用素描图像提取行人的体型信息,并将其融入表观特征以获取完备的行人特征。然后,提出一个基于素描图像的衣物无关权重指导模块,进一步使用素描图像中的衣物位置信息指导表观特征的提取过程,从而减少表观特征中的衣物信息,增强表观特征的判别力。结果 在LTCC(long-term cloth changing)和PRCC(person re-identification under moderate clothing change)两个常用换装行人数据集上,本文方法与最先进的方法进行了对比。相较于先进方法,在LTCC和PRCC数据集上,本文方法在Rank-1性能指标上分别提高了6.5%和3.9%。实验结果表明,素描图像...     

A part-based attention network for person re-identification

Multimedia Tools and Applications - Person re-identification (re-id) is the task of recognizing images of the same pedestrian captured by different cameras with non-overlapping views. Person re-id...     

On-the-fly feature importance mining for person re-identification

State-of-the-art person re-identification methods seek robust person matching through combining various feature types. Often, these features are implicitly assigned with generic weights, which are assumed to be universally and equally good for all individuals, independent of people's different appearances. In this study, we show that certain features play more important role than others under different viewing conditions. To explore this characteristic, we propose a novel unsupervised approach to bottom-up feature importance mining on-the-fly specific to each re-identification probe target image, so features extracted from different individuals are weighted adaptively driven by their salient and inherent appearance attributes. Extensive experiments on three public datasets give insights on how feature importance can vary depending on both the viewing condition and specific person's appearance, and demonstrate that unsupervised bottom-up feature importance mining specific to each probe image can facilitate more accurate re-identification especially when it is combined with generic universal weights obtained using existing distance metric learning methods.     

基于增强特征融合网络的行人再识别

针对行人再识别问题,目前多数方法将行人的局部或全局特征分开考虑,从而忽略了行人整体之间的关系,即行人全局特征和局部特征之间的联系。本文提出一种增强特征融合网络(enhanced feature convergent network,EFCN)。在全局分支中,提出适用于获取全局特征的注意力网络作为嵌入特征,嵌入在基础网络模型中以提取行人的全局特征;在局部分支中,提出循环门单元变换网络(gated recurrent unit change network,GRU-CN)得到代表性的局部特征;再使用特征融合方法将全局特征和局部特征融合成最终的行人特征;最后借助损失函数训练网络。通过大量的对比实验表明,该算法网络模型在标准的Re-ID数据集上可以获得较好的实验结果。提出的增强特征融合网络能提取辨别性较强的行人特征,该模型能够应用于大场景非重叠多摄像机下的行人再识别问题,具有较高的识别能力和识别精度,且对背景变化的行人图像能提取具有较强的鲁棒性特征。     

基于支持对挖掘的主动学习行人再识别

基于监督学习的行人再识别方法需要大量人工标注的数据,对于实际应用并不适用。为了降低大规模行人再识别的标注成本,提出了一种基于支持对挖掘主动学习(support pair active learning, SPAL)的行人再识别方法。具体地,建立了一种无监督主动学习框架,在该框架中设计了一种双重不确定性选择策略迭代地挖掘支持样本对并提供给标注者标注;其次引入了一种约束聚类算法,将有标签的支持样本对的关系传播到其他无标签的样本中;最后提出了一种由无监督对比损失和监督支持样本对损失组成的混合学习策略来学习具有判别性的特征表示。在大规模行人再识别数据集MSMT17上,该方法相比于当前最先进的方法,标注成本降低了64.0%,同时mAP和rank1分别提升了11.0%和14.9%。大量实验结果表明,该方法有效地降低了标注成本并且优于目前最先进的无监督主动学习行人再识别方法。     

多形状局部区域神经网络结构的行人再识别

目的 目前,行人再识别领域将行人图像的全局和局部特征相结合的方法已经成为基本的解决方法。现有的基于局部特征的方法更多的是侧重于定位具有特定的语义区域,这样增加了学习难度,并且对于差异较大的图像场景不具有鲁棒性。为了解决上述问题,通过对网络结构进行改进提出一种多形状局部区域网络（MSPN）结构,它具有多分支并将横向和纵向条状的特征作为局部特征,能够端到端进行训练。方法 网络的多个分支设计可以同时获得多粒度和多形状的局部特征,其中一个分支表示全局特征的学习,两个分支表示横条状不同粒度的局部特征学习,最后一个分支表示竖条状局部特征学习。网络不再学习定位具有特定语义的区域,而是将图像提取的特征切分成横向和竖向的若干条作为局部特征。不同分支条的形状和数量不一致,最后获得不同粒度或不同形状的局部特征信息。因为切分方向的不同,多粒度多形状的局部特征缓解了行人在不同图像中无法对齐的问题。结果 在包括Market-1501、DukeMTMC-ReID和CUHK03在内的主流评估数据集上的综合实验表明,多形状局部区域神经网络和现有的主要方法相比具有更好的表现。其中在数据集Market-1501上达到84.57%的平均准确率（mAP）和94.51%的rank-1准确率。结论 多形状局部区域网络能够学习得到判别能力更强的深度学习模型,从而有效地提升行人再识别的准确率。     

基于姿态对齐的行人重识别方法

行人重识别是指根据输入的某个行人图片, 在视频监控网络中对该行人目标进行检索. 行人的姿态变化和监控场景的亮度变化是该任务的两个主要挑战. 针对行人的姿态变化问题, 本文首先对训练集中行人图片进行稠密 图像块采样获得图像块集合, 然后对每一个图像块提取其局部表观空间特征, 最后在此特征集上聚类得到通用的行人部件字典. 由于该部件字典编码了行人的部件信息, 因此通过该字典内的每一个码元可以建立两幅行人图像中特定图像块之间的对应关系. 将两幅行人图片的图像块集合分别向部件字典投影, 可以获得2幅行人图片姿态对齐后的图像块序列. 针对监控场景的亮度变化问题, 本文在姿态对齐后的图像块上分别提取4种颜色描述子, 并将不同颜色描述子下的图像块相似性进行分数级组合以获得更好的亮度不变性. 其中不同颜色描述子之间的组合系数通过结构化输出支持向量机学习得到. 在常用的视点不变行人重识别(viewpoint invariant pedestrian recognition,VIPeR)数据集上的实验结果表明, 该方法在存在行人姿态变化和场景亮度变化干扰时获得了较好的行人重识别效果.