基于增强特征融合网络的行人再识别

针对行人再识别问题,目前多数方法将行人的局部或全局特征分开考虑,从而忽略了行人整体之间的关系,即行人全局特征和局部特征之间的联系。本文提出一种增强特征融合网络(enhanced feature convergent network,EFCN)。在全局分支中,提出适用于获取全局特征的注意力网络作为嵌入特征,嵌入在基础网络模型中以提取行人的全局特征;在局部分支中,提出循环门单元变换网络(gated recurrent unit change network,GRU-CN)得到代表性的局部特征;再使用特征融合方法将全局特征和局部特征融合成最终的行人特征;最后借助损失函数训练网络。通过大量的对比实验表明,该算法网络模型在标准的Re-ID数据集上可以获得较好的实验结果。提出的增强特征融合网络能提取辨别性较强的行人特征,该模型能够应用于大场景非重叠多摄像机下的行人再识别问题,具有较高的识别能力和识别精度,且对背景变化的行人图像能提取具有较强的鲁棒性特征。     

基于图像切块的多特征融合行人再识别模型

针对目前由于监控场景背景复杂、拍摄视角差异引起的外貌变化,需要更多细节的特征来区分不同行人的问题,提出一种基于图像切块的多特征融合行人再识别模型。该模型包含3个特征提取分支,分支1和2负责提取行人不同层级的全局特征,分支3将图像水平分为上下两个部分并分别进行局部特征提取,将三个分支的特征进行深度融合。针对全局特征和局部特征的差异联合三种损失函数进行监督训练。在主流的数据集上进行了验证,结果证明该模型可以显著提高行人再识别的准确率。     

多方向分区网络结构的行人再识别

将全局特征与局部特征相结合是提高行人再识别(re-identification)任务识别能力的重要解决方案.以往主要借助姿态估计等外部信息来定位有相应语义的区域,从而挖掘局部信息,这种方法大多是非端到端的,训练过程复杂且缺乏鲁棒性.针对该问题,文中提出了一种能有效挖掘局部信息并且能结合全局信息与局部信息进行端到端特征学...     

结合注意力机制和多属性分类的行人再识别

目的 在行人再识别中,经常出现由于行人身体部位被遮挡和行人图像对之间不对齐而导致误判的情况。利用人体固有结构的特性,关注具有显著性特征的行人部件,忽略带有干扰信息的其他部件,有利于判断不同摄像头拍摄的行人对是否为同一人。因此,提出了基于注意力机制和多属性分类的行人再识别方法。方法 在训练阶段,利用改进的ResNet50网络作为基本框架提取特征,随后传递给全局分支和局部分支。在全局分支中,将该特征作为全局特征进行身份和全局属性分类;在局部分支中,按信道展开特征,获取每层响应值最高的点,聚合这些点,分成4个行人部件,计算每个行人部件上显著性特征的权重,并乘以初始特征得到每个部件的总特征。最后将这4个部件的总特征都进行身份和对应属性的分类。在测试阶段,将通过网络提取的部位特征和全局特征串联起来,计算行人间的相似度,从而判断是否为同一人。结果 本文方法引入了Market-1501_attribute和DukeMTMC-attribute数据集中的属性信息,并在Market-1501和DukeMTMC-reid数据集上进行测试,其中rank-1分别达到90.67%和80.2%,mAP分别达到76.65%和62.14%;使用re-ranking算法后,rank-1分别达到92.4%和84.15%,mAP分别达到87.5%和78.41%,相比近年来具有代表性的其他方法,识别率有了极大提升。结论 本文方法通过学习行人属性能更快地聚集行人部件的注意力,而注意力机制又能更好地学习行人部位的显著性特征,从而有效解决了行人被遮挡和不对齐的问题,提高了行人再识别的准确率。     

局部特征重叠的行人属性识别方法

针对目前的行人属性识别方法存在行人属性数据不均衡、行人特征表达能力不足、鲁棒性差的问题,本文提出局部特征重叠与行人属性识别相结合的方法.网络使用全局和局部两个分支来提升网络整体特征表达能力,在局部分支中将得到的特征图切分为几块大小相同的几个部分并使用Focal loss计算每个属性的损失解决行人属性不均衡问题.最后将投...     

基于EfficientNet的双分路多尺度联合学习行人再识别

针对视频图像中因小目标行人、遮挡和行人姿态多变而造成的行人再识别率低的问题,建立了一种基于高效网络EfficientNet的双分路多尺度联合学习方法。首先采用性能高效的EfficientNet-B1网络作为主干结构;然后利用加权双向特征金字塔（BiFPN）分支对提取的不同尺度全局特征进行融合,并且得到包含不同层次语义信息的全局特征,从而提高小目标行人的识别率;其次利用PCB分支提取深层局部特征来挖掘行人的非显著信息,并减轻行人遮挡和姿态多变性对识别率的影响;最后在训练阶段将两个分支网络分别提取的行人特征通过Softmax损失函数得到不同子损失,并把它们相加进行联合表示;在测试阶段将获得的全局特征和深层局部特征拼接融合,并计算欧氏距离得到再识别匹配结果。该方法在Market1501和DukeMTMC-Reid 数据集上的Rank-1的准确率分别达到了95.1%和89.1%,与原始EfficientNet-B1主干结构相比分别提高了3.9个百分点和2.3个百分点。实验结果表明,所提出的模型有效提高了行人再识别的准确率。     

基于多源信息的行人再识别研究综述

随着计算机视觉技术的不断发展,行人再识别技术在安防、侦查和智能监控等领域发挥了巨大的作用,成为了当下的研究热点.传统的行人再识别技术聚焦于摄像机采集到的可见光图像这一视觉信息的研究,并且在实验室条件下已经达到了较好的效果,但在光照情况差、目标遮挡、画质模糊等不利条件下,算法的识别率出现了断崖式的下降.如今视觉信息不单单...     

基于特征融合与改进神经网络的行人再识别

行人再识别中,为了获得基于突出性颜色名称的颜色描述(SCNCD)特征对于光照变化较好的鲁棒性,提出了融合SCNCD特征和对于视角变化鲁棒性高的局部最大出现概率(LOMO)表观特征;为了获得图像的结构信息,将图像划分为多个重叠块,并提取块特征;针对神经网络容易陷入局部极小值,且收敛速度慢的问题,引入动量项.经过公用VIPeR数据库和PRID450s数据测试后,实验结果表明:融合后的特征的识别能力明显高于原特征的识别能力,且改进后的神经网络收敛速度明显提高.     

基于多特征子空间与核学习的行人再识别

行人再识别指的是在无重叠视域多摄像机监控系统中, 匹配不同摄像机视域中的行人目标.针对当前基于距离测度学习的行人再识别算法中存在着特征提取复杂、训练过程复杂和识别效果差的问题, 我们提出一种基于多特征子空间与核学习的行人再识别算法.该算法首先在不同特征子空间中基于核学习的方法得到不同特征子空间中的测度矩阵以及相应的相似度函数, 然后通过比较不同特征子空间中的相似度之和来对行人进行识别.实验结果表明, 本文提出的算法具有较高的识别率, 其中在VIPeR数据集上, RANK1达到了40.7%, 且对光照变化、行人姿态变化、视角变化和遮挡都具有很好的鲁棒性.     

多尺度局部特征选择的行人重识别算法

针对行人重识别问题中人体姿态变化、对齐及部分遮挡等情况,提出了一种基于深度学习的局部区域选择和局部特征提取算法。算法首先利用残差卷积神经网络获取基本特征,然后利用多尺度的滑动窗口提取不同候选局部区域特征,并按照覆盖区域进行分组,每组选择一个最优局部特征,并融合整体特征得到最终特征表达。实验结果表明,通过该方法提取的局部特征具有更好的表达能力,提高了行人重识别的精确度。     

On-the-fly feature importance mining for person re-identification

State-of-the-art person re-identification methods seek robust person matching through combining various feature types. Often, these features are implicitly assigned with generic weights, which are assumed to be universally and equally good for all individuals, independent of people's different appearances. In this study, we show that certain features play more important role than others under different viewing conditions. To explore this characteristic, we propose a novel unsupervised approach to bottom-up feature importance mining on-the-fly specific to each re-identification probe target image, so features extracted from different individuals are weighted adaptively driven by their salient and inherent appearance attributes. Extensive experiments on three public datasets give insights on how feature importance can vary depending on both the viewing condition and specific person's appearance, and demonstrate that unsupervised bottom-up feature importance mining specific to each probe image can facilitate more accurate re-identification especially when it is combined with generic universal weights obtained using existing distance metric learning methods.     

多分辨率特征注意力融合行人再识别

目的 行人再识别是实现跨摄像头识别同一行人的关键技术,面临外观、光照、姿态、背景等问题,其中区别行人个体差异的核心是行人整体和局部特征的表征。为了高效地表征行人,提出一种多分辨率特征注意力融合的行人再识别方法。方法 借助注意力机制,基于主干网络HRNet（high-resolution network）,通过交错卷积构建4个不同的分支来抽取多分辨率行人图像特征,既对行人不同粒度特征进行抽取,也对不同分支特征进行交互,对行人进行高效的特征表示。结果 在Market1501、CUHK03以及DukeMTMC-ReID这3个数据集上验证了所提方法的有效性,rank1分别达到95.3%、72.8%、90.5%,mAP（mean average precision）分别达到89.2%、70.4%、81.5%。在Market1501与DukeMTMC-ReID两个数据集上实验结果超越了当前最好表现。结论 本文方法着重提升网络提取特征的能力,得到强有力的特征表示,可用于行人再识别、图像分类和目标检测等与特征提取相关的计算机视觉任务,显著提升行人再识别的准确性。     

基于辨识特征后融合的行人再识别

跨摄像机行人因光照、视角、姿态的差异,会使其外观变化显著,给行人再识别的研究带来严峻挑战。基于多特征融合和距离度量学习技术,提出辨识特征后融合的算法,并将其应用于行人再识别中。首先,对跨摄像机行人样本图像分别提取局部最大出现频次(LOMO)特征和基于显著颜色名称的颜色描述子(SCNCD)特征,表示跨摄像机行人的外观;然后,基于所提取的LOMO和SCNCD特征,分别去训练跨视图二次判别分析(XQDA)距离度量学习模型,分别获取跨摄像机每对行人每个特征优化的距离。最后,应用最小最大标准化距离融合的算法,获取跨摄像机行人最终的距离,用于跨摄像机行人的匹配。在具有挑战的VIPeR和PRID450S两个公开数据集上进行实验,实验结果表明所提出的行人再识别算法有效地提高了行人再识别的准确率。     

Multi-level feature learning with attention for person re-identification

Person re-identification (re-ID) aims to match a specific person in a large gallery with different cameras and locations. Previous part-based methods mainly focus on part-level features with uniform partition, which increases learning ability for discriminative feature but not efficient or robust to scenarios with large variances. To address this problem, in this paper, we propose a novel feature fusion strategy based on traditional convolutional neural network. Then, a multi-branch deeper feature fusion network architecture is designed to perform discriminative learning for three semantically aligned region. Based on it, a novel self-attention mechanism is employed to softly assign corresponding weights to the semantic aligned feature during back-propagation. Comprehensive experiments have been conducted on several large-scale benchmark datasets, which demonstrates that proposed approach yields consistent and competitive re-ID accuracy compared with current single-domain re-ID methods.

     

A new multidimensional discriminant representation for robust person re-identification

Pattern Analysis and Applications - Person Re-Identification (PRe-ID) or person retrieval is a challenging task of computer vision, aiming to identify a specific person across disjoint cameras...     

Image generation and constrained two-stage feature fusion for person re-identification

Generative adversarial network is widely used in person re-identification to expand data by generating auxiliary data. However, researchers all believe that using too much generated data in the training phase will reduce the accuracy of re-identification models. In this study, an improved generator and a constrained two-stage fusion network are proposed. A novel gesture discriminator embedded into the generator is used to calculate the completeness of skeleton pose images. The improved generator can make generated images more realistic, which would be conducive to feature extraction. The role of the constrained two-stage fusion network is to extract and utilize the real information of the generated images for person re-identification. Unlike previous studies, the fusion of shallow features is considered in this work. In detail, the proposed network has two branches based on the structure of ResNet50. One branch is for the fusion of images that are generated by the generated adversarial network, the other is applied to fuse the result of the first fusion and the original image. Experimental results show that our method outperforms most existing similar methods on Market-1501 and DukeMTMC-reID.

     

Learning generalizable deep feature using triplet-batch-center loss for person re-identification

Dear editor, Metric learning loss functions are important for deep learning-based person re-identification(re-ID).Several loss functions,such as triplet loss,ce...     

基于多尺度特征映射匹配的图像表示方法

在卷积神经网络模型中,空间金字塔池化方法将空间信息融入到深度特征的生成过程中,最终生成的图像表示可以有效地用于提高图像检索性能,但是此方法会导致生成的图像表示中不同维度之间描述的信息存在重复且相同维度描述的图像内容不匹配。为此提出了一种基于多尺度特征映射匹配（multi-scale feature map matching,MFMM）的图像表示方法,此方法首先利用深度特征的方差与协方差矩阵提出了一种特征映射选择算法,用于增强图像表示中不同维度特征的独立性。其次,依据相同通道特征映射中高响应值位置有较高匹配性的特点,结合激活映射中最大响应位置的深度特征提出了一种优化的特征映射中心点选择方法。最后,按照不同的中心点通过多尺度窗口采样的方式,从特征映射中提取出带有空间信息的深度特征用于表示图像内容。实验结果表明,提出的方法在图像检索任务中能够取得良好的效果。