双域滤波三元组度量学习的行人再识别

在图像的捕获、传输或者处理过程中都有可能产生噪声,当图像被大量噪声影响时,许多行人再识别(ReID)方法将很难提取具有足够表达能力的行人特征,表现出较差的鲁棒性。该文主要针对低质图像的行人再识别问题,提出双域滤波分解构建3元组,用于训练度量学习模型。所提方法主要分为两个部分,首先分析了监控视频中不同图像噪声的分布特性,通过双域滤波进行图像增强。然后基于双域滤波分解对图像噪声具有很好的分离作用,该文提出一种新的3元组构建方式。在训练阶段,将双域滤波生成的低频原始图像和高频噪声图像,与原图一起作为输入3元组,网络可以进一步抑制噪声分量。同时优化了损失函数,将3元组损失和对比损失组合使用。最后利用re-ranking扩充排序表,提高识别的准确率。在加噪Market-1501和CUHK03数据集上的平均Rank-1为78.3%和21.7%,平均准确率均值(mAP)为66.9%和20.5%。加噪前后的Rank-1精度损失只有1.9%和7.8%,表明该文模型在含噪情况表现出较强的鲁棒性。     

基于双向参考集矩阵度量学习的行人再识别

针对行人再识别中由于外观差异不显著导致特征描述不准确的问题,该文提出一种基于双向参考集矩阵度量学习(BRM²L)的行人再识别算法。首先通过互近邻算法获得每个摄像头下的互近邻参考集,为保证参考集的鲁棒性,联合考虑各摄像头下的互近邻参考集获得双向参考集。通过双向参考集挖掘出困难样本进行特征描述,从而得到准确的外观差异描述。最后利用该特征描述进行更有效的矩阵度量学习。在多个公开数据集上的实验结果证明了该算法比现有算法具有更好的行人再识别性能。

     

基于重叠条纹特征融合的行人再识别

针对行人再识别过程中,光照、摄像机设置等因素影响行人图像颜色以及在提取图像特征时丢失部分图像细节的问题,提出一种基于重叠条纹特征融合的行人再识别方法。在提取特征前,对图像进行重叠条纹分割,对所分割的条纹提取HSV颜色直方图和Gabor纹理特征直方图,HSV颜色直方图可以增强图像颜色信息的鉴别性,而重叠条纹分割方法解决丢失图像细节问题,Gabor纹理特征对图像的边缘敏感,增加图像的细节信息,融合所提取的图像特征,形成特征描述子;然后用交叉视角逻辑度量学习算法进行识别;最后在VIPER和GRID图像库上进行实验,rank1分别达到了31.68%和16.32%,rank10和rank20也有明显提高。结果表明所提方法能够提高行人再识别的识别率。     

基于特征表示的行人再识别技术综述

行人再识别是智能视频监控中的一项关键任务,是近年来计算机视觉领域中一直备受关注的研究热点,适用于安防以及公共场所寻人等技术领域。特征提取是行人再识别技术中存在的核心问题之一。对现有的基于特征表示的行人再识别方法进行评述,并分析其中代表性方法的优缺点;介绍了常用行人数据库的特点;然后总结现阶段行人再识别研究所面临的挑战。最后对行人再识别技术的未来发展方向进行了展望。     

面向行人再识别的特征融合与鉴别零空间方法

针对行人再识别技术易受到光照、姿态和视角等因素影响,同一个人外观特征变化明显,较难提取其不变特征,导致识别率偏低的问题,本文提出面向行人再识别的融合特征与鉴别零空间方法。首先利用HSV、LAB、RGB和YCrCb四种颜色特征和Gabor滤波器提取条纹特征, GOG描述子提取块状特征,并将这两种特征融合成一个特征向量,然后将融合后的的特征投影到鉴别零空间,降低特征维数,最后利用欧氏距离计算距离进行行人再识别。本文所提方法在VIPeR、Prids_450s和CUHK01数据库上的rank1识别率分别是52.7%、72.2%和59.7%,实验结果表明所提方法能充分融合行人图像特征,对环境有较强鲁棒性,可有效提高识别率。      

基于行人属性分级识别的行人再识别

为了提高行人再识别算法的识别效果,该文提出一种基于注意力模型的行人属性分级识别神经网络模型,相对于现有算法,该模型有以下3大优点：一是在网络的特征提取部分,设计用于识别行人属性的注意力模型,提取行人属性信息和显著性程度;二是在网络的特征识别部分,针对行人属性的显著性程度和包含的信息量大小,利用注意力模型对属性进行分级识别;三是分析属性之间的相关性,根据上一级的识别结果,调整下一级的识别策略,从而提高小目标属性的识别准确率,进而提高行人再识别的准确率。实验结果表明,该文提出的模型相较于现有方法,有效提高了行人再识别的首位准确率,其中,Market1501数据集上,首位准确率达到了93.1%,在DukeMTMC数据集上,首位准确率达到了81.7%。     

基于统计推断的行人再识别算法

行人再识别是指给定一张行人图像,在已有的可能来源于非交叠摄像机视场的行人图像库中,识别出与此人相同的图像。研究该问题有着非常重要的现实意义,同时也面临许多挑战。该文提出一种基于统计推断的行人再识别算法。该算法从统计推断的角度出发学习两幅行人图像的相似度度量函数,利用此函数从行人图像库中搜索待查询的人。在公共数据集VIPeR上的实验表明,该算法性能优于已有的行人再识别算法,学习相似度度量函数的时间花销明显少于已有的基于学习的算法,并且在只有少量训练样本时,缓解了学习相似度度量函数的过拟合问题。     

GAN网络混合编码的行人再识别

由于摄像机视角造成的类内差异明显,研究学者开始利用GAN扩充数据保持类内不变性.针对现有GAN生成图像模糊、背景不真实,本文提出一种利用姿态与外观特征混合编码的行人再识别算法.在训练阶段,将人物图像分解为姿态特征和外观特征,生成网络通过切换外观特征与姿态特征,混合两幅图像中的特征生成高质量图像.判别网络将生成图像的外观...     

Cross-dataset person re-identification method based on multi-pool fusion and background elimination network

The existing cross-dataset person re-identification methods were generally aimed at reducing the difference of data distribution between two datasets,which ignored the influence of background information on recognition performance.In order to solve this problem,a cross-dataset person re-ID method based on multi-pool fusion and background elimination network was proposed.To describe both global and local features and implement multiple fine-grained representations,a multi-pool fusion network was constructed.To supervise the network to extract useful foreground features,a feature-level supervised background elimination network was constructed.The final network loss function was defined as a multi-task loss,which combined both person classification loss and feature activation loss.Three person re-ID benchmarks were employed to evaluate the proposed method.Using MSMT17 as the training set,the cross-dataset mAP for Market-1501 was 35.53%,which was 9.24% higher than ResNet50.Using MSMT17 as the training set,the cross-dataset mAP for DukeMTMC-reID was 41.45%,which was 10.72% higher than ResNet50.Compared with existing methods,the proposed method shows better cross-dataset person re-ID performance.     

基于双重增强网络的跨模态行人重识别

针对异质样本差异、行人遮挡及背景干扰等造成的跨模态行人重识别(person re-identification,ReID)精度不高的问题,本文提出了一种基于通道与特征学习的双重增强网络(dual enhanced network,DEN)。首先从通道级出发,通过随机交换可见光通道来挖掘可见光与红外通道间的关系,增强模型对多模态样本变化的鲁棒性。其次从特征级出发,在模态共享网络前引入基于归一化的注意力模块(normalization-based attention module,NAM),通过惩罚贡献因子较小的权重来避免噪声对模态不变信息学习造成一定干扰。同时采用特征分离模块(feature separation module,FSM)来分离出身份相关特征与身份无关特征,有效提升了模型对异质样本的识别能力。最后联合难样本三元组和加权正则化损失对网络进行监督训练,从而约束行人特征学习。在RegDB数据集上,DEN的Rank1准确率和mAP分别达到了94.86%和90.10%的高水准。     

基于跨纬度交互注意力机制的行人重识别方法

为解决由行人姿态、环境等复杂因素导致的行人特征表达能力弱、识别率低等问题,本文通过对AlignedReID++模型进行改进,提出了基于跨纬度交互注意力机制的行人重识别方法.首先,在特征提取部分,将跨纬度交互注意力Triplet At?tention模块嵌入到ResNet50网络中,捕获空间维度和通道维度之间跨纬度的交互...     

基于典型相关分析特征融合的行人再识别方法

传统的行人再识别方法通常使用手工设计的视觉 特征来描述行人图像。然而,仅用单 个类型的视觉特征很难全面表征行人图像信息,导致识别性能达不到满意效果。提出一种利 用典型相关分析对不同类型特征融合的行人再识别方法。该方法首先分别对两种不同类型的 行人视觉特征进行典型相关分析,以获得两组不同特征之间的最大相关子空间。然后,分别 使用连接融合和相加融合两种策略对两种变换后的特征进行融合,使用融合后的特征用于行 人再识别。实验结果表明,相比单个类型的行人图像特征和简单的多特征连接方法,提出的 特征融合方法在保持特征维度较低的同时,能获得更好的识别率。     

Grafted network for person re-identification

Convolutional neural networks have shown outstanding effectiveness in person re-identification (re-ID). However, the models always have large number of parameters and much computation for mobile application. In order to relieve this problem, we propose a novel grafted network (GraftedNet), which is designed by grafting a high-accuracy rootstock and a light-weighted scion. The rootstock is based on the former parts of ResNet-50 to provide a strong baseline, while the scion is a new designed module, composed of the latter parts of SqueezeNet, to compress the parameters. To extract more discriminative feature representation, a joint multi-level and part-based feature is proposed. In addition, to train GraftedNet efficiently, we propose an accompanying learning method, by adding an accompanying branch to train the model in training and removing it in testing for saving parameters and computation. On three public person re-ID benchmarks (Market1501, DukeMTMC-reID and CUHK03), the effectiveness of GraftedNet is evaluated and its components are analyzed. Experimental results show that the proposed GraftedNet achieves 93.02%, 85.3% and 76.2% in Rank-1 and 81.6%, 74.7% and 71.6% in mAP, with only 4.6M parameters.     

双金字塔结构引导的多粒度行人重识别方法北大核心CSCD

针对杂乱场景下难以有效地提取行人关键信息和局部遮挡时全局特征方法失效的问题,提出了一种双金字塔结构引导的多粒度行人重识别(person re-identification,ReID)方法。首先在ResNet50中嵌入注意力金字塔,引导网络由粗到细依次挖掘不同粒度的特征,使网络更倾向于关注复杂环境中行人的显著区域;其次通过结构不对称的双重注意力特征金字塔分支(double attention feature pyramid branch,DFP branch)提取多尺度的行人特征,丰富特征的多样性,同时双重注意力机制可使分支从浅层信息中捕获高细粒度的局部特征;最后将粒度较粗的全局特征与多层级细粒度的局部特征融合,两种金字塔相互作用,以此获得更多具有鉴别性的多粒度特征,改善行人遮挡问题。在多个数据集上进行了实验,结果表明,各项评价指标均高于目前大多数主流模型,其中在DukeMTMC-reID数据集上,Rank-1、mAP和平均逆负处罚(mean inverse negative penalty,mINP)分别达到了91.6%、81.9%、48.1%。     

行人再识别研究进展综述

行人再识别是计算机视觉领域的一个极具挑战但是极具研究价值的项目。由于其良好的实用性,吸引了大批研究者投入其中。文中首先简单介绍了行人再识别的概念与传统的行人检测的差别,然后介绍了行人再识别领域面临的难点,接着重点介绍了近年来在提高识别准确率方面所做的努力,尤其是特征的提取和度量学习两方面的最新研究成果,最后,文章展望了行人再识别未来的研究趋势。     

Interactive information module for person re-identification

In person re-identification (Re-ID) task, multi-branch networks acquire better performance by combining global features and local features. Obviously, local branch can obtain detailed information of person pictures but may work on invalid regions when person pictures have imprecise bounding boxes. On the contrary, global branch can be aware of the position of person but hard to acquire detailed information of person pictures. Meanwhile, lots of multi-branch networks ignore mutual information among different branches. Therefore, it is necessary to enhance interaction of global branch and local branch. For this purpose, we propose Interactive Information Module (IIM). IIM includes two components named Global-map Attention Module (GAM) and Labeled-class Mutual Learning (LML), respectively. GAM leverages heatmaps generated by global branch to guide calculation of local attention and obtains a composite global feature by combining local features. GAM relys more on the performance of global branch which decides the quality of heatmaps. To improve performance of global branch, we propose LML to promote convergent rate of global branch. Extensive experiments implemented on Market-1501, DukeMTMC-ReID, and CUHK03-NP datasets confirm that our method achieves state-of-the-art results.     

基于GAN的无监督域自适应行人重识别

针对无监督域自适应行人重识别中存在的聚类不准确导致网络识别准确率低的问题,提出一种基于生成对抗网络的无监督域自适应行人重识别方法。首先通过在池化层后使用批量归一化层、删除一层全连接层和使用Adam优化器等方法优化CNN模型;然后基于最小错误率贝叶斯决策理论分析聚类错误率和选择聚类关键参数;最后利用生成对抗网络调整聚类,有效提升了无监督域自适应行人重识别的识别准确率。在源域Market-1501和目标域DukeMTMC-reID下进行实验,mAP和Rank-1分别达到了53.7%和71.6%。     

Feature generation based on relation learning and image partition for occluded person re-identification

In order to solve the challenging tasks of person re-identification(Re-ID) in occluded scenarios, we propose a novel approach which divides local units by forming high-level semantic information of pedestrians and generates features of occluded parts. The approach uses CNN and pose estimation to extract the feature map and key points, and a graph convolutional network to learn the relation of key points. Specifically, we design a Generating Local Part (GLP) module to divide the feature map into different units. Based on different occluded conditions, the partition mode of GLP has high flexibility and variability. The features of the non-occluded parts are clustered into an intermediate node, and then the spatially correlated features of the occluded parts are generated according to the de-clustering operation. We conduct experiments on both the occluded and the holistic datasets to demonstrate its effectiveness.