基于姿态对齐的行人重识别方法（英文）

行人重识别是指根据输入的某个行人图片,在视频监控网络中对该行人目标进行检索.行人的姿态变化和监控场景的亮度变化是该任务的两个主要挑战.针对行人的姿态变化问题,本文首先对训练集中行人图片进行稠密图像块采样获得图像块集合,然后对每一个图像块提取其局部表观空间特征,最后在此特征集上聚类得到通用的行人部件字典.由于该部件字典编码了行人的部件信息,因此通过该字典内的每一个码元可以建立两幅行人图像中特定图像块之间的对应关系.将两幅行人图片的图像块集合分别向部件字典投影,可以获得2幅行人图片姿态对齐后的图像块序列.针对监控场景的亮度变化问题,本文在姿态对齐后的图像块上分别提取4种颜色描述子,并将不同颜色描述子下的图像块相似性进行分数级组合以获得更好的亮度不变性.其中不同颜色描述子之间的组合系数通过结构化输出支持向量机学习得到.在常用的视点不变行人重识别(viewpoint invariant pedestrian recognition,VIPe R)数据集上的实验结果表明,该方法在存在行人姿态变化和场景亮度变化干扰时获得了较好的行人重识别效果.     

面向跨视图行人重识别的多级判别性字典学习算法

现有的行人重识别算法主要聚焦于如何提取更有效的分类特征和如何学习更鲁棒的距离度量函数.在现实场景中,不同视图下的同一行人图像的分辨率往往不一致,且同一视图下受视角和光照变化等因素的影响存在提取的分类特征判别性弱且鲁棒性不强的问题.针对这一问题,利用不同视图的特征表示中编码系数的潜在关联,提出了一种多级判别性字典学习算法,并将其应用于跨视图行人重识别.首先,在图像水平区域和图像级别的字典学习算法中分别引入了一个特征映射矩阵,该矩阵可以描述不同视图下同一行人图像编码系数之间的内在关系,可以极大地提高编码系数的灵活性.其次,在图像块级别,结合图像的局部流形结构,在字典学习目标函数中增加了字典原子的局部几何结构约束,通过自适应学习图拉普拉斯矩阵,确保编码系数保持了与样本相似的几何结构,可以获得更具判别性的字典对.最后,文中算法在2个被广泛使用的行人重识别数据集VIPeR和CHUK01 Campus上进行验证,2个数据集在rank-1上的识别率分别为68.40%和80.14%,实验结果表明,文中算法不仅可以降低不同视图下分辨率差异明显的影响,而且大大提高了学习字典对的表示能力和鉴别能力,与其他算法相比获得了更好的行人重识别精度.     

多姿态图像生成的行人重识别算法研究

不同行人的高度相似性以及相同行人外观姿态的差异性,使得不同摄像头下的行人重识别面临严峻的挑战。生成对抗网络可以合成新的图像,被认为是解决行人姿态变化的主要技术手段。提出一种基于多姿态图像生成的行人重识别算法,利用生成对抗网络生成不同姿态的行人图像,通过归一化消除姿态的影响,从而大幅度提升行人重识别的整体性能。该行人重识别算法包括多姿态行人图像生成、不同姿态的行人特征提取与融合、距离度量和重排序三部分内容。在Market-1501数据集和DukeMTMC-ReID数据集上的实验证实了所提出算法的有效性,通过与state-of-the-art行人重识别方法比较,展示了多姿态图像生成方法在行人重识别任务中的优越性,同时表明生成行人图像的特征与原始图像的特征是相互补充的。     

基于特征融合的行人重识别方法

针对行人重识别中已有方法难以解决行人图像光照、视角变化大的问题,提出了一种基于特征融合的行人重识别方法。首先利用Retinex变换对图像进行预处理;然后将CN特征与原有的颜色和纹理特征融合,并通过区域和块划分的方式提取直方图获得图像特征;最后采用不同的距离学习方法在4个数据集上进行行人重识别。实验结果表明,融合后的特征对行人图像具有更好的表述能力,实现了重识别精度的较大提升,验证了方法的有效性。     

姿态驱动的局部特征对齐的行人重识别

针对行人重识别研究中的遮挡问题,本文提出了一种姿态驱动的局部特征对齐的行人重识别方法.网络主要包括姿态编码器和行人部件对齐模块.其中,姿态编码器通过重构姿态估计热力图抑制遮挡区域骨骼关键点置信度,引导网络提取行人可见部位的特征.行人部件对齐模块依据姿态编码器输出的关键点置信图,提取行人局部特征进行特征对齐,降低非行人特征的干扰.在遮挡、半身数据集上的仿真实验表明,该方法获得了优于其他对比网络的结果.     

基于特征融合与核局部Fisher判别分析的行人重识别

行人重识别精度主要取决于特征描述和度量学习两个方面。在特征描述方面,现有特征难以解决行人图像视角变化的问题,因此考虑将颜色标签特征与颜色和纹理特征融合,并通过区域和块划分的方式提取直方图获得图像特征;在度量学习方面,传统的核局部Fisher判别分析度量学习方法对所有查询图像统一映射到相同的特征空间中,忽略了查询图像不同区域的重要性,为此在核局部Fisher判别分析的基础上对特征进行区域分组,采用查询自适应得分融合方法来描述图像不同区域的重要性,由此实现度量学习。在VIPeR和iLIDS数据集上,实验结果表明融合后的特征描述能力明显优于原始特征,同时改进的度量学习方法有效提高了行人重识别精度。     

视觉字典合理容量的自动获取研究

针对当前完全依赖反复人为实验摸索才能获得视觉字典容量的现状,提出一种自动计算视觉字典合理容量的方法.采用尺度不变特征转换(SIFT)局部描述子构建场景图像数据集的特征矩阵,采用主成分分析(PCA)方法进行降维处理;采用吸引子传播聚类方法(AP聚类)对特征矩阵进行聚类处理,估算获得视觉字典的合理容量,并将合理容量的视觉字典用于支持向量机(SVM)中进行场景分类的训练和识别.将该方法与经典的K means视觉字典容量获取方法进行对比,对比结果表明,该方法提高了场景分类的精度,显著减少了场景分类的运行时间,提高了计算效率.     

基于广义霍夫变换的室外场景行人检测研究

提出一种基于广义霍夫变换的室外场景行人检测方法.首先从少量标注图片中随机地提取行人图像碎片构造碎片字典,然后使用图像碎片对每一幅训练图片计算特征向量.为了能够在静态图片中快速地检测行人,使用Gentleboost算法训练检测器,在每一次迭代时学习一个决策树桩弱分类器,该弱分类器可以从高维特征向量中选择一个当前区分度最好的碎片特征.在运行检测器时,所有的弱分类器在测试图片中对于行人的可能出现位置进行投票.最后,将各个弱分类器的投票结果进行叠加,并用设定的检测阈值剔除得分较低的检测结果后得到检测输出.在LabelMe数据集上的实验表明,该方法可以快速地在静态图片中检测出行人,需要较少的训练数据且有效地解决了部分遮挡问题.     

低分辨率行人重识别数据集及其基准方法

目的 行人重识别旨在解决多个非重叠摄像头下行人的查询和识别问题。在很多实际的应用场景中,监控摄像头获取的是低分辨率行人图像,而现有的许多行人重识别方法很少关注真实场景中低分辨率行人相互匹配的问题。为研究该问题,本文收集并标注了一个新的基于枪球摄像头的行人重识别数据集,并基于此设计了一种低分辨率行人重识别模型来提升低分辨率行人匹配性能。方法 该数据集由部署在3个不同位置的枪机摄像头和球机摄像头收集裁剪得到,最终形成包含200个有身份标签的行人和320个无身份标签的行人重识别数据集。与同类其他数据集不同,该数据集为每个行人同时提供高分辨率和低分辨率图像。针对低分辨率下的行人匹配难题,本文提出的基准模型考虑了图像超分、行人特征学习以及判别3个方面因素,并设计了相应的超分模块、特征学习模块和特征判别器模块,分别完成低分辨率图像超分、行人特征学习以及行人特征判断。结果 提出的基准模型在枪球行人重识别数据集上的实验表明,对比于经典的行人重识别模型,新基准模型在平均精度均值（mean average precision,mAP）和Rank-1指标上分别提高了3.1%和6.1%。结论 本文构建了典型的...     

弱监督场景下的行人重识别研究综述

近年来随着智能监控领域的不断发展,行人重识别问题逐渐受到学术界和工业界的广泛关注,其主要研究将不同摄像头下相同身份的行人图像进行关联.当前大部分研究工作关注在有监督场景下,即给定的训练数据都存在标记信息,然而考虑到数据标注工作的高成本,这在现实应用中往往是难以拓展的.本文关注于弱监督场景下的行人重识别算法,包括无监督场景和半监督场景,并且对当前先进的方法进行了分类和描述.对于无监督场景的行人重识别算法,本文根据其技术类型划分为五类,分别为基于伪标记的方法、基于图像生成的方法、基于实例分类的方法、基于领域自适应的方法和其他方法;对于半监督场景的行人重识别方法,本文根据其场景类型划分为四类,分别为少量的人有标记的场景、每一个人有少量标记的场景、基于tracklet的学习的场景和摄像头內有标记但摄像头间无标记的场景.最后,本文对当前行人重识别的相关数据集进行了整理,并对现有的弱监督方法的实验结果进行分析与总结.     

基于核空间与稠密水平条带特征的行人再识别

行人再识别指的是在无重叠视域多摄像机监控系统中, 匹配不同摄像机视域中的行人目标。由于行人图像受到光照、视角和行人姿态等变化的影响,在视觉上容易形成很大的外观差异,针对上述问题,提出了一种基于核空间与稠密水平条带特征的行人再识别算法。该算法首先通过自顶向下的滑动水平条带提取每个水平条带的颜色特征和纹理特征,然后融合行人图像的多种特征,映射到核空间,最后在核空间里学习得到一个对背景、视角、姿势的变化具有鲁棒性的相似度函数,通过比较相似度来对行人进行再识别。在VIPeR和iLIDS两个行人再识别数据集上的实验结果表明,本文算法具有较高的识别率,其中Rank1(排名第1的搜索结果即为待查询行人的比率)分别达到48.2%和60.8%。     

From person to group re-identification via unsupervised transfer of sparse features

The visual association of a person appearing in the field of view of different cameras is today well known as Person Re-Identification. Current approaches find a solution to such a problem by considering persons as individuals, hence avoiding the fact that frequently they form groups or move in crowds. In such cases, the information acquired by neighboring individuals can provide relevant visual context to boost the performance in re-identifying persons within the group. In light of enriched information, groups re-identification encompasses additional problems to the common person re-identification ones, such as severe occlusions and changes in the relative position of people within the group. In this paper, the single person re-identification knowledge is transferred by means of a sparse dictionary learning to group re-identification. First, patches extracted from single person images are used to learn a dictionary of sparse atoms. This is used to obtain a sparsity-driven residual group representation that is exploited to perform group re-identification. To evaluate the performance of the proposed approach, we considered the i-LIDS groups dataset that is the only group re-identification publicly available dataset. The benchmark datasets for single person re-identification evaluation do not include group information, hence we collected two additional datasets under challenging scenarios and used them to validate our solution.     

基于特征融合与改进神经网络的行人再识别

行人再识别中,为了获得基于突出性颜色名称的颜色描述(SCNCD)特征对于光照变化较好的鲁棒性,提出了融合SCNCD特征和对于视角变化鲁棒性高的局部最大出现概率(LOMO)表观特征;为了获得图像的结构信息,将图像划分为多个重叠块,并提取块特征;针对神经网络容易陷入局部极小值,且收敛速度慢的问题,引入动量项.经过公用VIPeR数据库和PRID450s数据测试后,实验结果表明:融合后的特征的识别能力明显高于原特征的识别能力,且改进后的神经网络收敛速度明显提高.     

Sparse coding with cross-view invariant dictionaries for person re-identification

The task of matching observations of the same person in disjoint views captured by non-overlapping cameras is known as the person re-identification problem. It is challenging owing to low-quality images, inter-object occlusions, and variations in illumination, viewpoints and poses. Unlike previous approaches that learn Mahalanobis-like distance metrics, we propose a novel approach based on dictionary learning that takes the advances of sparse coding of discriminatingly and cross-view invariantly encoding features representing different people. Firstly, we propose a robust and discriminative feature extraction method of different feature levels. The feature representations are projected to a lower computation common subspace. Secondly, we learn a single cross-view invariant dictionary for each feature level for different camera views and a fusion strategy is utilized to generate the final matching results. Experimental statistics show the superior performance of our approach by comparing with state-of-the-art methods on two publicly available benchmark datasets VIPeR and PRID 2011.     

Illumination and scale invariant relevant visual features with hypergraph-based learning for multi-shot person re-identification

Person re-identification which aims at matching people across disjoint cameras has received increasing attention due to the widespread use of video surveillance applications. Existing methods concentrate either on robust feature extraction or view-invariant feature transformation. However, the extracted features suffer from various limitations such as color inconsistency and scale variations. Besides, during matching, a probe is compared against each gallery instance which represents only the pairwise relationship and ignores the high order relationship among them. To address these issues, we propose a multi-shot person re-identification framework that first performs a preprocessing task on images to address illumination variations for maintaining the color consistency. Subsequently, we formulate an approach to handle scale variations in the pedestrian appearances for keeping them with relatively a fixed scale ratio. Overlapped visual patches representing appearance cues are then extracted from the processed images. A structured multi-class feature selection approach is employed to select a set of relevant patches that simultaneously discriminates all distinct persons. These selected patches use a hypergraph to represent the visual association among a probe and gallery images. Finally, for matching, we formulate a hypergraph-based learning scheme, which considers both the pairwise and high-order association among the probe and gallery images. The hypergraph structure is then optimized to yield an improved similarity score for a probe against each gallery instance. The effectiveness of our proposed framework is validated on three public datasets and comparison with state-of-the-art methods shows the superior performance of our framework.

     

多特征融合的人体目标再识别

在非重叠的多摄像机监控系统中,人体目标再识别是需要解决的主要问题之一。针对当前人体目标再识别使用目标的外观统计特征或者通过训练获取目标特征时存在的问题,提出一种无需训练,对视角、光照变化和姿态变化具有较强鲁棒性的基于多特征的人体目标再识别算法。首先根据空间直方图建立目标整体外观表现模型对目标进行粗识别,之后将人体目标分为3部分,忽略头部信息,分别提取躯干和腿部的主色区域的局部颜色和形状特征,并通过EMD(earth movers distance)距离进行目标精识别。实验结果表明,本文算法具有较高的识别率,且不受遮挡和背景粘连的影响。     

多方向显著性权值学习的行人再识别

目的 针对当前行人再识别匹配块的显著性外观特征不一致的问题,提出一种对视角和背景变化具有较强鲁棒性的基于多向显著性相似度融合学习的行人再识别算法。方法 首先用流形排序估计目标的内在显著性,并融合类间显著性得到图像块的显著性;然后根据匹配块的4种显著性分布情况,通过多向显著性加权融合建立二者的视觉相似度,同时采用基于结构支持向量机排序的度量学习方法获得各方向显著性权重值,形成图像对之间全面的相似度度量。结果 在两个公共数据库进行再识别实验,本文算法较同类方法能获取更为全面的相似度度量,具有较高的行人再识别率,且不受背景变化的影响。对VIPeR数据库测试集大小为316对行人图像的再识别结果进行了定量统计,本文算法的第1识别率(排名第1的搜索结果即为待查询人的比率)为30%,第15识别率(排名前15的搜索结果中包含待查询人的比率)为72%,具有实际应用价值。结论 多方向显著性加权融合能对图像对的显著性分布进行较为全面的描述,进而得到较为全面的相似度度量。本文算法能够实现大场景非重叠多摄像机下的行人再识别,具有较高的识别力和识别精度,且对背景变化具有较强的鲁棒性。     

基于自注意力模态融合网络的跨模态行人再识别方法研究

行人再识别是实现多目标跨摄像头跟踪的核心技术, 该技术能够广泛应用于安防、智能视频监控、刑事侦查等领域. 一般的行人再识别问题面临的挑战包括摄像机的低分辨率、行人姿态变化、光照变化、行人检测误差、遮挡等. 跨模态行人再识别相比于一般的行人再识别问题增加了相同行人不同模态的变化. 针对跨模态行人再识别中存在的模态变化问题, 本文提出了一种自注意力模态融合网络. 首先是利用CycleGAN生成跨模态图像. 在得到了跨模态图像后利用跨模态学习网络同时学习两种模态图像特征, 对于原始数据集中的图像利用SoftMax 损失进行有监督的训练, 对生成的跨模态图像利用LSR (Label smooth regularization) 损失进行有监督的训练. 之后, 使用自注意力模块将原始图像和CycleGAN生成的图像进行区分, 自动地对跨模态学习网络的特征在通道层面进行筛选. 最后利用模态融合模块将两种筛选后的特征进行融合. 通过在跨模态数据集SYSU-MM01上的实验证明了本文提出的方法和跨模态行人再识别其他方法相比有一定程度的性能提升.     

多特征融合与独立测度学习的行人再识别

目的 由于行人图像受到光照、视角、遮挡和行人姿态等变化的影响,在视觉上容易形成很大的外观差异,对行人再识别造成干扰。为了提高行人再识别的准确性,针对以上问题,提出一种基于多特征融合与独立测度学习的行人再识别算法。方法 首先通过图像增强算法对原始图像进行处理,减少因光照变化产生的影响,然后对处理后的图像进行非均匀分割,同时提取行人图像的HSV、RGS、LAB和YCbCr 4种颜色特征和SILTP（scale invariant local ternary pattern）纹理特征,在基于独立距离测度学习方法下,融合行人的多种特征,学习得到行人图像对的相似度度量函数,最后将行人图像对的相似度进行加权匹配,实现行人再识别。结果 在VIPeR、iLIDS和CUHK01这3个数据集上进行实验,其中Rank1（排名第1的搜索结果即为待查询人的比率）分别达到42.7%、43.6%和43.7%,Rank5（排名前5的搜索结果中包含待查询人的比率）均超过70%,识别率有了显著提高,具有实际应用价值。结论 提出的多特征融合与独立测度学习的行人再识别算法,能够有效表达行人图像信息,且对环境变化具有较强的鲁棒性,有效提高了识别率。     

基于辨识特征后融合的行人再识别

跨摄像机行人因光照、视角、姿态的差异,会使其外观变化显著,给行人再识别的研究带来严峻挑战。基于多特征融合和距离度量学习技术,提出辨识特征后融合的算法,并将其应用于行人再识别中。首先,对跨摄像机行人样本图像分别提取局部最大出现频次(LOMO)特征和基于显著颜色名称的颜色描述子(SCNCD)特征,表示跨摄像机行人的外观;然后,基于所提取的LOMO和SCNCD特征,分别去训练跨视图二次判别分析(XQDA)距离度量学习模型,分别获取跨摄像机每对行人每个特征优化的距离。最后,应用最小最大标准化距离融合的算法,获取跨摄像机行人最终的距离,用于跨摄像机行人的匹配。在具有挑战的VIPeR和PRID450S两个公开数据集上进行实验,实验结果表明所提出的行人再识别算法有效地提高了行人再识别的准确率。