整合全局—局部度量学习的人体目标再识别

目的 人体目标再识别的任务是匹配不同摄像机在不同时间、地点拍摄的人体目标。受光照条件、背景、遮挡、视角和姿态等因素影响,不同摄相机下的同一目标表观差异较大。目前研究主要集中在特征表示和度量学习两方面。很多度量学习方法在人体目标再识别问题上了取得了较好的效果,但对于多样化的数据集,单一的全局度量很难适应差异化的特征。对此,有研究者提出了局部度量学习,但这些方法通常需要求解复杂的凸优化问题,计算繁琐。方法 利用局部度量学习思想,结合近几年提出的XQDA（cross-view quadratic discriminant analysis）和MLAPG（metric learning by accelerated proximal gradient）等全局度量学习方法,提出了一种整合全局和局部度量学习框架。利用高斯混合模型对训练样本进行聚类,在每个聚类内分别进行局部度量学习;同时在全部训练样本集上进行全局度量学习。对于测试样本,根据样本在高斯混合模型各个成分下的后验概率将局部和全局度量矩阵加权结合,作为衡量相似性的依据。特别地,对于MLAPG算法,利用样本在各个高斯成分下的后验概率,改进目标损失函数中不同样本的损失权重,进一步提高该方法的性能。结果 在VIPeR、PRID 450S和QMUL GRID数据集上的实验结果验证了提出的整合全局—局部度量学习方法的有效性。相比于XQDA和MLAPG等全局方法,在VIPeR数据集上的匹配准确率提高2.0%左右,在其他数据集上的性能也有不同程度的提高。另外,利用不同的特征表示对提出的方法进行实验验证,相比于全局方法,匹配准确率提高1.3%~3.4%左右。结论 有效地整合了全局和局部度量学习方法,既能对多种全局度量学习算法的性能做出改进,又能避免局部度量学习算法复杂的计算过程。实验结果表明,对于使用不同的特征表示,提出的整合全局—局部度量学习框架均可对全局度量学习方法做出改进。     

基于辨识特征后融合的行人再识别

跨摄像机行人因光照、视角、姿态的差异,会使其外观变化显著,给行人再识别的研究带来严峻挑战。基于多特征融合和距离度量学习技术,提出辨识特征后融合的算法,并将其应用于行人再识别中。首先,对跨摄像机行人样本图像分别提取局部最大出现频次(LOMO)特征和基于显著颜色名称的颜色描述子(SCNCD)特征,表示跨摄像机行人的外观;然后,基于所提取的LOMO和SCNCD特征,分别去训练跨视图二次判别分析(XQDA)距离度量学习模型,分别获取跨摄像机每对行人每个特征优化的距离。最后,应用最小最大标准化距离融合的算法,获取跨摄像机行人最终的距离,用于跨摄像机行人的匹配。在具有挑战的VIPeR和PRID450S两个公开数据集上进行实验,实验结果表明所提出的行人再识别算法有效地提高了行人再识别的准确率。     

基于特征融合及差异矩阵的行人再识别

针对行人目标在不同摄像机下外观显著性变化的问题,提出一种基于特征融合及差异矩阵的行人再识别算法。串联融合显著颜色名描述符(SCNCD)和微调的卷积神经网络(FTCNN)特征来描述行人图像,采用K-means算法获取包含典型行人图像的参考集以优化目标与参考身份相对应的重建关系,运用差异矩阵度量(DMMM)算法进行度量学习。在VIPeR和PRID450s行人再识别数据集上的实验结果表明,所提行人再识别算法具有良好的匹配率和有效性。     

基于分布约束的非对称度量学习无监督行人重识别

在无监督行人重识别中,针对传统非对称度量学习方法无法克服不同视角的数据分布差异问题,提出一种基于分布约束的非对称度量学习无监督行人重识别方法.首先,采用JSTL技术对特征提取网络预训练,得到具有较强鲁棒性的特征表示;然后,提出基于分布约束的非对称度量学习算法,通过在传统非对称度量学习目标函数中引入分布约束,实现不同摄像视角下行人图像非对称特征变换的同时,有效克服特征空间中行人数据分布差异导致的识别精确度低的问题;最后,采用梯度下降法优化目标函数,并通过广义特征值问题求解获得最优度量矩阵.基于Market和Duke两个公共数据集的实验表明,该算法的rank1值分别达到57.01%和32.32%, MAP值分别达到27.91%和16.00%,与传统非对称度量学习算法相比识别性能有明显提升.     

基于多特征子空间与核学习的行人再识别

行人再识别指的是在无重叠视域多摄像机监控系统中, 匹配不同摄像机视域中的行人目标.针对当前基于距离测度学习的行人再识别算法中存在着特征提取复杂、训练过程复杂和识别效果差的问题, 我们提出一种基于多特征子空间与核学习的行人再识别算法.该算法首先在不同特征子空间中基于核学习的方法得到不同特征子空间中的测度矩阵以及相应的相似度函数, 然后通过比较不同特征子空间中的相似度之和来对行人进行识别.实验结果表明, 本文提出的算法具有较高的识别率, 其中在VIPeR数据集上, RANK1达到了40.7%, 且对光照变化、行人姿态变化、视角变化和遮挡都具有很好的鲁棒性.     

行人重识别中度量学习方法研究进展

行人重识别是计算机视觉领域极具挑战的研究课题.近年来,伴随大规模行人数据集推出和深度学习发展,针对行人特征提取与描述、距离度量学习两大关键技术的研究取得众多成果.已有综述文献主要对特征提取与描述方法开展了归纳总结,尚缺乏对度量学习方法的全面分析.同时,鉴于度量学习在提升重识别性能中的关键作用,有必要对行人重识别中度量学...     

正态重采样的改进行人再识别度量学习算法

跨场景的行人再识别任务,现有度量学习算法由于小样本问题使得对模型参数的估计存在偏差,从而导致识别精度较低。在交叉二次判别分析度量学习算法的基础上,提出了一种基于样本正态性重采样算法,建立了半监督学习度量模型,以增强度量模型的泛化能力。综合泛化后的度量模型和交叉二次判别算法,构建了加权组合的联合模型。选取了公开数据集VIPeR和CUHK01进行测试,测试结果显示该算法相比于原交叉二次判别算法以及相关的行人再识别算法有着明显的优势,尤其在rank-1上的识别精度分别超过了MLAPG算法和NFST算法7.79%和4.68%,且该算法对于训练数据量的变化具有较强的鲁棒性。     

联合增强局部最大发生特征和k-KISSME 度量学习的行人再识别

摘要：行人再识别是一种在监控视频中自动搜索行人的重要技术,该技术包含特征表示 和度量学习2 部分。有效的特征表示应对光线和视角变化具有鲁棒性,具有判别性的度量学习 能够提高行人图像的匹配精度。但是,现有的特征大多都是基于局部特征表示或者全局特征表 示,没有很好的集成行人外观的精细细节和整体外观信息且度量学习通常是在线性特征空间进 行,不能高效地利用特征空间中的非线性结构。针对该问题,设计了一种增强局部最大发生的 有效特征表示(eLOMO)方法,可以实现行人图像精细细节和整体外观信息的融合,满足人类视 觉识别机制;并提出一种被核化的KISSME 度量学习(k-KISSME)方法,其计算简单、高效,只 需要对2 个逆协方差矩阵进行估计。此外,为了处理光线和视角变化,应用了Retinex 变换和 尺度不变纹理描述符。实验表明该方法具有丰富和完整的行人特征表示能力,与现有主流方法 相比提高了行人再识别的识别率。     

A Siamese inception architecture network for person re-identification

Person re-identification is an extremely challenging problem as person’s appearance often undergoes dramatic changes due to the large variations of viewpoints, illuminations, poses, image resolutions, and cluttered backgrounds. How to extract discriminative features is one of the most critical ways to address these challenges. In this paper, we mainly focus on learning high-level features and combine the low-level, mid-level, and high-level features together to re-identify a person across different cameras. Firstly, we design a Siamese inception architecture network to automatically learn effective semantic features for person re-identification in different camera views. Furthermore, we combine multi-level features in null space with the null Foley–Sammon transform metric learning approach. In this null space, images of the same person are projected to a single point, which minimizes the intra-class scatter to the extreme and maximizes the relative inter-class separation simultaneously. Finally, comprehensive evaluations demonstrate that our approach achieves better performance on four person re-identification benchmark datasets, including Market-1501, CUHK03, PRID2011, and VIPeR.     

融合直接度量和间接度量的行人再识别

当前行人再识别的度量算法在计算相似性时主要依据两幅图像自身的判别信息(直接度量),较少依据与两幅图像相关的其它图像的判别信息(间接度量).针对此种情况,文中提出加权融合直接度量和间接度量的度量方法.首先提取图像的局部最大概率特征和突出性颜色名称特征,融合两者作为图像的最终特征.然后分别计算两幅图像的直接相似性和间接相似性,利用序列排序方法对数据库样本进行训练,得到权值参数,从而得到两幅图像的最终相似性.在Market-1501数据库和CUHK03数据库上的实验表明,融合后的度量识别能力明显高于单个度量的识别能力.     

基于特征融合与核局部Fisher判别分析的行人重识别

行人重识别精度主要取决于特征描述和度量学习两个方面。在特征描述方面,现有特征难以解决行人图像视角变化的问题,因此考虑将颜色标签特征与颜色和纹理特征融合,并通过区域和块划分的方式提取直方图获得图像特征;在度量学习方面,传统的核局部Fisher判别分析度量学习方法对所有查询图像统一映射到相同的特征空间中,忽略了查询图像不同区域的重要性,为此在核局部Fisher判别分析的基础上对特征进行区域分组,采用查询自适应得分融合方法来描述图像不同区域的重要性,由此实现度量学习。在VIPeR和iLIDS数据集上,实验结果表明融合后的特征描述能力明显优于原始特征,同时改进的度量学习方法有效提高了行人重识别精度。     

面向跨模态行人重识别的单模态自监督信息挖掘

目的 在智能监控视频分析领域中,行人重识别是跨无交叠视域的摄像头匹配行人的基础问题。在可见光图像的单模态匹配问题上,现有方法在公开标准数据集上已取得优良的性能。然而,在跨正常光照与低照度场景进行行人重识别的时候,使用可见光图像和红外图像进行跨模态匹配的效果仍不理想。研究的难点主要有两方面:1)在不同光谱范围成像的可见光图像与红外图像之间显著的视觉差异导致模态鸿沟难以消除;2)人工难以分辨跨模态图像的行人身份导致标注数据缺乏。针对以上两个问题,本文研究如何利用易于获得的有标注可见光图像辅助数据进行单模态自监督信息的挖掘,从而提供先验知识引导跨模态匹配模型的学习。方法 提出一种随机单通道掩膜的数据增强方法,对输入可见光图像的3个通道使用掩膜随机保留单通道的信息,使模型关注提取对光谱范围不敏感的特征。提出一种基于三通道与单通道双模型互学习的预训练与微调方法,利用三通道数据与单通道数据之间的关系挖掘与迁移鲁棒的跨光谱自监督信息,提高跨模态匹配模型的匹配能力。结果 跨模态行人重识别的实验在“可见光—红外”多模态行人数据集SYSU-MM01(Sun Yat-Sen University Multi...     

Person re-identification with block sparse recovery

We consider the problem of automatically re-identifying a person of interest seen in a “probe” camera view among several candidate people in a “gallery” camera view. This problem, called person re-identification, is of fundamental importance in several video analytics applications. While extracting knowledge from high-dimensional visual representations based on the notions of sparsity and regularization has been successful for several computer vision problems, such techniques have not been fully exploited in the context of the re-identification problem. Here, we develop a principled algorithm for the re-identification problem in the general framework of learning sparse visual representations. Given a set of feature vectors for a person in one camera view (corresponding to multiple images as they are tracked), we show that a feature vector representing the same person in another view approximately lies in the linear span of this feature set. Furthermore, under certain conditions, the associated coefficient vector can be characterized as being block sparse. This key insight allows us to design an algorithm based on block sparse recovery that achieves state-of-the-art results in multi-shot person re-identification. We also revisit an older feature transformation technique, Fisher discriminant analysis, and show that, when combined with our proposed formulation, it outperforms many sophisticated methods. Additionally, we show that the proposed algorithm is flexible and can be used in conjunction with existing metric learning algorithms, resulting in improved ranking performance. We perform extensive experiments on several publicly available datasets to evaluate the proposed algorithm.     

基于迁移学习的行人再识别

行人再识别指的是在无重叠的多摄像机监控视频中,匹配不同摄像机中的行人目 标。提出了一种基于迁移学习的行人再识别方法。在训练阶段,针对现有的基于深度卷积神经 网络的图像识别模型进行参数微调,将网络模型迁移学习至行人再识别模型。测试阶段,利用 学习好的网络模型提取行人图像的特征,再采用余弦距离来描述行人对之间的相似度。在 CUHK03、Market-1501 和 DukeMTMC-reID 3 个数据集上进行了深入的实验分析,实验结果表 明该方法取得了较高的累积匹配得分,特别是第 1 匹配率远远超过了非深度学习的方法,与其 他基于深度学习的行人再识别方法相比,准确率也有所提升。     

基于自注意力模态融合网络的跨模态行人再识别方法研究

行人再识别是实现多目标跨摄像头跟踪的核心技术, 该技术能够广泛应用于安防、智能视频监控、刑事侦查等领域. 一般的行人再识别问题面临的挑战包括摄像机的低分辨率、行人姿态变化、光照变化、行人检测误差、遮挡等. 跨模态行人再识别相比于一般的行人再识别问题增加了相同行人不同模态的变化. 针对跨模态行人再识别中存在的模态变化问题, 本文提出了一种自注意力模态融合网络. 首先是利用CycleGAN生成跨模态图像. 在得到了跨模态图像后利用跨模态学习网络同时学习两种模态图像特征, 对于原始数据集中的图像利用SoftMax 损失进行有监督的训练, 对生成的跨模态图像利用LSR (Label smooth regularization) 损失进行有监督的训练. 之后, 使用自注意力模块将原始图像和CycleGAN生成的图像进行区分, 自动地对跨模态学习网络的特征在通道层面进行筛选. 最后利用模态融合模块将两种筛选后的特征进行融合. 通过在跨模态数据集SYSU-MM01上的实验证明了本文提出的方法和跨模态行人再识别其他方法相比有一定程度的性能提升.     

融合BOW模型的多特征子空间行人重识别算法

针对目前行人重识别算法在目标外观特征和度量算法方面的问题,提出一种融合BOW模型的多特征子空间行人重识别算法。在行人图像上采用2-D高斯模板将图像背景弱化,然后提取BOW特征描述子和YUV+HSV颜色特征描述子,并将其融合组成最终的特征描述子。在相似性度量方面,采用在原始特征空间学习一个子空间,并在该子空间学习测度矩阵的方法进行相似性度量。在VIPeR和CUHK01两个数据集上的实验结果表明,提出的算法能够明显地提高行人重识别率。     

正则化独立测度矩阵的行人再识别*

针对当前基于距离测度学习的行人再识别算法中因训练样本少而出现的过拟合问题,提出正则化独立测度矩阵的行人再识别算法.该算法首先在4个不同的颜色空间单独学习测度矩阵,然后分别对相应的测度矩阵进行正则化,测试样本通过正则化后的测度矩阵进行相似性度量,最后结合相似性度量结果得到最终相似度.实验表明,相比原有算法,文中算法在性能上有进一步提升,并可改善训练样本少时出现的过拟合问题.     

基于块稀疏表示的行人重识别方法

针对非重叠视角下的行人重识别和高维特征提取等问题,提出基于块稀疏表示的行人重识别方法。采取典型相关分析（CCA）方法进行特征投影变换,通过提高特征匹配能力来避免高维特征运算引起的维数灾难问题,并在CCA转换后的投影空间使投影后查询集行人特征向量与相应的数据集特征向量近似成线性关系;利用行人数据集的块结构特征构建行人重识别模型,采用交替方向框架求解优化问题;最后对查询集中要识别的行人采用残差项处理,并将最小残差项所对应的指标作为最终识别的行人记号。在公开数据集PRID 2011、iLIDS-VID和VIPeR上进行多次实验,结果显示所提方法的Rank1性能在三个数据集上分别达到40.4%、38.11%和23.68%,明显高于大间隔最近邻分类（LMNN）等算法,其在Rank-1上的匹配率也远大于LMNN算法;其总体性能也优于经典的基于特征表示与度量学习的算法。实验结果验证了所提方法在行人重识别上的有效性。