面向行人重识别的局部特征研究进展、挑战与展望

行人重识别(Person re-identification, Re-ID)旨在跨区域、跨场景的视频中实现行人的检索及跟踪, 其成果在智能监控、刑事侦查、反恐防暴等领域具有广阔的应用前景. 由于真实场景下的行人图像存在光照差异大、拍摄视角不统一、物体遮挡等问题, 导致从图像整体提取的全局特征易受无关因素的干扰, 识别精度不高. 基于局部特征的方法通过挖掘行人姿态、人体部位、视角特征等关键信息, 可加强模型对人体关键区域的学习, 降低无关因素的干扰, 从而克服全局特征的缺陷, 也因此成为近几年的研究热点. 本文对近年基于局部特征的行人重识别文献进行梳理, 简述了行人重识别的发展历程, 将基于局部特征的方法归纳为基于姿势提取、基于特征空间分割、基于视角信息、基于注意力机制四类, 并详细阐述了每一类的原理及优缺点. 然后在三个主流行人数据集上对典型方法的识别性能进行了分析比较, 最后总结了目前基于局部特征算法的难点, 并对未来本领域的研究趋势和发展方向进行展望.     

基于联合损失胶囊网络的换衣行人重识别

目前的行人重识别（Re-ID）研究主要集中在短时间情形,即一个人的衣着不太可能发生改变的情况。然而现实中更常见的是长时间的情况,这时一个人有很大的机会更换衣服,Re-ID模型应该考虑这种情况。为此,研究了一种基于联合损失胶囊网络的换衣行人重识别方法。所提方法基于换衣行人重识别胶囊网络ReIDCaps,使用与传统的标量神经元相比包含更多信息的矢量胶囊,用其长度表示行人身份信息,用其方向表示行人衣着信息;采用软嵌入注意力（SEA）防止模型过拟合;使用特征稀疏表示（FSR）机制提取具有判别性的特征;增加标签平滑正则化交叉熵损失与Circle Loss的联合损失以提高模型的泛化能力和鲁棒性。在三个换衣行人重识别数据集Celeb-reID、Celeb-reID-light和NKUP上进行实验,实验结果表明所提方法与目前已有的Re-ID方法相比具有一定优势。     

多尺度局部特征选择的行人重识别算法

针对行人重识别问题中人体姿态变化、对齐及部分遮挡等情况,提出了一种基于深度学习的局部区域选择和局部特征提取算法。算法首先利用残差卷积神经网络获取基本特征,然后利用多尺度的滑动窗口提取不同候选局部区域特征,并按照覆盖区域进行分组,每组选择一个最优局部特征,并融合整体特征得到最终特征表达。实验结果表明,通过该方法提取的局部特征具有更好的表达能力,提高了行人重识别的精确度。     

结合注意力与局部特征融合的行人重识别算法

行人重识别是指从一堆候选图片中找到与目标最相似的行人图片,本质上是一个图像检索的子问题。为了进一步增强网络提取关键特征的能力以及抑制噪声的干扰,通过对基于注意力机制和局部特征的行人重识别算法的研究,提出了结合注意力与局部特征融合的行人重识别算法。该算法将ResNeSt-50作为骨干网络,联合软注意力与非局部注意力机制,采用双流结构分别提取行人细粒度全局特征和细粒度局部特征,通过关注不同特征之间共享的空间域信息以及同一特征不同水平区域的潜在语义相关性,创建了空间感知特征融合模块（spatial-aware feature fusion module）以及跨区域特征融合模块（cross-region feature fusion module）。在Market-1501、DukeMTMC-reID以及CUHK03数据集上的实验结果表明该算法极大程度上提升了网络的检索能力,同时与现有算法进行比较,凸显出优越性能。     

基于孪生网络和重排序的行人重识别

针对非重叠多摄像头下的行人重识别（Re-ID）易受到光照、姿势及遮挡等影响和实验过程中存在图像错误匹配的情况，提出一种基于孪生网络和重排序的行人重识别方法。首先，给定一对行人训练图像，孪生网络可以同时学习一个具有辨别力的卷积神经网络（CNN）特征和相似性度量，并预测两个输入图像的行人身份以及判断它们是否属于同一个行人；然后，通过k互近邻方法来降低图像错误匹配的情况；最后，将欧氏距离和杰卡德距离加权来对排序表进行重排序。在数据集Market1501和CUHK03上进行多次实验，实验结果显示在Market1501上Single Query情况下在图库中第一次就成功匹配的概率（Rank1）达到83.44%，平均精度均值（mAP）为68.75%，在CUHK03上single-shot情况下Rank1达到85.56%，mAP为88.32%，明显高于传统的基于特征表示和度量学习的方法。     

基于多粒度区域相关深度特征学习的行人重识别

在对行人重识别的研究中,联合使用从图像中提取的全身与局部特征已经成为当前的主流方法.但是许多基于深度学习的重识别模型在提取局部特征时忽略了它们在空间上的相互联系,当不同行人具有局部相似的外观时,这些局部特征的辨别能力会受到很大影响.针对该问题,提出了一种学习多粒度区域相关特征的行人重识别方法.该方法在对骨干网络提取的卷积特征张量作不同粒度的区域划分后,设计了区域相关子网络模块来学习融入空间结构关系的各局部区域特征.在区域相关子网络模块中,为了赋予局部特征与其他区域相关联的空间结构信息,综合利用了平均池化运算的空间保持能力与最大池化运算的性能优势.通过对当前特征和其他各区域的局部特征进行联合处理,使各局部特征间产生很强的空间相关性,提升了特征判别能力.在区域相关子网络模块的设计上,采用了与深度残差网络相同的短路连接结构,使得网络更易于优化.最后,由全身特征与使用区域相关子网络增强后的各局部区域特征联合实现行人重识别.Market-1501,CUHK03,DukeMTMC-reID 3个公开数据集上的实验结果表明,所提算法取得了优于当前主流算法的行人身份匹配准确率,具有非常优秀的重识别性能.     

基于特征融合与核局部Fisher判别分析的行人重识别

行人重识别精度主要取决于特征描述和度量学习两个方面。在特征描述方面,现有特征难以解决行人图像视角变化的问题,因此考虑将颜色标签特征与颜色和纹理特征融合,并通过区域和块划分的方式提取直方图获得图像特征;在度量学习方面,传统的核局部Fisher判别分析度量学习方法对所有查询图像统一映射到相同的特征空间中,忽略了查询图像不同区域的重要性,为此在核局部Fisher判别分析的基础上对特征进行区域分组,采用查询自适应得分融合方法来描述图像不同区域的重要性,由此实现度量学习。在VIPeR和iLIDS数据集上,实验结果表明融合后的特征描述能力明显优于原始特征,同时改进的度量学习方法有效提高了行人重识别精度。     

基于向量注意力机制GoogLeNet-GMP的行人重识别方法

为了提高行人重识别(Re-ID)的准确率和适用性,提出了一种基于向量注意力机制GoogLeNet的Re-ID方法。首先,将3组图像(锚、正、负)输入到GoogLeNet-GMP网络中,获得分段式特征向量。然后,利用空间金字塔池化(Spatial Pyramid Pooling, SPP)对来自不同金字塔等级的特征进行聚合,并引入注意力机制,通过对代表目标视觉信息的多尺度池化区域进行整合,获得多个语义等级上的可区分性特征。同时,将两个不同损失函数的混合形式作为最终损失函数。在Market-15012和Duke-MTMC3数据集上进行实验,结果表明,相比其他优秀方法,所提方法在Rank-1和mAP指标方面表现更优。     

内容一致性行人重识别算法

行人重识别是指利用计算机视觉技术识别不同监控设备下的目标行人,该技术在公共安全与相册管理等方面应用较广。然而现有行人重识别算法在局部特征区域划分后出现离异值使该区域内容不一致,导致局部特征可区分性降低。提出一种基于局部区域特征选择的内容一致性行人重识别算法。将行人图像输入残差卷积神经网络取得张量,根据局部区域内容一致性从张量中选择基本单位特征向量,使用Softmax函数计算其局部区域概率重新生成局部区域,从而消除离异值,增加类间差异并减少类内差异。实验结果表明,与Spindel、PN-GAN等行人重识别算法相比,该算法的行人重识别准确率更高,其提取的行人特征可区分性和鲁棒性更好。     

基于特征融合的遮挡行人重识别方法

行人重识别是一项解决跨场景跨摄像头下的行人识别问题的技术。当障碍物遮挡行人的某些部位时，人物结构的完整性会被破坏，影响识别效果或难于识别。针对行人重识别的遮挡问题，提出了一种新的遮挡行人重识别方法，引入关系感知全局注意力机制，融合全局特征和局部特征来进行行人重识别。识别方法的主要组成部分包括局部分支、全局分支和特征融合分支等。局部分支通过遍历局部特征来增强鲁棒性；全局分支通过利用关系感知全局注意力来挖掘行人显著性的信息；特征融合分支通过自适应地生成特征权重，利用加权求和的方式来融合全局特征和局部特征。实验验证了所提方法的有效性，并且有效提升了行人重识别的效果。     

跨模态行人重识别研究与展望

行人重识别是计算机视觉的热门研究方向,其对智能安防、视频监控的发展有着重大意义.目前大部分工作主要集中在研究基于可见光的行人重识别,然而可见光摄像头无法在光线不足的黑夜中正常使用,而新型摄像头能够随机切换红外模式进行24小时视频监控,因此最近有一些工作对RGB-IR跨模态行人重识别问题进行了研究.本文分别从定义、研究难点和发展现状介绍了跨模态行人重识别问题,并根据不同的技术类型将目前存在的方法分为三类,即基于统一特征模型的方法;基于度量学习的方法;基于模态转换的方法.本文也详细介绍了该任务的数据集和评价准则,并对现有算法的性能进行分析与归纳.最后,总结了跨模态行人重识别的未来发展方向.     

Pedestrian Re-identification Algorithm Based on Visual Attention-positive Sample Generation Network Deep Learning Model

In view of the strong generalizability and self-learning capabilities of deep learning models, many scholars have studies how to apply deep learning theory in the pedestrian re-identification field. However, a number of problems persist in practically applying deep learning in this field, including determining how to make full use of the features of the sequence information in the salient region of an image and addressing the data gap between data-driven deep learning models and pedestrian re-identification tasks. In view of these problems, in this paper, a re-identification method is proposed based on a visual common attention mechanism. Initially, the method focuses on the local area of the image at the location specified by the given coordinates. Next, under the constraint of pedestrian image pairing tags, it focuses on the sequence of salient regions of image pairs based on deep learning techniques. Then, the global features and the local attention features are cascaded into joint features for use in pedestrian re-identification. To address the data gap between deep learning models and pedestrian re-identification, a new strategy for generating difficult positive samples is proposed primarily through a positive sample that mainly involves a positive sample generation network, a difficult positive sample conversion network, and a dual-stream twin network. We using this network, a large number of positive samples can be obtained to train the data-driven neural network and solve the re-identification task. The above ideas are combined to propose a pedestrian re-identification algorithm based on a visual attention-positive sample generation network deep learning model. The experimental results show that the method proposed in this paper not only achieves better recognition results than other deep learning methods, but also adapts well to a variety of databases. In addition, the method proposed in this paper is more robust to occluded pedestrian images than other deep learning methods. In addition, the method proposed in this paper is more robust than other deep learning methods for occluding pedestrian images.     

基于通道信息对齐的素描行人重识别

素描行人重识别任务要求在彩色图像库中寻找与给定素描图像相同身份的行人.由于行人的素描图像与彩色图像之间的姿态、视角等信息不同,两个模态在相同的空间位置往往具有不同的语义信息,导致所提取的特征不具备鲁棒性.以往的研究着重于行人不随着模态信息变化的特征提取,而忽略了不同模态间语义不对齐的问题,进而导致最终编码的特征受到摄像机视角、人体姿态或者遮挡等干扰,不利于图像的匹配.对此,提出基于通道信息对齐的素描行人重识别模型.其中:语义信息一致性学习模块引导网络在特征的相同通道上形成固定编码的语义信息,降低语义信息不对齐所带来的影响;差异性特征注意力模块辅助网络编码具有差异性的身份相关信息,并设计空间差异正则化项以防止网络仅关注局部特征.两个模块互相配合,强化网络对语义信息的感知和对齐.所提出的方法在具挑战性数据集Sketch Re-ID、QMUL-ShoeV2上的rank-1和mAP分别达到60.0%和59.3%、33.5%和46.1%,从而验证了所提出方法的有效性.     

基于增强特征融合网络的行人再识别

针对行人再识别问题,目前多数方法将行人的局部或全局特征分开考虑,从而忽略了行人整体之间的关系,即行人全局特征和局部特征之间的联系。本文提出一种增强特征融合网络(enhanced feature convergent network,EFCN)。在全局分支中,提出适用于获取全局特征的注意力网络作为嵌入特征,嵌入在基础网络模型中以提取行人的全局特征;在局部分支中,提出循环门单元变换网络(gated recurrent unit change network,GRU-CN)得到代表性的局部特征;再使用特征融合方法将全局特征和局部特征融合成最终的行人特征;最后借助损失函数训练网络。通过大量的对比实验表明,该算法网络模型在标准的Re-ID数据集上可以获得较好的实验结果。提出的增强特征融合网络能提取辨别性较强的行人特征,该模型能够应用于大场景非重叠多摄像机下的行人再识别问题,具有较高的识别能力和识别精度,且对背景变化的行人图像能提取具有较强的鲁棒性特征。     

基于迁移学习的行人再识别

行人再识别指的是在无重叠的多摄像机监控视频中,匹配不同摄像机中的行人目 标。提出了一种基于迁移学习的行人再识别方法。在训练阶段,针对现有的基于深度卷积神经 网络的图像识别模型进行参数微调,将网络模型迁移学习至行人再识别模型。测试阶段,利用 学习好的网络模型提取行人图像的特征,再采用余弦距离来描述行人对之间的相似度。在 CUHK03、Market-1501 和 DukeMTMC-reID 3 个数据集上进行了深入的实验分析,实验结果表 明该方法取得了较高的累积匹配得分,特别是第 1 匹配率远远超过了非深度学习的方法,与其 他基于深度学习的行人再识别方法相比,准确率也有所提升。     

联合语义分割与注意力机制的行人再识别模型

受行人姿态变化、光照视角、背景变换等因素的影响,现有行人再识别模型通常对数据集中的行人分成若干块提取图像的局部特征进行辨识以提高识别精度,但存在人体局部特征不匹配、容易丢失非人体部件的上下文线索等问题。构建一种改进的行人再识别模型,通过将人体语义解析网络的局部特征进行对齐,增强行人语义分割模型对图像中行人任意轮廓的建模能力,利用局部注意力网络捕捉非人体部分丢失的语境线索。实验结果表明,该模型在Market-1501、DukeMTMC和CUHK03数据集上的平均精度均值分别达到83.5%、80.8%和92.4%,在DukeMTMC数据集上的Rank-1为90.2%,相比基于注意力机制、行人语义解析和局部对齐网络的行人再识别模型具有更强的鲁棒性和迁移性。     

基于胶囊网络的跨域行人再识别

行人再识别是在不同环境下再次对特定行人进行检索,近几年来受到国内外学者的广泛关注。目前行人再识别算法多采用局部特征与全局特征相结合的方法,在单一数据集上的训练和测试取得了非常好的成绩,但是在跨域测试中成绩并不理想,泛化能力较低。提出一种基于深度胶囊网络的跨域行人再识别方法,通过视角分类训练任务,模型可以学习图像中行人的有效特征,这些特征可以直接迁移到行人再识别任务中,缓解了行人再识别泛化能力不足的问题。实验结果表明,本文模型优于目前所有无监督学习行人再识别方法,具有良好泛化能力。     

基于深层特征融合的行人重识别方法

针对现有基于深度学习的行人重识别方法对于行人姿态变化、部分遮挡等引起的行人判别特征信息缺失的问题,提出了一种深层特征融合的行人重识别方法。首先,利用卷积层和池化层多次提取网络深层特征,从空间维度提升网络性能,使用融合后的深层特征作为行人图像的全局特征属性;其次,为提高模型的泛化能力,在深层融合特征后加入一个批量归一化层,同时采用标签平滑损失函数和三元组损失函数对模型进行联合训练。实验结果表明,所提的深层特征融合方法具有很好的表达能力。在Market1501、DukeMTMC-reID、CUHK03和MSMT17 4个数据集上对所提方法进行了验证,其中在Market1501数据集上,Rank-1值达到了95.0%,mAP达到了85.6%。