基于特征金字塔分支和非局部关注的行人重识别

关注全局轮廓和行人局部细节对现有行人重识别方法非常重要。为了能够提取这些更具代表性的特征,提出一种基于特征金字塔分支和非局部关注模块的行人重识别网络方法来提取行人全局和局部表征特征。该方法首先引入一种轻量级别的特征金字塔分支结构,从不同的网络层中提取特征,并且聚合成一个双向金字塔结构。其次为进一步提高行人重识别的精度,使用非局部关注模块提取全局特征,这样既能获取行人的全局信息,又能注重行人的局部细节,使两者最终融合的特征更具代表性。最后将不同层间的特征融合起来,并使用联合损失函数策略对网络模型进行训练,显著提高骨干网络的性能。通过在MSMT17、Market1501、DukeMTMC-ReID和PersonX四个公共行人重识别数据集上的大量实验,证明所提出的基于特征金字塔分支和非局部关注的方法相较于目前一些先进的行人重识别方法,具有一定的竞争力。     

多层级重叠条纹特征融合的行人重识别

针对行人重识别(Person-ReID)过程中,基于局部特征的方法在提取行人特征时因信息缺失导致鲁棒性和判别力不足的问题,提出一种多层级重叠条纹特征融合的行人重识别算法.训练阶段,对骨架网络不同阶段的输出特征图进行水平均等分割,再提取重叠条纹特征以弥补丢失的信息;使用三种损失函数对不同的特征向量进行监督训练,以约束类内距离.此外,设计组归一化模块来消除不同损失函数在优化方向上存在的差异,从而提取到更恰当的共享特征.推理阶段,将多个特征向量融合成一个新的特征向量,再进行相似性判断.将该方法在Market-1501、DukeMTMC-reID数据集上进行有效性实验验证并对结果进行分析.所提算法能够提高行人重识别的准确率,模型所提取的特征具有较强的鲁棒性和判别力.     

基于显著性多尺度特征协作融合的行人重识别方法

由于背景信息复杂、遮挡等因素的影响,现有基于局部特征的行人重识别方法所提取的特征不具有辨别力和鲁棒性,从而导致重识别精度较低,针对该问题,提出一种基于显著性检测与多尺度特征协作融合的SMC-ReID方法。利用显著性检测提取行人中具有判别力的特征区域,融合显著性特征与全局特征并完成不同尺度的切块,将上述不同尺度的特征进行协作融合以保证特征切块后的连续性,根据全局特征和局部特征的差异性联合3种损失函数进行学习。在推理阶段,将各个尺度的特征降低到同一维度并融合成新的特征向量,以实现相似性度量。在行人重识别公开数据集Market1501、DukeMTMC-reID和CUHK03上进行实验,结果表明,SMC-ReID方法所提取的特征具有较强的可区分性和鲁棒性,识别准确率优于SVDNet和PSE+ECN等方法。     

基于非局部注意力和局部特征的车辆重识别算法

车辆重识别是指从不同的摄像机来重新识别出同一辆车。车辆重识别非常容易受到车辆角度以及光照等其他因素的影响,是一项非常有挑战性的任务。许多车辆重识别方法都过分关注车辆全局特征,而忽略了车辆图像的局部有分辨力的特征,造成了车辆重识别精度不高的问题。针对这一问题,本文提出一种整合非局部注意力的和多尺度特征的车辆重识别方法,使用注意力机制获取车辆显著特征,并融合多尺度特征从而提高车辆重识别的检索精度。首先,使用骨干特征提取网络与注意力模块获取车辆的显著性细粒度特征。然后,将特征分为多个分支进行度量学习,分别学习车辆的局部与全局特征,将全局特征与细粒度的局部特征融合,构建车辆重识别的特征。最后,利用该方法提取不同车辆的特征,计算不同车辆的相似度,从而判断是否具有相同的身份。实验结果表明本文提出的车辆重识别算法具有更高的精度。     

基于双分支网络特征融合的车辆重识别方法

车辆重识别目的是通过不同的摄像机来识别同一辆车。但是由于车辆图像类内差异性大、类间相似性大,使得车辆重识别成为一个极具挑战性的任务。本文提出了一个基于双分支网络特征融合的车辆重识别方法来解决这一问题。该方法使用2个分支和批擦除策略提取并融合全局特征和局部特征,以突出车辆图像的类内相似性和类间差异性;并且采用圆损失代替传统的三元组损失和交叉熵损失的组合来构造目标函数。最后使用本文方法在VeRi-776和VehicleID两个公共数据集上进行实验,结果表明其检索精度比现有方法提高5%左右,证明了本文方法的有效性。     

基于多尺度多粒度特征的行人重识别

针对现有的基于卷积神经网络的行人重识别方法所提取的特征辨识力不足的问题,提出了一种基于多尺度多粒度特征的行人重识别方法.在训练阶段,该方法在卷积神经网络的不同尺度提取特征;然后对获得的多尺度特征图进行分块和池化,从而得到不同尺度的全局特征和局部特征的多粒度特征,使用不确定性权重调节Softmax损失和三元组损失来对特征向量进行监督训练.在推理阶段,对所获得的多尺度多粒度的特征进行融合,使用融合特征在图像库中进行相似度匹配.在Mar-ket-1501和DukeMTMC-ReID数据集上的实验表明,所提方法相比基准网络ResNet-50在Rank-1评价指标上分别提升了4.3％和3.6％,在mAP评价指标上分别提升了6.2％和6.6％.实验结果表明,所提方法能够增强提取特征的辨识力,提高行人重识别的性能.     

基于EfficientNet的双分路多尺度联合学习行人再识别

针对视频图像中因小目标行人、遮挡和行人姿态多变而造成的行人再识别率低的问题,建立了一种基于高效网络EfficientNet的双分路多尺度联合学习方法。首先采用性能高效的EfficientNet-B1网络作为主干结构;然后利用加权双向特征金字塔（BiFPN）分支对提取的不同尺度全局特征进行融合,并且得到包含不同层次语义信息的全局特征,从而提高小目标行人的识别率;其次利用PCB分支提取深层局部特征来挖掘行人的非显著信息,并减轻行人遮挡和姿态多变性对识别率的影响;最后在训练阶段将两个分支网络分别提取的行人特征通过Softmax损失函数得到不同子损失,并把它们相加进行联合表示;在测试阶段将获得的全局特征和深层局部特征拼接融合,并计算欧氏距离得到再识别匹配结果。该方法在Market1501和DukeMTMC-Reid 数据集上的Rank-1的准确率分别达到了95.1%和89.1%,与原始EfficientNet-B1主干结构相比分别提高了3.9个百分点和2.3个百分点。实验结果表明,所提出的模型有效提高了行人再识别的准确率。     

局部特征重叠的行人属性识别方法

针对目前的行人属性识别方法存在行人属性数据不均衡、行人特征表达能力不足、鲁棒性差的问题, 本文提出局部特征重叠与行人属性识别相结合的方法. 网络使用全局和局部两个分支来提升网络整体特征表达能力, 在局部分支中将得到的特征图切分为几块大小相同的几个部分并使用Focal loss计算每个属性的损失解决行人属性不均衡问题. 最后将投票选出的各属性最优损失与全局特征计算出来的ID损失共同作为模型总损失. 在Market-1501_attribute和DukeMTMC-attribute两个行人属性数据集上进行测试, 实验结果表明所提方法能够有效提高行人重识别的准确性.     

基于多尺度多粒度融合的行人重识别方法

行人重识别是指利用计算机视觉技术在给定监控的图像中识别目标行人,受拍摄场景视角和姿势变化、遮挡等因素的影响,现有基于局部特征的行人重识别方法所提取的特征辨别力差,从而导致重识别精度较低。为有效地利用特征信息,提出一种多尺度多粒度融合的行人重识别方法MMF-Net。通过多个分支结构学习不同尺度和不同粒度的特征,并利用局部特征学习优化全局特征,以加强全局特征和局部特征的关联性。同时,在网络的低层引入语义监督模块以提取低层特征,并将其作为行人图像相似性度量的补充,实现低层特征和高层特征的优势互补。基于改进的池化层,通过结合最大池化和平均池化的特点获取具有强辨别力的特征。实验结果表明,MMF-Net方法在Market-1501数据集上的首位命中率和mAP分别为95.7%和89.1%,相比FPR、MGN、BDB等方法,其具有较优的鲁棒性。     

基于时空关注区域的视频行人重识别

在执行视频行人重识别任务时,传统基于局部的方法主要集中于具有特定预定义语义的区域学习局部特征表示,在复杂场景下的学习效率和鲁棒性较差。通过结合全局特征和局部特征提出一种基于时空关注区域的视频行人重识别方法。将跨帧聚合的关注区域特征与全局特征进行融合得到视频级特征表示,利用快慢网络中的两个路径分别提取全局特征和关注区域特征。在快路径中,利用多重空间关注模型提取关注区域特征,利用时间聚合模型聚合所有采样帧相同部位的关注区域特征。在慢路径中,利用卷积神经网络提取全局特征。在此基础上,使用亲和度矩阵和定位参数融合关注区域特征和全局特征。以平均欧氏距离评估融合损失,并将三重损失函数用于端到端网络训练。实验结果表明,该方法在PRID 2011数据集上Rank-1准确率达到93.4%,在MARS数据集上mAP达到79.5%,识别性能优于SeeForst、ASTPN、RQEN等方法,并且对光照、行人姿态变化和遮挡具有很好的鲁棒性。     

基于HPLF的行人再识别

为了更好的挖掘局部特征,提升行人再识别的精度,本文提出了一种利用水平池化提取局部特征的HPLF(Horizontal Pooling for Local Feature)算法,在ResNet-50网络中对输入的联合数据集进行预处理,提取特征,对ResNet-50网络生成的特征图进行水平切割,通过分割的特征图计算两两特征之间的距离,再用难样本三元组损失(Triplet loss with Hard example mining, TriHard loss)来作为局部特征损失函数训练,通过特征图计算全局距离,通过难样本三元组损失来训练,将这两个损失函数加上一个Softmax交叉熵损失函数,联合起来作为总的损失函数进行参数修正.实验结果表明:在Market1501数据集中, mAP (mean Average Precision), Rank-1, Rank-5, Rank-10等性能指标上, HPLF算法比其他算法有3%左右的提升.     

联合语义分割与注意力机制的行人再识别模型

受行人姿态变化、光照视角、背景变换等因素的影响,现有行人再识别模型通常对数据集中的行人分成若干块提取图像的局部特征进行辨识以提高识别精度,但存在人体局部特征不匹配、容易丢失非人体部件的上下文线索等问题。构建一种改进的行人再识别模型,通过将人体语义解析网络的局部特征进行对齐,增强行人语义分割模型对图像中行人任意轮廓的建模能力,利用局部注意力网络捕捉非人体部分丢失的语境线索。实验结果表明,该模型在Market-1501、DukeMTMC和CUHK03数据集上的平均精度均值分别达到83.5%、80.8%和92.4%,在DukeMTMC数据集上的Rank-1为90.2%,相比基于注意力机制、行人语义解析和局部对齐网络的行人再识别模型具有更强的鲁棒性和迁移性。     

基于增强特征融合网络的行人再识别

针对行人再识别问题,目前多数方法将行人的局部或全局特征分开考虑,从而忽略了行人整体之间的关系,即行人全局特征和局部特征之间的联系。本文提出一种增强特征融合网络(enhanced feature convergent network,EFCN)。在全局分支中,提出适用于获取全局特征的注意力网络作为嵌入特征,嵌入在基础网络模型中以提取行人的全局特征;在局部分支中,提出循环门单元变换网络(gated recurrent unit change network,GRU-CN)得到代表性的局部特征;再使用特征融合方法将全局特征和局部特征融合成最终的行人特征;最后借助损失函数训练网络。通过大量的对比实验表明,该算法网络模型在标准的Re-ID数据集上可以获得较好的实验结果。提出的增强特征融合网络能提取辨别性较强的行人特征,该模型能够应用于大场景非重叠多摄像机下的行人再识别问题,具有较高的识别能力和识别精度,且对背景变化的行人图像能提取具有较强的鲁棒性特征。     

融合随机擦除和残差注意力网络的行人重识别

传统的行人重识别方法依赖人工构造视觉特征,容易受到其他外界因素的影响,识别精度低。深度学习模型能自主地提取特征,但随着网络层数的加深会出现梯度消失情况,残差网络能缓解梯度消失问题,但提取出的特征信息未被合理使用。行人部分图像被遮挡是影响行人重识别准确性的另一个重要因素。针对上述问题提出了融合随机擦除和残差注意力网络的行人重识别算法。该算法：（1）在残差网络的基础上,引入注意力机制模块,通过强化有用的特征和抑制作用不大的特征来提升网络的判别能力。（2）引入随机擦除的数据增强方法,以便降低过拟合现象,同时提高网络泛化能力,解决行人重识别中遮挡问题。（3）使用triplet loss对融合网络进行监督训练,实现样本在特征空间中达到更好的聚类效果,提升行人重识别的准确率。实验表明,该算法在Market-1501数据集和DukeMTMC-reID数据集上能获取较高的识别精度。     

多分支融合局部特征的行人重识别算法

大部分结合深度学习的行人重识别算法主要以单分支的网络结构为主,且大多利用图片的全局特征信息,这样易错失关键行人信息,导致度量学习效果、算法精度下降。因此,为使网络获取到更多的关键行人信息,减少对行人局部、细节信息的错失,加强网络对行人特征的学习。基于ResNet-50的骨干网络,采取多分支的网络结构设计,综合考虑训练难易、运算量,选择融合三个独立分支的结构设计：随机擦除分支、全局学习分支、局部学习分支,并在此基础上根据实验数据进行调整优化,最后再结合最小二乘法分配损失函数权重使模型更具鲁棒性,实验结果表明,三个分支具有互补性,使用融合分支特征做算法测试时,相比基础的单分支、多分支网络,该算法使得行人重识别精度提升。     

结合多尺度特征学习与特征对齐的行人重识别

利用卷积神经网络对行人图像提取一个简单的全局特征,在复杂的行人重识别任务中无法获得令人满意的结果。局部特征学习的方式有助于获取更丰富的人体特征,但往往需要图像中的人体具有良好的空间对齐,而且,将人体各部分特征输入到独立的分支学习局部信息,忽略了人体各部分特征间的相关性,限制模型的性能提升。在此背景下,提出了一种新的多尺度特征学习算法,结合全局与局部特征学习得到更好的行人表示,提升复杂场景下模型的识别能力。对骨干网络不同深度输出的行人特征图,通过特征对齐模块对其执行空间变换,实现行人特征在空间上的矫正和对齐,进一步增强模型的泛化性能。在公开的大型行人重识别数据集上,与当前一些流行的方法进行了比较,验证了所提方法的有效性。     

结合注意力和纹理特征增强的行人再识别

针对现有行人再识别算法在处理图像分辨率低、光照差异、姿态和视角多样等情况时,准确率低的问题,提出了基于空间注意力和纹理特征增强的多任务行人再识别算法.算法设计的空间注意力模块更注重与行人属性相关的潜在图像区域,融入属性识别网络,实现属性特征的挖掘;提出的行人再识别网络的纹理特征增强模块通过融合不同空间级别所对应的全局和...     

结合注意力与批特征擦除的行人重识别模型

在行人重识别过程中,图像局部遮挡会造成识别准确率下降。提出一种结合注意力和批特征擦除的网络（ABFE-Net）模型,旨在学习具有辨别力的全局特征和局部细粒度特征,提高图像局部遮挡条件下行人特征的表达能力。将轻量级注意力模块嵌入到ResNet-50中自主学习每个通道的权重,通过强化有用特征和抑制无关特征增强网络特征的学习能力,提取行人更具辨别力的全局特征。对于深层特征使用批特征擦除方法,随机擦除同一批次特征图的相同区域,使得网络关注剩余的局部细粒度特征。将两种特征融合得到更加全面的行人特征表示,对其进行相似性度量并排序,得到行人重识别的结果。实验结果表明,与HA-CNN、PCB等方法相比,ABFE-Net模型在Market1501和DukeMTMC-reID数据集上的Rank-1和mAP分别达到94.4%、85.9%和88.3%、75.1%,能够明显增强行人特征的辨别性,提高行人重识别效果。     

整合全局—局部度量学习的人体目标再识别

目的 人体目标再识别的任务是匹配不同摄像机在不同时间、地点拍摄的人体目标。受光照条件、背景、遮挡、视角和姿态等因素影响,不同摄相机下的同一目标表观差异较大。目前研究主要集中在特征表示和度量学习两方面。很多度量学习方法在人体目标再识别问题上了取得了较好的效果,但对于多样化的数据集,单一的全局度量很难适应差异化的特征。对此,有研究者提出了局部度量学习,但这些方法通常需要求解复杂的凸优化问题,计算繁琐。方法 利用局部度量学习思想,结合近几年提出的XQDA（cross-view quadratic discriminant analysis）和MLAPG（metric learning by accelerated proximal gradient）等全局度量学习方法,提出了一种整合全局和局部度量学习框架。利用高斯混合模型对训练样本进行聚类,在每个聚类内分别进行局部度量学习;同时在全部训练样本集上进行全局度量学习。对于测试样本,根据样本在高斯混合模型各个成分下的后验概率将局部和全局度量矩阵加权结合,作为衡量相似性的依据。特别地,对于MLAPG算法,利用样本在各个高斯成分下的后验概率,改进目标损失函数中不同样本的损失权重,进一步提高该方法的性能。结果 在VIPeR、PRID 450S和QMUL GRID数据集上的实验结果验证了提出的整合全局—局部度量学习方法的有效性。相比于XQDA和MLAPG等全局方法,在VIPeR数据集上的匹配准确率提高2.0%左右,在其他数据集上的性能也有不同程度的提高。另外,利用不同的特征表示对提出的方法进行实验验证,相比于全局方法,匹配准确率提高1.3%~3.4%左右。结论 有效地整合了全局和局部度量学习方法,既能对多种全局度量学习算法的性能做出改进,又能避免局部度量学习算法复杂的计算过程。实验结果表明,对于使用不同的特征表示,提出的整合全局—局部度量学习框架均可对全局度量学习方法做出改进。