基于特征融合的遮挡行人重识别方法

行人重识别是一项解决跨场景跨摄像头下的行人识别问题的技术。当障碍物遮挡行人的某些部位时,人物结构的完整性会被破坏,影响识别效果或难于识别。针对行人重识别的遮挡问题,提出了一种新的遮挡行人重识别方法,引入关系感知全局注意力机制,融合全局特征和局部特征来进行行人重识别。识别方法的主要组成部分包括局部分支、全局分支和特征融合分支等。局部分支通过遍历局部特征来增强鲁棒性;全局分支通过利用关系感知全局注意力来挖掘行人显著性的信息;特征融合分支通过自适应地生成特征权重,利用加权求和的方式来融合全局特征和局部特征。实验验证了所提方法的有效性,并且有效提升了行人重识别的效果。     

Transformer-CNN特征跨注意力融合学习的行人重识别

卷积神经网络（convolutional neural network;CNN）关注局部特征;难以获得全局结构信息;Transformer网络建模长距离的特征依赖;但易忽略局部特征细节。提出了一种跨注意力融合学习的行人重识别算法;利用CNN和Transformer特征学习网络的特点;在丰富行人局部特征的同时改善特征的全局表达能力。该模型由三个部分构成:CNN分支主要提取局部细节信息;Transformer分支侧重于关注全局特征信息;跨注意力融合分支通过自注意力机制计算上述两个分支特征的相关性;进而实现特征融合;最终提高模型的表征能力。剥离实验以及在Market1501和DukeMTMC-reID数据集的实验结果证明了所提方法的有效性。     

基于特征融合网络的行人重识别

行人重识别旨在大规模的分布式监控系统中进行行人目标匹配,紧凑且具有鲁棒性的特征表达对其至关重要,为此,本文提出了一种基于特征融合网络的特征提取方法.首先,利用STEL算法增强了LOMO特征对背景噪声的抗噪性能,利用KPCA算法降低维度以便于后续融合.随后,本文探索了手工特征和CNN特征的互补性,将改进LOMO特征融入至卷积神经网络之中,得到了区分度更高的融合特征.在VIPeR和CUHK01数据集上的测试结果表明,本文融合特征的区分度明显高于单一特征和级联特征,Rank-1较级联特征分别提高了3.73%和2.36%.     

融合有效掩膜和局部增强的遮挡行人重识别

在监控系统中行人经常会被各种障碍物遮挡,使得遮挡行人重识别仍然是一个长期存在的挑战.最近一些基于Transformer和外部语义线索的方法都改善了特征的表示和相关性能,但仍存在表示弱和语义线索不可靠等问题.为解决上述问题,提出了一种基于Transformer的新方法.引入了一种有效的掩膜生成方式,可靠的掩膜可以使模型不依赖外部语义线索并实现自动对齐.提出了一种基于平均注意力分数的序列重建模块,可以更有效地关注前景信息.提出了局部增强模块,获得了更鲁棒的特征表示.比较了所提方法和现有的各种方法在Occluded-Duke,Occluded-ReID,Partial-ReID,Market-1501数据集上的性能.Rank-1准确率分别达到了72.3%、84.8%、86.5%和95.6%,mAP精度分别为62.9%、83.2%、76.4%和89.9%,实验结果表明所提模型性能较其他先进网络有所提升.     

基于特征定位与融合的行人重识别算法

行人外观属性是区分行人差异的重要语义信息。行人属性识别在智能视频监控中有着至关重要的作用,可以帮助我们对目标行人进行快速的筛选和检索。在行人重识别任务中,可以利用属性信息得到精细的特征表达,从而提升行人重识别的效果。文中尝试将行人属性识别与行人重识别相结合,寻找一种提高行人重识别性能的方法,进而提出了一种基于特征定位与融合的行人重识别框架。首先,利用多任务学习的方法将行人重识别与属性识别结合,通过修改卷积步长和使用双池化来提升网络模型的性能。其次,为了提高属性特征的表达能力,设计了基于注意力机制的平行空间通道注意力模块,它不仅可以在特征图上定位属性的空间位置,而且还可以有效地挖掘与属性关联度较高的通道特征,同时采用多组平行分支结构减小误差,进一步提高网络模型的性能。最后,利用卷积神经网络设计特征融合模块,将属性特征与行人身份特征进行有效融合,以获得更具鲁棒性和表达力的行人特征。实验在两个常用的行人重识别数据集DukeMTMC-reID和Market-1501上进行,结果表明,所提方法在现有的行人重识别方法中处于领先水平。     

基于注意力特征融合的跨模态行人重识别

跨模态行人重识别任务旨在匹配同一行人的可见光图像和红外图像, 在智能安全监控系统中广泛应用. 由于可见光模态和红外模态存在固有的模态差异, 给跨模态行人重识别任务在实际应用过程中带来了巨大的挑战. 为了缓解模态差异, 研究人员提出了很多有效的解决方法. 但是由于这些方法提取的是不同模态之间的特征, 彼此缺少对应的模态信息, 导致特征缺少充分的鉴别性. 为了提高模型提取特征的鉴别性, 本文提出基于注意力特征融合的跨模态行人重识别方法. 通过设计高效的特征提取网络和注意力融合模块, 并在多种损失函数的优化下, 实现不同模态信息的融合和模态对齐, 从而促进模型匹配行人准确度的提升. 实验结果表明, 本方法在多个数据集上都取得了很好的性能.     

基于非局部关注和多重特征融合的视频行人重识别

现有视频行人重识别方法无法有效地提取视频连续帧之间的时空信息,因此提出一种基于非局部关注和多重特征融合的行人重识别网络来提取全局与局部表征特征和时序信息。首先嵌入非局部关注模块来提取全局特征;然后通过提取网络的低中层特征和局部特征实现多重特征融合,从而获得行人的显著特征;最后将行人特征进行相似性度量并排序,计算出视频行人重识别的精度。在大数据集MARS和DukeMTMC-VideoReID上进行实现,结果显示所提出的模型较现有的多尺度三维卷积（M3D）和学习片段相似度聚合（LCSA）模型的性能均有明显提升,平均精度均值（mAP）分别达到了81.4%和93.4%,Rank-1分别达到了88.7%和95.3%;同时在小数据集PRID2011上,所提模型的Rank-1也达到94.8%。     

基于特征融合的行人重识别方法

针对行人重识别中已有方法难以解决行人图像光照、视角变化大的问题,提出了一种基于特征融合的行人重识别方法。首先利用Retinex变换对图像进行预处理;然后将CN特征与原有的颜色和纹理特征融合,并通过区域和块划分的方式提取直方图获得图像特征;最后采用不同的距离学习方法在4个数据集上进行行人重识别。实验结果表明,融合后的特征对行人图像具有更好的表述能力,实现了重识别精度的较大提升,验证了方法的有效性。     

结合注意力与局部特征融合的行人重识别算法

行人重识别是指从一堆候选图片中找到与目标最相似的行人图片,本质上是一个图像检索的子问题。为了进一步增强网络提取关键特征的能力以及抑制噪声的干扰,通过对基于注意力机制和局部特征的行人重识别算法的研究,提出了结合注意力与局部特征融合的行人重识别算法。该算法将ResNeSt-50作为骨干网络,联合软注意力与非局部注意力机制,采用双流结构分别提取行人细粒度全局特征和细粒度局部特征,通过关注不同特征之间共享的空间域信息以及同一特征不同水平区域的潜在语义相关性,创建了空间感知特征融合模块（spatial-aware feature fusion module）以及跨区域特征融合模块（cross-region feature fusion module）。在Market-1501、DukeMTMC-reID以及CUHK03数据集上的实验结果表明该算法极大程度上提升了网络的检索能力,同时与现有算法进行比较,凸显出优越性能。     

结合前景分割的多特征融合行人重识别

目的 行人重识别任务中,同一行人在不同图像中的背景差异会导致识别准确率下降,出现误识别的现象。针对此问题,提出了一种结合前景分割的多特征融合行人重识别方法。方法 首先构建前景分割模块,提取图像的前景,并通过前景分割损失,保持前景图像的平滑性和完整性;然后提出了注意力共享策略和多尺度非局部运算方法,将图像中的全局特征与局部特征、高维特征与低维特征结合,实现不同特征之间的优势互补;最后通过多损失函数对网络模型进行训练优化。结果 在3个公开数据集Market-1501、DukeMTMC-reID(Duke multi-tracking multi-camera re-identification)和MSMT17(multi-scene multi-time person ReID dataset)上进行了消融实验和对比实验,并以首位命中率（rank-1 accuracy,Rank-1）和平均精度均值（mean average precision,mAP）作为评价指标。实验结果显示,在引入前景分割和多特征融合方法时,网络的识别准确率均有一定提升。本文方法在Market-1501、DukeMTM...     

基于同质中间模态的跨模态行人再识别方法

可见光-红外跨模态行人再识别(VI-ReID)旨在对不同摄像头采集同一行人的可见光图像和红外图像进行检索与匹配.除了存在可见光行人再识别(ReID)中因位姿、视角、局部遮挡等造成的模态内差异外,可见光图像和红外图像的模态间差异是VI-ReID的主要挑战.现有方法通常对2种模态的图像进行联合特征学习来缩小模态间差异,忽略了可见光和红外两种模态图像在通道上的本质不同.为此,本文试图从2种模态共同生成一种中间模态来辅助缩小模态间差异,并在标准ViT(vision transformer)网络上通过局部特征和全局特征的融合来优化特征嵌入学习.首先,设计同质中间模态生成器,通过可见光图像和红外图像共同生成同质中间模态(H-modality)图像,将3种模态图像投影到统一的特征空间进行联合约束,从而借助中间模态缩小可见光模态和红外模态间的差异,实现图像级对齐.进一步提出一种基于同质中间模态的Transformer跨模态行人再识别方法,使用ViT提取全局特征,设计一个局部分支以增强网络的局部感知能力.在全局特征提取中,为了增强全局特征的多样性,引入头部多样性模块(head enrich module)使不同的头聚合图像不同的模式.该方法融合全局特征与局部特征,能够提高模型的判别能力,在 SYSU-MM01 和 RegDB 数据集上的 rank-1/mAP 分别达到 67.68%/64.37%和86.16%/79.11%,优于现有大多数最前沿的方法.     

基于时空关注区域的视频行人重识别

在执行视频行人重识别任务时,传统基于局部的方法主要集中于具有特定预定义语义的区域学习局部特征表示,在复杂场景下的学习效率和鲁棒性较差.通过结合全局特征和局部特征提出一种基于时空关注区域的视频行人重识别方法.将跨帧聚合的关注区域特征与全局特征进行融合得到视频级特征表示,利用快慢网络中的两个路径分别提取全局特征和关注区域特...     

特征融合与层间传递:一种基于Anchor DETR改进的目标检测方法

目标检测是计算机视觉领域中的一项重要任务,旨在从图像或视频中准确识别和定位感兴趣的目标物体.本文提出了一种改进的目标检测算法,通过增加特征融合、优化编码器层间传递方式和设计随机跳跃保持方法,解决一般Transformer模型在目标检测任务中存在的局限性.针对Transformer视觉模型由于计算量限制只应用一层特征,导致目标对象信息感知不足的问题,利用卷积注意力机制实现了多尺度特征的有效融合,提高了对目标的识别和定位能力.通过优化编码器的层间传递方式,使得每层编码器有效地传递和学习更多的信息,减少层间信息的丢失.还针对解码器中间阶段预测优于最终阶段的问题,设计了随机跳跃保持方法,提高了模型的预测准确性和稳定性.实验结果表明,改进方法在目标检测任务中取得了显著的性能提升,在COCO2017 数据集上,模型的平均精度AP达到了 42.3%,小目标的平均精度提高了 2.2%;在PASCAL VOC2007数据集上,模型的平均精度AP提高了 1.4%,小目标的平均精度提高了 2.4%.     

基于局部特征关联与全局注意力机制的行人重识别

行人重识别的难点在于行人之间的结构信息差异较小导致特征难以区分。结合全局关系注意力机制与局部特征关联方法提出一种改进的特征关联算法。通过水平切分全局注意力机制的特征得到多个局部特征,并进行逐个关联识别,利用局部特征关联与全局语义信息提取关键特征信息。在此基础上,采用交叉熵与三元组损失函数训练处理后的局部特征。在CUHK03-Labeled、Market1501、DukeMTMC-reID数据集上的实验结果表明,该算法首位命中率分别为81.6%、95.6%、89.5%,相比GCP、MGN、BAS-reID等算法具有更强的识别能力与自适应性。     

结合注意力机制和多属性分类的行人再识别

目的 在行人再识别中,经常出现由于行人身体部位被遮挡和行人图像对之间不对齐而导致误判的情况。利用人体固有结构的特性,关注具有显著性特征的行人部件,忽略带有干扰信息的其他部件,有利于判断不同摄像头拍摄的行人对是否为同一人。因此,提出了基于注意力机制和多属性分类的行人再识别方法。方法 在训练阶段,利用改进的ResNet50网络作为基本框架提取特征,随后传递给全局分支和局部分支。在全局分支中,将该特征作为全局特征进行身份和全局属性分类;在局部分支中,按信道展开特征,获取每层响应值最高的点,聚合这些点,分成4个行人部件,计算每个行人部件上显著性特征的权重,并乘以初始特征得到每个部件的总特征。最后将这4个部件的总特征都进行身份和对应属性的分类。在测试阶段,将通过网络提取的部位特征和全局特征串联起来,计算行人间的相似度,从而判断是否为同一人。结果 本文方法引入了Market-1501_attribute和DukeMTMC-attribute数据集中的属性信息,并在Market-1501和DukeMTMC-reid数据集上进行测试,其中rank-1分别达到90.67%和80.2%,mAP分别达到76.65%和62.14%;使用re-ranking算法后,rank-1分别达到92.4%和84.15%,mAP分别达到87.5%和78.41%,相比近年来具有代表性的其他方法,识别率有了极大提升。结论 本文方法通过学习行人属性能更快地聚集行人部件的注意力,而注意力机制又能更好地学习行人部位的显著性特征,从而有效解决了行人被遮挡和不对齐的问题,提高了行人再识别的准确率。     

多模态特征融合和自蒸馏的红外-可见光行人重识别

现有跨模态行人重识别方法大多挖掘模态不变的特征,忽略了不同模态内的具有判别性的自有特征.为了充分地利用不同模态内的自有特征,提出一种多模态特征融合和自蒸馏的红外-可见光行人重识别方法.首先提出一种基于双分类器的注意力融合机制,为各模态的自有特征赋予较大的融合权重,共有特征赋予较小的融合权重,得到含有各模态判别性自有特征的多模态融合特征;为了提升网络特征的鲁棒性以适应行人外观的变化,构建一个记忆存储器来存储行人的多视角特征;还设计了一种自蒸馏无参数动态引导策略,在多模态融合特征和多视角特征的引导下,利用该策略动态强化网络的多模态推理和多视角推理能力;最后网络能够从一个行人的单模态图像推理出另一模态不同视角行人特征,提升模型跨模态行人重识别的性能.基于PyTorch深度学习框架,在公开数据集SYSU-MM01和RegDB上与当前主流的方法进行对比实验,结果表明,所提方法的Rank-1分别达到63.12%和92.55%,mAP分别达到61.51%和89.55%,优于对比方法.     

基于多尺度多粒度融合的行人重识别方法

行人重识别是指利用计算机视觉技术在给定监控的图像中识别目标行人,受拍摄场景视角和姿势变化、遮挡等因素的影响,现有基于局部特征的行人重识别方法所提取的特征辨别力差,从而导致重识别精度较低。为有效地利用特征信息,提出一种多尺度多粒度融合的行人重识别方法MMF-Net。通过多个分支结构学习不同尺度和不同粒度的特征,并利用局部特征学习优化全局特征,以加强全局特征和局部特征的关联性。同时,在网络的低层引入语义监督模块以提取低层特征,并将其作为行人图像相似性度量的补充,实现低层特征和高层特征的优势互补。基于改进的池化层,通过结合最大池化和平均池化的特点获取具有强辨别力的特征。实验结果表明,MMF-Net方法在Market-1501数据集上的首位命中率和mAP分别为95.7%和89.1%,相比FPR、MGN、BDB等方法,其具有较优的鲁棒性。