基于空间弱化和通道增强注意力的行人重识别

针对现有行人重识别方法过于注重对行人图像强辨别性特征的提取导致模型缺乏鲁棒性,以及无法很好地结合空间和通道维度信息的问题,提出一种基于空间弱化和通道增强注意力的行人重识别方法。通过弱化对于高响应区域的注意,迫使模型学习更全面的特征信息,提升模型的泛化能力。嵌入通道注意力机制,通过学习特征通道之间的相关性,自动校准通道维度上的注意力。在Market-1501、DukeMTMC-ReID、CUHK03和MSMT17数据集上进行的实验结果表明,该方法具有较好的鲁棒性和识别准确率,能有效提高行人重识别性能。特别地,在CUHK03数据集中提升了7.6%的Rank-1精度和10.4%的mAP。     

结合注意力与批特征擦除的行人重识别模型

在行人重识别过程中,图像局部遮挡会造成识别准确率下降。提出一种结合注意力和批特征擦除的网络（ABFE-Net）模型,旨在学习具有辨别力的全局特征和局部细粒度特征,提高图像局部遮挡条件下行人特征的表达能力。将轻量级注意力模块嵌入到ResNet-50中自主学习每个通道的权重,通过强化有用特征和抑制无关特征增强网络特征的学习能力,提取行人更具辨别力的全局特征。对于深层特征使用批特征擦除方法,随机擦除同一批次特征图的相同区域,使得网络关注剩余的局部细粒度特征。将两种特征融合得到更加全面的行人特征表示,对其进行相似性度量并排序,得到行人重识别的结果。实验结果表明,与HA-CNN、PCB等方法相比,ABFE-Net模型在Market1501和DukeMTMC-reID数据集上的Rank-1和mAP分别达到94.4%、85.9%和88.3%、75.1%,能够明显增强行人特征的辨别性,提高行人重识别效果。     

基于连接注意力的行人重识别特征提取方法

全民安全意识的逐步提高使得智能监控设备遍布各大公共场所,行人重识别作为视频分析的关键技术之一,被广泛应用于智能安防、自动驾驶等领域。为了提高真实环境下跨摄像头行人检索的识别精度,提出一种基于注意力机制的行人重识别特征提取方法。在数据处理阶段,考虑不同训练数据量下识别效果存在差异的问题,对行人图片采用自动增强方法进行数据增强,以提高数据集规模。在特征提取阶段,将连接注意力模块与ResNet50残差网络相结合构成特征提取网络,提取显著性更强的行人特征。在损失优化阶段,采用三元组损失和圆损失对行人特征进行优化并完成距离度量,最终根据距离的远近得到行人排序结果。实验结果表明,在Market1501数据集上该方法的Rank-1值和mAP值分别达到95.90%和89.66%,在DukeMTMC-reID数据集上Rank-1值和mAP值分别达到91.16%和81.24%,在MSMT17数据集上Rank-1值和mAP值分别达到84.37%和62.73%,与现有经典行人重识别方法PCB、MGN、Pyramid、OSNet等相比,其网络识别性能评价指标均有明显提升。     

基于改进型Transformer编码器和特征融合的行人重识别

为了解决Transformer编码器在行人重识别中因图像块信息丢失以及行人局部特征表达不充分导致模型识别准确率低的问题,本文提出改进型Transformer编码器和特征融合的行人重识别算法。针对Transformer在注意力运算时会丢失行人图像块相对位置信息的问题,引入相对位置编码,促使网络关注行人图像块语义化的特征信息,以增强行人特征的提取能力。为了突出包含行人区域的显著特征,将局部patch注意力机制模块嵌入到Transformer网络中,对局部关键特征信息进行加权强化。最后,利用全局与局部信息特征融合实现特征间的优势互补,提高模型识别能力。训练阶段使用Softmax及三元组损失函数联合优化网络,本文算法在Market1501和DukeMTMC-reID两大主流数据集中评估测试,Rank-1指标分别达到97.5%和93.5%,平均精度均值（mean Average precision, mAP）分别达到92.3%和83.1%,实验结果表明改进型Transformer编码器和特征融合算法能够有效提高行人重识别的准确率。     

基于小波特征与注意力机制结合的卷积网络车辆重识别

针对现有的基于卷积神经网络（CNN）的车辆重识别方法所提取的特征表达力不足的问题,提出一种基于小波特征与注意力机制相结合的车辆重识别方法。首先,将单层小波模块嵌入到卷积模块中代替池化层进行下采样,减少细粒度特征的丢失;其次,结合通道注意力（CA）机制和像素注意力（PA）机制提出一种新的局部注意力模块——特征提取模块（FEM）嵌入到卷积网络中,对关键信息进行加权强化。在VeRi数据集上与基准残差网络ResNet-50、ResNet-101进行对比。实验结果表明,在ResNet-50中增加小波变换层数能提高平均精度均值（mAP）;在消融实验中,虽然ResNet-50+离散小波变换（DWT）比ResNet-101的mAP降低了0.25个百分点,但是其参数量和计算复杂度都比ResNet-101低,且mAP、Rank-1和Rank-5均比单独的ResNet-50高,说明该模型在车辆重识别中能够有效提高车辆检索精度。     

基于注意力机制的行人重识别特征提取方法

针对真实环境中非重叠多摄像头的行人重识别受到不同摄像机场景、视角、光照等因素的影响导致行人重识别精度低的问题,提出一种基于注意力机制的行人重识别特征提取方法。首先,使用随机擦除法对输入的行人图像进行数据增强,提高网络的鲁棒性;然后,通过构建自上而下的注意力机制网络增强空间像素特征的显著性,并将注意力机制网络嵌入ResNet50网络提取整个行人的显著特征;最后,将整个行人的显著特征进行相似性度量并排序得到行人重识别的结果。该注意力机制的行人重识别特征提取方法在Market1501数据集上Rank1达到88.53%,平均精度均值（mAP）为70.70%;在DukeMTMC-reID数据集上Rank1达到77.33%,mAP为59.47%。所提方法在两大行人重识别数据集上性能都有明显提升,具有一定的应用价值。     

基于非局部关注和多重特征融合的视频行人重识别

现有视频行人重识别方法无法有效地提取视频连续帧之间的时空信息,因此提出一种基于非局部关注和多重特征融合的行人重识别网络来提取全局与局部表征特征和时序信息。首先嵌入非局部关注模块来提取全局特征;然后通过提取网络的低中层特征和局部特征实现多重特征融合,从而获得行人的显著特征;最后将行人特征进行相似性度量并排序,计算出视频行人重识别的精度。在大数据集MARS和DukeMTMC-VideoReID上进行实现,结果显示所提出的模型较现有的多尺度三维卷积（M3D）和学习片段相似度聚合（LCSA）模型的性能均有明显提升,平均精度均值（mAP）分别达到了81.4%和93.4%,Rank-1分别达到了88.7%和95.3%;同时在小数据集PRID2011上,所提模型的Rank-1也达到94.8%。     

通道互注意机制下的部位对齐行人再识别

由于视角和行人姿态的变化、遮挡以及非手工行人框的误差等因素,同一行人的不同图像差异较大,给行人再识别课题的研究带来了极大挑战.为提高行人姿态变化下的行人再识别性能,提出通道互注意机制下的部位对齐行人再识别网络.首先,行人图像通过2个子网络,分别提取行人的外观特征和部位特征;然后设计一个通道互注意模块,通过挖掘行人部位特征通道间的互相关系,优化部位特征在通道维度上的权重;最后,将优化后的行人部位特征和外观特征通过双线性池化进行特征融合.在3个大规模公开数据集上的实验结果表明,通道互注意机制能有效优化部位特征,所设计的部位对齐网络具有抗姿态变化和背景干扰的能力.在Market-1501,DukeMTMC-reID和CUHK03数据集上Rank-1/mAP分别达到93.9%/90.6%, 87.6%/83.3%和70.4%/72.8%,优于其他现有方法.     

融合行人属性特征的ReID重排序方法

在行人重识别问题中,为了减少因光线、摄像头角度、遮挡等因素对搜索结果带来的影响,需要通过拓展维度来丰富图像特征从而提高搜索精度。为此,本文提出了一种对行人重识别搜索结果进行重排序的方法。该方法首先通过行人的全局特征对行人图像进行搜索排序,然后提取行人属性特征,并利用属性特征训练一个二分类模型。通过模型对搜索结果进行重排序,并评估搜索精度。实验的结果表明,在加入属性特征之后,行人重识别算法搜索的Rank-1、mAP值均有提升。     

基于多模态图卷积神经网络的行人重识别方法

针对行人重识别中行人文本属性信息未被充分利用以及文本属性之间语义联系未被挖掘的问题，提出一种基于多模态的图卷积神经网络（GCN）行人重识别方法。首先使用深度卷积神经网络（DCNN）学习行人文本属性与行人图像特征；然后借助GCN有效的关系挖掘能力，将文本属性特征与图像特征作为GCN的输入，通过图卷积运算来传递文本属性节点间的语义信息，从而学习文本属性间隐含的语义联系信息，并将该语义信息融入图像特征中；最后GCN输出鲁棒的行人特征。该多模态的行人重识别方法在Market-1501数据集上获得了87.6%的平均精度均值（mAP）和95.1%的Rank-1准确度；在DukeMTMC-reID数据集上获得了77.3%的mAP和88.4%的Rank-1准确度，验证了所提方法的有效性。     

结合注意力机制和多属性分类的行人再识别

目的 在行人再识别中,经常出现由于行人身体部位被遮挡和行人图像对之间不对齐而导致误判的情况。利用人体固有结构的特性,关注具有显著性特征的行人部件,忽略带有干扰信息的其他部件,有利于判断不同摄像头拍摄的行人对是否为同一人。因此,提出了基于注意力机制和多属性分类的行人再识别方法。方法 在训练阶段,利用改进的ResNet50网络作为基本框架提取特征,随后传递给全局分支和局部分支。在全局分支中,将该特征作为全局特征进行身份和全局属性分类;在局部分支中,按信道展开特征,获取每层响应值最高的点,聚合这些点,分成4个行人部件,计算每个行人部件上显著性特征的权重,并乘以初始特征得到每个部件的总特征。最后将这4个部件的总特征都进行身份和对应属性的分类。在测试阶段,将通过网络提取的部位特征和全局特征串联起来,计算行人间的相似度,从而判断是否为同一人。结果 本文方法引入了Market-1501_attribute和DukeMTMC-attribute数据集中的属性信息,并在Market-1501和DukeMTMC-reid数据集上进行测试,其中rank-1分别达到90.67%和80.2%,mAP分别达到76.65%和62.14%;使用re-ranking算法后,rank-1分别达到92.4%和84.15%,mAP分别达到87.5%和78.41%,相比近年来具有代表性的其他方法,识别率有了极大提升。结论 本文方法通过学习行人属性能更快地聚集行人部件的注意力,而注意力机制又能更好地学习行人部位的显著性特征,从而有效解决了行人被遮挡和不对齐的问题,提高了行人再识别的准确率。     

融合RGB与灰度图像特征的行人再识别方法

针对行人再识别过程中相同身份行人图像颜色不一致,以及不同身份行人图像颜色相近问题,提出一种基于双分支残差网络的行人再识别方法。将RGB图像和灰度图像分别输入预训练的ResNet-50网络,获得RGB图像特征和灰度图像特征并对其进行融合,利用统一水平划分策略学习融合特征,同时将RGB特征、灰度特征和融合特征的拼接结果作为最终特征表示。在Market1501、DukeMTMC-ReID和CUHK03数据集上的实验结果表明,与PCB、Mancs等行人再识别方法相比,该方法的平均精度均值和首位命中率更高,且对于图像颜色变化具有更强的鲁棒性。     

基于全局特征拼接的行人重识别算法研究

针对目前行人重识别出现网络模型复杂化、识别率低的问题,提出一种基于全局特征拼接的行人重识别算法。首先利用卷积神经网络(CNN)提取全局特征;然后把不同卷积层提取的特征进行拼接,使特征信息互补;最后将拼接后的特征再次进行卷积处理,获得高表征能力的特征。网络训练时,采用聚类损失函数和标签平滑损失函数联合训练,同时引入了随机擦除和减小池化步长的训练技巧。在Market1501、DukeMTMC-reID、CUHK03和MSMT17数据集上进行了实验验证,实验表明所提算法具有良好性能,其中在Market1501上,Rank-1、mAP分别达到了95.9%和94.6%。     

时间特征互补的无监督视频行人重识别

目前的视频行人重识别方法不能有效提取视频帧之间的时空信息,且需要解决人工标签的问题,提出一种时间特征互补的无监督视频行人重识别方法。利用时间特征擦除网络模块对视频帧与帧之间的时间信息特征及空间信息特征进行擦除提取,挖掘行人不同的特征以减少每帧特征的冗余,进而得到目标行人不同视觉的完整特征。通过约束性无监督层次聚类模块计算每个样本之间的距离得到高质量的不同身份集群,根据集群之间距离进行聚类生成高质量的伪标签,提高不同身份极度相似的样本识别性,并根据PK抽样困难样本三元组损失模块从已经聚类好的结果中抽取样本生成一个新的数据集,以便在每次聚类迭代后进行训练,减少困难样例对模型的影响。在MARS数据集和DukeMTMC-VideoReID数据集上的实验结果表明,该方法的平均精度均值分别达到了46.4%和72.5%,Rank-1分别达到了69.3%和80.5%,性能指标优于传统的RACM和DAL等方法。     

基于深层特征融合的行人重识别方法

针对现有基于深度学习的行人重识别方法对于行人姿态变化、部分遮挡等引起的行人判别特征信息缺失的问题,提出了一种深层特征融合的行人重识别方法。首先,利用卷积层和池化层多次提取网络深层特征,从空间维度提升网络性能,使用融合后的深层特征作为行人图像的全局特征属性;其次,为提高模型的泛化能力,在深层融合特征后加入一个批量归一化层,同时采用标签平滑损失函数和三元组损失函数对模型进行联合训练。实验结果表明,所提的深层特征融合方法具有很好的表达能力。在Market1501、DukeMTMC-reID、CUHK03和MSMT17 4个数据集上对所提方法进行了验证,其中在Market1501数据集上,Rank-1值达到了95.0%,mAP达到了85.6%。     

基于特征点相关性的行人重识别方法

目前行人重识别算法面临的主要问题包括背景过多、行人区域缺失及图片视角差异等。基 于行人区域中显著性特征之间存在着强相关性及行人区域与背景区域特征之间存在着弱相关性两方 面的观察,该研究提出一种基于特征点相关性的行人重识别方法。其中,通过采用一种基于视觉不 变性与弱检测的上下文信息处理模块,即 CIP(Contextual Information Processing)模块实现该方法。 由于具有强相关性的特征可能分布在不同的粒度之间,所以嵌入 CIP 模块的多粒度行人重识别方法 可以融合粒度之间的相关性信息。实验中,通过以第一配准率(Rank-1)和平均准确率为评价指标, 使用单数据集测试、跨数据集测试两种方法,在 4 个大型的行人重识别数据集上进行了充分的测试 实验,并利用两个可视化的方法——弱检测效果与行人区域中显著特征点的相关性效果,对 CIP 模 块的有效性进行验证。实验结果显示,目前主流的多粒度网络通过嵌入 CIP 模块,性能均有明显的 提升。     

多形状局部区域神经网络结构的行人再识别

目的 目前,行人再识别领域将行人图像的全局和局部特征相结合的方法已经成为基本的解决方法。现有的基于局部特征的方法更多的是侧重于定位具有特定的语义区域,这样增加了学习难度,并且对于差异较大的图像场景不具有鲁棒性。为了解决上述问题,通过对网络结构进行改进提出一种多形状局部区域网络（MSPN）结构,它具有多分支并将横向和纵向条状的特征作为局部特征,能够端到端进行训练。方法 网络的多个分支设计可以同时获得多粒度和多形状的局部特征,其中一个分支表示全局特征的学习,两个分支表示横条状不同粒度的局部特征学习,最后一个分支表示竖条状局部特征学习。网络不再学习定位具有特定语义的区域,而是将图像提取的特征切分成横向和竖向的若干条作为局部特征。不同分支条的形状和数量不一致,最后获得不同粒度或不同形状的局部特征信息。因为切分方向的不同,多粒度多形状的局部特征缓解了行人在不同图像中无法对齐的问题。结果 在包括Market-1501、DukeMTMC-ReID和CUHK03在内的主流评估数据集上的综合实验表明,多形状局部区域神经网络和现有的主要方法相比具有更好的表现。其中在数据集Market-1501上达到84.57%的平均准确率（mAP）和94.51%的rank-1准确率。结论 多形状局部区域网络能够学习得到判别能力更强的深度学习模型,从而有效地提升行人再识别的准确率。