基于多尺度特征融合的行人重识别方法

针对行人重识别任务在特征提取时缺乏对行人特征尺度变化的考虑,导致其易受环境影响而具有低行人重识别准确率的问题,提出了一种基于多尺度特征融合的行人重识别方法。首先,在网络浅层通过混合池化操作来提取多尺度的行人特征,从而帮助网络提升特征提取能力;然后,在残差块内添加条形池化操作以分别提取水平和竖直方向的远程上下文信息,从而避免无关区域的干扰;最后,在残差网络之后利用不同尺度的空洞卷积进一步保留多尺度的特征,从而帮助模型灵活有效地解析场景结构。实验结果表明,在Market-1501数据集上,所提方法的Rank1达到95.9%,平均精度均值（mAP）为88.5%;在DukeMTMC-reID数据集上,该方法的Rank1达到90.1%,mAP为80.3%。可见所提方法能够较好地保留行人特征信息,从而提高行人重识别任务准确率。     

基于连接注意力的行人重识别特征提取方法

全民安全意识的逐步提高使得智能监控设备遍布各大公共场所,行人重识别作为视频分析的关键技术之一,被广泛应用于智能安防、自动驾驶等领域。为了提高真实环境下跨摄像头行人检索的识别精度,提出一种基于注意力机制的行人重识别特征提取方法。在数据处理阶段,考虑不同训练数据量下识别效果存在差异的问题,对行人图片采用自动增强方法进行数据增强,以提高数据集规模。在特征提取阶段,将连接注意力模块与ResNet50残差网络相结合构成特征提取网络,提取显著性更强的行人特征。在损失优化阶段,采用三元组损失和圆损失对行人特征进行优化并完成距离度量,最终根据距离的远近得到行人排序结果。实验结果表明,在Market1501数据集上该方法的Rank-1值和mAP值分别达到95.90%和89.66%,在DukeMTMC-reID数据集上Rank-1值和mAP值分别达到91.16%和81.24%,在MSMT17数据集上Rank-1值和mAP值分别达到84.37%和62.73%,与现有经典行人重识别方法PCB、MGN、Pyramid、OSNet等相比,其网络识别性能评价指标均有明显提升。     

基于非局部关注和多重特征融合的视频行人重识别

现有视频行人重识别方法无法有效地提取视频连续帧之间的时空信息,因此提出一种基于非局部关注和多重特征融合的行人重识别网络来提取全局与局部表征特征和时序信息。首先嵌入非局部关注模块来提取全局特征;然后通过提取网络的低中层特征和局部特征实现多重特征融合,从而获得行人的显著特征;最后将行人特征进行相似性度量并排序,计算出视频行人重识别的精度。在大数据集MARS和DukeMTMC-VideoReID上进行实现,结果显示所提出的模型较现有的多尺度三维卷积（M3D）和学习片段相似度聚合（LCSA）模型的性能均有明显提升,平均精度均值（mAP）分别达到了81.4%和93.4%,Rank-1分别达到了88.7%和95.3%;同时在小数据集PRID2011上,所提模型的Rank-1也达到94.8%。     

多分辨率特征注意力融合行人再识别

目的 行人再识别是实现跨摄像头识别同一行人的关键技术,面临外观、光照、姿态、背景等问题,其中区别行人个体差异的核心是行人整体和局部特征的表征。为了高效地表征行人,提出一种多分辨率特征注意力融合的行人再识别方法。方法 借助注意力机制,基于主干网络HRNet（high-resolution network）,通过交错卷积构建4个不同的分支来抽取多分辨率行人图像特征,既对行人不同粒度特征进行抽取,也对不同分支特征进行交互,对行人进行高效的特征表示。结果 在Market1501、CUHK03以及DukeMTMC-ReID这3个数据集上验证了所提方法的有效性,rank1分别达到95.3%、72.8%、90.5%,mAP（mean average precision）分别达到89.2%、70.4%、81.5%。在Market1501与DukeMTMC-ReID两个数据集上实验结果超越了当前最好表现。结论 本文方法着重提升网络提取特征的能力,得到强有力的特征表示,可用于行人再识别、图像分类和目标检测等与特征提取相关的计算机视觉任务,显著提升行人再识别的准确性。     

基于改进型Transformer编码器和特征融合的行人重识别

为了解决Transformer编码器在行人重识别中因图像块信息丢失以及行人局部特征表达不充分导致模型识别准确率低的问题,本文提出改进型Transformer编码器和特征融合的行人重识别算法。针对Transformer在注意力运算时会丢失行人图像块相对位置信息的问题,引入相对位置编码,促使网络关注行人图像块语义化的特征信息,以增强行人特征的提取能力。为了突出包含行人区域的显著特征,将局部patch注意力机制模块嵌入到Transformer网络中,对局部关键特征信息进行加权强化。最后,利用全局与局部信息特征融合实现特征间的优势互补,提高模型识别能力。训练阶段使用Softmax及三元组损失函数联合优化网络,本文算法在Market1501和DukeMTMC-reID两大主流数据集中评估测试,Rank-1指标分别达到97.5%和93.5%,平均精度均值（mean Average precision, mAP）分别达到92.3%和83.1%,实验结果表明改进型Transformer编码器和特征融合算法能够有效提高行人重识别的准确率。     

面向行人重识别的通道与空间双重注意力网络

针对现实场景下因受到摄像机视角变化、行人姿态变化、物体遮挡、图像低分辨率、行人图片未对齐等因素影响导致行人判别性特征难以获取的问题,设计混合池通道注意模块（HPCAM）和全像素空间注意力模块（FPSAM）,并基于这两种注意力模块提出一种通道与空间双重注意力网络（CSDA-Net）。HPCAM模块能够在通道维度上抑制无用信息的干扰,增强显著性特征的表达,以提取得到判别性强的行人特征。FPSAM模块在空间维度上增强行人特征的判别能力,从而提高行人重识别的准确率。通过在传统行人重识别深度模型框架中分阶段融入HPCAM模块和FPSAM模块,获得由粗糙到细粒度的注意力特征。实验结果表明,CSDA-Net网络在行人重识别主流数据集CUHK03、DukeMTMC-ReID和Market1501上的Rank-1准确率分别为78.3%、91.3%和96.0%,平均精度均值（mAP）分别为80.0%、82.1%和90.4%,与MGN网络相比,Rank-1准确率分别提升14.9、2.6和0.3个百分点,mAP分别提升13.7、3.7和3.5个百分点,能够提取更具鲁棒性和判别性的表达特征。     

结合注意力与批特征擦除的行人重识别模型

在行人重识别过程中,图像局部遮挡会造成识别准确率下降。提出一种结合注意力和批特征擦除的网络（ABFE-Net）模型,旨在学习具有辨别力的全局特征和局部细粒度特征,提高图像局部遮挡条件下行人特征的表达能力。将轻量级注意力模块嵌入到ResNet-50中自主学习每个通道的权重,通过强化有用特征和抑制无关特征增强网络特征的学习能力,提取行人更具辨别力的全局特征。对于深层特征使用批特征擦除方法,随机擦除同一批次特征图的相同区域,使得网络关注剩余的局部细粒度特征。将两种特征融合得到更加全面的行人特征表示,对其进行相似性度量并排序,得到行人重识别的结果。实验结果表明,与HA-CNN、PCB等方法相比,ABFE-Net模型在Market1501和DukeMTMC-reID数据集上的Rank-1和mAP分别达到94.4%、85.9%和88.3%、75.1%,能够明显增强行人特征的辨别性,提高行人重识别效果。     

基于空间弱化和通道增强注意力的行人重识别

针对现有行人重识别方法过于注重对行人图像强辨别性特征的提取导致模型缺乏鲁棒性,以及无法很好地结合空间和通道维度信息的问题,提出一种基于空间弱化和通道增强注意力的行人重识别方法。通过弱化对于高响应区域的注意,迫使模型学习更全面的特征信息,提升模型的泛化能力。嵌入通道注意力机制,通过学习特征通道之间的相关性,自动校准通道维度上的注意力。在Market-1501、DukeMTMC-ReID、CUHK03和MSMT17数据集上进行的实验结果表明,该方法具有较好的鲁棒性和识别准确率,能有效提高行人重识别性能。特别地,在CUHK03数据集中提升了7.6%的Rank-1精度和10.4%的mAP。     

基于孪生网络和重排序的行人重识别

针对非重叠多摄像头下的行人重识别（Re-ID）易受到光照、姿势及遮挡等影响和实验过程中存在图像错误匹配的情况，提出一种基于孪生网络和重排序的行人重识别方法。首先，给定一对行人训练图像，孪生网络可以同时学习一个具有辨别力的卷积神经网络（CNN）特征和相似性度量，并预测两个输入图像的行人身份以及判断它们是否属于同一个行人；然后，通过k互近邻方法来降低图像错误匹配的情况；最后，将欧氏距离和杰卡德距离加权来对排序表进行重排序。在数据集Market1501和CUHK03上进行多次实验，实验结果显示在Market1501上Single Query情况下在图库中第一次就成功匹配的概率（Rank1）达到83.44%，平均精度均值（mAP）为68.75%，在CUHK03上single-shot情况下Rank1达到85.56%，mAP为88.32%，明显高于传统的基于特征表示和度量学习的方法。     

基于局部特征注意力的行人重识别方法

行人重识别旨在多个视频传感器条件下,从图像库中出检索特定的行人目标,具有重要的实际应用价值。针对以往对局部特征利用不足的情况,创新一种基于注意力引导的局部特征关系融合方法,使在对局部特征分别计算的同时,通过注意力引导,探索各局部特征之间的内部关系。首先将图像通过残差网络ResNet-50获取特征,然后对特征进行水平分割获取局部特征后,通过注意力引导的局部特征关系融合网络,最后使用难采样三元组损失函数和交叉熵损失函数对模型进行训练。实验表明,该算法在行人重识别公开数据集Market-1501上mAP值达到86.4%,Rank-1达到94.7%。     

基于高分辨率网络的行人重识别技术

针对行人重识别特征提取过程中特征图分辨率不断下降,丢失大量空间信息和细节信息,导致特征鲁棒性较低的问题,提出一种基于高分辨率特征提取网络的行人重识别方法.采取变换背景的方法对训练数据集进行数据扩充,提高数据样本的多样性;通过构建高分辨率特征提取网络,使得在整个特征提取过程中网络里始终拥有高分辨特征;结合三元损失函数和改...     

Learn Robust Pedestrian Representation Within Minimal Modality Discrepancy for Visible-Infrared Person Re-Identification

Visible-infrared person re-identification has attracted extensive attention from the community due to its potential great application prospects in video surveillance. There are huge modality discrepancies between visible and infrared images caused by different imaging mechanisms. Existing studies alleviate modality discrepancies by aligning modality distribution or extracting modality-shared features on the original image. However, they ignore a key solution, i.e., converting visible images to gray images directly, which is efficient and effective to reduce modality discrepancies. In this paper, we transform the cross-modality person re-identification task from visible-infrared images to gray-infrared images, which is named as the minimal modality discrepancy. In addition, we propose a pyramid feature integration network (PFINet) which mines the discriminative refined features of pedestrian images and fuses high-level and semantically strong features to build a robust pedestrian representation. Specifically, PFINet first performs the feature extraction from concrete to abstract and the top-down semantic transfer to obtain multi-scale feature maps. Second, the multi-scale feature maps are inputted to the discriminative-region response module to emphasize the identity-discriminative regions by the spatial attention mechanism. Finally, the pedestrian representation is obtained by the feature integration. Extensive experiments demonstrate the effectiveness of PFINet which achieves the rank-1 accuracy of 81.95% and mAP of 74.49% on the multi-all evaluation mode of the SYSU-MM01 dataset.     

基于全局特征改进的行人重识别

由于行人重识别面临姿态变化、遮挡干扰、光照差异等挑战, 因此提取判别力强的行人特征至关重要. 本文提出一种在全局特征基础上进行改进的行人重识别方法, 首先, 设计多重感受野融合模块充分获取行人上下文信息, 提升全局特征辨别力; 其次, 采用GeM池化获取细粒度特征; 最后, 构建多分支网络, 融合网络不同深度的特征预测行人身份. 本文方法在Market1501和DukeMTMC-ReID两大数据集上的mAP指标分别达到83.8%和74.9%. 实验结果表明, 本文方法有效改进了基于全局特征的模型, 提升了行人重识别的识别准确率.     

基于跨域特征关联与聚类的无监督行人重识别

行人重识别的目标是利用计算机视觉技术在多个摄像头采集的图像序列或视频中识别目标行人,基于监督学习的行人重识别算法虽然提高了目标的识别性能,但难以解决行人重识别中无标注目标域的域内变化问题,从而导致无标注数据检索准确度低。提出一种基于域自适应的无监督行人重识别算法,其主要由ResNet-50骨干网络、跨域特征提取器和用以存储目标域特征的特征库组成。通过跨域特征提取器融合行人样本在特征图与通道方向的特征,以挖掘不同行人重识别数据集间潜在的特征关联关系,同时为无标注目标数据集样本内的特征关联构建特征库,在无任何标注信息的情况下从一个未知数据集学习判别性特征。实验结果表明,该算法在源域DukeMTMC-reID/Market-1501和目标域Market-1501/DukeMTMC-reID的首位命中率相较于ECN算法分别提高8.9和6.8个百分点,能够提高模型在未知数据集上的泛化能力和无监督跨域行人重识别的准确度。     

特征变换和数据集分块的行人比对

目的随着监控摄像头的增多,基于多摄像头的智能分析显得很重要。基于此,提出一种新的基于特征变换和数据集分块的行人比对方法。方法首先提出一种新的基于变换矩阵来消除特征差异的算法。这种算法能够在高维空间中,通过变换矩阵,让某特征向量逼近另一特征向量,从而消除了同一行人特征间的差异。与此同时,还提出一种新的将行人数据集中特征分块的算法,使每个分块中的行人特征具有相似的性质,从而能够共用某个变换矩阵,从而能更好地消除同一行人在不同镜头下的特征差异。结果基于VIPeR数据集和复杂街道场景数据集设计了行人比对实验。实验结果表明,本文的比对方法具有较高的比对准确率,VIPeR数据集(50%训练,50%检测)的Rank1的比对准确率为22%。同时本文设计了特征变换和数据集分块这2个模块的对照实验。实验结果表明,特征变换和数据集分块模块对结果都有提升的效果。结论本文新的行人比对方法通过恰当的特征变换让同一行人在多镜头下的特征互相接近。实验结果表明该方法能够较好地在多镜头下匹配行人。     

基于深层特征融合的行人重识别方法

针对现有基于深度学习的行人重识别方法对于行人姿态变化、部分遮挡等引起的行人判别特征信息缺失的问题,提出了一种深层特征融合的行人重识别方法。首先,利用卷积层和池化层多次提取网络深层特征,从空间维度提升网络性能,使用融合后的深层特征作为行人图像的全局特征属性;其次,为提高模型的泛化能力,在深层融合特征后加入一个批量归一化层,同时采用标签平滑损失函数和三元组损失函数对模型进行联合训练。实验结果表明,所提的深层特征融合方法具有很好的表达能力。在Market1501、DukeMTMC-reID、CUHK03和MSMT17 4个数据集上对所提方法进行了验证,其中在Market1501数据集上,Rank-1值达到了95.0%,mAP达到了85.6%。     

基于去相关高精度分类网络与重排序的行人再识别

目前基于深度学习的行人再识别方法通常将分类网络作为基础网络进行训练,再用其提取行人图片的深度特征,最后在欧氏距离度量下计算特征间相似度并建立排序表。因此,分类网络的特征表达能力将影响到再识别的准确率,而特征表达之间的相关性也会使相似度计算存在误差。针对这些问题,采用精度更高的分类网络作为行人再识别的特征提取网络,并使用奇异值分解来降低权向量之间的相关性,优化深度学习过程。此外,使用基于K互近邻的方法,对候选库中需要检索的图片进行重排序,也将进一步提升再识别的精度。在Market-1501数据集上的实验结果表明,该方法能显著提高行人再识别的准确性。