引入语义部位约束的行人再识别

为减轻行人图片中的背景干扰,使网络着重于行人前景并且提高前景中人体部位的利用率,该文提出引入语义部位约束(SPC)的行人再识别网络。在训练阶段,首先将行人图片同时输入主干网络和语义部位分割网络,分别得到行人特征图和部位分割图;然后,将部位分割图与行人特征图融合,得到语义部位特征;接着,对行人特征图进行池化得到全局特征;最后,同时使用身份约束和语义部位约束训练网络。在测试阶段,由于语义部位约束使得全局特征拥有部位信息,因此测试时仅使用主干网络提取行人的全局信息即可。在大规模公开数据集上的实验结果表明,语义部位约束能有效使得网络提高辨别行人身份的能力并且缩减推断网络的计算花费。与现有方法比较,该文网络能更好地抵抗背景干扰,提高行人再识别性能。     

基于困难样本三元组损失的多任务行人再识别

针对现有行人再识别算法中采用单一外观特征所存在的特征判别力的不足问题,在深度学习框架下提出一种基于困难样本三元组损失的多任务行人再识别网络,以同时学习身份和属性标签的方式获得更多的行人判别信息.首先将预处理后的图片输入预训练的ResNet-50模型中提取行人特征信息;然后将其特征输入所设计的多任务网络,通过最小化身份和属性联合三元组损失调整网络模型参数,共同完成行人身份和属性判别双分支网络的训练;最后用训练好的模型提取行人特征,用于行人再识别任务,同时实现行人属性的判断.在Market-1501和DukeMTMC-reID这2个数据集上的实验证明,文中网络在行人再识别任务中所提取的特征更具有表征力,识别精度优于现有方法,并且能完成属性识别任务.     

通道互注意机制下的部位对齐行人再识别

由于视角和行人姿态的变化、遮挡以及非手工行人框的误差等因素,同一行人的不同图像差异较大,给行人再识别课题的研究带来了极大挑战.为提高行人姿态变化下的行人再识别性能,提出通道互注意机制下的部位对齐行人再识别网络.首先,行人图像通过2个子网络,分别提取行人的外观特征和部位特征;然后设计一个通道互注意模块,通过挖掘行人部位特征通道间的互相关系,优化部位特征在通道维度上的权重;最后,将优化后的行人部位特征和外观特征通过双线性池化进行特征融合.在3个大规模公开数据集上的实验结果表明,通道互注意机制能有效优化部位特征,所设计的部位对齐网络具有抗姿态变化和背景干扰的能力.在Market-1501,DukeMTMC-reID和CUHK03数据集上Rank-1/mAP分别达到93.9%/90.6%, 87.6%/83.3%和70.4%/72.8%,优于其他现有方法.