基于双流结构的跨模态行人重识别关系网络

针对可见光-红外跨模态行人重识别中模态差异导致的识别精确率低的问题，提出了一种基于双流结构的跨模态行人重识别关系网络（IVRNBDS）。首先，利用双流结构分别提取可见光模态和红外模态行人图像的特征；然后，将行人图像的特征图水平切分为6个片段，以提取行人的每个片段的局部特征和其他片段的特征之间的关系，以及行人的核心特征和平均特征之间的关系；最后，在设计损失函数时，引入异质中心三元组损失（HC Loss）函数放松普通三元组损失函数的严格约束，从而使不同模态的图像特征可以更好地映射到同一特征空间中。在公开数据集SYSU-MM01(Sun Yat-Sen University Multi Modal re-identification）和Reg DB(Dongguk Body-based person Recognition）上的实验结果表明，虽然IVRNBDS的计算量略高于当前主流的跨模态行人重识别算法，但所提网络在相似度排名第1(Rank-1）指标和平均精度均值（m AP）指标上都有所提高，提高了跨模态行人重识别算法的识别精确率。