基于灾难性遗忘及组合叠加擦除的跨模态行人重识别预训练方法

面向构建24小时全时段视频监控系统的需要，基于可见光与近红外的跨模态行人重识别受到工业界与学术界的广泛关注.然而，目前大部分跨模态行人重识别任务都试图利用在ImageNet上预训练的模型来提前学习模态内共性特征，但ImageNet与跨模态行人数据模态差异较大，且预训练过程中将颜色信息作为判别特征之一，导致预训练中学习到的共性特征并不适用于无色彩红外图像的信息表示.本文提出了一种基于灾难性遗忘及组合叠加擦除的自监督跨模态行人重识别预训练方法，首先利用提出的灾难性遗忘评分来对预训练数据进行筛选，旨在减小预训练数据与后续任务数据存在的域间差距，进一步减少模型训练时间.其次，针对传统跨模态识别中的关键区分性特征提取，本文设计了一种强通道数据增强策略，通过对R、G、B三通道的通道级擦除与组合，生成了颜色迥异的多类型样本，有利于促使模型关注于纹理信息而非颜色信息.最后基于本文提出的跨模态数据筛选指标以及通道增强策略，构建了跨模态任务的自监督学习框架.实验结果表明，本文提出的预训练方法所训练的ResNet50网络在迁移到众多跨模态行人重识别方法时优于目前主流自监督预训练方法，其中在经典方法 AGW的...