基于身份感知模型的素描人脸识别方法

针对素描图像和光学图像之间存在较大的模态差异这一问题,提出了一种基于身份感知模型的素描人脸识别方法,实现跨模态图像生成和素描人脸识别。该方法应用新的感知损失来监督图像生成网络,生成更好的跨模态图像,减少模态差异带来的识别精度损失,并通过三元组损失来正则化类内和类间距离,增强识别模型的性能,用联合训练策略提升素描人脸识别能力。在UoM-SGFSv2、e-PRIP等素描人脸数据集上的实验结果表明,该方法识别效果优于其他对比算法。     

多粒度跨模态行人重识别算法研究

针对当前跨模态行人重识别算法大多聚类能力不强、且难以提取高效辨别性特征的问题,提出了一种多粒度跨模态行人重识别算法。首先,在骨干网络Resnet50中加入非局部注意力机制模块,关注长距离像素之间的关系,保留细节信息;其次,采用多分支网络提取不同细粒度特征信息,增强模型的辨别性特征提取能力;最后,联合基于样本的三元组损失和基于中心的三元组损失监督训练,加速模型收敛。所提算法在SYSU-MM01数据集的全搜索模式下Rank-1和mean average precision分别达到62.83%和58.10%,在RegDB数据集的可见光到红外模式下Rank-1和mAP分别达到87.78%和76.22%。     

基于域鉴别网络和域自适应的行人重识别

针对行人重识别无监督跨域迁移问题,提出一种 基于域鉴别网络和域自适应的行人重识别算法。首先,使用改 进ResNet-50训练监督域鉴别网络模型,加入共享空间组件得到特征 不变属性,用于区分类间图像,并基 于对比损失和差异损失来提高模型的分类性能。其次,利用域自适应无监督迁移方法由源域 数据集导出特 征不变属性,并应用到未标记的目标域数据集上。最后,匹配查询图像和共享空间中的图库 图像执行跨域 行人重识别。为验证算法有效性,在CUHK03、Market-1501和DukeMTMC-reID数据集上进行了实验,算法 在Rank-1准确度分别达到34.1%、38.1%和28.3%,在mAP分别达到34.2%、17. 1%和17.5%,最后还验证了 模型各个组件在训练阶段的必要性。结果表明本文算法在大规模数据集上的性能优于现有的 一些无监督行人重识别方法,甚至接近于某些传统监督学习方法的性能。     

基于灾难性遗忘及组合叠加擦除的跨模态行人重识别预训练方法

面向构建24小时全时段视频监控系统的需要，基于可见光与近红外的跨模态行人重识别受到工业界与学术界的广泛关注.然而，目前大部分跨模态行人重识别任务都试图利用在ImageNet上预训练的模型来提前学习模态内共性特征，但ImageNet与跨模态行人数据模态差异较大，且预训练过程中将颜色信息作为判别特征之一，导致预训练中学习到的共性特征并不适用于无色彩红外图像的信息表示.本文提出了一种基于灾难性遗忘及组合叠加擦除的自监督跨模态行人重识别预训练方法，首先利用提出的灾难性遗忘评分来对预训练数据进行筛选，旨在减小预训练数据与后续任务数据存在的域间差距，进一步减少模型训练时间.其次，针对传统跨模态识别中的关键区分性特征提取，本文设计了一种强通道数据增强策略，通过对R、G、B三通道的通道级擦除与组合，生成了颜色迥异的多类型样本，有利于促使模型关注于纹理信息而非颜色信息.最后基于本文提出的跨模态数据筛选指标以及通道增强策略，构建了跨模态任务的自监督学习框架.实验结果表明，本文提出的预训练方法所训练的ResNet50网络在迁移到众多跨模态行人重识别方法时优于目前主流自监督预训练方法，其中在经典方法 AGW的...     

基于语义融合的域内相似性分组行人重识别

无监督跨域行人重识别旨在使有标签源域数据集上训练的模型适应目标域数据集。然而,基于聚类的无监督跨域行人重识别算法在网络特征学习过程中常因输入行人图片情况各异而产生噪声,从而影响聚类效果。针对这一问题,提出一种基于语义融合的域内相似性分组行人重识别网络,首先在Baseline网络的基础上添加语义融合层,依次从空间和通道2个方面对中间特征图进行相似特征的语义融合,从而提升网络的自适应感知能力。此外,通过充分利用域内相似性细粒度信息,进而提高网络对全局和局部特征的聚类精准度。通过在DukeMTMC-ReID、Market1501和MSMT17这3个公开数据集上进行实验,结果表明,所提算法的均值平均精度（m AP）和Rank识别准确率与近年无监督跨域行人重识别算法相比有显著提升。     

双分辨率注意力网络行人重识别

行人重识别(ReID)任务在提取身份相关特征时可能会丢失一些信息,导致判别依据减少并影响模型性能.为此,提出了基于双分辨率特征及通道注意力机制的行人重识别方法.首先,在ResNet基础上增加了高分辨率特征分支,通过在不同分辨率的特征图上应用池化层,生成了对应着8种不同区域的特征向量.然后根据特征向量的情况设计了一个通道注意模块,增强了其中有效部分的表达能力.最后利用批归一化处理来协调分类损失和度量损失.消融实验中,算法内各步骤的运用都有效提升了模型的性能.在Market-1501、DUKEMTMC-REID、CUHK03等数据集上进行的对比实验中,该算法相比近几年具有代表性的其他算法,平均准确率和Rank-1都有所提升.实验结果表明,该方法能结合更丰富的特征,提高行人重识别准确度.     

基于多尺度批量特征丢弃网络的行人重识别研究

针对行人重识别存在的遮挡和姿势变化问题和目前网络识别率低的缺陷,提出了不同空间维度的多分支行人重识别网络模型。首先利用IBN-Net50-a为基础骨干网络提取特征;然后对最后两层卷积层融合批量特征丢弃方法,以增强局部区域专注特征学习;最后拼接不同维度的特征,获得更多浅层、深层的有用信息。在网络训练时,采用三元组损失和标签平滑损失联合策略训练。使用三个常用的基准数据集Market1501、DukeMTMC-reID、CUHK03进行实验验证,并按照主流策略划分数据集。实验结果表明,所提方法的特征泛化能力较好,其中在Market1501数据集的Rank-1和平均准确率（mAP）分别达到95.3%和86.8%;在DukeMTMC-reID数据集的Rank-1和mAP分别达到88.5%和75.9%;在CUHK03数据集的Rank-1和mAP分别达到80.9%和77.8%。     

基于多粒度特征融合网络的行人重识别北大核心CSCD

针对复杂环境下行人细节特征不明显、姿态多变等情况造成的行人重识别(person-reidentification,ReID)算法精度不高的问题,提出了一种基于多粒度特征提取与特征融合的ReID网络。首先,在主干网络输入和输出端采用两种粒度的划分方式获取图像的局部特征。其次,引入空间变换网络(spatial transformation network,STN)对输入全局图像进行空间对齐,对局部图像进行特征增强。最后,采用局部特征融合的方式来挖掘特征之间的关联信息,提升模型对相似样本的识别能力。实验结果表明,所提方法在多个数据集上均取得了良好的识别效果。在Market-1501数据集上的平均查准率(mean average precision,mAP)和首次查准率(Rank-1)分别为84.87%和94.45%,通过和目前主流的ReID算法相比,本文所提方法具有更优的识别效果。     

基于注意力机制与局部关联特征的行人重识别北大核心CSCD

由于行人在真实场景下易受到背景、遮挡、姿态等问题的影响,为获取行人图像中更具辨别能力的特征,提出一种基于注意力机制和局部关联特征的行人重识别方法。首先,在网络框架中嵌入注意力模块以关注图像中表达能力强的特征;然后,利用图像中相邻区域的关联得到局部关联特征,并结合全局特征。本文方法在Market1501和DukeMTMC-ReID数据集上进行实验,Rank-1指标分别达到了95.3%和90.1%。结果证明,本文方法能充分获取判别力强的特征信息,使模型具有较强的识别能力。     

基于全局和局部特征的跨模态行人再识别方法

跨模态行人再识别是对同一行人的可见光图像和红外图像之间进行匹配和识别,相对于单模态行人再识别的难度进一步加大。本文采用循环生成对抗网络(Cycle GAN)转换和扩充数据集,尽可能减少行人体态变化带来的影响;在ResNet50网络的基础上引入全局特征对比模块和局部特征模块,减少图像噪声和行人遮挡带来的影响;将交叉熵损失和改进的三元组损失以比例加和的形式作为多损失联合函数,对网络监督训练。实验结果表明,该方法的平均精确度均值和前十位命中率都达到了较高的水平,优于当前多数方法。     

基于阶梯型特征空间分割与局部注意力机制的行人重识别

为了让网络捕捉到更有效的内容来进行行人的判别,该文提出一种基于阶梯型特征空间分割与局部分支注意力网络(SLANet)机制的多分支网络来关注局部图像的显著信息。首先,在网络中引入阶梯型分支注意力模块,该模块以阶梯型对特征图进行水平分块,并且使用了分支注意力给每个分支分配不同的权重。其次,在网络中引入多尺度自适应注意力模块,该模块对局部特征进行处理,自适应调整感受野尺寸来适应不同尺度图像,同时融合了通道注意力和空间注意力筛选出图像重要特征。在网络的设计上,使用多粒度网络将全局特征和局部特征进行结合。最后,该方法在3个被广泛使用的行人重识别数据集Market-1501,DukeMTMC-reID和CUHK03上进行验证。其中在Market-1501数据集上的mAP和Rank-1分别达到了88.1%和95.6%。实验结果表明,该文所提出的网络模型能够提高行人重识别准确率。     

结合一阶和二阶空间信息的行人重识别

针对行人重识别中行人检测误差引起的空间错位,基于局部的深度网络模型仅学习相邻局部关系,导致远距离局部相关性缺失,因此,提出了一种结合一阶和二阶空间信息的行人重识别算法。在主干网络上,学习一阶空间掩模对输入图像的空间权值进行微调,以减少背景干扰;通过二阶空间掩模对远距离的依赖关系进行建模,并将局部特征集成到依赖模型中,以获取全局特征表示。局部分支引入DropBlock对抽取的行人特征进行正则化,避免了网络模型过于依赖特定部位特征。训练阶段用标签平滑分类损失和引入正样本中心的三元组损失联合优化整个网络。在Market-1501和DukeMTMC-reID数据集上的实验结果表明,相比其他主流算法,本算法的行人重识别精度更高,且提取的行人特征判别性和鲁棒性更好。     

基于多层级特征融合的行人重识别算法

针对行人遮挡、姿态变化等现象造成当前行人重 识别算法精度不高的问题,提出一 种基于多层级特征融合的行人重识别算法。首先通过自注意力机制骨干网络ResNeSt提取图 像特征中的短距离信息;其次通过多尺度 金字塔卷积(pyramid convolution,Pyconv) 分支网络提取图像中长像素关 联特征信息,提高模型表达能力;最后使用一种统一形式且可学习的广义均值池化 (generalized mean pooling,GEM) 替代传统平均池化层,达到关注不同区域特征差异性目的。测试阶段添加平均逆消极惩罚 (mINP)作为新评价指标。实验结果表明,本文所提算法在多个数据集上均展现出优势,在 DukeMTMC-ReID数据集上Rank-1达到了90.9%,mAP达到了89.8%。     

图像特征融合的行人重识别方法

行人重识别的目的是在跨区域、跨场景的情况下,检索出特定目标行人.由于行人外观可能相似,以及存在姿态变化和遮挡的问题,因此要求行人重识别模型能够捕捉到足够的细节信息.基于此,提出了图像特征融合的行人重识别算法,融合图像的全局特征与局部特征进行目标行人的检索.该算法构建了特征融合的图像通道,由卷积神经网络提取图像的视觉信息...     

基于局部特征相关性的行人重识别

针对因行人重识别中行人图像的背景、姿势等差异和行人图像的属性相似导致的行人重识别准确率低的问题，提出了一种基于特征相关性学习的行人重识别方法，加强了局部特征提取的准确性和相关性，充分考虑了行人身体部位和其他部位之间的相关性。首先使用Resnet-50网络和人体关键点估计模型来提取局部特征和全局特征，然后对局部特征和全局特征进行分支操作，对局部特征进行相关性学习，加强各个局部特征与其他局部特征之间的联系，提高相似属性行人图像之间的鉴别性；对全局特征通过池化操作提取更为精确的全局特征，最后将相关性学习后的局部特征和池化后的全局特征进行拼接作为预测行人身份的对比特征。此模型在Market-1501数据集及DukeMTMC-ReID数据集上的mAP指标分别达到了85.6%和76.1%,验证了所提网络模型的有效性。     

融合损失优化的行人重识别方法

行人重识别的目的是通过深度学习检索出数据集中存在特定身份的行人,在行人重识别算法中最理想的优化目标是最小化类内距离,最大化类间距离.本文提出一种对损失函数进行优化改进的行人重识别方法.通过在分类损失上添加了额外的监督信号,使其配合联合训练.在保持类间判别力的基础上,使训练出的特征有较强的内聚性,约束了类内紧凑性,有效提...     

基于PCB特征加权的行人重识别算法

为充分挖掘行人重识别特征,最近流行的PCB算法给出了一种特征均匀分块并通过RPP网络对齐特征的方法。PCB算法充分发挥了局部特征的作用,有效提高了行人重识别的准确率。为进一步提高行人重识别的性能,本文基于全局特征与局部特征对网络性能的影响差异提出了一种特征加权的PCB行人重识别算法。在典型的行人识别数据库Market1501、DukeMTMC-Reid上的实验结果表明:所提算法具有更好的首中准确率（Rank1）和平均准确率（mAP）;相比与经典的PCB+RPP算法,所提算法在Market1501数据集上Rank1提高了0.8%,mAP提高了4.5%;在DukeMTMC-Reid数据集上Rank1提高了5.5%,mAP提高了约7%。      

基于双重增强网络的跨模态行人重识别

针对异质样本差异、行人遮挡及背景干扰等造成的跨模态行人重识别(person re-identification,ReID)精度不高的问题,本文提出了一种基于通道与特征学习的双重增强网络(dual enhanced network,DEN)。首先从通道级出发,通过随机交换可见光通道来挖掘可见光与红外通道间的关系,增强模型对多模态样本变化的鲁棒性。其次从特征级出发,在模态共享网络前引入基于归一化的注意力模块(normalization-based attention module,NAM),通过惩罚贡献因子较小的权重来避免噪声对模态不变信息学习造成一定干扰。同时采用特征分离模块(feature separation module,FSM)来分离出身份相关特征与身份无关特征,有效提升了模型对异质样本的识别能力。最后联合难样本三元组和加权正则化损失对网络进行监督训练,从而约束行人特征学习。在RegDB数据集上,DEN的Rank1准确率和mAP分别达到了94.86%和90.10%的高水准。     

基于卷积注意力机制和多损失联合的跨模态行人重识别

红外光和可见光(RGB-IR)下的跨模态行人重识别(Re-id)对于现代视频监控,尤其是夜间监控具有重要意义.现有的单模态行人重识别领域的研究成果已达到较高水平.然而,除了光照条件、人体姿势、摄像机角度等常见问题外,跨模态行人重识别问题难点主要在于同时存在模态间的巨大差异和模态内的类内变化,为此本文提出了基于卷积注意力...     

基于通道注意力机制和多尺度卷积的行人重识别

针对真实环境中由于复杂背景和物体遮挡、角度变换、行人姿态变化带来的行人重识别(person re-identification,person re-ID) 问题,设计了基于通道注意力(efficient channel attention,ECA) 机制和多尺度卷积(poly-scale convolution,PSConv) 的行人重识别模型。首先利用残差网络提取全局特征,在网络末端加入基于ECA机制及PSConv的特征融合模块,将全局特征和该模块提取的全局特征进行融合,之后将新的全局特征进行分割得到局部特征,最后将新的全局特征和分割得到的局部特征融合得到最终特征,并计算损失函数。模型在Market1501和DukeMTMC-reID 数据集上进行实验验证。在Market1501数据集中,Rank-1和平均精度均值分别达到94.3%和85.2%,在DukeMTMC-reID数据集中,上述两参数分别达到86.3%和75.4%。实验结果可知,该模型可应对实际环境中的复杂情况,增强行人特征的辨别力,有效提高行人重识别的准确率和精度。