基于视频预训练和注意力特征融合的行人重识别方法

行人重识别是跨摄像头追踪的关键环节之一,主流方法多采用ImageNet进行预训练,忽视了数据集的域间差异,且以结构庞大的多分支模型居多,模型复杂度较高。本文设计一种行人重识别方法,采用基于原始视频带噪声标签参与监督的方式进行预训练,减少域间差异以提升特征表达能力;以基于注意力的特征融合方式取代残差网络的跳接映射,增强网络的特征提取能力;在网络中嵌入坐标注意力机制,在低复杂度的情况下强化关键特征,抑制低贡献特征;采用随机擦除对输入数据做数据增强以提高泛化能力,联合分类损失、三元组损失和中心损失函数对网络进行监督训练。在公开数据集Market-1501和Duke-MTMC上完成了消融实验,与主流方法对比实验表明本方法在不需要复杂多分支逻辑结构的前提下,仍可达到较高的精度。     

跨模态身份不一致的交叉分类素描行人重识别

素描行人重识别旨在从可见光行人图像库中查找与给定素描行人图像身份相同的图像。虽然已经有较多的跨模态检索算法可以应用于该类问题，但这些算法的背景设定较为单一，没有考虑到训练集中部分身份的行人仅有一个模态样本，即跨模态身份不一致，这极大限制了算法在实际场景下的应用。为此，提出了基于交叉分类的素描行人重识别网络。该网络包括交叉分类和基于距离的身份信息对齐两部分。其中，交叉分类利用单一模态数据训练的分类器引导编码器从另一模态提取到模态不变的信息。而基于距离的身份信息对齐能够将同身份不同模态间的特征距离减小，同时抑制跨模态身份不一致的影响，进而强化了特征的判别性和鲁棒性。为验证跨模态身份不一致时模型的性能表现，基于Matket-1501数据集生成了新的素描行人重识别数据集S-Market1501，并在该数据集上将Rank-1指标提升了11.0个百分点。同时模型在公开数据集Sketch Re-ID上Rank-1指标达到了60%，所设计的数据集将开源在“https：//github. com/huangdaichui/Sketch＿dataset”。     

基于语义融合的域内相似性分组行人重识别

无监督跨域行人重识别旨在使有标签源域数据集上训练的模型适应目标域数据集。然而,基于聚类的无监督跨域行人重识别算法在网络特征学习过程中常因输入行人图片情况各异而产生噪声,从而影响聚类效果。针对这一问题,提出一种基于语义融合的域内相似性分组行人重识别网络,首先在Baseline网络的基础上添加语义融合层,依次从空间和通道2个方面对中间特征图进行相似特征的语义融合,从而提升网络的自适应感知能力。此外,通过充分利用域内相似性细粒度信息,进而提高网络对全局和局部特征的聚类精准度。通过在DukeMTMC-ReID、Market1501和MSMT17这3个公开数据集上进行实验,结果表明,所提算法的均值平均精度（m AP）和Rank识别准确率与近年无监督跨域行人重识别算法相比有显著提升。     

无监督行人重识别的判别性特征研究

目前,在计算机视觉方面,大多的监督学习方法用于解决其重要分支:行人重识别问题已经取得了不错的成果,但是此类方法需要对训练数据进行手工标注,特别是对于大容量的数据集,手工标注的成本很高,而且完全满足成对标记的数据难以获得,所以无监督学习成为必选项.此外,全局特征注重行人特征空间整体性的判别性,而局部特征有助于凸显不同部位特征的判别性.所以,基于全局与局部特征的无监督学习框架,使用全局损失函数与局部相斥损失函数共同进行判别性特征学习,并联合优化ResNet-50卷积神经网络(CNN)和各个样本之间的关系,最终实现行人重识别.大量实验数据验证了提出的方法在解决行人重识别任务时具有优越性.     

基于多粒度特征融合网络的行人重识别

行人重识别旨在跨监控设备下检索出特定的行人目标.为捕捉行人图像的多粒度特征进而提高识别精度,基于OSNet基准网络提出一种多粒度特征融合网络(Multi-granularity Feature Fusion Network for Person Re-Identi-fication,MFN)进行端对端的学习.MFN由全局分支、特征擦除分支和局部分支组成,其中特征擦除分支由双通道注意力擦除模型构成,此模型包含通道注意力擦除模块(Channel Attention-based Dropout Moudle,CDM)和空间注意力擦除模块(Spatial Attention-based Dropout Moudle,SDM).CDM对通道的注意力强度排序并擦除低注意力通道,SDM在空间维度上以一定概率擦除最具有判别力的特征,两者通过并联方式相互作用,提高模型的识别能力.全局分支采用特征金字塔结构提取多尺度特征,局部分支将特征均匀切块后级联成一个单一特征,提取关键局部信息.大量实验结果表明了本文方法的有效性,在Market1501、DukeMTMC-reID和CUHK03-Labeled(Detected)数据集上,mAP/Rank-1分别达到了90.1％/95.8％、81.8％/91.4％和80.7％/82.3％(78.7％/81.6％),大幅优于其他现有方法.     

图像特征融合的行人重识别方法

行人重识别的目的是在跨区域、跨场景的情况下,检索出特定目标行人.由于行人外观可能相似,以及存在姿态变化和遮挡的问题,因此要求行人重识别模型能够捕捉到足够的细节信息.基于此,提出了图像特征融合的行人重识别算法,融合图像的全局特征与局部特征进行目标行人的检索.该算法构建了特征融合的图像通道,由卷积神经网络提取图像的视觉信息...     

基于卷积注意力机制和多损失联合的跨模态行人重识别

红外光和可见光(RGB-IR)下的跨模态行人重识别(Re-id)对于现代视频监控,尤其是夜间监控具有重要意义.现有的单模态行人重识别领域的研究成果已达到较高水平.然而,除了光照条件、人体姿势、摄像机角度等常见问题外,跨模态行人重识别问题难点主要在于同时存在模态间的巨大差异和模态内的类内变化,为此本文提出了基于卷积注意力...     

基于域鉴别网络和域自适应的行人重识别

针对行人重识别无监督跨域迁移问题,提出一种 基于域鉴别网络和域自适应的行人重识别算法。首先,使用改 进ResNet-50训练监督域鉴别网络模型,加入共享空间组件得到特征 不变属性,用于区分类间图像,并基 于对比损失和差异损失来提高模型的分类性能。其次,利用域自适应无监督迁移方法由源域 数据集导出特 征不变属性,并应用到未标记的目标域数据集上。最后,匹配查询图像和共享空间中的图库 图像执行跨域 行人重识别。为验证算法有效性,在CUHK03、Market-1501和DukeMTMC-reID数据集上进行了实验,算法 在Rank-1准确度分别达到34.1%、38.1%和28.3%,在mAP分别达到34.2%、17. 1%和17.5%,最后还验证了 模型各个组件在训练阶段的必要性。结果表明本文算法在大规模数据集上的性能优于现有的 一些无监督行人重识别方法,甚至接近于某些传统监督学习方法的性能。     

面向小样本SAR图像自动目标识别的孪生自监督学习方法

现有的自监督学习算法对小样本合成孔径雷达（Synthetic Aperture Radar,SAR）图像表征能力不足，无法充分地满足自动目标识别（Automatic Target Recognition,ATR）性能的需求。因此，本文提出了一种基于孪生自监督学习的SAR ATR方法。首先，将无标注SAR数据通过孪生特征提取网络模块中的数据增强方式建立正负样本对；其次，通过孪生自监督学习模块中的对比学习头部网络和特征冗余降低头部网络，依据无监督对比学习损失函数和特征信息冗余损失函数进行联合优化，进而得到具有较好表征能力的预训练网络；最后，将自监督预训练网络权重加载到下游网络中，并通过交叉熵损失对下游网络进行小样本SAR图像有监督识别。实验结果表明，对于运动与静止目标获取和识别（Moving and Stationary Target Acquisition and Recognition,MSTAR）数据集，本文的方法仅在3.13%的训练数据上可达82.95%准确率。本文所提方法可在无标注数据中获得较好的表征能力，有效地改善小样本SAR图像识别的过拟合问题。     

基于增强聚合通道特征的实时行人重识别北大核心CSCD

由于目标姿态、摄像头角度、光线条件等因素的影响,行人重识别仍然是一个具有挑战性的问题。目前大多数方法主要注重提高重识别精度,对实时性考虑较少。因此,本文提出了一种基于增强聚合通道特征(ACF)的实时行人重识别算法。利用ACF对行人进行检测,并在此基础上,结合直方图特征和纹理特征构成增强ACF,作为行人重识别的特征描述子。利用测度学习方法对重识别模型进行训练。在4个数据集上的实验结果表明,与传统的重识别特征相比,提出的特征描述子逼近最好的重识别准确率,并且具有更快的计算速度。整个行人检测与重识别系统的运行速度达到10 frame·s^(-1)以上,基本可以满足实时行人重识别的需求。     

基于无监督学习的行人检测算法

提出了一种基于无监督学习的行人检测方法,用以解决学习样本未标记的问题。将深度学习应用于行人识别,数据增强用来生成额外的训练数据而无需对训练样本进行标记。利用无监督卷积稀疏自动编码器进行前期训练获得特征,在此基础上,利用端对端监督训练对分类器进行训练,同时对获得的特征进行微调得到最终的行人特征。INRIA数据集中的实验结果表明,无监督学习获得的特征提高了检测率,证明本文方法的可行性和有效性。     

基于多级分裂HSC·Net的皮肤病图像分割方法

针对皮肤病图像边界模糊且分布不规则、传统卷积分割方法无法满足对边缘细节提取的问题，提出了多级分裂卷积HSC-Net的皮肤病图像分割方法。网络编码端使用ImageNet上的VGG16-BN预训练模型，预训练参数会在训练过程中进行自动微调。将预训练模型中传统的最大池化层用软池化(Soft-pool)层进行替换，以减少传统池化的精度损失。解码端的HSC通过对特征图信息的分级提取，能高效利用特征信息。在解码端融入极化自注意力(Polarized Self-Attention, PSA)机制，使得空间和通道维度上获取更丰富的梯度信息。在ISIC2018数据集上的实验结果显示，精确度、Jaccard指数和Dice指数分别为96.21%、81.88%、81.65%,在准确性、轻量化和边界分割效果上优于现有的分割方法。     

基于注意力机制的多级特征级联行人重识别

针对现有行人重识别算法因细节信息关注不足导致的判别性不强问题,提出了一种基于注意力机制的多级特征级联行人重识别算法.首先,通过级联不同深度的特征实现对不同层级特征的充分利用,以补充高层级特征中的细节信息.然后,引入一对互补的注意力机制模块,以融合特征图中相似的像素及通道,弥补特征中的空间位置信息,提高特征的判别性.最后,在Market-1501、DukeMTMC-ReID、CUHK03数据集上进行了大量实验.结果 表明,本算法的识别精度和平均准确率优于大多数当前的主流算法.     

基于增量零空间Foley-Sammon变换的行人重识别

提出了一种基于增量零 空间Foley-Sammon变换(FST)的行人重识别方法,能在有效地获取到新数据时对之前的重 识别模型进行快速更 新。首先对零空间FST中的类内散度矩阵和总体散度矩阵进行增量学 习,利用新加 入的数据分别对两个矩阵进行更新,不需要在整个新旧数据上重新计算;得到更新后的类内 散度矩阵和总 体散度矩阵后,通过对其进行正交分解最终得到零空间投影矩阵。在VIPeR和PRI D_2011两个数据集上实验的结果表明,本文方法通过增量学习获得模型的重识别准确率和 采用批量重训练方法相当;并且本文方法可适用于动态场景下的实时自适应增量更新。本文 针对行人重识别任务提出的增量学习方式,在增量学习过程中不需要对原始数据重复 计算,模型更新速度快,且精度随数据增加而稳定增长。     

融合损失优化的行人重识别方法

行人重识别的目的是通过深度学习检索出数据集中存在特定身份的行人,在行人重识别算法中最理想的优化目标是最小化类内距离,最大化类间距离.本文提出一种对损失函数进行优化改进的行人重识别方法.通过在分类损失上添加了额外的监督信号,使其配合联合训练.在保持类间判别力的基础上,使训练出的特征有较强的内聚性,约束了类内紧凑性,有效提升特征的辨识度.同时在交叉熵损失上增加类内与类间相似度的加权因子,使学习速率适应具体的优化状态.从而使其优化方式更加灵活,收敛状态更加明确来提高特征鉴别力.通过在行人重识别的主流数据集Market-1501与DukeMTMC-reID上的实验结果表明本文方法在性能上取得有效的提升,mAP值分别达到了90.5％和81.6％,Rank-1值分别达到了95.7％和91.6％.     

融合子空间共享特征的多尺度跨模态行人重识别方法

跨模态行人重识别(Re-ID)是智能监控系统所面临的一项具有很大挑战的问题,现有的跨模态研究方法中主要基于全局或局部学习表示有区别的模态共享特征。然而,很少有研究尝试融合全局与局部的特征表示。该文提出一种新的多粒度共享特征融合(MSFF)网络,该网络结合了全局和局部特征来学习两种模态的不同粒度表示,从骨干网络中提取多尺度、多层次的特征,全局特征表示的粗粒度信息与局部特征表示的细粒度信息相互协同,形成更具有区别度的特征描述符。此外,为使网络能够提取更有效的共享特征,该文还针对网络中的两种模态的嵌入模式提出了子空间共享特征模块的改进方法,改变传统模态特征权重的特征嵌入方式。将该模块提前放入骨干网络中,使两种模态的各自特征映射到同一子空间中,经过骨干网络产生更丰富的共享权值。在两个公共数据集实验结果证明了所提方法的有效性,SYSU-MM01数据集最困难全搜索单镜头模式下平均精度mAP达到了60.62%。     

融合XLnet与DMGAN的文本生成图像方法

针对文本生成图像任务中的文本编码器不能深度挖掘文本信息,导致后续生成的图像存在语义不一致的问题,本文提出了一种改进DMGAN模型的文本生成图像方法。首先使用XLnet的预训练模型对文本进行编码,该模型在大规模语料库的预训练之下能够捕获大量文本的先验知识,实现对上下文信息的深度挖掘;然后在DMGAN模型生成图像的初始阶段和图像细化阶段均加入通道注意力模块,突出重要的特征通道,进一步提升生成图像的语义一致性和空间布局合理性,以及模型的收敛速度和稳定性。实验结果表明,所提出模型在CUB数据集上生成的图像相比原DMGAN模型,IS指标提升了0.47,FID指标降低了2.78,充分说明该模型具有更好的跨模态生成能力。     

双分辨率注意力网络行人重识别

行人重识别(ReID)任务在提取身份相关特征时可能会丢失一些信息,导致判别依据减少并影响模型性能.为此,提出了基于双分辨率特征及通道注意力机制的行人重识别方法.首先,在ResNet基础上增加了高分辨率特征分支,通过在不同分辨率的特征图上应用池化层,生成了对应着8种不同区域的特征向量.然后根据特征向量的情况设计了一个通道注意模块,增强了其中有效部分的表达能力.最后利用批归一化处理来协调分类损失和度量损失.消融实验中,算法内各步骤的运用都有效提升了模型的性能.在Market-1501、DUKEMTMC-REID、CUHK03等数据集上进行的对比实验中,该算法相比近几年具有代表性的其他算法,平均准确率和Rank-1都有所提升.实验结果表明,该方法能结合更丰富的特征,提高行人重识别准确度.     

情感识别中的迁移学习问题综述

情感识别是实现自然人机交互的必要过程。然而,情感数据高昂的采集和标注成本成为了限制情感识别研究发展的一大瓶颈。在无标注或有限标注的场景下,利用知识的跨领域或跨任务迁移提升情感识别效果的问题值得探索。本文对情感识别中的迁移学习问题进行了梳理和分析。首先,将迁移学习问题划分为针对领域差异和针对任务差异的两大部分,并进一步将每部分问题细分为多种不同的情况。随后,基于情感识别领域的研究现状,分别总结不同情况下的现有工作。在目标领域训练资源匮乏的情况下,可以利用其他带标注的数据集作为源领域训练模型,并对齐不同领域下的特征分布,或将特征映射到域间共享的空间。考虑到情感标签所提供的监督信息往往较为有限,为了进一步提升模型的识别效果,可以引入其他相关任务进行联合训练,或将预训练模型、外部知识库提供的先验语义知识迁移到情感识别任务中。最后,讨论了情感识别领域中未来需要得到更多关注和探索的迁移学习问题,旨在为研究者带来新的启发。     

基于自我监督预处理的食物图像分类

随着社交网络的快速发展,人们通常会上传、分享和记录食物图片,因此食物图像分类的应用价值也越来越大,对食品推荐、营养搭配、烹饪文化等方面都产生了积极的影响.尽管食物图像分类有着巨大的应用潜力,但从图像中识别食物仍然是一项具有挑战性的任务.为了解决食物的细粒度识别问题,本文提出了一种基于自我监督预处理的食物图像分类模型,通过自我监督的学习方式更高程度地学习食物图像特征.该模型在基于密集连接网络的食物图像分类模型DenseFood基础上搭建,采用上下文恢复的自我监督策略,将训练好的网络权重用于初始化DenseFood模型,训练微调完成分类任务.上下文恢复的自我监督策略和密集连接网络都是专注于图像特征的提取,同时结合两者,充分学习食物图像特征,来达到更好的食物图像分类精确度.为了进行性能比较,使用VIREO-172数据集对基于自我监督预处理的食物图像分类模型、未预处理的食物图像分类模型DenseFood以及基于ImageNet数据集训练预处理的DenseNet、ResNet这四个模型进行训练.实验结果表明,本文提出的食物图像分类模型优于其他策略.