融合子空间共享特征的多尺度跨模态行人重识别方法

跨模态行人重识别(Re-ID)是智能监控系统所面临的一项具有很大挑战的问题,现有的跨模态研究方法中主要基于全局或局部学习表示有区别的模态共享特征。然而,很少有研究尝试融合全局与局部的特征表示。该文提出一种新的多粒度共享特征融合(MSFF)网络,该网络结合了全局和局部特征来学习两种模态的不同粒度表示,从骨干网络中提取多尺度、多层次的特征,全局特征表示的粗粒度信息与局部特征表示的细粒度信息相互协同,形成更具有区别度的特征描述符。此外,为使网络能够提取更有效的共享特征,该文还针对网络中的两种模态的嵌入模式提出了子空间共享特征模块的改进方法,改变传统模态特征权重的特征嵌入方式。将该模块提前放入骨干网络中,使两种模态的各自特征映射到同一子空间中,经过骨干网络产生更丰富的共享权值。在两个公共数据集实验结果证明了所提方法的有效性,SYSU-MM01数据集最困难全搜索单镜头模式下平均精度mAP达到了60.62%。     

联合特征细化和耐噪声对比学习的无监督行人重识别

针对无监督行人重识别(person re-identification, ReID)中行人特征表达不充分以及聚类过程产生噪声标签的问题,提出一种联合特征细化和耐噪声对比学习的无监督ReID方法。首先,为丰富无标记的行人表征,设计了非局部通道细化模块(non-local channel refinement module, NCRM)对关键特征信息进行加权强化,其融合了非局部通道的重要特征来捕获无标记数据的类间区别表征,形成更具有鉴别度的特征描述符。其次,考虑到特征的充分表达,采用广义均值(generalized mean, GEM)池化自适应调整参数来增强不同细粒度区域信息的提取能力。再次,为了减轻噪声标签对网络的负面影响,设计了耐噪声的动态对比均衡(dynamic contrastive equilibrium, DCE)损失函数进行无监督联合学习。最终,在两个公共数据集上的实验结果验证了所提方法的有效性和先进性,mAP分别达到了83.1%和71.9%,优于其他先进方法。     

基于特征细化的多标签学习无监督行人重识别

针对无监督行人重识别中行人特征表达不充分以及训练过程产生噪声标签等问题,提出了一种基于特征细化的多标签学习无监督行人重识别方法。首先,为提高网络对关键区域信息的利用能力,设计多尺度通道注意力模块(Multi-scale channel attention module, MCAM),嵌入ResNet50网络的不同层来构建特征细化网络,并利用该网络对输入图像通道维度上的关键信息进行强化和关注,以获得更丰富的特征信息;其次,为降低训练过程中产生的噪声标签对网络的负面影响,设计多标签学习模块(Multi-label learning module, MLM),通过该模块进行正标签预测以生成可靠的伪标签;最后,利用多标签分类损失和对比损失进行无监督学习。在数据集Market-1501和DukeMTMC-reID上进行实验,结果表明该方法在这两个数据集上的平均精度均值分别达到82.8%和70.9%,首位命中率分别达到92.9%和83.9%。该方法使用注意力机制强化图像的特征信息,并通过正标签预测减少噪声标签,有效提升了无监督行人重识别的准确率,为无监督行人重识别领域提供了更鲁棒的方法。     

基于特征融合的自适应多尺度无锚框目标检测算法

为了提高 CenterNet 无锚框目标检测网络的目标检测能力,提出一种基于注意力特征融合和多尺度特征提取网络的改 进 CenterNet 目标检测网络。 首先,为了提升网络对多尺度目标的表达能力,设计了自适应多尺度特征提取网络,利用空洞卷积 对特征图进行重采样获取多尺度特征信息,并在空间维度上进行融合;其次,为了更好地融合语义和尺度不一致的特征,提出了 一种基于通道局部注意力的特征融合模块,自适应地学习浅层特征和深层特征之间的融合权重,保留不同感受域的关键特征信 息。 最后,通过在 VOC 2007 测试集上对本文算法进行验证,实验结果表明,最终算法的检测精度达到 80. 94%,相较于基线算法 CenterNet 提升了 3. 82%,有效提升了无锚框目标检测算法的最终性能     

基于局部细化多分支与全局特征共享的 无监督行人重识别方法

无监督行人重识别因其在真实监控场景中具备良好的可扩展性而备受关注。现有的无监督行人重识别方法主要通过基础骨干网络获取粗略的全局特征来训练网络,很少利用局部细化分支与全局特征共享来形成更具有鉴别性的特征描述符。本文提出一种基于局部细化多分支与全局特征共享的特征提取网络,该网络融合了粗略的全局特征和局部细化分支中的细腻特征来获取行人多样化的特征表达。另外,为了提升分支网络对潜在关键区域信息的捕获能力,在分支操作前放置通道细化信息融合的注意力块来增强网络对行人特征的关注力度,执行细化特征的专注学习。通过在Market-1501、DukeMTMC-reID和MSMT17数据集上的实验结果验证了所提方法的有效性,平均精度(mAP)分别提升了4.4%、3.2%、6.4%,其中在Market-1501数据集上的平均精度达到了83.3%。     

联合实例深度的多尺度单目3D目标检测算法

针对单目3D目标检测算法中存在图像缺乏深度信息以及检测精度不佳的问题，提出一种联合实例深度的多尺度单目3D目标检测算法。首先，为了增强模型对不同尺度目标的处理能力，设计基于空洞卷积的多尺度感知模块，同时考虑到不同尺度特征图之间的不一致性，从空间和通道两个方向对包含多尺度信息的深度特征进行重新精炼。其次，为了使模型获得更好的3D感知，将实例深度信息作为辅助学习任务来增强3D目标的空间深度特征，并使用稀疏实例深度来监督该辅助任务。最后，在KITTI测试集以及评估集上对所提算法进行验证。实验结果表明，所提算法相较于基线算法在汽车类别的平均精度提升了5.27%，有效提升了单目3D目标检测算法的检测性能。