结合注意力与局部特征融合的行人重识别算法

行人重识别是指从一堆候选图片中找到与目标最相似的行人图片,本质上是一个图像检索的子问题。为了进一步增强网络提取关键特征的能力以及抑制噪声的干扰,通过对基于注意力机制和局部特征的行人重识别算法的研究,提出了结合注意力与局部特征融合的行人重识别算法。该算法将ResNeSt-50作为骨干网络,联合软注意力与非局部注意力机制,采用双流结构分别提取行人细粒度全局特征和细粒度局部特征,通过关注不同特征之间共享的空间域信息以及同一特征不同水平区域的潜在语义相关性,创建了空间感知特征融合模块（spatial-aware feature fusion module）以及跨区域特征融合模块（cross-region feature fusion module）。在Market-1501、DukeMTMC-reID以及CUHK03数据集上的实验结果表明该算法极大程度上提升了网络的检索能力,同时与现有算法进行比较,凸显出优越性能。     

姿态驱动的局部特征对齐的行人重识别

针对行人重识别研究中的遮挡问题,本文提出了一种姿态驱动的局部特征对齐的行人重识别方法.网络主要包括姿态编码器和行人部件对齐模块.其中,姿态编码器通过重构姿态估计热力图抑制遮挡区域骨骼关键点置信度,引导网络提取行人可见部位的特征.行人部件对齐模块依据姿态编码器输出的关键点置信图,提取行人局部特征进行特征对齐,降低非行人特征的干扰.在遮挡、半身数据集上的仿真实验表明,该方法获得了优于其他对比网络的结果.     

基于特征定位与融合的行人重识别算法

行人外观属性是区分行人差异的重要语义信息。行人属性识别在智能视频监控中有着至关重要的作用,可以帮助我们对目标行人进行快速的筛选和检索。在行人重识别任务中,可以利用属性信息得到精细的特征表达,从而提升行人重识别的效果。文中尝试将行人属性识别与行人重识别相结合,寻找一种提高行人重识别性能的方法,进而提出了一种基于特征定位与融合的行人重识别框架。首先,利用多任务学习的方法将行人重识别与属性识别结合,通过修改卷积步长和使用双池化来提升网络模型的性能。其次,为了提高属性特征的表达能力,设计了基于注意力机制的平行空间通道注意力模块,它不仅可以在特征图上定位属性的空间位置,而且还可以有效地挖掘与属性关联度较高的通道特征,同时采用多组平行分支结构减小误差,进一步提高网络模型的性能。最后,利用卷积神经网络设计特征融合模块,将属性特征与行人身份特征进行有效融合,以获得更具鲁棒性和表达力的行人特征。实验在两个常用的行人重识别数据集DukeMTMC-reID和Market-1501上进行,结果表明,所提方法在现有的行人重识别方法中处于领先水平。     

基于时空关注区域的视频行人重识别

在执行视频行人重识别任务时,传统基于局部的方法主要集中于具有特定预定义语义的区域学习局部特征表示,在复杂场景下的学习效率和鲁棒性较差。通过结合全局特征和局部特征提出一种基于时空关注区域的视频行人重识别方法。将跨帧聚合的关注区域特征与全局特征进行融合得到视频级特征表示,利用快慢网络中的两个路径分别提取全局特征和关注区域特征。在快路径中,利用多重空间关注模型提取关注区域特征,利用时间聚合模型聚合所有采样帧相同部位的关注区域特征。在慢路径中,利用卷积神经网络提取全局特征。在此基础上,使用亲和度矩阵和定位参数融合关注区域特征和全局特征。以平均欧氏距离评估融合损失,并将三重损失函数用于端到端网络训练。实验结果表明,该方法在PRID 2011数据集上Rank-1准确率达到93.4%,在MARS数据集上mAP达到79.5%,识别性能优于SeeForst、ASTPN、RQEN等方法,并且对光照、行人姿态变化和遮挡具有很好的鲁棒性。     

基于多粒度区域相关深度特征学习的行人重识别

在对行人重识别的研究中,联合使用从图像中提取的全身与局部特征已经成为当前的主流方法.但是许多基于深度学习的重识别模型在提取局部特征时忽略了它们在空间上的相互联系,当不同行人具有局部相似的外观时,这些局部特征的辨别能力会受到很大影响.针对该问题,提出了一种学习多粒度区域相关特征的行人重识别方法.该方法在对骨干网络提取的卷积特征张量作不同粒度的区域划分后,设计了区域相关子网络模块来学习融入空间结构关系的各局部区域特征.在区域相关子网络模块中,为了赋予局部特征与其他区域相关联的空间结构信息,综合利用了平均池化运算的空间保持能力与最大池化运算的性能优势.通过对当前特征和其他各区域的局部特征进行联合处理,使各局部特征间产生很强的空间相关性,提升了特征判别能力.在区域相关子网络模块的设计上,采用了与深度残差网络相同的短路连接结构,使得网络更易于优化.最后,由全身特征与使用区域相关子网络增强后的各局部区域特征联合实现行人重识别.Market-1501,CUHK03,DukeMTMC-reID 3个公开数据集上的实验结果表明,所提算法取得了优于当前主流算法的行人身份匹配准确率,具有非常优秀的重识别性能.     

基于改进型Transformer编码器和特征融合的行人重识别

为了解决Transformer编码器在行人重识别中因图像块信息丢失以及行人局部特征表达不充分导致模型识别准确率低的问题,本文提出改进型Transformer编码器和特征融合的行人重识别算法。针对Transformer在注意力运算时会丢失行人图像块相对位置信息的问题,引入相对位置编码,促使网络关注行人图像块语义化的特征信息,以增强行人特征的提取能力。为了突出包含行人区域的显著特征,将局部patch注意力机制模块嵌入到Transformer网络中,对局部关键特征信息进行加权强化。最后,利用全局与局部信息特征融合实现特征间的优势互补,提高模型识别能力。训练阶段使用Softmax及三元组损失函数联合优化网络,本文算法在Market1501和DukeMTMC-reID两大主流数据集中评估测试,Rank-1指标分别达到97.5%和93.5%,平均精度均值（mean Average precision, mAP）分别达到92.3%和83.1%,实验结果表明改进型Transformer编码器和特征融合算法能够有效提高行人重识别的准确率。     

结合多尺度特征学习与特征对齐的行人重识别

利用卷积神经网络对行人图像提取一个简单的全局特征,在复杂的行人重识别任务中无法获得令人满意的结果。局部特征学习的方式有助于获取更丰富的人体特征,但往往需要图像中的人体具有良好的空间对齐,而且,将人体各部分特征输入到独立的分支学习局部信息,忽略了人体各部分特征间的相关性,限制模型的性能提升。在此背景下,提出了一种新的多尺度特征学习算法,结合全局与局部特征学习得到更好的行人表示,提升复杂场景下模型的识别能力。对骨干网络不同深度输出的行人特征图,通过特征对齐模块对其执行空间变换,实现行人特征在空间上的矫正和对齐,进一步增强模型的泛化性能。在公开的大型行人重识别数据集上,与当前一些流行的方法进行了比较,验证了所提方法的有效性。     

结合注意力与批特征擦除的行人重识别模型

在行人重识别过程中,图像局部遮挡会造成识别准确率下降。提出一种结合注意力和批特征擦除的网络（ABFE-Net）模型,旨在学习具有辨别力的全局特征和局部细粒度特征,提高图像局部遮挡条件下行人特征的表达能力。将轻量级注意力模块嵌入到ResNet-50中自主学习每个通道的权重,通过强化有用特征和抑制无关特征增强网络特征的学习能力,提取行人更具辨别力的全局特征。对于深层特征使用批特征擦除方法,随机擦除同一批次特征图的相同区域,使得网络关注剩余的局部细粒度特征。将两种特征融合得到更加全面的行人特征表示,对其进行相似性度量并排序,得到行人重识别的结果。实验结果表明,与HA-CNN、PCB等方法相比,ABFE-Net模型在Market1501和DukeMTMC-reID数据集上的Rank-1和mAP分别达到94.4%、85.9%和88.3%、75.1%,能够明显增强行人特征的辨别性,提高行人重识别效果。     

基于特征融合与核局部Fisher判别分析的行人重识别

行人重识别精度主要取决于特征描述和度量学习两个方面。在特征描述方面,现有特征难以解决行人图像视角变化的问题,因此考虑将颜色标签特征与颜色和纹理特征融合,并通过区域和块划分的方式提取直方图获得图像特征;在度量学习方面,传统的核局部Fisher判别分析度量学习方法对所有查询图像统一映射到相同的特征空间中,忽略了查询图像不同区域的重要性,为此在核局部Fisher判别分析的基础上对特征进行区域分组,采用查询自适应得分融合方法来描述图像不同区域的重要性,由此实现度量学习。在VIPeR和iLIDS数据集上,实验结果表明融合后的特征描述能力明显优于原始特征,同时改进的度量学习方法有效提高了行人重识别精度。     

基于通道信息对齐的素描行人重识别

素描行人重识别任务要求在彩色图像库中寻找与给定素描图像相同身份的行人.由于行人的素描图像与彩色图像之间的姿态、视角等信息不同,两个模态在相同的空间位置往往具有不同的语义信息,导致所提取的特征不具备鲁棒性.以往的研究着重于行人不随着模态信息变化的特征提取,而忽略了不同模态间语义不对齐的问题,进而导致最终编码的特征受到摄像机视角、人体姿态或者遮挡等干扰,不利于图像的匹配.对此,提出基于通道信息对齐的素描行人重识别模型.其中:语义信息一致性学习模块引导网络在特征的相同通道上形成固定编码的语义信息,降低语义信息不对齐所带来的影响;差异性特征注意力模块辅助网络编码具有差异性的身份相关信息,并设计空间差异正则化项以防止网络仅关注局部特征.两个模块互相配合,强化网络对语义信息的感知和对齐.所提出的方法在具挑战性数据集Sketch Re-ID、QMUL-ShoeV2上的rank-1和mAP分别达到60.0%和59.3%、33.5%和46.1%,从而验证了所提出方法的有效性.     

融合时空域特征的人脸表情识别

目的 人脸表情识别是计算机视觉的核心问题之一。一方面,表情的产生对应着面部肌肉的一个连续动态变化过程,另一方面,该运动过程中的表情峰值帧通常包含了能够识别该表情的完整信息。大部分已有的人脸表情识别算法要么基于表情视频序列,要么基于单幅表情峰值图像。为此,提出了一种融合时域和空域特征的深度神经网络来分析和理解视频序列中的表情信息,以提升表情识别的性能。方法 该网络包含两个特征提取模块,分别用于学习单幅表情峰值图像中的表情静态“空域特征”和视频序列中的表情动态“时域特征”。首先,提出了一种基于三元组的深度度量融合技术,通过在三元组损失函数中采用不同的阈值,从单幅表情峰值图像中学习得到多个不同的表情特征表示,并将它们组合在一起形成一个鲁棒的且更具辩识能力的表情“空域特征”;其次,为了有效利用人脸关键组件的先验知识,准确提取人脸表情在时域上的运动特征,提出了基于人脸关键点轨迹的卷积神经网络,通过分析视频序列中的面部关键点轨迹,学习得到表情的动态“时域特征”;最后,提出了一种微调融合策略,取得了最优的时域特征和空域特征融合效果。结果 该方法在3个基于视频序列的常用人脸表情数据集CK+（the extended Cohn-Kanade dataset）、MMI （the MMI facial expression database）和Oulu-CASIA （the Oulu-CASIA NIR&VIS facial expression database）上的识别准确率分别为98.46%、82.96%和87.12%,接近或超越了当前同类方法中的表情识别最高性能。结论 提出的融合时空特征的人脸表情识别网络鲁棒地分析和理解了视频序列中的面部表情空域和时域信息,有效提升了人脸表情的识别性能。     

基于深度感知特征提取的室内场景理解

从深度图RGB-D域中联合学习RGB图像特征与3D几何信息有利于室内场景语义分割,然而传统分割方法通常需要精确的深度图作为输入,严重限制了其应用范围。提出一种新的室内场景理解网络框架,建立基于语义特征与深度特征提取网络的联合学习网络模型提取深度感知特征,通过几何信息指导的深度特征传输模块与金字塔特征融合模块将学习到的深度特征、多尺度空间信息与语义特征相结合,生成具有更强表达能力的特征表示,实现更准确的室内场景语义分割。实验结果表明,联合学习网络模型在NYU-Dv2与SUN RGBD数据集上分别取得了69.5%与68.4%的平均分割准确度,相比传统分割方法具有更好的室内场景语义分割性能及更强的适用性。     

融合弱监督目标定位的细粒度小样本学习

目的 小样本学习旨在通过一幅或几幅图像来学习全新的类别。目前许多小样本学习方法基于图像的全局表征,可以很好地实现常规小样本图像分类任务。但是,细粒度图像分类需要依赖局部的图像特征,而基于全局表征的方法无法有效地获取图像的局部特征,导致很多小样本学习方法不能很好地处理细粒度小样本图像分类问题。为此,提出一种融合弱监督目标定位的细粒度小样本学习方法。方法 在数据量有限的情况下,目标定位是一个有效的方法,能直接提供最具区分性的区域。受此启发,提出了一个基于自注意力的互补定位模块来实现弱监督目标定位,生成筛选掩膜进行特征描述子的筛选。基于筛选的特征描述子,设计了一种语义对齐距离来度量图像最具区分性区域的相关性,进而完成细粒度小样本图像分类。结果 在miniImageNet数据集上,本文方法在1-shot和5-shot下的分类精度相较性能第2的方法高出0.56%和5.02%。在细粒度数据集Stanford Dogs和Stanford Cars数据集上,本文方法在1-shot和5-shot下的分类精度相较性能第2的方法分别提高了4.18%,7.49%和16.13,5.17%。在CUB 200-2011（Caltech-UCSD birds）数据集中,本文方法在5-shot下的分类精度相较性能第2的方法提升了1.82%。泛化性实验也显示出本文方法可以更好地同时处理常规小样本学习和细粒度小样本学习。此外,可视化结果显示出所提出的弱监督目标定位模块可以更完整地定位出目标。结论 融合弱监督目标定位的细粒度小样本学习方法显著提高了细粒度小样本图像分类的性能,而且可以同时处理常规的和细粒度的小样本图像分类。     

Action recognition by learning temporal slowness invariant features

Deep learning approaches emphasized on learning spatio-temporal features for action recognition. Different to previous works, we separate the spatio-temporal feature learning unity into the spatial feature learning and the spatial/temporal feature pooling procedures. Using the temporal slowness regularized independent subspace analysis network, we learn invariant spatial features from sampled video cubes. To be robust to the cluttered backgrounds, we incorporate the denoising criterion to our network. The local spatio-temporal features are obtained by pooling features from the spatial and the temporal aspects. The key points are that we learn spatial features from video cubes and pool features from spatial feature sequences. We evaluate the learned local spatio-temporal features on three benchmark action datasets. Extensive experiments demonstrate the effectiveness of the novel feature learning architecture.     

基于融合关系学习网络的行人重识别

基于图卷积神经网络的行人重识别方法面临两个问题:1)在对特征映射构图时,图节点表达的语义信息不够显著;2)选择特征块构图时仅依赖特征块间的相对距离,忽略内容相似性.为了解决这两个问题,文中提出融合关系学习网络的行人重识别.利用注意力机制,使用最大注意力模型,使最重要的特征块更显著,赋予其语义信息.融合相似性度量,从距离和内容两方面对特征块进行相似性计算,度量方式更全面.该算法能够综合地选取近邻特征块,为图卷积神经网络提供更好的输入图结构,使图卷积神经网络提取更鲁棒的结构关系特征.在iLIDS-VID、MARS数据集上的实验验证文中网络的有效性.     

基于特征互补率矩阵的图像分类方法

在基于内容的图像检索和分类系统中,图像的底层特征和高层语义之间存在着语义鸿沟,有效减小语义鸿沟是一个需要广泛研究的问题。为此,提出一种基于特征互补率矩阵的图像分类方法,该方法通过计算视觉特征互补率矩阵进而指导融合特征集的选择,利用测度学习算法得到一个合适的距离测度以反映图像高层语义的相似度。实验结果表明,该方法能有效提高图像分类精度。     

Cross-media similarity metric learning with unified deep networks

As a highlighting research topic in the multimedia area, cross-media retrieval aims to capture the complex correlations among multiple media types. Learning better shared representation and distance metric for multimedia data is important to boost the cross-media retrieval. Motivated by the strong ability of deep neural network in feature representation and comparison functions learning, we propose the Unified Network for Cross-media Similarity Metric (UNCSM) to associate cross-media shared representation learning with distance metric in a unified framework. First, we design a two-pathway deep network pretrained with contrastive loss, and employ double triplet similarity loss for fine-tuning to learn the shared representation for each media type by modeling the relative semantic similarity. Second, the metric network is designed for effectively calculating the cross-media similarity of the shared representation, by modeling the pairwise similar and dissimilar constraints. Compared to the existing methods which mostly ignore the dissimilar constraints and only use sample distance metric as Euclidean distance separately, our UNCSM approach unifies the representation learning and distance metric to preserve the relative similarity as well as embrace more complex similarity functions for further improving the cross-media retrieval accuracy. The experimental results show that our UNCSM approach outperforms 8 state-of-the-art methods on 4 widely-used cross-media datasets.