基于多尺度和注意力融合学习的行人重识别

行人重识别的关键依赖于行人特征的提取,卷积神经网络具有强大的特征提取以及表达能力。针对不同尺度下可以观察到不同的特征,该文提出一种基于多尺度和注意力网络融合的行人重识别方法(MSAN)。该方法通过对网络不同深度的特征进行采样,将采样的特征融合后对行人进行预测。不同深度的特征图具有不同的表达能力,使网络可以学习到行人身上更加细粒度的特征。同时将注意力模块嵌入到残差网络中,使得网络能更加关注于一些关键信息,增强网络特征学习能力。所提方法在Market1501, DukeMTMC-reID和MSMT17_V1数据集上首位准确率分别到了95.3%, 89.8%和82.2%。实验表明,该方法充分利用了网络不同深度的信息和关注的关键信息,使模型具有很强的判别能力,而且所提模型的平均准确率优于大多数先进算法。     

基于阶梯型特征空间分割与局部注意力机制的行人重识别

为了让网络捕捉到更有效的内容来进行行人的判别,该文提出一种基于阶梯型特征空间分割与局部分支注意力网络(SLANet)机制的多分支网络来关注局部图像的显著信息。首先,在网络中引入阶梯型分支注意力模块,该模块以阶梯型对特征图进行水平分块,并且使用了分支注意力给每个分支分配不同的权重。其次,在网络中引入多尺度自适应注意力模块,该模块对局部特征进行处理,自适应调整感受野尺寸来适应不同尺度图像,同时融合了通道注意力和空间注意力筛选出图像重要特征。在网络的设计上,使用多粒度网络将全局特征和局部特征进行结合。最后,该方法在3个被广泛使用的行人重识别数据集Market-1501,DukeMTMC-reID和CUHK03上进行验证。其中在Market-1501数据集上的mAP和Rank-1分别达到了88.1%和95.6%。实验结果表明,该文所提出的网络模型能够提高行人重识别准确率。     

一种结构化双注意力混合通道增强的跨模态行人重识别方法

在目前跨模态行人重识别技术的研究中,大部分现有的方法会通过单模态原始可见光图像或者对抗生成图像的局部共享特征来降低跨模态差异,导致在红外图像判别中由于底层特征信息丢失而缺乏稳定的识别准确率。为了解决该问题,该文提出一种结构化双注意力可交换混合随机通道增强的特征融合跨模态行人重识别方法,利用通道增强后的可视图像作为第三模态,通过图像通道可交换随机混合增强(I-CSA)模块对可见光图像进行单通道和三通道随机混合增强抽取,从而突出行人的姿态结构细节,在学习中减少模态间差异。结构化联合注意力特征融合 (SAFF)模块在注重模态间行人姿态结构关系的前提下,为跨模态表征学习提供更丰富的监督,增强了模态变化中共享特征的鲁棒性。在SYSU-MM01数据集全搜索模式单摄设置下Rank-1和mAP分别达到71.2%和68.1%,优于同类前沿方法。     

基于外观统计特征融合的人体目标再识别

人体目标再识别是视频监控等应用的关键问题之一。该文从外观统计特征融合的角度,利用人体的颜色和结构信息,基于空间直方图和区域协方差两种优秀的统计描述方法,研究了再识别问题的特征构建和测度选择等内容。构建特征时从图像多个层次的统计区域中提取了多类互补性较好的统计向量,设计测度时使用了简单的l1距离进行加权组合。两类统计方式融合而成的再识别方法不需要进行预处理和监督性训练过程。该文进行了广泛的实验比较和分析,验证了该文方法优异的识别性能和较强的实用性能。     

引入语义部位约束的行人再识别

为减轻行人图片中的背景干扰,使网络着重于行人前景并且提高前景中人体部位的利用率,该文提出引入语义部位约束(SPC)的行人再识别网络。在训练阶段,首先将行人图片同时输入主干网络和语义部位分割网络,分别得到行人特征图和部位分割图;然后,将部位分割图与行人特征图融合,得到语义部位特征;接着,对行人特征图进行池化得到全局特征;最后,同时使用身份约束和语义部位约束训练网络。在测试阶段,由于语义部位约束使得全局特征拥有部位信息,因此测试时仅使用主干网络提取行人的全局信息即可。在大规模公开数据集上的实验结果表明,语义部位约束能有效使得网络提高辨别行人身份的能力并且缩减推断网络的计算花费。与现有方法比较,该文网络能更好地抵抗背景干扰,提高行人再识别性能。     

一种基于等距度量学习策略的行人重识别改进算法

为了提高行人重识别距离度量MLAPG算法的鲁棒性,该文提出基于等距度量学习策略的行人重识别Equid-MLAPG算法。 MLAPG算法中正负样本对在映射空间的分布不均衡导致间距超参数受负样本对距离影响更大,因此该文设计的Equid-MLAPG算法要求正样本对映射成为变换空间中的一个点,即正样本对在变换空间中距离为零,使算法收敛时正负样本对距离分布不存在交叉部分。实验表明Equid-MLAPG算法能在常用的行人重识别数据集上取得良好的实验效果,具有更好的识别率和广泛的适用性。

     

基于统计推断的行人再识别算法

行人再识别是指给定一张行人图像,在已有的可能来源于非交叠摄像机视场的行人图像库中,识别出与此人相同的图像。研究该问题有着非常重要的现实意义,同时也面临许多挑战。该文提出一种基于统计推断的行人再识别算法。该算法从统计推断的角度出发学习两幅行人图像的相似度度量函数,利用此函数从行人图像库中搜索待查询的人。在公共数据集VIPeR上的实验表明,该算法性能优于已有的行人再识别算法,学习相似度度量函数的时间花销明显少于已有的基于学习的算法,并且在只有少量训练样本时,缓解了学习相似度度量函数的过拟合问题。     

基于支持样本间接式的行人再识别

行人再识别就是在无重叠视域多摄像机监控系统中,识别出相同的行人。针对来自于不同摄像头行人图片存在着视角、光照和尺度变化的问题。该文提出了基于支持样本间接式匹配的行人再识别方法。该算法首先通过聚类的方法分别提取不同摄像头下的支持样本,当要对来自不同摄像头的行人进行匹配时,在距离测度的基础上利用支持样本分别判别出其所在摄像头下的行人类别,通过类别的对比判断是否为同一行人。该方法避免了不同摄像头下行人图片直接匹配,有效解决不同摄像头带来的视角、光照和尺度问题。实验结果表明该文的算法相比一些经典算法识别率有一定的提高,并且在数据集VIPeR, CAVIAR4ReID和CUHK01上,Rank1分别达到了43.60%, 41.36%, 43.82%。     

基于行人属性分级识别的行人再识别

为了提高行人再识别算法的识别效果,该文提出一种基于注意力模型的行人属性分级识别神经网络模型,相对于现有算法,该模型有以下3大优点：一是在网络的特征提取部分,设计用于识别行人属性的注意力模型,提取行人属性信息和显著性程度;二是在网络的特征识别部分,针对行人属性的显著性程度和包含的信息量大小,利用注意力模型对属性进行分级识别;三是分析属性之间的相关性,根据上一级的识别结果,调整下一级的识别策略,从而提高小目标属性的识别准确率,进而提高行人再识别的准确率。实验结果表明,该文提出的模型相较于现有方法,有效提高了行人再识别的首位准确率,其中,Market1501数据集上,首位准确率达到了93.1%,在DukeMTMC数据集上,首位准确率达到了81.7%。     

基于多样化局部注意力网络的行人重识别

针对现实场景中行人图像被遮挡以及行人姿态或视角变化造成的未对齐问题,该文提出一种基于多样化局部注意力网络(DLAN)的行人重识别(Re-ID)方法。首先,在骨干网络后分别设计了全局网络和多分支局部注意力网络,一方面学习全局的人体空间结构特征,另一方面自适应地获取人体不同部位的显著性局部特征;然后,构造了一致性激活惩罚函数引导各局部分支学习不同身体区域的互补特征,从而获取行人的多样化特征表示;最后,将全局特征与局部特征集成到分类识别网络中,通过联合学习形成更全面的行人描述。在Market1501, DukeMTMC-reID和CUHK03行人重识别数据集上,DLAN模型的mAP值分别达到了88.4%, 79.5%和74.3%,Rank-1值分别达到了95.1%, 88.7%和76.3%,明显优于大多数现有方法,实验结果充分验证了所提方法的鲁棒性和判别能力。     

基于新型三元卷积神经网络的行人再辨识算法

基于三元卷积神经网络的行人再辨识算法多数采用欧式距离度量行人之间的相似度,并配合铰链(hinge)损失函数进行卷积神经网络的训练。然而,这种作法存在两个不足：欧式距离作为行人相似度,鉴别力不够强;铰链损失函数的间隔(Margin)参数设定依赖于人工预先设定且在训练过程中无法自适应调整。为此,针对上述两个不足进行改进,该文提出一种基于新型三元卷积神经网络的行人再辨识算法,以提高行人再辨识的准确率。首先,提出一种归一化混合度量函数取代传统的度量方法进行行人相似度计算,提高了行人相似度度量的鉴别力;其次,提出采用Log-logistic函数代替铰链函数,无需人工设定间隔参数,改进了特征与度量函数的联合优化效果。实验结果表明,所提出的算法在Auto Detected CUHK03 和VIPeR两个数据库上的准确率均获得显著的提升,验证了所提出算法的优越性。     

基于显著度融合的自适应分块行人再识别

针对基于分块匹配的行人再识别中对分块的规则和大小缺乏指导,以及不同分块间的区分度差异问题,该文提出基于显著度融合的自适应分块行人再识别方法。首先,利用启发式思想确定初始聚类中心,并根据图像内容自动确定分块的大小和数目。然后,利用归一化部分曲线下面积计算各块的图像间显著度,利用结构化支持向量机学习各块的图像内显著度,并融合两类显著度得到各块的权重作为匹配得分融合的依据。实验证明,在常用的行人再识别数据集上,该方法能取得较好的识别结果。     

基于双向参考集矩阵度量学习的行人再识别

针对行人再识别中由于外观差异不显著导致特征描述不准确的问题,该文提出一种基于双向参考集矩阵度量学习(BRM²L)的行人再识别算法。首先通过互近邻算法获得每个摄像头下的互近邻参考集,为保证参考集的鲁棒性,联合考虑各摄像头下的互近邻参考集获得双向参考集。通过双向参考集挖掘出困难样本进行特征描述,从而得到准确的外观差异描述。最后利用该特征描述进行更有效的矩阵度量学习。在多个公开数据集上的实验结果证明了该算法比现有算法具有更好的行人再识别性能。

     

平移变化性相似性学习的行人重识别算法

行人重识别的精确度主要取决于相似性度量方法和特征学习模型。现有的度量方法存在平移不变性的特点,会增加网络参数训练的难度。现有的几种特征学习模型只强调样本之间的绝对距离而忽略了正样本对和负样本对之间的相对距离,造成网络学习到的特征判别性不强。针对现有度量方法的缺点该文提出一种平移变化的距离度量方法,能够简化网络的优化并能高效度量图像之间的相似性。针对特征学习模型的不足,提出一种增大间隔的逻辑回归模型,模型通过增大正负样本对之间的相对距离,使得网络得到的特征判别性更强。实验中,在Market1501和CUHK03数据库上对所提度量方式和特征学习模型的有效性进行验证,实验结果表明,所提度量方式性能更好,其平均精确率超出马氏距离度量6.59%,且所提特征学习模型也取得了很好的性能,算法的平均精确率较现有的先进算法有显著提高。     

Person Re-identification Across Multiple Non-overlapping Cameras by Grouping Similarity Comparison Model

We propose a novel algorithm to solve the problem of person re-identification across multiple nonoverlapping cameras by grouping similarity comparison model.We use an image sequence instead of an image as a probe,and divide image sequence into groups by the method of systematic sampling.Then we design the rule which uses full-connection in a group and non-connection between groups to calculate similarities between images.We take the similarities as features,and train an AdaBoost classifier to match the persons across disjoint views.To enhance Euclidean distance discriminative ability,we propose a novel measure of similarity which is called Significant difference distance (SDD).Extensive experiments are conducted on two public datasets.Our proposed person re-identification method can achieve better performance compared with the state-of-the-art.     

Multi-level mutual supervision for cross-domain Person Re-identification

The challenges of cross-domain person re-identification mainly derive from two aspects: (1) The missing of target data labels. (2) The bias between source domain and target domain. Most of existing works focus on only one problem in the above two or deal with them separately. In this paper, we propose a new approach referred as to multi-level mutual supervision to achieve full utilization of labeled source data and unlabeled target data. Along this approach, we construct a dual-branch framework of which the upper branch is trained with original source data and target data while the lower branch is trained with augmented source data and target data. By applying common-pseudo-label and Maximum Mean Discrepancy (MMD) loss in our framework, the mutual supervision in multi levels is achieved. The results show that our model achieves SOTA performance on multiple popular benchmark datasets.     

Person Re-identification with Global-Local Background_bias Net

Person Re-identification (Re-ID) is an important technique in intelligent video surveillance. Because of the variations on camera viewpoints and body poses, there are some problems such as body misalignment, the diverse background clutters and partial bodies occlusion, etc. To address these problems, we propose the Global-Local Background_bias Net (GLBN), a novel network architecture that consists of Foreground Partial Segmentation Net (FPSN), Global Aligned Supervision Net (GASN) and Background_bias Constraint Net (BCN) modules. Firstly, to enhance the adaptability of foreground features and reduce the interference of the background, FPSN is applied to perform local segmentation on the foreground image. Secondly, global features generated by GASN are purposed to supervise the learning of local features. Finally, BCN constrains the background information to reduce the impact of background information again. Extensive experiments implemented on the mainstream evaluation datasets including Market1501, DukeMTMC-reID and CUHK03 indicate that our method is efficient and robust.     

基于空间和通道注意力机制的目标跟踪方法

目标跟踪是计算机视觉中重要的研究领域之一,大多跟踪算法不能有效学习适合于跟踪场景的特征限制了跟踪算法性能的提升.该文提出了一种基于空间和通道注意力机制的目标跟踪算法(CNNSCAM).该方法包括离线训练的表观模型和自适应更新的分类器层.在离线训练时,引入空间和通道注意力机制模块对原始特征进行重新标定,分别获得空间和通道...     

基于多信息流动卷积神经网络的行人再识别

行人再识别问题中,由于视角、光照和行人姿态等因素的变化,导致难以提取有效的行人特征,降低识别精度.而深度神经网络在训练样本较少的情况下较难训练,易出现过拟合现象.针对上述问题,本文提出一种多信息流动卷积神经网络（Multi-information Flow Convolutional Neural Network,MiF-CNN）模型,模型中包含一个特殊的卷积结构,该结构中每层卷积层提取到的特征与后续所有卷积层的输入相连接,增强了网络的特征信息流动性和梯度的反向传播效率,使得模型提取到的行人特征更具判别力.采用多损失函数组合方式训练网络模型,更好的区分行人类别.最后利用欧氏距离对行人特征相似性进行排序.在标准行人再识别数据集VIPeR和CUHK01上的实验表明,本文方法进一步提高了行人再识别精度,并有效改善了深度神经网络的过拟合现象.     

A Hierarchical Scheme for Video-Based Person Re-identification Using Lightweight PCANet and Handcrafted LOMO Features

A two-level hierarchical scheme for video-based person re-identification (re-id) is presented, with the aim of learning a pedestrian appearance model through more complete walking cycle extraction. Specifically, given a video with consecutive frames, the objective of the first level is to detect the key frame with lightweight Convolutional neural network (CNN) of PCANet to reflect the summary of the video content. At the second level, on the basis of the detected key frame, the pedestrian walking cycle is extracted from the long video sequence. Moreover, local features of Local maximal occurrence (LOMO) of the walking cycle are extracted to represent the pedestrian' s appearance information. In contrast to the existing walking-cycle-based person re-id approaches, the proposed scheme relaxes the limit on step number for a walking cycle, thus making it flexible and less affected by noisy frames. Experiments are conducted on two benchmark datasets: PRID 2011 and iLIDS-VID. The experimental results demonstrate that our proposed scheme outperforms the six state-of-art video-based re-id methods, and is more robust to the severe video noises and variations in pose, lighting, and camera viewpoint.