基于多尺度批量特征丢弃网络的行人重识别研究

针对行人重识别存在的遮挡和姿势变化问题和目前网络识别率低的缺陷,提出了不同空间维度的多分支行人重识别网络模型。首先利用IBN-Net50-a为基础骨干网络提取特征;然后对最后两层卷积层融合批量特征丢弃方法,以增强局部区域专注特征学习;最后拼接不同维度的特征,获得更多浅层、深层的有用信息。在网络训练时,采用三元组损失和标签平滑损失联合策略训练。使用三个常用的基准数据集Market1501、DukeMTMC-reID、CUHK03进行实验验证,并按照主流策略划分数据集。实验结果表明,所提方法的特征泛化能力较好,其中在Market1501数据集的Rank-1和平均准确率（mAP）分别达到95.3%和86.8%;在DukeMTMC-reID数据集的Rank-1和mAP分别达到88.5%和75.9%;在CUHK03数据集的Rank-1和mAP分别达到80.9%和77.8%。     

基于语义融合的域内相似性分组行人重识别

无监督跨域行人重识别旨在使有标签源域数据集上训练的模型适应目标域数据集。然而,基于聚类的无监督跨域行人重识别算法在网络特征学习过程中常因输入行人图片情况各异而产生噪声,从而影响聚类效果。针对这一问题,提出一种基于语义融合的域内相似性分组行人重识别网络,首先在Baseline网络的基础上添加语义融合层,依次从空间和通道2个方面对中间特征图进行相似特征的语义融合,从而提升网络的自适应感知能力。此外,通过充分利用域内相似性细粒度信息,进而提高网络对全局和局部特征的聚类精准度。通过在DukeMTMC-ReID、Market1501和MSMT17这3个公开数据集上进行实验,结果表明,所提算法的均值平均精度（m AP）和Rank识别准确率与近年无监督跨域行人重识别算法相比有显著提升。     

基于通道注意力机制和多尺度卷积的行人重识别

针对真实环境中由于复杂背景和物体遮挡、角度变换、行人姿态变化带来的行人重识别(person re-identification,person re-ID) 问题,设计了基于通道注意力(efficient channel attention,ECA) 机制和多尺度卷积(poly-scale convolution,PSConv) 的行人重识别模型。首先利用残差网络提取全局特征,在网络末端加入基于ECA机制及PSConv的特征融合模块,将全局特征和该模块提取的全局特征进行融合,之后将新的全局特征进行分割得到局部特征,最后将新的全局特征和分割得到的局部特征融合得到最终特征,并计算损失函数。模型在Market1501和DukeMTMC-reID 数据集上进行实验验证。在Market1501数据集中,Rank-1和平均精度均值分别达到94.3%和85.2%,在DukeMTMC-reID数据集中,上述两参数分别达到86.3%和75.4%。实验结果可知,该模型可应对实际环境中的复杂情况,增强行人特征的辨别力,有效提高行人重识别的准确率和精度。     

基于阶梯型特征空间分割与局部注意力机制的行人重识别

为了让网络捕捉到更有效的内容来进行行人的判别,该文提出一种基于阶梯型特征空间分割与局部分支注意力网络(SLANet)机制的多分支网络来关注局部图像的显著信息。首先,在网络中引入阶梯型分支注意力模块,该模块以阶梯型对特征图进行水平分块,并且使用了分支注意力给每个分支分配不同的权重。其次,在网络中引入多尺度自适应注意力模块,该模块对局部特征进行处理,自适应调整感受野尺寸来适应不同尺度图像,同时融合了通道注意力和空间注意力筛选出图像重要特征。在网络的设计上,使用多粒度网络将全局特征和局部特征进行结合。最后,该方法在3个被广泛使用的行人重识别数据集Market-1501,DukeMTMC-reID和CUHK03上进行验证。其中在Market-1501数据集上的mAP和Rank-1分别达到了88.1%和95.6%。实验结果表明,该文所提出的网络模型能够提高行人重识别准确率。     

基于局部特征相关性的行人重识别

针对因行人重识别中行人图像的背景、姿势等差异和行人图像的属性相似导致的行人重识别准确率低的问题，提出了一种基于特征相关性学习的行人重识别方法，加强了局部特征提取的准确性和相关性，充分考虑了行人身体部位和其他部位之间的相关性。首先使用Resnet-50网络和人体关键点估计模型来提取局部特征和全局特征，然后对局部特征和全局特征进行分支操作，对局部特征进行相关性学习，加强各个局部特征与其他局部特征之间的联系，提高相似属性行人图像之间的鉴别性；对全局特征通过池化操作提取更为精确的全局特征，最后将相关性学习后的局部特征和池化后的全局特征进行拼接作为预测行人身份的对比特征。此模型在Market-1501数据集及DukeMTMC-ReID数据集上的mAP指标分别达到了85.6%和76.1%,验证了所提网络模型的有效性。     

基于多粒度特征融合网络的行人重识别北大核心CSCD

针对复杂环境下行人细节特征不明显、姿态多变等情况造成的行人重识别(person-reidentification,ReID)算法精度不高的问题,提出了一种基于多粒度特征提取与特征融合的ReID网络。首先,在主干网络输入和输出端采用两种粒度的划分方式获取图像的局部特征。其次,引入空间变换网络(spatial transformation network,STN)对输入全局图像进行空间对齐,对局部图像进行特征增强。最后,采用局部特征融合的方式来挖掘特征之间的关联信息,提升模型对相似样本的识别能力。实验结果表明,所提方法在多个数据集上均取得了良好的识别效果。在Market-1501数据集上的平均查准率(mean average precision,mAP)和首次查准率(Rank-1)分别为84.87%和94.45%,通过和目前主流的ReID算法相比,本文所提方法具有更优的识别效果。     

基于域鉴别网络和域自适应的行人重识别

针对行人重识别无监督跨域迁移问题,提出一种 基于域鉴别网络和域自适应的行人重识别算法。首先,使用改 进ResNet-50训练监督域鉴别网络模型,加入共享空间组件得到特征 不变属性,用于区分类间图像,并基 于对比损失和差异损失来提高模型的分类性能。其次,利用域自适应无监督迁移方法由源域 数据集导出特 征不变属性,并应用到未标记的目标域数据集上。最后,匹配查询图像和共享空间中的图库 图像执行跨域 行人重识别。为验证算法有效性,在CUHK03、Market-1501和DukeMTMC-reID数据集上进行了实验,算法 在Rank-1准确度分别达到34.1%、38.1%和28.3%,在mAP分别达到34.2%、17. 1%和17.5%,最后还验证了 模型各个组件在训练阶段的必要性。结果表明本文算法在大规模数据集上的性能优于现有的 一些无监督行人重识别方法,甚至接近于某些传统监督学习方法的性能。     

基于行人属性分级识别的行人再识别

为了提高行人再识别算法的识别效果,该文提出一种基于注意力模型的行人属性分级识别神经网络模型,相对于现有算法,该模型有以下3大优点:一是在网络的特征提取部分,设计用于识别行人属性的注意力模型,提取行人属性信息和显著性程度;二是在网络的特征识别部分,针对行人属性的显著性程度和包含的信息量大小,利用注意力模型对属性进行分级识别;三是分析属性之间的相关性,根据上一级的识别结果,调整下一级的识别策略,从而提高小目标属性的识别准确率,进而提高行人再识别的准确率。实验结果表明,该文提出的模型相较于现有方法,有效提高了行人再识别的首位准确率,其中,Market1501数据集上,首位准确率达到了93.1%,在DukeMTMC数据集上,首位准确率达到了81.7%。     

基于多尺度和注意力融合学习的行人重识别

行人重识别的关键依赖于行人特征的提取,卷积神经网络具有强大的特征提取以及表达能力。针对不同尺度下可以观察到不同的特征,该文提出一种基于多尺度和注意力网络融合的行人重识别方法(MSAN)。该方法通过对网络不同深度的特征进行采样,将采样的特征融合后对行人进行预测。不同深度的特征图具有不同的表达能力,使网络可以学习到行人身上更加细粒度的特征。同时将注意力模块嵌入到残差网络中,使得网络能更加关注于一些关键信息,增强网络特征学习能力。所提方法在Market1501, DukeMTMC-reID和MSMT17_V1数据集上首位准确率分别到了95.3%, 89.8%和82.2%。实验表明,该方法充分利用了网络不同深度的信息和关注的关键信息,使模型具有很强的判别能力,而且所提模型的平均准确率优于大多数先进算法。     

多分支协作OSNet的微结构优化研究

OSNet是一种有效的轻量级行人重识别网络,因其兼具有轻量化和高性能的优异特点引起了行人重识别领域的关注。最近的研究表明:多分支协作OSNet网络——BC-OSNet能取得更高的识别率。本文在此基础上继续研究网络微结构的调整对BC-OSNet模型性能的影响,重点通过通用池化GeM、连续高斯Dropout、注意力学习Batch DropBlock(BDB)/Relation-Aware Global Attention (RGA)等微结构的有效融入,研究微结构优化的BC-OSNet性能提升效果。实验结果表明:经微结构优化的BC-OSNet在四个行人重识别数据集Market1501,Duke,CUHK03_Labeled和CUHK03_Detected上的mAP分别达到了89.9%,82.1%,84.2%和81.5%,相比初始的BC-OSNet提高0.6%,1.4%,1.1%和1.7%。      

LRHW-AP: Using ranking-based metric as loss for Person Re-Identification

Optimizing a ranking-based metric as the loss function, such as Average Precision (AP), has been found very effective in image retrieval tasks, but it has received less attention in Person Re-Identification (Re-ID). In this paper, Low Rank High Weight (LRHW) AP is proposed to apply the AP-optimizing method on the Re-ID task. LRHW-AP employs high weight on the low rank positive instances, which provides more information for model optimization than high rank positive instances and distribute in high gradient area. We propose a new pooling method called Power Activation Weighted Mean (PAWM) pooling which can unify a set of pooling methods because of a changeable activation function and a trainable parameter. Thus one can adjust and train PAWM to adapt to the target task to improve the model performance. Besides, we incorporate Warmup and Exponentially Decay Scheduler with a delay period, called Warmup Delay Exponentially Decay Scheduler, which brings further improvement. Through an extensive set of ablation studies, we verify that all methods mentioned above contribute to the performance boosts on Re-ID and the model achieves 95.3% rank-1 and 88.4% mAP on Market1501 with ResNet50.     

基于多样化局部注意力网络的行人重识别

针对现实场景中行人图像被遮挡以及行人姿态或视角变化造成的未对齐问题,该文提出一种基于多样化局部注意力网络(DLAN)的行人重识别(Re-ID)方法.首先,在骨干网络后分别设计了全局网络和多分支局部注意力网络,一方面学习全局的人体空间结构特征,另一方面自适应地获取人体不同部位的显著性局部特征;然后,构造了一致性激活惩罚函...     

基于多尺度加权特征融合的行人重识别方法研究

针对目前由于行人重识别普遍存在的遮挡以及多姿态变化等原因,导致的行人重识别率低的问题,提出一种基于多尺度加权特征融合的行人重识别方法（Person Re-identification Method Based on Multi-scale Weighted Feature Fusion,MSWF）。该方法首先使用基准网络ResNeSt-50提取图像特征,获得下采样3倍、下采样4倍和下采样5倍的特征图,输入到加权特征金字塔网络中,然后使用快速归一化融合方法进行特征融合,在特征融合中引入加权操作可以让模型在训练过程中学习如何给融合特征的权重值进行分配,这样可以充分利用不同尺度的特征,获得更加丰富的行人特征。最后将融合后的富含语义信息的高层特征作为全局特征,将融合后的高分辨率特征作为局部特征。在训练过程中,联合Softmax分类损失函数、三元组损失函数和中心损失函数对模型进行训练,在测试阶段,将全局特征和局部特征沿通道维度进行拼接表示行人特征,并使用欧氏距离计算行人之间的距离。该方法在Market-1501、DukeMTMC-reID、CUHK03-Labeled和CUHK03-Detect...     

Grafted network for person re-identification

Convolutional neural networks have shown outstanding effectiveness in person re-identification (re-ID). However, the models always have large number of parameters and much computation for mobile application. In order to relieve this problem, we propose a novel grafted network (GraftedNet), which is designed by grafting a high-accuracy rootstock and a light-weighted scion. The rootstock is based on the former parts of ResNet-50 to provide a strong baseline, while the scion is a new designed module, composed of the latter parts of SqueezeNet, to compress the parameters. To extract more discriminative feature representation, a joint multi-level and part-based feature is proposed. In addition, to train GraftedNet efficiently, we propose an accompanying learning method, by adding an accompanying branch to train the model in training and removing it in testing for saving parameters and computation. On three public person re-ID benchmarks (Market1501, DukeMTMC-reID and CUHK03), the effectiveness of GraftedNet is evaluated and its components are analyzed. Experimental results show that the proposed GraftedNet achieves 93.02%, 85.3% and 76.2% in Rank-1 and 81.6%, 74.7% and 71.6% in mAP, with only 4.6M parameters.     

双域滤波三元组度量学习的行人再识别

在图像的捕获、传输或者处理过程中都有可能产生噪声,当图像被大量噪声影响时,许多行人再识别(ReID)方法将很难提取具有足够表达能力的行人特征,表现出较差的鲁棒性。该文主要针对低质图像的行人再识别问题,提出双域滤波分解构建3元组,用于训练度量学习模型。所提方法主要分为两个部分,首先分析了监控视频中不同图像噪声的分布特性,通过双域滤波进行图像增强。然后基于双域滤波分解对图像噪声具有很好的分离作用,该文提出一种新的3元组构建方式。在训练阶段,将双域滤波生成的低频原始图像和高频噪声图像,与原图一起作为输入3元组,网络可以进一步抑制噪声分量。同时优化了损失函数,将3元组损失和对比损失组合使用。最后利用re-ranking扩充排序表,提高识别的准确率。在加噪Market-1501和CUHK03数据集上的平均Rank-1为78.3%和21.7%,平均准确率均值(mAP)为66.9%和20.5%。加噪前后的Rank-1精度损失只有1.9%和7.8%,表明该文模型在含噪情况表现出较强的鲁棒性。     

Efficient Cloud Image Retrieval System Using Weighted-Inverted Index and Database Filtering Algorithms

With the advance of multimedia technology and communications, images and videos become the major streaming information through the Internet. How to fast retrieve desired similar images precisely from the Internet scale image/video databases is the most important retrieval control target. In this paper, a cloud based content-based image retrieval (CBIR) scheme is presented. Database-categorizing based on weighted-inverted index (DCWⅡ) and database filtering algorithm (DFA) is used to speed up the features matching process. In the DCWⅡ, the weights are assigned to discrete cosine transform (DCT) coefficients histograms and the database is categorized by weighted features. In addition, the DFA filters out the irrelevant image in the database to reduce unnecessary computation loading for features matching. Experiments show that the proposed CBIR scheme outperforms previous work in the precision-recall performance and maintains mean average precision (mAP) about 0.678 in the large-scale database comprising one million images. Our scheme also can reduce about 50% to 85% retrieval time by pre-filtering the database, which helps to improve the efficiency of retrieval systems.