基于迁移学习的行人再识别

行人再识别指的是在无重叠的多摄像机监控视频中,匹配不同摄像机中的行人目 标。提出了一种基于迁移学习的行人再识别方法。在训练阶段,针对现有的基于深度卷积神经 网络的图像识别模型进行参数微调,将网络模型迁移学习至行人再识别模型。测试阶段,利用 学习好的网络模型提取行人图像的特征,再采用余弦距离来描述行人对之间的相似度。在 CUHK03、Market-1501 和 DukeMTMC-reID 3 个数据集上进行了深入的实验分析,实验结果表 明该方法取得了较高的累积匹配得分,特别是第 1 匹配率远远超过了非深度学习的方法,与其 他基于深度学习的行人再识别方法相比,准确率也有所提升。     

基于孪生网络和重排序的行人重识别

针对非重叠多摄像头下的行人重识别（Re-ID）易受到光照、姿势及遮挡等影响和实验过程中存在图像错误匹配的情况，提出一种基于孪生网络和重排序的行人重识别方法。首先，给定一对行人训练图像，孪生网络可以同时学习一个具有辨别力的卷积神经网络（CNN）特征和相似性度量，并预测两个输入图像的行人身份以及判断它们是否属于同一个行人；然后，通过k互近邻方法来降低图像错误匹配的情况；最后，将欧氏距离和杰卡德距离加权来对排序表进行重排序。在数据集Market1501和CUHK03上进行多次实验，实验结果显示在Market1501上Single Query情况下在图库中第一次就成功匹配的概率（Rank1）达到83.44%，平均精度均值（mAP）为68.75%，在CUHK03上single-shot情况下Rank1达到85.56%，mAP为88.32%，明显高于传统的基于特征表示和度量学习的方法。     

基于深度学习的行人重识别综述

行人重识别(Re-ID)是计算机视觉领域的热点问题,主要研究的是“如何关联位于不同物理位置的不同摄像机捕获到的特定人员的问题”。传统的行人Re-ID方法主要基于底层特征如局部描述符、颜色直方图和人体姿势的提取。近几年,针对行人遮挡和姿势不对齐等传统方法所遗留问题,业内提出了基于区域、注意力机制、姿势和生成对抗性网络(GAN)等深度学习的行人Re-ID方法,实验结果得到较明显的提高。故对深度学习在行人Re-ID中的研究进行了总结和分类,区别于以前的综述,将行人重识别方法分成四大类来讨论。首先,通过区域、注意力、姿势和GAN四类方法来综述基于深度学习的行人Re-ID方法;然后,分析这些方法在主流数据集上的mAP和Rank-1指标性能表现,结果显示基于深度学习的方法可以增强局部特征之间的联系并缩小域间隙,从而减少模型过拟合;最后,展望了行人Re-ID方法研究的发展方向。     

基于增强特征融合网络的行人重识别方法

针对行人重识别技术受遮挡、背景冗余、光照、姿态以及检测误差等问题的影响,鲁棒的行人特征表达对正确检索行人越来越重要.为了利用对齐特征和度量学习的优势,进一步分析局部空间语义特征.首先,在特征层面:一是在ResNet50框架中嵌入空间变换结构,自适应对齐局部区域空间特征,解决因局部区域不对齐导致的空间语义不一致的问题;二...     

基于城市信息单元和差异注意力的多层行人重识别技术

在现实的智慧城市安全场景中,传统的行人重识别方法已经难以满足复杂多样的识别任务要求。为实现多层次的行人重识别,该文提出将行人重识别技术与多层次的城市信息单元深度融合。在行人重识别任务中,现有的模型和注意力只关注鲁棒特征的学习,而该文基于特征向量差异,提出了差异注意力模块,以增强深度特征的判别力。结合差异注意力模块,该文开发了与多种骨干模型适配的差异注意力框架。此外,该文还提出了联合训练和单独训练两种训练策略。与其他行人重识别方法相比,差异注意力框架和训练策略在 Market-1501、CUHK03 和 MSMT17 数据集上均取得了更优的性能。     

多源数据行人重识别研究综述

行人重识别是近年来计算机视觉领域的热点问题, 经过多年的发展, 基于可见光图像的一般行人重识别技术已经趋近成熟. 然而, 目前的研究多基于一个相对理想的假设, 即行人图像都是在光照充足的条件下拍摄的高分辨率图像. 因此虽然大多数的研究都能取得较为满意的效果, 但在实际环境中并不适用. 多源数据行人重识别即利用多种行人信息进行行人匹配的问题. 除了需要解决一般行人重识别所面临的问题外, 多源数据行人重识别技术还需要解决不同类型行人信息与一般行人图片相互匹配时的差异问题, 如低分辨率图像、红外图像、深度图像、文本信息和素描图像等. 因此, 与一般行人重识别方法相比, 多源数据行人重识别研究更具实用性, 同时也更具有挑战性. 本文首先介绍了一般行人重识别的发展现状和所面临的问题, 然后比较了多源数据行人重识别与一般行人重识别的区别, 并根据不同数据类型总结了5 类多源数据行人重识别问题, 分别从方法、数据集两个方面对现有工作做了归纳和分析. 与一般行人重识别技术相比, 多源数据行人重识别的优点是可以充分利用各类数据学习跨模态和类型的特征转换. 最后, 本文讨论了多源数据行人重识别未来的发展.     

A Siamese inception architecture network for person re-identification

Person re-identification is an extremely challenging problem as person’s appearance often undergoes dramatic changes due to the large variations of viewpoints, illuminations, poses, image resolutions, and cluttered backgrounds. How to extract discriminative features is one of the most critical ways to address these challenges. In this paper, we mainly focus on learning high-level features and combine the low-level, mid-level, and high-level features together to re-identify a person across different cameras. Firstly, we design a Siamese inception architecture network to automatically learn effective semantic features for person re-identification in different camera views. Furthermore, we combine multi-level features in null space with the null Foley–Sammon transform metric learning approach. In this null space, images of the same person are projected to a single point, which minimizes the intra-class scatter to the extreme and maximizes the relative inter-class separation simultaneously. Finally, comprehensive evaluations demonstrate that our approach achieves better performance on four person re-identification benchmark datasets, including Market-1501, CUHK03, PRID2011, and VIPeR.     

基于深度学习的行人重识别研究综述

随着深度学习的发展,研究人员开始探索将深度学习应用于行人重识别任务并提出了大量方法,随之也迎来了新的挑战。为系统地了解这一领域的研究现状和发展趋势,首先对行人重识别任务以及存在的问题进行简单介绍;其次,根据训练方式的不同,分别探讨监督学习、半监督学习/弱监督学习以及无监督学习上行人重识别任务的研究进展,并根据现有研究热度介绍生成对抗网络和注意力机制在行人重识别上的应用;之后,列举了该领域中常用的经典数据集,并对比了深度模型在这些经典数据集（Market-1501、CUHK03等）上的表现;最后,对行人重识别领域的未来方向进行了展望。     

基于影响函数的跨领域小样本的行人重识别方法

在行人重识别领域,如何快速在一个新城市进行行人重识别系统的部署为行人重识别领域带来了巨大的挑战。一般情况下,在新城市中没有足够的标注数据来训练一个强大的行人重识别模型,只能依赖少量由目击者提供的罪犯照片。首次对该实际应用场景进行正式研究,将其定义为跨领域小样本行人重识别问题,并仔细讨论分析其与现有行人重识别场景的异同。随后,提出一种基于影响函数的样本权重法来指导模型的训练,并在三个公开数据集Market、Duke和CUHK上对方法进行实验对比。实验结果表明,该方法可以有效地处理不同数据集之间的偏置,性能也超过了已有的方法。     

Learning Degradation-Invariant Representation for Robust Real-World Person Re-Identification

Person re-identification (Re-ID) in real-world scenarios suffers from various degradations, e.g., low resolution, weak lighting, and bad weather. These degradations hinders identity feature learning and significantly degrades Re-ID performance. To address these issues, in this paper, we propose a degradation invariance learning framework for robust person Re-ID. Concretely, we first design a content-degradation feature disentanglement strategy to capture and isolate task-irrelevant features contained in the degraded image. Then, to avoid the catastrophic forgetting problem, we introduce a memory replay algorithm to further consolidate invariance knowledge learned from the previous pre-training to improve subsequent identity feature learning. In this way, our framework is able to continuously maintain degradation-invariant priors from one or more datasets to improve the robustness of identity features, achieving state-of-the-art Re-ID performance on several challenging real-world benchmarks with a unified model. Furthermore, the proposed framework can be extended to low-level image processing, e.g., low-light image enhancement, demonstrating the potential of our method as a general framework for the various vision tasks. Code and trained models will be available at: https://github.com/hyk1996/Degradation-Invariant-Re-ID-pytorch.

     

多形状局部区域神经网络结构的行人再识别

目的 目前,行人再识别领域将行人图像的全局和局部特征相结合的方法已经成为基本的解决方法。现有的基于局部特征的方法更多的是侧重于定位具有特定的语义区域,这样增加了学习难度,并且对于差异较大的图像场景不具有鲁棒性。为了解决上述问题,通过对网络结构进行改进提出一种多形状局部区域网络（MSPN）结构,它具有多分支并将横向和纵向条状的特征作为局部特征,能够端到端进行训练。方法 网络的多个分支设计可以同时获得多粒度和多形状的局部特征,其中一个分支表示全局特征的学习,两个分支表示横条状不同粒度的局部特征学习,最后一个分支表示竖条状局部特征学习。网络不再学习定位具有特定语义的区域,而是将图像提取的特征切分成横向和竖向的若干条作为局部特征。不同分支条的形状和数量不一致,最后获得不同粒度或不同形状的局部特征信息。因为切分方向的不同,多粒度多形状的局部特征缓解了行人在不同图像中无法对齐的问题。结果 在包括Market-1501、DukeMTMC-ReID和CUHK03在内的主流评估数据集上的综合实验表明,多形状局部区域神经网络和现有的主要方法相比具有更好的表现。其中在数据集Market-1501上达到84.57%的平均准确率（mAP）和94.51%的rank-1准确率。结论 多形状局部区域网络能够学习得到判别能力更强的深度学习模型,从而有效地提升行人再识别的准确率。     

Cross-domain person re-identification by hybrid supervised and unsupervised learning

Although the single-domain person re-identification (Re-ID) method has achieved great accuracy, the dependence on the label in the same image domain severely limits the scalability of this method. Therefore, cross-domain Re-ID has received more and more attention. In this paper, a novel cross-domain Re-ID method combining supervised and unsupervised learning is proposed, which includes two models: a triple-condition generative adversarial network (TC-GAN) and a dual-task feature extraction network (DFE-Net). We first use TC-GAN to generate labeled images with the target style, and then we combine supervised and unsupervised learning to optimize DFE-Net. Specifically, we use labeled generated data for supervised learning. In addition, we mine effective information in the target data from two perspectives for unsupervised learning. To effectively combine the two types of learning, we design a dynamic weighting function to dynamically adjust the weights of these two approaches. To verify the validity of TC-GAN, DFE-Net, and the dynamic weight function, we conduct multiple experiments on Market-1501 and DukeMTMC-reID. The experimental results show that the dynamic weight function can improve the performance of the models, and our method is better than many state-of-the-art methods.

     

面向行人重识别的局部特征研究进展、挑战与展望

行人重识别(Person re-identification, Re-ID)旨在跨区域、跨场景的视频中实现行人的检索及跟踪, 其成果在智能监控、刑事侦查、反恐防暴等领域具有广阔的应用前景. 由于真实场景下的行人图像存在光照差异大、拍摄视角不统一、物体遮挡等问题, 导致从图像整体提取的全局特征易受无关因素的干扰, 识别精度不高. 基于局部特征的方法通过挖掘行人姿态、人体部位、视角特征等关键信息, 可加强模型对人体关键区域的学习, 降低无关因素的干扰, 从而克服全局特征的缺陷, 也因此成为近几年的研究热点. 本文对近年基于局部特征的行人重识别文献进行梳理, 简述了行人重识别的发展历程, 将基于局部特征的方法归纳为基于姿势提取、基于特征空间分割、基于视角信息、基于注意力机制四类, 并详细阐述了每一类的原理及优缺点. 然后在三个主流行人数据集上对典型方法的识别性能进行了分析比较, 最后总结了目前基于局部特征算法的难点, 并对未来本领域的研究趋势和发展方向进行展望.     

融合BOW模型的多特征子空间行人重识别算法

针对目前行人重识别算法在目标外观特征和度量算法方面的问题,提出一种融合BOW模型的多特征子空间行人重识别算法。在行人图像上采用2-D高斯模板将图像背景弱化,然后提取BOW特征描述子和YUV+HSV颜色特征描述子,并将其融合组成最终的特征描述子。在相似性度量方面,采用在原始特征空间学习一个子空间,并在该子空间学习测度矩阵的方法进行相似性度量。在VIPeR和CUHK01两个数据集上的实验结果表明,提出的算法能够明显地提高行人重识别率。     

基于多分支协作的行人重识别网络

设计多分支网络以提取分集特征已成为行人重识别领域的重要方向之一.由于单分支学习到的特征表达能力有限,所以文中提出基于多分支协作的行人重识别网络.在局部分支、全局分支、全局对比池化分支、关联分支这4个相互协作的分支上进行特征提取,获得强大的分集行人特征表达能力.文中网络可应用于不同的主干网络.实验中考虑OSNet、ResNet作为文中网络的主干网络进行验证.实验表明,文中网络在行人重识别数据集上均取得Start-of-the-art结果.     

跨模态行人重识别研究与展望

行人重识别是计算机视觉的热门研究方向,其对智能安防、视频监控的发展有着重大意义.目前大部分工作主要集中在研究基于可见光的行人重识别,然而可见光摄像头无法在光线不足的黑夜中正常使用,而新型摄像头能够随机切换红外模式进行24小时视频监控,因此最近有一些工作对RGB-IR跨模态行人重识别问题进行了研究.本文分别从定义、研究难点和发展现状介绍了跨模态行人重识别问题,并根据不同的技术类型将目前存在的方法分为三类,即基于统一特征模型的方法;基于度量学习的方法;基于模态转换的方法.本文也详细介绍了该任务的数据集和评价准则,并对现有算法的性能进行分析与归纳.最后,总结了跨模态行人重识别的未来发展方向.     

时域模型对视频行人重识别性能影响的研究

行人重识别是计算机视觉领域一个重要的研究方向。近年来,随着视频监控需求的日益增长,基于视频序列的行人重识别研究受到了广泛的关注。典型的视频序列行人重识别系统由三部分构成：图片特征提取器（例如卷积神经网络）、提取时域信息的时域模型、损失函数。在固定特征提取器和损失函数的前提下,研究不同时域模型对视频行人重识别算法性能的影响,包括时域池化、时域注意力、循环神经网络。在Mars数据集上的实验结果表明：与基于图像的行人重识别基准算法相比,采用时域池化模型、时间注意力模型可以有效改善识别精度,但采用循环神经网络后识别效果比基准算法有所下降。     

基于无监督学习的智能电网入侵检测

智能电网通过引入信息和通信技术服务,带来了传统电网的技术演变,与此同时在安全方面也带来了严重的挑战.本文提出了一种智能电网入侵检测系统安全架构和一种基于无监督学习的新型入侵检测系统(intrusion detection system, IDS).我们设计了区域式训练(block-training)架构,不仅可以减轻数据中心的计算压力,还可以对本地流量进行特征训练.我们还提出了一种基于交叉验证的递归特征消除的差分自编码器算法(RFECV-VAE).RFECV-VAE综合了RFECV和VAE模型,在特征选择过程使用递归特征消除交叉验证法(recursive feature elimination cross-validation, RFECV),异常检测采用差分自编码器(variational autoencoders, VAE),它可以对大规模高维数据进行高精度异常检测.最后,本文选择深度自编码器、深度自编码器高斯混合模型、单类支持向量机、隔离森林、差分自编码器作为对比算法,采用准确率、ROC＿AUC、F1＿score和训练时间等指标来进行性能评估.实验结果表明,RFECV-VAE算法...