基于相关性得分的伪标签优化行人重识别

无监督域自适应行人重识别旨在将源域训练的识别能力泛化到目标域上,以减少对标签的依赖.目前基于聚类方法的网络,聚类过程中不可避免地会受到环境噪声的影响,降低网络原有识别性能.为了解决这一问题,提出一种基于相关性得分的伪标签优化行人重识别网络.首先,通过计算全局与局部特征间前k个相似样本集合的相关性得分,找到两类特征直接可靠的关联性,从而提取已有伪标签优化方法所忽略的局部细粒度特征;然后,利用得分对局部伪标签进行优化处理,降低网络对与行人无关局部特征的关注;最后,依赖于相关性得分,利用优化后局部伪标签的预测结果对全局伪标签进行细化,缓解聚类过程中噪声的同时也细化了行人的特征完整表示.与近年无监督域自适应行人重识别方法相比,所提出网络在DukeMTMC-ReID、Market1501和MSMT17三个公开数据集上的实验结果表现优异,验证了所提出网络的有效性.     

基于自适应融合网络的跨域行人重识别方法

无监督跨域的行人重识别旨在将从有标签的源域中学习到的知识迁移到无标签的目标域, 具有实用性和有效性而得到广泛关注. 基于聚类的跨域行人重识别可以生成伪标签并对模型进行优化使得其表现较其他方法更优, 然而这类方法由于过于依赖聚类伪标签的准确性, 忽略了对伪标签噪声的处理, 导致噪声随着网络迭代而不断扩大, 影响模型的鲁棒性. 针对这个问题, 提出了基于自适应融合网络的方法, 利用双网络结构共同学习, 并将学习到的知识进行融合得到融合网络; 为了区分两个网络的学习能力, 设计了自适应融合策略; 同时, 利用细粒度风格转换模块对目标域数据集进行处理, 降低行人图像对相机变换的敏感度. 在行人重识别基准数据集Market1501、DukeMTMC-ReID和MSMT17上, 通过评估指标平均精度均值和Rank-n与主流的方法进行了对比实验, 验证了该方法的有效性.     

基于跨域特征关联与聚类的无监督行人重识别

行人重识别的目标是利用计算机视觉技术在多个摄像头采集的图像序列或视频中识别目标行人,基于监督学习的行人重识别算法虽然提高了目标的识别性能,但难以解决行人重识别中无标注目标域的域内变化问题,从而导致无标注数据检索准确度低。提出一种基于域自适应的无监督行人重识别算法,其主要由ResNet-50骨干网络、跨域特征提取器和用以存储目标域特征的特征库组成。通过跨域特征提取器融合行人样本在特征图与通道方向的特征,以挖掘不同行人重识别数据集间潜在的特征关联关系,同时为无标注目标数据集样本内的特征关联构建特征库,在无任何标注信息的情况下从一个未知数据集学习判别性特征。实验结果表明,该算法在源域DukeMTMC-reID/Market-1501和目标域Market-1501/DukeMTMC-reID的首位命中率相较于ECN算法分别提高8.9和6.8个百分点,能够提高模型在未知数据集上的泛化能力和无监督跨域行人重识别的准确度。     

用于迁移学习的多尺度领域对抗网络

深度学习算法的有效性依赖于大量的带有标签的数据,迁移学习的目的是利用已知标签的数据集（源域）来对未知标签的数据集（目标域）进行分类,因此深度迁移学习的研究成为了热门。针对训练数据标签不足的问题,提出了一种基于多尺度特征融合的领域对抗网络（Multi-scale domain adversarial network, MSDAN）模型,该方法利用生成对抗网络以及多尺度特征融合的思想,得到了源域数据和目标域数据在高维特征空间中的特征表示,该特征表示提取到了源域数据和目标域数据的公共几何特征和公共语义特征。将源域数据的特征表示和源域标签输入到分类器中进行分类,最终在目标域数据集的测试上得到了较为先进的效果。     

逐点特征匹配的跨域行人重识别方法

针对现有的直接跨数据集的行人重识别方法泛化性不足、跨域能力较差的问题,文中提出逐点特征匹配的跨域行人重识别方法,只需在源域上进行模型训练,在目标域上进行测试,就可达到较好效果.首先,为了解决网络对于跨域的行人图像风格、颜色等鲁棒性不高的问题,在ResNet50基础网络中引入实例归一化层,提取图像特征.然后,利用Transformer的多头自注意力模块与卷积结合,增强特征的表示能力.最后,通过在深层特征中建立一种逐点的特征映射关系,将图像匹配视为逐点寻找局部最优的过程,在未知场景中提升模型的抗视角变化能力,增强模型的泛化性.实验表明,文中方法在提高模型泛化能力上具有一定的优越性.     

基于注意力机制学习域内变化的跨域行人重识别方法

针对行人重识别任务跨域迁移时性能严重衰退的问题,提出了一种基于注意力机制学习域内变化的跨域行人重识别方法。首先,以ResNet50为基础架构并对其进行调整使其适合行人重识别任务,并引入实例-批归一化网络（IBN-Net）以提高模型的泛化能力,同时增加区域注意力分支以提取更具鉴别性的行人特征。对于源域的训练,将其作为分类任务,使用交叉熵损失进行源域的有监督学习,同时引入三元组损失来挖掘源域样本的细节,从而提高源域的分类性能。对于目标域的训练,通过学习域内变化来适应源域和目标域间的数据分布差异。在测试阶段,以ResNet50 pool-5层的输出作为图像特征,并计算查询图像与候选图像间的欧氏距离来度量两者的相似度。在两个大规模公共数据集Market-1501和DukeMTMC-reID上进行实验,所提方法的Rank-1准确率分别达到80.1%和67.7%,平均精度均值（mAP）分别为49.5%和44.2%。实验结果表明,所提方法在提高模型泛化能力方面性能较优。     

基于一致性约束和标签优化的无监督域适应行人重识别

目的 无监督域适应行人重识别（unsupervised domain adaptive pedestrians’ re-identification,UDA Re-ID）旨在通过已有标记的应用场景（即源域）数据和新的无标记应用场景（即目标域）数据,训练一个可以在目标域泛化性能好的行人重识别模型。现有方法没有考虑实例特征在训练过程中的不稳定问题,也没有显式考虑由于相机变化所导致的行人类内距离变大、类间距离变小的问题,以及无标注目标域数据聚类误差带来的伪标签噪声问题。针对这些问题,提出了一种具有一致性约束和标签优化的方法。方法 首先提出了实例一致性以约束同一实例在不同增广下的特征距离,提升行人实例特征稳定性;然后提出相机一致性以约束跨相机正实例特征对之间的距离,提升对相机变化的鲁棒性;最后提出了基于标签集成的标签优化,将one-hot编码的伪标签转换为更可靠的软标签,提升了监督信号的鲁棒性。结果 本文方法在Duke→Market,Market→Duke,Duke→MSMT,Market→MSMT等常用的UDA Re-ID任务上的平均精度均值（mean average precision,m...     

局部一致性主动学习的源域无关开集域自适应

无监督域自适应在解决训练集(源域)和测试集(目标域)分布不一致的问题上已经取得了一定的成功.在面向低能耗场景和开放动态任务环境时,在资源约束和开放类别出现的情况下,现有的无监督域自适应方法面临着严峻的挑战.源域无关开集域自适应(SF-ODA)旨在将源域模型中的知识迁移到开放类出现的无标签目标域,从而在无源域数据资源的限制下辨别公共类和检测开放类.现有的源域无关开集域自适应的方法聚焦于设计准确检测开放类别的源域模型或增改模型的结构.但是,这些方法不仅需要额外的存储空间和训练开销,而且在严格的隐私保护场景下难以实现.提出了一个更加实际的场景:主动学习的源域无关开集域自适应(ASF-ODA),目标是基于一个普通训练的源域模型和少量专家标注的有价值的目标域样本来实现鲁棒的迁移.为了达成此目标,提出了局部一致性主动学习(LCAL)算法.首先,利用目标域中局部特征标签一致的特点,LCAL设计了一种新的主动选择方法:局部多样性选择,来挑选更有价值的阈值模糊样本来促进开放类和公共类分离.接着,LCAL基于信息熵初步筛选出潜在的公共类集合和开放类集合,并利用第一步得到的主动标注样本对这两个集合进行匹配纠...     

基于不确定性加权混合训练的无源域自适应

针对无源域数据的域自适应问题中源模型中的源知识得不到充分利用以及目标数据内在结构信息会被忽略的问题,提出了一种基于不确定性指导的加权混合训练的无源域数据的域自适应框架。首先在通道级对源模型预测的不确定性进行量化,将目标数据同时输入到源特征提取器和目标特征提取器,在通道级计算目标特征与源模型之间的不确定性距离,衡量源知识对目标模型的可迁移的不确定性,并利用它来指导对目标数据的适应过程。同时考虑到目标数据的内在结构信息,从源知识和目标数据两个方面考虑伪标签的置信度,以降低噪声伪标签的影响。最后对目标样本进行混合训练,并根据置信度得分对目标样本进行加权,以提高目标模型的鲁棒性。在Office-31,Office-Home和VisDA-C 3个域自适应基准数据集上分别取得了90.5%,72.8%,85.9%的分类效果,大量的对比实验及消融分析都证明了所提出的基于不确定性指导加权混合训练的框架具备良好的迁移能力。     

基于可靠性集成的无监督域自适应行人重识别

为了缓解基于伪标签的无监督域自适应行人重识别(UDA person ReID)方法中噪声标签带来的负面影响,提出了一种基于可靠性集成的无监督域自适应行人重识别(UDA-RI)方法。该方法包含渐进式伪标签提炼策略和基于可靠性集成策略两个部分。渐进式伪标签提炼策略通过建立一个不确定性的定量标准来衡量伪标签的可靠性,并采用渐进式采样使得模型得到更加稳定的训练。基于可靠性集成策略考虑了来自不同适应时刻的知识,将来自不同迭代的模型按照可靠性高低分配的权重进行了集成,并将自集成后的两种不同架构的模型再进行集成作为最终推理模型。实验表明,与目前先进的无监督域自适应行人重识别方法相比,UDA-RI方法在Market1501、DukeMTMC-ReID和MSMT17数据集上都取得了优越的性能。     

关联子域对齐网络的跨域高光谱图像分类

目的 近年来,深度网络成功应用于高光谱图像分类。然而,难以获取充足的标记数据大大限制了深度网络的充分训练,进而导致网络对高光谱图像的分类能力下降。为解决以上困难,提出一种关联子域对齐网络的高光谱图像迁移分类方法。方法 基于深度迁移学习方法,通过对两域分布进行多角度、全面领域适应的同时将两域分类器进行差异适配。一方面,利用关联对齐从整体上对齐了两域的二阶统计量信息,适配了两域的全局分布;另一方面,利用局部最大均值差异对齐了相关子域的一阶统计量信息,适配了两域的局部分布。另外,构造一种分类器适配模块并将其加入所提网络中,通过对两域分类器差异进行适配,进一步增强网络的领域适应效果。结果 从4组真实高光谱数据集上的实验结果可看出：在分别采集于不同区域的高光谱图像数据对上,所提方法的精度比排名第2的分类方法高出1.01%、0.42%、0.73%和0.64%。本文方法的Kappa系数也取得最优结果。结论 与现有主流算法相比较,所提网络能够在整体和局部、一阶和二阶统计量上分别对两域进行有效对齐,进而充分利用在源域上训练好的分类器完成对目标域高光谱数据的跨域分类。     

改进型深度迁移学习的跨镜行人追踪算法

跨镜行人追踪是计算机视觉和视频监控公共安全体系构建等领域的重要课题。伴随大规模数据集的发展和深度学习网络的广泛研究,深度学习在跨镜行人追踪问题中取得了良好效果。然而在应用中,除了监控视频自身的不同摄像头、不同视角引起的不同视觉表象变化外,面向跨镜行人追踪的整体数据集偏小,具有标记的训练数据样本量更小,从而制约了基于深度学习的跨镜行人追踪效果。提出了改进型深度迁移学习的跨镜行人追踪算法,将在大数据集上训练好的成熟模型进行微调并迁移到目标数据集上,结合目标数据进行优化,使其能更好地针对新数据集做特征提取。在模型训练过程中,通过改进三元组损失函数,拉近相同样本之间的距离,加大不同样本之间的距离,同时设定正样本之间的最大距离阈值,从而保证特征空间生成的簇不会太大,利于模型的优化。该算法减少了深度学习训练模型的时间,避免了小数据集上数据量不足等缺点,提高了跨镜行人追踪的准确度。在五个基准数据集上的跨镜行人追踪对比实验显示,改进算法取得了良好效果。     

多特征融合的人体目标再识别

在非重叠的多摄像机监控系统中,人体目标再识别是需要解决的主要问题之一。针对当前人体目标再识别使用目标的外观统计特征或者通过训练获取目标特征时存在的问题,提出一种无需训练,对视角、光照变化和姿态变化具有较强鲁棒性的基于多特征的人体目标再识别算法。首先根据空间直方图建立目标整体外观表现模型对目标进行粗识别,之后将人体目标分为3部分,忽略头部信息,分别提取躯干和腿部的主色区域的局部颜色和形状特征,并通过EMD(earth movers distance)距离进行目标精识别。实验结果表明,本文算法具有较高的识别率,且不受遮挡和背景粘连的影响。     

整合全局—局部度量学习的人体目标再识别

目的 人体目标再识别的任务是匹配不同摄像机在不同时间、地点拍摄的人体目标。受光照条件、背景、遮挡、视角和姿态等因素影响,不同摄相机下的同一目标表观差异较大。目前研究主要集中在特征表示和度量学习两方面。很多度量学习方法在人体目标再识别问题上了取得了较好的效果,但对于多样化的数据集,单一的全局度量很难适应差异化的特征。对此,有研究者提出了局部度量学习,但这些方法通常需要求解复杂的凸优化问题,计算繁琐。方法 利用局部度量学习思想,结合近几年提出的XQDA（cross-view quadratic discriminant analysis）和MLAPG（metric learning by accelerated proximal gradient）等全局度量学习方法,提出了一种整合全局和局部度量学习框架。利用高斯混合模型对训练样本进行聚类,在每个聚类内分别进行局部度量学习;同时在全部训练样本集上进行全局度量学习。对于测试样本,根据样本在高斯混合模型各个成分下的后验概率将局部和全局度量矩阵加权结合,作为衡量相似性的依据。特别地,对于MLAPG算法,利用样本在各个高斯成分下的后验概率,改进目标损失函数中不同样本的损失权重,进一步提高该方法的性能。结果 在VIPeR、PRID 450S和QMUL GRID数据集上的实验结果验证了提出的整合全局—局部度量学习方法的有效性。相比于XQDA和MLAPG等全局方法,在VIPeR数据集上的匹配准确率提高2.0%左右,在其他数据集上的性能也有不同程度的提高。另外,利用不同的特征表示对提出的方法进行实验验证,相比于全局方法,匹配准确率提高1.3%~3.4%左右。结论 有效地整合了全局和局部度量学习方法,既能对多种全局度量学习算法的性能做出改进,又能避免局部度量学习算法复杂的计算过程。实验结果表明,对于使用不同的特征表示,提出的整合全局—局部度量学习框架均可对全局度量学习方法做出改进。     

Cross-domain question classification in community question answering via kernel mapping

An increasingly popular method for retrieving information is via the community question answering (CQA) systems such as Yahoo! Answers and Baidu Knows. In CQA, question classification plays an important role to find the answers. However, the labeled training examples for statistical question classifier are fairly expensive to obtain, as they require the experienced human efforts. Meanwhile, unlabeled data are readily available. This paper employs the method of domain adaptation via kernel mapping to solve this problem. In detail, the kernel approach is utilized to map the target-domain data and the source-domain data into a common space, where the question classifiers are trained under the closer conditional probabilities. The kernel mapping function is constructed by domain knowledge. Therefore, domain knowledge could be transferred from the labeled examples in the source domain to the unlabeled ones in the targeted domain. The statistical training model can be improved by using a large number of unlabeled data. Meanwhile, the Hadoop Platform is used to construct the mapping mechanism to reduce the time complexity. Map/Reduce enable kernel mapping for domain adaptation in parallel in the Hadoop Platform. Experimental results show that the accuracy of question classification could be improved by the method of kernel mapping. Furthermore, the parallel method in the Hadoop Platform could effective schedule the computing resources to reduce the running time.     

两路互补对称CNN结构的行人再识别

目的 行人再识别的任务是研究如何在海量监控数据中准确地识别出某个特定场合中曾经出现过的人,已成为公共安全领域中一项新的且具有挑战性的研究课题。其挑战在于,行人在图像中有较大的姿态、视角、光照等变化,这些复杂的变化会严重影响行人再识别性能。近年来,以卷积神经网络（CNN）为代表的深度学习方法在计算机视觉领域取得了巨大的成功,也带动了行人再识别领域的相关研究。CNN有效地克服了行人变化,取得较高的准确率。然而,由于行人再识别数据集中行人标注量小,利用现有的一路CNN模型,其训练过程并不够充分,影响了深度学习模型的鉴别能力。为了解决上述问题,通过对网络结构进行改进,提出一种两路互补对称的CNN结构用于行人再识别任务。方法 本文方法每次同时输入两路样本,其中每路样本之间具有互补特性,此时在有限的训练样本下,输入的组合会更加多样化,CNN模型的训练过程更加丰富。结果 对本文提出的方法在两个公开的大规模数据集（Market-1501和DukeMTMC-reID）上进行实验评估,相比于基线方法有稳定的提升,相比于现存的其他一些方法,其结果也有竞争力。在Market-1501数据集上,1选识别正确率和平均精度均值分别达到了73.25%和48.44%。在DukeMTMC-reID数据集上,1选识别正确率和平均精度均值分别达到了63.02%和41.15%。结论 本文提出的两路互补对称CNN结构的行人再识别方法,能够在现有的有限训练样本下,更加充分地训练CNN模型,学习得到鉴别能力更强的深度学习模型,从而有效地提升行人再识别的性能。     

基于增强特征融合网络的行人再识别

针对行人再识别问题,目前多数方法将行人的局部或全局特征分开考虑,从而忽略了行人整体之间的关系,即行人全局特征和局部特征之间的联系。本文提出一种增强特征融合网络(enhanced feature convergent network,EFCN)。在全局分支中,提出适用于获取全局特征的注意力网络作为嵌入特征,嵌入在基础网络模型中以提取行人的全局特征;在局部分支中,提出循环门单元变换网络(gated recurrent unit change network,GRU-CN)得到代表性的局部特征;再使用特征融合方法将全局特征和局部特征融合成最终的行人特征;最后借助损失函数训练网络。通过大量的对比实验表明,该算法网络模型在标准的Re-ID数据集上可以获得较好的实验结果。提出的增强特征融合网络能提取辨别性较强的行人特征,该模型能够应用于大场景非重叠多摄像机下的行人再识别问题,具有较高的识别能力和识别精度,且对背景变化的行人图像能提取具有较强的鲁棒性特征。     

基于EfficientNet的双分路多尺度联合学习行人再识别

针对视频图像中因小目标行人、遮挡和行人姿态多变而造成的行人再识别率低的问题,建立了一种基于高效网络EfficientNet的双分路多尺度联合学习方法。首先采用性能高效的EfficientNet-B1网络作为主干结构;然后利用加权双向特征金字塔（BiFPN）分支对提取的不同尺度全局特征进行融合,并且得到包含不同层次语义信息的全局特征,从而提高小目标行人的识别率;其次利用PCB分支提取深层局部特征来挖掘行人的非显著信息,并减轻行人遮挡和姿态多变性对识别率的影响;最后在训练阶段将两个分支网络分别提取的行人特征通过Softmax损失函数得到不同子损失,并把它们相加进行联合表示;在测试阶段将获得的全局特征和深层局部特征拼接融合,并计算欧氏距离得到再识别匹配结果。该方法在Market1501和DukeMTMC-Reid 数据集上的Rank-1的准确率分别达到了95.1%和89.1%,与原始EfficientNet-B1主干结构相比分别提高了3.9个百分点和2.3个百分点。实验结果表明,所提出的模型有效提高了行人再识别的准确率。