深度有序度量学习改进的课堂参与度识别

在线课堂已成为当前最重要的教学场景之一.针对当前基于视觉特征学习和距离度量学习的参与度识别模型仍然缺乏足够的判别力和稳定性等问题，本文将有序深度度量学习方法引入课堂参与度识别任务，联合建模视觉特征学习和判别度量学习.首先，提出一个有序度量损失函数建模参与度样本的有序标签结构，使得在学习获得的有序度量空间中，视觉特征与其参与度标签保持有序一致性，提高识别模型的判别力.其次，提出一种四元组困难样本构造策略，对困难正样本的视觉特征相似度进行最小化，同时最大化困难负样本的视觉特征相似度，充分挖掘困难样本，提高模型训练的效率和稳定性.最后在课堂参与度基准数据集DAiSEE上进行测试，验证了算法的有效性.     

结合深度度量学习的血缘关系识别

目的 人脸图像分析是计算机视觉和模式识别领域的重要研究方向之一,基于人脸图像的血缘关系识别是对给定的一对或一组人脸图像,判断其是否存在某种血缘关系。人脸血缘关系识别不仅在生物特征识别领域有着重要研究价值,而且在社交媒体挖掘、失散家庭成员寻找等社会生活领域中有重要的应用价值。针对当前大多数算法都是基于传统机器学习方法,提出一种采用深度度量学习进行人脸图像血缘关系研究的新方法。方法 目前深度学习算法能很好地理解单张人脸图像,但是多个主体间的关系探究仍然是计算机视觉领域富有挑战性的问题之一。为此,提出一种基于深度度量学习的父母与子女的血缘关系识别方法。首先使用超过5 000 000张人脸图像的样本集训练一个深度卷积神经网络FaceCNN并提取父母与子女的人脸图像深度特征,之后引入判别性度量学习方法,使得具有血缘关系的特征尽可能地靠近,反之则尽可能地远离。然后对特征进行分层非线性变换使其具有更强判别特性。最后根据余弦相似度分别计算父亲、母亲和孩子的相似度并利用相似概率值得到双亲和孩子的综合相似度得分。结果 算法在TSKinFace数据集上验证了FaceCNN提取特征与深度度量学习结合进行血缘关系识别的有效性,最终在该数据集上父母与儿子和女儿的血缘关系识别准确率分别达到87.71%和89.18%,同时算法在进行血缘度量学习和双亲相似度计算仅需要3.616 s。结论 提出的血缘关系识别方法,充分利用深度学习网络良好的表征和学习能力,不仅耗时少,而且有效地提高了识别准确率。     

基于可变权重损失函数和难例挖掘模块的Faster R-CNN改进算法

基于深度卷积神经网络的目标检测算法已成为目标检测领域中的研究热点,它包括基于区域提议的两阶段目标检测算法和基于位置回归的一阶段目标检测算法。Faster R-CNN是两阶段目标检测的典型算法之一,但是,训练数据集中简单样本-〖KG-*8〗难分样本数量不平衡,以及样本数据的类间不平衡,都是影响Faster R-CNN检测精度的重要原因。本文提出一种基于可变权重损失函数Focal Loss和难例挖掘模块的改进Faster R-CNN算法。具体地,在网络的分类部分引入Focal Loss函数,通过权重调节样本数据的类间不平衡,改善简单样本-〖KG-*8〗难分样本的数量不平衡;同时,修改网络结构,引入难例挖掘模块,进一步平衡简单样本-〖KG-*8〗难分样本的数量,提高网络的检测性能。本文采用不同数据集,不同基础网络来测试提出的算法性能。实验结果表明,在VGG-16基础网络下,本文算法在Pascal VOC 2007数据集上平均检测精度较原算法提高了0.9个百分点,在Pascal VOC 07+12数据集上提高了1.7个百分点;在Res-101基础网络上,在Pascal VOC 2007数据集上平均检测精度较原算法提高了1.3个百分点,在Pascal VOC 07+12数据集上提高了1.5个百分点。     

基于判别性特征增强的小样本细粒度图像识别

小样本细粒度图像识别是深度学习领域中一个热门的研究课题,其基本任务是在学习有限数量样本的情况下识别出某一大类下的子类别的图像。得益于卷积神经网络的快速发展,小样本细粒度图像识别在精度方面取得了显著的成果,但其性能仍受限于同一子类图像间的高方差以及不同分类任务中判别性特征的差异性。针对上述问题,提出了一种基于判别性特征增强的小样本细粒度图像识别算法(DFENet)。DFENet设计了对称注意力模块来增强类内视觉一致性学习,从而减少背景的影响,提高同类样本之间共享的特征表示的权重。此外,DFENet引入通道维度的判别性特征增强模块,利用支持集样本中同类样本内和不同类样本之间的通道关系进一步挖掘适合于当前任务的判别性特征,以提高识别准确率。在三个经典的细粒度数据集CUB-200-2011,Stanford Dogs, Stanford Cars上进行了广泛的实验。实验结果表明,该方法均取得了有竞争性的结果。     

一种基于改进三元组损失和特征融合的行人重识别方法

行人重识别旨在跨摄像头条件下,从目标数据库中检索出特定的行人目标,其在视频监控领域有重要的应用价值.目前其研究难点为样本图像类内差异大、类间差异小,因此如何设计并训练深度神经网络对行人图片提取一个判别力更强的特征成为了其关键.针对以往研究只单独进行全局特征或局部特征学习的不足,提出了一种联合全局特征和局部特征学习的网络结构,该结构能够同时提取全局特征和具有较强区分力的局部细节特征;针对每部分局部特征对行人特征描述的重要性不同,文中提出了一种局部特征的融合方式,该方法能够自适应地生成各个局部特征的权重,最后将融合后的局部特征和全局特征结合使行人特征得到更全面的表征;另外,针对以往的基于难样本挖掘的三元组损失具有优化目标模糊的特点,提出了一种改进的基于难样本挖掘的三元组损失函数.文中分别在行人重识别主流数据集Market-1501和DukeMTMC-reID上验证了所提方法的有效性,其mAP值分别达到了82.16％和74.02％,Rank-1值分别达到了92.75％和86.8％.     

深度度量学习视频指纹算法

在满足鲁棒性、独特性前提下,为了提高视频指纹系统紧凑性,提出一种端到端的深度度量学习视频指纹算法.网络整体框架由权值共享的三分支网络组成,分支网络采用改进的3D残差网络将多层特征融合并进行压缩,实现视频数据到指纹的端到端映射.网络目标函数由度量和分类双损失函数组成,其中,设计的边界约束三元组角度度量损失函数克服了普通三元组损失函数对特征相关性表达不足的问题;分类损失函数弥补了度量损失对样本特征整体分布不敏感的问题.在公开数据集FCVID上对文中算法、传统方法和深度方法进行了大量实验.结果表明,深度度量学习视频指纹算法在鲁棒性、独特性提高的同时紧凑性显著提高.     

复杂场景下深度表示的无人机目标检测算法

复杂地物背景下的无人机检测是“低小慢”目标检测任务中的难点问题。针对环境物体的扰动、无人机目标小而导致无人机目标检测算法准确率低,提出一种基于深度表示的复杂场景无人机目标检测方法。针对无人机目标位置检测不准确的问题,采用广义交并比度量目标真实位置与候选目标位置的偏差。针对正负样本不均衡和易分样本多而导致的学习效果差的问题,通过焦点损失的调制系数,降低负样本和易分样本的损失贡献。调整位置损失与类别损失的权重,提升位置准确性。为了验证性能,建立了一个无人机数据集。实验表明该算法在无人机数据上比YOLOv3提升了20.04%,在PASCAL VOC上比SSD和Retinanet的检测精度提升巨大。     

基于深度元学习的小样本图像分类研究综述

深度元学习是解决小样本分类问题的流行范式。对近年来基于深度元学习的小样本图像分类算法进行了详细综述。从问题的描述出发对基于深度元学习的小样本图像分类算法进行概括,并介绍了常用小样本图像分类数据集及评价准则;分别从基于模型的深度元学习方法、基于优化的深度元学习方法以及基于度量的深度元学习方法三个方面对其中的典型模型以及最新研究进展进行详细阐述。最后,给出了现有算法在常用公开数据集上的性能表现,总结了该课题中的研究热点,并讨论了未来的研究方向。     

无人机视角下的多车辆跟踪算法研究

针对无人机视频中存在目标密集、运动噪声强而导致跟踪性能显著下降的问题,提出了一种改进YOLOv3的车辆检测算法及一种基于深度度量学习的多车辆跟踪算法。针对车辆检测的精度与实时性问题,采用深度可分离卷积网络MobileNetv3作为特征提取网络实现网络结构轻量化,同时采用CIoU Loss作为边框损失函数对网络进行训练。为了在多目标跟踪过程中提取到更具判别力的深度特征,提出了一种基于深度度量学习的多车辆跟踪算法,实验证明,本文提出的算法有效改善车辆ID跳变问题,速度上满足无人机交通视频下车辆跟踪的实时性要求,达到17 f/s。     

概念驱动的小样本判别特征学习方法

小样本学习旨在让模型能够在仅有少量标记数据的新类中进行分类。基于度量学习的方法是小样本学习的一种有效方法,该类方法利用有标签的支持集样本构建类表示,再基于查询样本和类表示的相似性进行分类。因此,如何构建判别性更强的类表示是这类方法的关键所在。多数工作在构建类表示时,忽略了类概念相关信息的挖掘,这样容易引入样本中类别无关信息,从而降低类表示的判别性。为此本文提出一种概念驱动的小样本判别特征学习方法。该方法首先利用类别的语义信息来指导模型挖掘样本中类概念相关信息,进而构建更具判别性的类表示。其次,设计了随机掩码混合机制增加样本的多样性和识别难度,进一步提升类表示的质量。最后对处于决策边界附近的查询样本赋予更大的权重,引导模型关注难样本,从而更好地进行类表示学习。大量实验的结果表明本文提出的方法能够有效提升小样本分类任务的准确率,并且在多个数据集上优于当前先进的算法。     

改进型深度迁移学习的跨镜行人追踪算法

跨镜行人追踪是计算机视觉和视频监控公共安全体系构建等领域的重要课题。伴随大规模数据集的发展和深度学习网络的广泛研究,深度学习在跨镜行人追踪问题中取得了良好效果。然而在应用中,除了监控视频自身的不同摄像头、不同视角引起的不同视觉表象变化外,面向跨镜行人追踪的整体数据集偏小,具有标记的训练数据样本量更小,从而制约了基于深度学习的跨镜行人追踪效果。提出了改进型深度迁移学习的跨镜行人追踪算法,将在大数据集上训练好的成熟模型进行微调并迁移到目标数据集上,结合目标数据进行优化,使其能更好地针对新数据集做特征提取。在模型训练过程中,通过改进三元组损失函数,拉近相同样本之间的距离,加大不同样本之间的距离,同时设定正样本之间的最大距离阈值,从而保证特征空间生成的簇不会太大,利于模型的优化。该算法减少了深度学习训练模型的时间,避免了小数据集上数据量不足等缺点,提高了跨镜行人追踪的准确度。在五个基准数据集上的跨镜行人追踪对比实验显示,改进算法取得了良好效果。     

优化三元组损失的深度距离度量学习方法

针对基于三元组损失的单一深度距离度量在多样化数据集环境下适应性差,且容易造成过拟合的问题,提出了一种优化三元组损失的深度距离度量学习方法。首先,对经过神经网络映射的三元组训练样本的相对距离进行阈值化处理,并使用线性分段函数作为相对距离的评价函数;然后,将评价函数作为一个弱分类器加入到Boosting算法中生成一个强分类器;最后,采用交替优化的方法来学习弱分类器和神经网络的参数。通过在图像检索任务中对各种深度距离度量学习方法进行评估,可以看到所提方法在CUB-200-2011、Cars-196和SOP数据集上的Recall@1值比之前最好的成绩分别提高了4.2、3.2和0.6。实验结果表明,所提方法的性能优于对比方法,同时在一定程度上避免了过拟合。     

基于改进深度度量学习算法的表面缺陷检测

为了解决小批量、多品种工业产品的表面质量检测问题,提出一种基于改进深度度量学习的缺陷检测算法.该算法对VGG16网络模型做改进,更有利于原始图像的隐空间映射.针对产品表面缺陷检测的任务,提出条件三元组损失函数以加强神经网络的拟合能力.同时,在隐空间中进行缺陷判定时,抛弃原始度量学习中基于KNN算法的归类方法,提出基于高...     

一种基于群等变卷积的度量元学习算法

传统机器学习方法泛化性能不佳,需要通过大规模数据训练才能得到较好的拟合结果,因此不能快速学习训练集外的少量数据,对新种类任务适应性较差,而元学习可实现拥有类似人类学习能力的强人工智能,能够快速适应新的数据集,弥补机器学习的不足。针对传统机器学习中的自适应问题,利用样本图片的局部旋转对称性和镜像对称性,提出一种基于群等变卷积神经网络（G-CNN）的度量元学习算法,以提高特征提取能力。利用G-CNN构建4层特征映射网络,根据样本图片中的局部对称信息,将支持集样本映射到合适的度量空间,并以每类样本在度量空间中的特征平均值作为原型点。同时,通过同样的映射网络将查询机映射到度量空间,根据查询集中样本到原型点的距离完成分类。在Omniglot和miniImageNet数据集上的实验结果表明,该算法相比孪生网络、关系网络、MAML等传统4层元学习算法,在平均识别准确率和模型复杂度方面均具有优势。     

对抗样本三元组约束的度量学习算法

针对已有三元组约束的度量学习算法大多利用先验知识构建约束,一定程度上制约了度量学习算法性能的问题,本文借鉴对抗训练中样本扰动的思想,在原始样本附近学习对抗样本以构造对抗三元组约束,基于对抗三元组和原始三元组约束构建了度量学习模型,提出了对抗样本三元组约束的度量学习算法(metric learning algorithm with adversarial sample triples constraints,ASTCML)。实验结果表明,提出的算法既克服了已有固定约束方法受先验知识影响大的问题,也提高了分类精度,说明区分更加难以区分的三元组约束能够提升算法的性能。     

整合全局—局部度量学习的人体目标再识别

目的 人体目标再识别的任务是匹配不同摄像机在不同时间、地点拍摄的人体目标。受光照条件、背景、遮挡、视角和姿态等因素影响,不同摄相机下的同一目标表观差异较大。目前研究主要集中在特征表示和度量学习两方面。很多度量学习方法在人体目标再识别问题上了取得了较好的效果,但对于多样化的数据集,单一的全局度量很难适应差异化的特征。对此,有研究者提出了局部度量学习,但这些方法通常需要求解复杂的凸优化问题,计算繁琐。方法 利用局部度量学习思想,结合近几年提出的XQDA（cross-view quadratic discriminant analysis）和MLAPG（metric learning by accelerated proximal gradient）等全局度量学习方法,提出了一种整合全局和局部度量学习框架。利用高斯混合模型对训练样本进行聚类,在每个聚类内分别进行局部度量学习;同时在全部训练样本集上进行全局度量学习。对于测试样本,根据样本在高斯混合模型各个成分下的后验概率将局部和全局度量矩阵加权结合,作为衡量相似性的依据。特别地,对于MLAPG算法,利用样本在各个高斯成分下的后验概率,改进目标损失函数中不同样本的损失权重,进一步提高该方法的性能。结果 在VIPeR、PRID 450S和QMUL GRID数据集上的实验结果验证了提出的整合全局—局部度量学习方法的有效性。相比于XQDA和MLAPG等全局方法,在VIPeR数据集上的匹配准确率提高2.0%左右,在其他数据集上的性能也有不同程度的提高。另外,利用不同的特征表示对提出的方法进行实验验证,相比于全局方法,匹配准确率提高1.3%~3.4%左右。结论 有效地整合了全局和局部度量学习方法,既能对多种全局度量学习算法的性能做出改进,又能避免局部度量学习算法复杂的计算过程。实验结果表明,对于使用不同的特征表示,提出的整合全局—局部度量学习框架均可对全局度量学习方法做出改进。     

基于标签噪声鲁棒学习的疾病风险预测

疾病风险预测能够筛查易患人群, 并在早期进行预防干预措施以降低疾病的发生率及死亡率. 随着机器学习技术的快速发展, 基于机器学习的疾病风险预测得到了广泛应用. 然而, 机器学习十分依赖于高质量的标注信息, 医疗数据中存在的标签噪声会给构建高性能的疾病风险预测算法带来严峻挑战. 针对这一问题, 本文提出了一种基于深度神经网络和动态截断损失函数的噪声鲁棒学习方法用于疾病风险预测. 该方法引入动态截断损失函数, 融合了传统交叉熵函数的隐式加权特性和均方差损失函数的标签噪声鲁棒性; 通过构造训练损失下界, 并引入样本动态加权机制减小可疑样本的梯度, 限制可能的带噪样本在训练过程中的权重, 进一步增强模型的鲁棒性. 以脑卒中筛查数据集为例进行实验, 结果表明本文算法在各个标签噪声比例下均能取得良好的预测性能, 可降低疾病风险预测中标签噪声的负面影响, 实现了带有标签噪声数据的鲁棒学习.     

深度学习典型目标检测算法的改进综述

目标检测是机器视觉领域内最具挑战性的任务之一,深度学习则是目标检测最主流的实现方法.近年来,深度学习理论及技术的快速发展,使得基于深度学习的目标检测算法取得了巨大进展,学者从数据处理、网络结构、损失函数等多方面入手,提出了一系列对于目标检测算法的改进方式.针对典型目标检测算法的改进方式进行综述.归纳了常用数据集和性能评...