基于迁移学习的细粒度图像快速识别方法

识别类间差异较小的同类物种时容易出现识别错误问题,为此提出一种基于迁移学习的细粒度图像快速识别方法。通过计算迁移学习中的给定源域以及无标记目标域,获取图像像素数据集,输入至卷积神经网络模型预训练,凭借全连接层中softmax分类器,估计图像处于不同分类结果的概率,区分不同种类个体。使用多层感知机模型输出所有类别预测的概率值,计算度量指标与损失函数,使损失函数值达到最小化,最后通过迭代权重,更新类,找出近似解,完成细粒度图像识别。实验结果证明,所提方法能够实现对静态与动态图像的有效识别,且识别速度快、精度高。     

基于多任务卷积神经网络的车辆多属性识别

细粒度车辆识别极具挑战性,尤其在两辆车的外型差异及其细微的时候。通过车辆的附加属性能够提高车辆识别效果,但一般的神经网络模型忽略了附加属性间的联系,提出一种基于改进的triplet loss作为损失函数的车辆多属性学习的卷积神经网络,用于实现细粒度车辆多属性识别。具体而言,通过对传统神经网络结构的改变,将车辆识别问题转化为多属性学习问题。对三元组损失函数进行改进用于训练网络以实现细粒度车辆识别。同时,创建了一个车辆多属性数据集并完成训练工作,结果显示了该方法的潜力。     

基于图像融合的表情识别研究

为提高表情识别精度,结合传统的深度卷积神经网络,提出一种基于深度度量融合算法的表情识别模型。首先通过DCNN(Dynamic Convolution Neural Network,深度卷积神经网络)模块对人脸图像特征进行学习,然后同步优化Softmax分类损失函数和三元组损失函数。在三元组损失函数优化方面,提出一种对称三元组损失函数Lw,以避免不完整判断问题,最后以CK+等作为数据来源,通过上述模型对表情进行识别。结果表明,本改进的表情识别方法,可有效辨识高兴、厌恶和藐视等表情,但对恐惧、生气等表情识别精度不高;与其他表情识别算法相比,本识别算法识别精度最高,达到97.86%,具有很大识别优势。     

基于多支路残差深度网络的跨视角步态识别方法

针对基于卷积神经网络的步态识别模型不能充分利用局部细粒度信息的问题,提出基于多支路残差深度网络的跨视角步态识别方法.将多支路网络引入卷积神经网络中,分别提取步态轮廓序列图中不同粒度的特征,并利用残差学习和多尺度特征融合技术,增强网络的特征学习能力.在公开步态数据集CASIA-B和OU-MVLP上的实验证实文中方法的识别...     

基于网络度量的三分支孪生网络调制识别算法

针对基于孪生网络的小样本调制识别算法存在相似识别类别混淆的问题,提出一种基于网络度量的三分支孪生网络调制识别算法。通过三分支孪生神经网络（Triplet Siamese Neural Network,TSN）将输入三元样本组的原始特征映射至特征子空间中。将正负样本与参考样本特征并联输入至两个参数共享的关系网络（Relation Network,RN）,学习一个非线性的度量函数。通过各个类别的特征向量生成各类别的类原型,作为测试过程中的类特征输入。为降低信道噪声和信号接收误差对均值类原型表达的影响,采用局部异常因子算法（Local Outlier Factor,LOF）剔除类别中偏差数据。在公开的调制数据集DeepSig中进行验证,仿真结果表明,TSN-RN-LOF算法模型可以充分利用相似类别之间的差异信息,提取更具辨识度的特征,取得更优的识别性能。     

对抗样本三元组约束的度量学习算法

针对已有三元组约束的度量学习算法大多利用先验知识构建约束,一定程度上制约了度量学习算法性能的问题,本文借鉴对抗训练中样本扰动的思想,在原始样本附近学习对抗样本以构造对抗三元组约束,基于对抗三元组和原始三元组约束构建了度量学习模型,提出了对抗样本三元组约束的度量学习算法(metric learning algorithm with adversarial sample triples constraints,ASTCML)。实验结果表明,提出的算法既克服了已有固定约束方法受先验知识影响大的问题,也提高了分类精度,说明区分更加难以区分的三元组约束能够提升算法的性能。     

深度图注意力CNN的三维模型识别

针对现有基于深度学习的三维模型识别方法缺乏结合三维模型的上下文细粒度局部特征,可能造成几何形状极其相似,局部细节信息略有不同的类识别混淆的问题,提出一种基于深度图注意力卷积神经网络的三维模型识别方法。首先,通过引入邻域选择机制挖掘三维模型的细粒度局部特征。其次,通过空间上下文编码机制捕捉多尺度空间上下文信息,且与细粒度局部特征相互补偿以增强特征的完备性。最后,采用一种多头部机制,使图注意力卷积层聚合多个单头部的特征以增强特征的丰富性。此外,设计选择性丢弃算法,根据度量权重值对神经元重要性进行排序,智能地丢弃重要性较低的神经元来防止网络过拟合。算法在ModelNet40数据集上的三维模型识别准确率达到了92.6%,且网络复杂度较低,在三维模型识别准确率和网络复杂度之间达到最佳平衡,优于当前主流方法。     

基于多隐层小波卷积极限学习神经网络的滚动轴承故障识别

煤矿旋转机械工作环境恶劣,实际采集到的滚动轴承振动信号呈现出明显的非线性和非平稳性,导致轴承故障特征提取较困难。传统的基于"人工特征提取+模式识别"的滚动轴承故障识别方法受主观影响大。针对上述问题,提出了一种基于多隐层小波卷积极限学习神经网络(MHLWCELNN)的滚动轴承故障识别方法。该方法综合了一维卷积神经网络、自动编码器、极限学习机和小波函数的优势:利用一维卷积神经网络的局部连接和权值共享机制,大大减少了需要学习的参数;通过自动编码器使算法适用于轴承振动信号无标签样本;通过极限学习机确定输出权重,避免陷入局部最优,提高训练速度;采用小波函数作为激活函数,提高对轴承时域和频域信号的分辨率,从而提高故障识别率。实验结果表明:与同类方法相比,MHLWCELNN具有更高的识别准确率和更小的标准差,能较为稳定地识别出滚动轴承的不同故障类型;MHLWCELNN的F_1值高于同类方法,验证了其对不平衡数据集的有效性;高斯小波在时域、频域均有较高的分辨率,适合作为激活函数;训练集样本占比设置为80%较合适。     

残差网络和损失函数集成的人脸表情识别

目前基于卷积神经网络的表情识别方法提取的人脸表情特征存在类内差异大、类间差异小的特点,常用的损失函数在上述特点中难以有效分类。针对该问题,提出采用ResNet-18网络的人脸表情识别方法,研究基于CenterLoss、SphereFace、CosFace和ArcFace等不同损失函数在人脸表情识别中的性能。在此基础上,基于集成学习原理构建基于多个损失函数集成的ResNet-EnLoss网络,以减小人脸表情特征的类内差异、增大类间差异,提高表情识别准确率。实验结果表明,ResNet-EnLoss网络在FER2013数据集上取得了74.03%的识别准确率,网络泛化能力强、稳定性好,且识别准确率显著高于文献已有结果。     

基于改进度量学习的煤矿井下行人重识别方法研究

传统基于度量学习的煤矿井下行人重识别方法中,由于度量学习忽略正负样本绝对距离,造成损失函数梯度消失或梯度弥散,导致井下人员位置信息识别精度不高。针对该问题,提出了一种基于改进度量学习的煤矿井下行人重识别方法。首先,采用基于手工设计特征的井下人员特征提取方法,对颜色空间、纹理空间等特征进行手动加工提炼,丰富特征维度。然后,采用欧氏距离对人员高维特征进行相似性计算。最后,提出一种改进的三重损失函数,通过在传统三重损失函数中加入自适应权重,增加有效样本的权重,解决了由于忽略正负样本绝对距离导致的梯度消失或梯度弥散问题。将传统识别方法与基于改进度量学习的煤矿井下行人重识别方法进行了累积匹配特征曲线验证、识别速率验证,结果表明：(1)基于改进度量学习的煤矿井下行人重识别方法在相似样本个数为50左右时,样本匹配概率达100%。(2)在2种不同标定大小图像的推理耗时上,基于改进度量学习的煤矿井下行人重识别方法较传统重识别方法分别减少了44,68 ms。(3)基于改进度量学习的煤矿井下行人重识别方法在舍弃行人头脚部分图像后表现更好,在相似样本个数为42左右时,样本匹配概率达100%。     

多尺度拼图重构网络的食品图像识别

近年来,食品图像识别由于在健康饮食管理、无人餐厅等领域的广泛应用而受到了越来越多的关注.不同于其他物体识别任务,食品图像属于细粒度图像,具有较高的类内差异性和类间相似性,而且食品图像没有固定的语义模式和空间布局,这些特点使得食品图像识别更具挑战性.为此,提出了一种用于食品图像识别的多尺度拼图重构网络（multi-scale jigsaw and reconstruction network,MJR-Net）.MJR-Net由拼图重构模块、特征金字塔模块和通道注意力模块这3部分组成.拼图重构模块使用破坏重构学习方法将原始图像进行破坏和重构,以提取局部的判别性细节特征;特征金字塔模块可以融合不同尺寸的中层特征,以捕获多尺度的局部判别性特征;通道注意力模块对不同特征通道的重要程度进行建模,以增强判别性的视觉模式,减弱噪声干扰.此外,还使用A-softmax和Focal损失,分别从增大类间差异和修正分类样本的角度优化网络.MJR-Net在ETH Food-101,Vireo Food-172和ISIA Food-500这3个食品数据集上进行实验,分别取得了90.82%,91.37%和64.95%的识别准确率.实验结果表明,与其他食品图像识别方法相比,MJR-Net表现出较大的竞争力,并在Vireo Food-172和ISIA Food-500上取得了最优识别性能.全面的消融实验和可视化分析证明了该方法的有效性.     

Few-shot node classification via local adaptive discriminant structure learning

Node classification has a wide range of application scenarios such as citation analysis and social network analysis. In many real-world attributed networks, a large portion of classes only contain limited labeled nodes. Most of the existing node classification methods cannot be used for few-shot node classification. To train the model effectively and improve the robustness and reliability of the model with scarce labeled samples, in this paper, we propose a local adaptive discriminant structure learning (LADSL) method for few-shot node classification. LADSL aims to properly represent the nodes in the attributed graphs and learn a metric space with a strong discriminating power by reducing the intra-class variations and enlarging inter-class differences. Extensive experiments conducted on various attributed networks datasets demonstrate that LADSL is superior to the other methods on few-shot node classification task.     

自监督学习下小样本遥感图像场景分类

目的 卷积神经网络(convolutional neural network, CNN)在遥感场景图像分类中广泛应用,但缺乏训练数据依然是不容忽视的问题。小样本遥感场景分类是指模型只需利用少量样本训练即可完成遥感场景图像分类任务。虽然现有基于元学习的小样本遥感场景图像分类方法可以摆脱大数据训练的依赖,但模型的泛化能力依然较弱。为了解决这一问题,本文提出一种基于自监督学习的小样本遥感场景图像分类方法来增加模型的泛化能力。方法 本文方法分为两个阶段。首先,使用元学习训练老师网络直到收敛;然后,双学生网络和老师网络对同一个输入进行预测。老师网络的预测结果会通过蒸馏损失指导双学生网络的训练。另外,在图像特征进入分类器之前,自监督对比学习通过度量同类样本的类中心距离,使模型学习到更明确的类间边界。两种自监督机制能够使模型学习到更丰富的类间关系,从而提高模型的泛化能力。结果 本文在NWPU-RESISC45(North Western Polytechnical University-remote sensing image scene classification)、AID(aerial ima...     

注意力分层双线性池化残差网络的表情识别

由于人脸表情图像具有细微的类间差异信息和类内公有信息,提取具有判别性的局部特征成为关键问题,为此提出了一种注意力分层双线性池化残差网络。该模型采用有效的通道注意力机制显式地建模各通道的重要程度,为输出特征图分配不同的权重,按权重值大小定位显著区域。并添加了一个新的分层双线性池化层,集成多个跨层双线性特征来捕获层间部分特征关系,以端到端的深度学习方式在特征图中进行空间池化,使所提网络模型更适合精细的面部表情分类。分别在FER-2013和CK+数据集上对设计的网络进行实验,最高识别率分别为73.84%和98.79%,达到了具有竞争性的分类准确率,适用于细微的面部表情图像识别任务。     

基于小样本度量迁移学习的表面缺陷检测

将小样本学习中的度量学习方法引入缺陷检测领域,提出小样本度量迁移学习方法,用于解决深度学习方法中需要大量学习样本的问题.方法主要分为两个阶段:第一阶段使用公开或便于获得的大型数据集预训练深度网络;第二阶段将网络学习到的相关知识通过度量学习模块迁移到表面缺陷检测领域.实验表明,小样本学习在缺陷检测领域的可行性.     

类别语义相似性监督的小样本图像识别

目的 现有的深度学习模型往往需要大规模的训练数据,而小样本分类旨在识别只有少量带标签样本的目标类别。作为目前小样本学习的主流方法,基于度量的元学习方法在训练阶段大多没有使用小样本目标类的样本,导致这些模型的特征表示不能很好地泛化到目标类。为了提高基于元学习的小样本图像识别方法的泛化能力,本文提出了基于类别语义相似性监督的小样本图像识别方法。方法 采用经典的词嵌入模型GloVe（global vectors for word representation）学习得到图像数据集每个类别英文名称的词嵌入向量,利用类别词嵌入向量之间的余弦距离表示类别语义相似度。通过把类别之间的语义相关性作为先验知识进行整合,在模型训练阶段引入类别之间的语义相似性度量作为额外的监督信息,训练一个更具类别样本特征约束能力和泛化能力的特征表示。结果 在miniImageNet和tieredImageNet两个小样本学习基准数据集上进行了大量实验,验证提出方法的有效性。结果显示在miniImageNet数据集5-way 1-shot和5-way 5-shot设置上,提出的方法相比原型网络（prototypical networks）分类准确率分别提高1.9%和0.32%;在tieredImageNet数据集5-way 1-shot设置上,分类准确率相比原型网络提高0.33%。结论 提出基于类别语义相似性监督的小样本图像识别模型,提高小样本学习方法的泛化能力,提高小样本图像识别的准确率。     

基于局部敏感判别宽度学习的高光谱图像分类

宽度学习系统(BLS)以其良好的学习性能与泛化能力,在高光谱图像(HSI)分类中得到了广泛应用。然而宽度学习系统仅关注各类样本的可分性,忽略了样本之间的相对关系以及所蕴涵的判别信息,在一定程度上限制了宽度学习系统在高光谱图像分类任务中的性能。为此,提出一种局部敏感判别的宽度学习系统(LSDBLS)方法。该方法通过引入局部敏感判别分析考虑标记样本的判别信息与数据样本的局部流形结构,通过标记样本构建类内图和类间图来表征数据样本之间的相对关系。在此基础上,将类内图和类间图引入到宽度学习系统的目标函数中,通过最小化类内图以及最大化类间图,使得同类样本尽可能地聚集,不同类的样本尽可能地远离,增强LSDBLS对数据特征的判别能力。通过在三个HSI数据集上的实验结果表明,LSDBLS取得了良好的效果。     

多源域混淆的双流深度迁移学习

目的 针对深度学习严重依赖大样本的问题,提出多源域混淆的双流深度迁移学习方法,提升了传统深度迁移学习中迁移特征的适用性。方法 采用多源域的迁移策略,增大源域对目标域迁移特征的覆盖率。提出两阶段适配学习的方法,获得域不变的深层特征表示和域间分类器相似的识别结果,将自然光图像2维特征和深度图像3维特征进行融合,提高小样本数据特征维度的同时抑制了复杂背景对目标识别的干扰。此外,为改善小样本机器学习中分类器的识别性能,在传统的softmax损失中引入中心损失,增强分类损失函数的惩罚监督能力。结果 在公开的少量手势样本数据集上进行对比实验,结果表明,相对于传统的识别模型和迁移模型,基于本文模型进行识别准确率更高,在以DenseNet-169为预训练网络的模型中,识别率达到了97.17%。结论 利用多源域数据集、两阶段适配学习、双流卷积融合以及复合损失函数,构建了多源域混淆的双流深度迁移学习模型。所提模型可增大源域和目标域的数据分布匹配率、丰富目标样本特征维度、提升损失函数的监督性能,改进任意小样本场景迁移特征的适用性。     

Multi-granularity Inter-class Correlation Based Contrastive Learning for Open Set Recognition

In recent years, deep neural networks have continuously achieved breakthroughs in the classification task. However, they will mistakenly give a wrong known class prediction when faced with unknown samples in the testing phase. The open set recognition is a possible way to solve the problem, which requires the model to not only classify the known classes but also distinguish the unknown samples accurately. Most of the existing methods are designed heuristically on the basis of certain assumptions. Despite keeping the performance increasing, they have not analyzed the key factors that affect the task. In this paper, we analyze the commonalities of existing methods by designing a new decision variable experiment and find that the ability of the model to learn representations of known classes is an important factor. Then an open set recognition method is proposed based on the representation learning ability enhancement of the model. Firstly, due to the powerful representation learning capabilities demonstrated by the contrastive learning and the label information contained in the open set recognition task, supervised contrastive learning is introduced to improve the modeling ability of the model for known classes. Secondly, considering that the inter-class correlation is the representation learning at the class level, and the hierarchical structure relationship among the classes is often presented, a loss function of the multi-granularity inter-class correlation is designed. In the way of building the hierarchical structure in the label semantic space and measuring the multi-granularity inter-class correlation, the loss function of multi-granularity inter-class correlation constrains the model to learn the correlation among different known classes to further improve the representation learning ability of the model. Finally, experimental results on multiple standard datasets verify the effectiveness of the proposed method in open set recognition.     

基于原型网络的细粒度实体分类方法

细粒度实体分类任务作为命名实体识别任务的扩展,其目的是根据指称及其上下文,发掘实体更细粒度的类别含义。由于细粒度实体语料的标注代价较大,标注错误率较高,因此该文研究了在少量样本情况下的细粒度实体分类方法。该文首先提出了一种特征提取模型,能够分别从单词层面以及字符层面提取实体信息,随后结合原型网络将多标签分类任务转化为单标签分类任务,通过缩小空间中同类样本与原型的距离实现分类。该文使用少样本学习以及零样本学习两种设置在公开数据集FIGER(GOLD)上进行了实验,在少样本学习的设置下,较基线模型在三个指标中均有提升,其中macro-F₁的提升最大,为2.4%。