基于卷积神经网络迁移学习的飞机目标识别

飞机目标识别是地面情报系统的一项重要关键技术。近年来火热的深度学习方法,如卷积神经网络,展现出对于图像识别任务的优越性能。但是,训练卷积神经网络需要大量的带标签样本以估计规模庞大的模型参数,因而限制了其在雷达目标识别领域中的应用。针对飞机目标识别中的小样本问题,文中引入适用于有限数据场景的迁移学习技术,预先在其他大样本高分辨距离像数据上训练一个初始卷积神经网络模型,再结合当前飞机目标识别任务调优模型参数。在实测数据上的实验结果显示,与仅使用卷积神经网络的方法相比,所提方法可显著提升识别准确率,验证了方法的有效性。     

基于改进宽度模型迁移学习的不同负载下滚动轴承状态快速分类方法

针对深度学习网络训练耗时以及不同负载下滚动轴承的源域数据和目标域数据分布差异较大的问题,该文提出一种基于改进宽度模型迁移学习的滚动轴承状态快速分类方法。该方法首先对不同负载下滚动轴承振动信号进行快速傅里叶变换,构建频域幅值序列数据集,并选取某种或某些负载数据集作为源域,其他负载数据集作为目标域;其次以循环扩展的方式建立宽度学习系统(BLS)的增强节点窗口,并在增强层引入Maxout激活函数构建改进的BLS网络,同时引入遗传算法优化网络节点结构,建立基于源域数据的预训练模型;最后将预训练模型的网络参数、特征层和增强层的权重参数迁移至目标域网络,并利用少量目标域样本微调网络建立状态分类模型。实验结果表明,所提方法平均训练时间为32.6 s,平均测试准确率为98.9%。对比其他方法,所提方法可以在更短的时间内建立分类模型并获得良好的分类准确率。     

一种基于伪标签的半监督少样本学习模型

如何将带有大量标记数据的源域知识模型迁移至带有少量标记数据的目标域是少样本学习研究领域的热点问题.针对现有的少样本学习算法在源域数据与目标域数据的特征分布差异较大时存在的泛化能力较弱的问题,提出一种基于伪标签的半监督少样本学习模型FSLSS（Few-Shot Learning based on Semi-Supervised）.首先,利用pytorch深度学习框架建立一个关系型深度学习网络,并使用源域数据对网络进行预训练;然后,使用此网络对目标域数据进行分类预测,将分类概率最大的类标签作为数据的伪标签;最后,利用目标域的伪标签数据和源域的真实标签数据对网络进行混合训练,并重复伪标签标记与混合训练过程.实验结果表明,相对于现有主流少样本学习算法,FSLSS模型有更好的泛化能力及知识迁移效果.     

基于自适应模糊聚类的LM-BPNN网络故障诊断

提出一种综合运用模糊聚类和神经网络改进算法的网络故障诊断方法.根据网络故障特征数据量大、且存在冗余和冲突的特点,基于模糊聚类思想,提出了以聚类中心为核、自适应半径来优选样本的数据预处理方法.在进行故障特征的学习训练时,针对BP神经网络用于网络故障诊断时训练次数多、收敛慢和易振荡的局限性,使用结合了Levenberg-Marquardt的改进算法.理论分析和实验结果表明,文中提出的网络故障诊断方法能达到诊断更快速、更准确的效果.     

融合注意力机制的雷达欺骗干扰域适应识别方法

针对目前雷达欺骗干扰识别中常规特征识别方法应用受限和训练高性能深度学习模型需要的大量标注样本难以高效获取的问题,该文提出一种基于对抗域适应网络的雷达欺骗干扰识别方法,以改善标签限制;并融合注意力机制残差模块进一步提升识别精度。首先,对雷达接收信号进行时频变换后,应用基于对抗网络思想的域适应技术实现从标注源域样本到未标注目标域样本的迁移识别。其次,通过所设计的空间通道注意力残差模块使网络训练聚焦于时频图全局空间特征和高响应通道,以忽略时频图像中可迁移性低的区域抑制负迁移的产生。在不同源域与目标域雷达欺骗干扰数据集上的实验结果表明了该方法的可行性和有效性。     

基于迁移判别回归的跨域语音情感识别

针对实际情况下训练和测试数据来自不同领域数据库导致识别性能下降的问题,提出了一种基于迁移判别回归的跨域语音情感识别方法。首先,引入最大均值差异和图拉普拉斯项作为域间联合距离度量,在减小概率分布差异的同时,很好地保留数据的局部几何结构,从而学习到一个可迁移的公共特征表示。其次,本文采用一种能量保持策略,以避免迁移过程中目标域信息的丢失。此外,通过引入判别回归项,利用已标记的源域样本在公共子空间中训练一个可迁移的判别回归模型。最后,为了使学习到的模型具有特征选择能力和鲁棒性,分别对投影矩阵和回归项施加L_2,1范数约束。在3个公开数据集上的实验结果表明,本文提出的算法相较于其他几种迁移学习方法具有更好的识别性能。     

基于深度神经网络的花朵图像识别及分类

针对深度学习中图像识别模型的训练需要大量的数据集,同时由于受花朵的花期影响,短时间内难以收集到足够用于训练的样本问题,提出一种基于深度神经网络迁移学习的花朵识别分类的方法,达到在少量数据情况下完成模型训练的效果.首先将收集的花朵数据集图像进行随机剪裁和归一化处理;其次在ResNet34(residual neural ...     

基于自监督对比学习的深度神经网络对抗鲁棒性提升

基于深度神经网络的多源图像内容自动分析与目标识别方法近年来不断取得新的突破,并逐步在智能安防、医疗影像辅助诊断和自动驾驶等多个领域得到广泛部署。然而深度神经网络的对抗脆弱性给其在安全敏感领域的部署带来巨大安全隐患。对抗鲁棒性的有效提升方法是采用最大化网络损失的对抗样本重训练深度网络,但是现有的对抗训练过程生成对抗样本时需要类别标记信息,并且会大大降低无攻击数据集上的泛化性能。本文提出一种基于自监督对比学习的深度神经网络对抗鲁棒性提升方法,充分利用大量存在的无标记数据改善模型在对抗场景中的预测稳定性和泛化性。采用孪生网络架构,最大化训练样本与其无监督对抗样本间的多隐层表征相似性,增强模型的内在鲁棒性。本文所提方法可以用于预训练模型的鲁棒性提升,也可以与对抗训练相结合最大化模型的“预训练+微调”鲁棒性,在遥感图像场景分类数据集上的实验结果证明了所提方法的有效性和灵活性。      

融合词性特征的深度迁移学习商品评论情感分析

情感分析是文本分类的研究方向,深度迁移学习通过学习目标领域数据和已有领域数据之间的相关度,提高当目标数据不足时文本分类的精度。从基于网络迁移的角度设计算法,首先使用Word2vec+词性特征词向量表示,然后进行卷积神经网络文本分类,再将训练好的模型共享网络参数,迁移至跨域商品评论数据,训练、分类评论数据。实验证明,在小样本数据集中算法精度有明显提升。     

少量样本下基于孪生CNN的SAR目标识别

针对深度学习中的有监督学习需要大量的标注数据,提出了一种少量训练样本下的SAR目标识别方法,解决了SAR图像人工标注成本较高、标注样本不足的问题。首先通过构建正负样本对的策略对数据集进行样本扩充,大幅增加数据量;其次,设计了一种基于度量学习和深度学习的孪生卷积神经网络(孪生CNN),用于衡量样本之间的相似概率;然后采用多任务联合学习的方法训练模型,有效缓解了相干斑噪声对SAR图像的影响,降低了噪声过多易引起的过拟合风险;最后,设计了一种基于孪生CNN的识别样本具体类别的加权投票模型。实验采用了MSTAR和OpenSARShip数据集,在小规模训练集上通过上述方法取得了较好的识别效果。     

基于主动学习的唐卡主尊标注研究

唐卡是藏文化中一种特色绘画，有较高的学术价值。为降低唐卡主尊检测任务中数据标注的人力成本，文中采用主动学习流程训练目标检测模型，并针对唐卡主尊分布特点提出最大框选法和最大框不确定性方法，用以优先选取未标注样本中对神经网络最有益的样本。采用Faster R-CNN目标检测模型进行唐卡主尊主动学习实验，结果表明：所提出的最大框不确定性方法优于随机采样主动学习方法，仅400张训练数据即可达到98.19%的平均准确率（mAP），与全监督下1 249张数据训练的模型结果（98.17%）接近；在500张数据时mAP可达到最高，为98.31%。所提最大框不确定性采样法可高效挑选出高信息量唐卡主尊数据，不但可以降低训练所需数据量，减少网络训练时间，而且能够减少低信息量数据对模型的影响，对模型的性能具有显著提升效果。     

迁移学习用于电磁目标识别

迁移学习技术可以利用经验信息辅助当前任务,已在计算机视觉和语音识别领域得到广泛应用,但在电磁领域还没有取得明显的成就。电磁环境变化速度快,源数据或分类器模型在新环境中性能会显著下降,重新训练不仅需要大量的数据且费时费力。迁移学习技术与电磁目标识别任务十分相关,本文采用实测电磁目标数据集,探索迁移学习在解决电磁目标小样本问题中的几种应用,包括同类目标迁移和异类目标迁移。实验结果表明,通过将预训练模型迁移到目标域小样本识别任务,当目标域为同类源且标记样本只有20个情况下,相较于非迁移模型,验证准确率提高25%,并且大大缩短了目标域训练时间;当目标域为异类源时,也能够在保证识别准确率的同时使训练时间少于源域的1/5。     

基于双层孪生神经网络的区块链智能合约分类方法

当前通过深度学习方法进行区块链智能合约分类的方法越来越流行,但基于深度学习的方法往往需要大量的样本标签数据去进行有监督的模型训练,才能达到较高的分类性能。该文针对当前可用智能合约数据集存在数据类别不均衡以及标注数据量过少会导致模型训练困难,分类性能不佳的问题,提出基于双层孪生神经网络的小样本场景下的区块链智能合约分类方法：首先,通过分析智能合约数据特征,构建了可以捕获较长合约数据特征的双层孪生神经网络模型;然后,基于该模型设计了小样本场景下的智能合约训练策略和分类方法。最后,实验结果表明,该文所提方法在小样本场景下的分类性能优于目前最先进的智能合约分类方法,分类准确率达到94.7%,F1值达到94.6%,同时该方法对标签数据的需求更低,仅需同类型其他方法约20%数据量。     

红外目标检测网络改进半监督迁移学习方法

针对红外数据集规模小,标记样本少的特点,提出了一种红外目标检测网络的半监督迁移学习方法,主要用于提高目标检测网络在小样本红外数据集上的训练效率和泛化能力,提高深度学习模型在训练样本较少的红外目标检测等场景当中的适应性。文中首先阐述了在标注样本较少时无标注样本对提高模型泛化能力、抑制过拟合方面的作用。然后提出了红外目标检测网络的半监督迁移学习流程:在大量的RGB图像数据集中训练预训练模型,后使用少量的有标注红外图像和无标注红外图像对网络进行半监督学习调优。另外,文中提出了一种特征相似度加权的伪监督损失函数,使用同一批次样本的预测结果相互作为标注,以充分利用无标注图像内相似目标的特征分布信息;为降低半监督训练的计算量,在伪监督损失函数的计算中,各目标仅将其特征向量邻域范围内的预测目标作为伪标注。实验结果表明,文中方法所训练的目标检测网络的测试准确率高于监督迁移学习所获得的网络,其在Faster R-CNN上实现了1.1%的提升,而在YOLO-v3上实现了4.8%的显著提升,验证了所提出方法的有效性。     

基于迁移学习的SAR图像目标检测

针对深度卷积神经网络训练需要大数量样本,采用迁移学习的方法辅助网络训练,解决了SAR图像样本不足的问题。通过控制对比实验,对每个卷积块权重进行迁移与分析,使用微调与冻结相结合的训练方式有效提高网络的泛化性与稳定性;然后根据目标检测任务的时效性对网络模型进行改进,提高了网络检测速度的同时减少了网络参数;最后结合复杂场景杂波切片对网络进行训练,降低了背景杂波的虚警目标数量,复杂多目标场景的检测结果表明所提出方法具有较好的检测性能。     

基于双级对齐部分迁移网络的旋转设备故障诊断

随着智能制造和工业大数据的快速发展,迁移学习在旋转设备故障诊断领域得到了广泛研究.在工业现场,存在大量目标域标签空间为源域标签空间子集的场景,现有迁移学习方法在处理此类场景时,无法消除源域离群类别对目标域分类产生的负迁移影响.部分迁移学习通过限制源域不同类别数据在特征对齐过程的贡献度,实现源域和目标域共享类别特征对齐.然而,现有部分迁移学习方法仅考虑源域和目标域共享类别边缘分布对齐,未考虑源域和目标域共享类别各子类间的状态分布对齐,诊断正确率仍有待提高.为此,本文以Vision Transformer网络为基础网络架构,提出基于双级对齐部分迁移网络的故障诊断方法：一方面构造加权平衡机制促进源域和目标域共享类别间的边缘分布对齐,另一方面利用度量学习实现源域和目标域共享类别各子类间的状态分布对齐.利用滚动轴承故障数据对所提方法进行验证,结果表明：所提方法在所有诊断案例中的准确率均在95%以上,相比其他对比方法表现出更优的诊断效果.     

基于双阶段元学习的小样本中医舌色域自适应分类方法

舌色是中医(TCM)望诊最关注的诊察特征之一。在实际应用中,通过一台设备采集到的舌象数据训练得到的舌色分类模型应用于另一台设备时,由于舌象数据分布特性不一致,分类性能往往急剧下降。为此,该文提出一种基于双阶段元学习的小样本中医舌色域自适应分类方法。首先,设计了一种双阶段元学习训练策略,从源域有标注样本中提取域不变特征,并利用目标域的少量有标注数据对网络模型进行微调,使得模型可以快速适应目标域的新样本特性,提高舌色分类模型的泛化能力并克服过拟合。接下来,提出了一种渐进高质量伪标签生成方法,利用训练好的模型对目标域的未标注样本进行预测,从中挑选出置信度高的预测结果作为伪标签,逐步生成高质量的伪标签。最后,利用这些高质量的伪标签,结合目标域的有标注数据对模型进行训练,得到舌色分类模型。考虑到伪标签中含有噪声问题,采用了对比正则化函数,可以有效抑制噪声样本在训练过程中产生的负面影响,提升目标域舌色分类准确率。在两个自建中医舌色分类数据集上的实验结果表明,在目标域仅提供20张有标注样本的情况下,舌色分类准确率达到了91.3%,与目标域有监督的分类性能仅差2.05%。     

基于混合核深度适配网络的HRRP目标识别

为了改善基于卷积神经网络（CNN）的雷达目标识别模型的泛化能力,本文将深度适配网络（DAN）方法引入到高分辨一维距离像（HRRP）目标识别中。为了进一步提高DAN方法的性能,创新性地提出了混合核函数MMD代替传统DAN中的多核MMD,设计了基于混合核函数的MMD损失函数。本文使用服从瑞利分布的海杂波来干扰目标域数据。网络模型中使用一维CNN提取特征,使用混合核函数DAN来减少源域和目标域间特征分布的差异。实验表明,相对常规迁移学习方法和DAN方法, 在海杂波影响下该方法可将目标域数据识别率提高15%左右,显著提高了模型的泛化性能和鲁棒性。     

基于迁移学习的红外图像多目标检测技术

针对用传统方法难以解决城市背景下红外图像多目标检测的问题,采用迁移学习技术把深度学习中可见光域的目标检测框架迁移到红外域中。利用该方法建立的模型的小目标检测性能非常好,在制作的测试集上平均精度mAP（IoU=0.50）为0.858。还对训练数据与模型检测性能之间的关系进行了初步研究。制作了大数据量和小数据量2个训练集,对模型进行训练,然后在相同的测试集上进行测试。通过小数据量训练的模型在制作的测试集上的平均精度mAP(IoU=0.50)为0.615。实验结果表明,数据的多样性、数量、质量等都会影响模型的好坏。     

基于元学习的无监督风格迁移算法研究

最近,在生成式对抗网络和足够的非配对训练数据下,无监督领域风格迁移取得了较高的性能。然而，现有的领域迁移框架大多基于庞大的训练数据集，且只能根据训练图像进行特定类别的风格迁移，忽略了其中的学习经验被，使获得的模型不能适应新的领域。文中对传统的非配对循环生成对抗网络Cycle-GAN进行了改进，并使用元学习方法训练了无监督领域的风格迁移问题。另外，文中提出的模型在7个不同的双域迁移任务上证明了其有效性，当对每个新领域进行小样本训练时，该算法均优于传统的风格迁移算法。