多源域混淆的双流深度迁移学习

目的 针对深度学习严重依赖大样本的问题,提出多源域混淆的双流深度迁移学习方法,提升了传统深度迁移学习中迁移特征的适用性。方法 采用多源域的迁移策略,增大源域对目标域迁移特征的覆盖率。提出两阶段适配学习的方法,获得域不变的深层特征表示和域间分类器相似的识别结果,将自然光图像2维特征和深度图像3维特征进行融合,提高小样本数据特征维度的同时抑制了复杂背景对目标识别的干扰。此外,为改善小样本机器学习中分类器的识别性能,在传统的softmax损失中引入中心损失,增强分类损失函数的惩罚监督能力。结果 在公开的少量手势样本数据集上进行对比实验,结果表明,相对于传统的识别模型和迁移模型,基于本文模型进行识别准确率更高,在以DenseNet-169为预训练网络的模型中,识别率达到了97.17%。结论 利用多源域数据集、两阶段适配学习、双流卷积融合以及复合损失函数,构建了多源域混淆的双流深度迁移学习模型。所提模型可增大源域和目标域的数据分布匹配率、丰富目标样本特征维度、提升损失函数的监督性能,改进任意小样本场景迁移特征的适用性。     

基于深度迁移自编码器的变工况下滚动轴承故障诊断方法

在实际工业场景下的轴承故障诊断,存在轴承故障样本不足,训练样本与实际信号样本存在分布差异的问题;文章提出一种新的基于深度迁移自编码器的故障诊断方法FS-DTAE,应用于不同工况下的轴承故障诊断;该方法首先采用小波包变换进行信号处理与特征提取;其次,采用提出的基于朴素贝叶斯与域间差异的特征选取(FSBD)方法对统计特征进行评估,选取更有利于跨域故障诊断和迁移学习的特征;然后,利用源域特征数据训练深度自编码器,将训练得到的模型参数迁移至目标域,再利用目标域正常状态样本对深度迁移自编码器模型进行微调,微调后的模型用于目标域无标签特征数据的故障分类;最后,基于CWRU轴承故障数据开展不同工况下故障诊断实验,结果表明,所提出的FS-DTAE方法能够有效提高不同工况下的故障诊断准确率。     

语义级深度迁移的2D转3D算法

海量视频数据推动了基于数据驱动的单目图像深度估计研究.针对现有方法存在不同对象深度分配层次感不够的问题,在相似场景具有相似深度的假设前提下,提出一种基于语义级分割和深度迁移的单目图像2D转3D的方法.首先使用分割迁移模型将输入图像的像素进行语义级分类;然后通过语义级分类结果对场景匹配进行约束;再次利用SIFT流建立输入图像和匹配图像间像素级对应关系,并由此将匹配图像的深度迁移到输入图像上;最后通过语义级分割约束的最优化深度融合模型为不同对象区域分配深度值.Make3D测试数据的实验结果表明,该方法估计的深度质量比现有深度迁移方法更高,与最优化融合深度迁移算法相比,平均对数误差和平均相对误差分别降低0.03和0.02个点.     

基于深度迁移学习的网络入侵检测

为解决网络入侵检测问题,提高检测准确率和降低误报率,提出一种基于深度迁移学习的网络入侵检测方法,该方法使用非监督学习的深度自编码器来进行迁移学习,实现网络的入侵检测。首先对深度迁移学习问题进行建模,然后对深度模型进行迁移学习。迁移学习框架由嵌入层和标签层实现编/解码,编码和解码权重由源域和目标域共享,用于知识的迁移。嵌入层中,通过最小化域之间的嵌入实例的KL散度来强制源域和目标域数据的分布相似;在标签编码层中,使用softmax回归模型对源域的标签信息进行编码分类。实验结果表明,该方法能够实现网络入侵检测,且性能优于其他入侵检测方法。     

基于深度模型迁移的细粒度图像分类方法

针对细粒度图像分类方法中存在模型复杂度较高、难以利用较深模型等问题,提出深度模型迁移（DMT）分类方法。首先,在粗粒度图像数据集上进行深度模型预训练;然后,使用细粒度图像数据集对预训练模型logits层进行不确切监督学习,使其特征分布向新数据集特征分布方向迁移;最后,将迁移模型导出,在对应的测试集上进行测试。实验结果表明,在STANFORD DOGS、CUB-200-2011、OXFORD FLOWER-102细粒度图像数据集上,DMT分类方法的分类准确率分别达到72.23%、73.33%和96.27%,验证了深度模型迁移方法在细粒度图像分类领域的有效性。     

基于迁移学习的行人再识别

行人再识别指的是在无重叠的多摄像机监控视频中,匹配不同摄像机中的行人目 标。提出了一种基于迁移学习的行人再识别方法。在训练阶段,针对现有的基于深度卷积神经 网络的图像识别模型进行参数微调,将网络模型迁移学习至行人再识别模型。测试阶段,利用 学习好的网络模型提取行人图像的特征,再采用余弦距离来描述行人对之间的相似度。在 CUHK03、Market-1501 和 DukeMTMC-reID 3 个数据集上进行了深入的实验分析,实验结果表 明该方法取得了较高的累积匹配得分,特别是第 1 匹配率远远超过了非深度学习的方法,与其 他基于深度学习的行人再识别方法相比,准确率也有所提升。     

基于深度动态联合自适应网络的图像识别方法

相比传统的图像识别方法,利用深度网络可以提取到表征能力更好的特征,从而获得更好的识别效果。现实中任务提供的数据多为无标签数据或部分有标签数据,其为深度网络的学习带来了困难。而迁移学习的方法可以将从源域数据中学习到的知识迁移到目标任务的学习中,以解决有标签数据不足的问题。为了在迁移过程中减小源域和目标域间的图像数据差异,文中提出基于深度动态联合自适应网络的图像识别方法。对网络进行训练时,首先在多层网络结构中利用域间动态联合自适应方法完成针对性的数据分布自适应,然后利用熵最小化原则使学习的目标分类器穿过目标域的低密度区域,从而提高对目标域图像的识别精度。在2018年AI challenge比赛提供的24种植物病害数据集的3种迁移任务(g1->g2,s1->g2和s2->g2)中,所提方法的准确率分别达到了97.27%,94.25%和93.66%,均优于其他算法。实验结果证明,文中提出的基于深度网络并使用动态联合自适应和熵最小化原则的学习框架能够准确识别图像。     

融合模糊推理和流形正则化的特征迁移学习

迁移学习利用源域中丰富的数据来为目标域构建精确的模型提供辅助和支持。特征迁移学习是迁移学习中被广泛研究的一类技术,但是现有的特征迁移方法面临着如下的问题:一些已有的方法仅能实现线性的特征迁移学习,因此这些方法迁移学习的能力有限。另一类方法虽然能实现非线性特征迁移学习,但往往需要引进核技巧等策略,这使得特征迁移的过程难以理解。针对此,引入模糊推理技术,提出基于不确定推理规则的特征迁移方法。该方法基于模糊推理系统来实现特征迁移,并利用流形正则化技术来避免特征迁移过程中的信息损失。由于模糊系统具有很好的非线性建模能力以及基于规则的良好的解释性,因此提出的方法具有良好的非线性特征迁移能力,并易于对新特征进行理解。大量实验证明,该算法在跨域图像分类问题上可以明显优于已有的多种方法。     

利用同质区特性的高光谱图像迁移学习分类

深度卷积神经网络能充分利用特征间的内在联系,提高高光谱影像的可分性,近年来受到了广泛关注.但是,训练深度网络模型对大量标记样本的需求限制了此类方法的应用.将迁移学习思想引入遥感影像分类以减少对标记样本数量的需求.具体研究目标图像中每类只有一个标记样本的情况.通过对目标图像分割得到的同质区扩增目标域的训练样本数量,在此基础上运用深度孪生卷积神经网络减少源域图像与目标域图像的分布差异,实现对目标高光谱图像的最终分类.实验结果表明:同质区和孪生卷积网络的结合可提高半监督迁移学习分类的效果,较好地解决跨区域的高光谱图像分类问题.     

利用同质区特性的高光谱图像迁移学习分类

深度卷积神经网络能充分利用特征间的内在联系,提高高光谱影像的可分性,近年来受到了广泛关注.但是,训练深度网络模型对大量标记样本的需求限制了此类方法的应用.将迁移学习思想引入遥感影像分类以减少对标记样本数量的需求.具体研究目标图像中每类只有一个标记样本的情况.通过对目标图像分割得到的同质区扩增目标域的训练样本数量,在此基础上运用深度孪生卷积神经网络减少源域图像与目标域图像的分布差异,实现对目标高光谱图像的最终分类.实验结果表明:同质区和孪生卷积网络的结合可提高半监督迁移学习分类的效果,较好地解决跨区域的高光谱图像分类问题.     

迁移学习在医学图像分类中的研究进展

医学影像作为医疗数据的主要载体,在疾病预防、诊断和治疗中发挥着重要作用。医学图像分类是医学影像分析的重要组成部分。如何提高医学图像分类效率是一个持续的研究问题。随着计算机技术进步,医学图像分类方法已经从传统方法转到深度学习,再到目前热门的迁移学习。虽然迁移学习在医学图像分类中得到较广泛应用,但存在不少问题,本文对该领域的迁移学习应用情况进行综述,从中总结经验和发现问题,为未来研究提供线索。1)对基于迁移学习的医学图像分类研究的重要文献进行梳理、分析和总结,概括出3种迁移学习策略,即迁移模型的结构调整策略、参数调整策略和从迁移模型中提取特征的策略;2)从各文献研究设计的迁移学习过程中提炼共性,总结为5种迁移学习模式,即深度卷积神经网络(deep convolution neural network, DCNN)模式、混合模式、特征组合分类模式、多分类器融合模式和二次迁移模式。阐述了迁移学习策略和迁移学习模式之间的关系。这些迁移学习策略和模式有助于从更高的抽象层次展现迁移学习应用于医学图像分类领域的情况;3)阐述这些迁移学习策略和模式在医学图像分类中的具体应用,分析这些策略及模式的优点、局...     

基于特征迁移学习的综合能源系统小样本日前电力负荷预测

基于历史数据和深度学习的负荷预测已广泛应用于以电能为中心的综合能源系统中以提高预测精度,然而,当区域中出现新用户时,其历史负荷数据往往极少,此时,深度学习难以适用.针对此,本文提出基于负荷特征提取和迁移学习的预测机制.首先,依据源域用户历史负荷数据,融合聚类算法和门控循环单元网络构建源域数据的特征提取和分类模型;然后,...     

基于GADF和PAM-Resnet的旋转机械小样本故障诊断方法

在旋转机械的实际工作中,由于故障样本有限,很难实现准确的故障诊断.对此,提出一种基于GADF和PAM-Resnet的小样本故障诊断方法.首先,构建一种数据增强策略,该策略将数目较少的一维信号样本转化为二维GADF 图,之后将GADF图裁剪成多个子图,从而得到大量的图像样本,解决样本数目不足的问题;然后,构建一种位置注意力模块(PAM),该模块使用横向卷积和纵向卷积分别对横向特征和纵向特征赋予权重,融合两种特征得到GADF图的位置信息;最后,将PAM插入残差块中构建PAM残差块,并使用多个PAM残差块构建PAM- Resnet,PAM-Resnet可以有效地关注位置信息,具有较强的故障特征学习能力.分别进行小样本环境下的齿轮箱故障诊断和滚动轴承故障诊断实验,结果表明所提出方法具有较高的故障诊断准确率,可以准确地诊断出小样本环境下的故障类型.     

基于改进残差卷积自编码网络的类自适应旋转机械故障诊断

针对旋转机械传感器信号样本有限影响深层网络模型训练学习的问题,提出一种结合改进残差卷积自编码网络与类自适应方法的故障诊断模型应对小样本数据。首先将少量已标记的源域数据和目标域数据创建为成对样本,并设计一种改进的一维残差卷积自编码网络对两种不同分布的原始振动信号进行特征提取;其次,利用最大均值差异（MMD）减小分布差异,并将两个域同一故障类别的数据空间映射到一个共同的特征空间,最终实现准确的故障诊断。实验结果表明,与微调、域自适应等方法相比,所提模型能够有效提高不同工况、微量已标记的目标域振动数据下的故障诊断准确率。     

对抗学习遥感图像场景识别

目的 在高分辨率遥感图像场景识别问题中,经典的监督机器学习算法大多需要充足的标记样本训练模型,而获取遥感图像的标注费时费力。为解决遥感图像场景识别中标记样本缺乏且不同数据集无法共享标记样本问题,提出一种结合对抗学习与变分自动编码机的迁移学习网络。方法 利用变分自动编码机（variational auto-encoders,VAE）在源域数据集上进行训练,分别获得编码器和分类器网络参数,并用源域编码器网络参数初始化目标域编码器。采用对抗学习的思想,引入判别网络,交替训练并更新目标域编码器与判别网络参数,使目标域与源域编码器提取的特征尽量相似,从而实现遥感图像源域到目标域的特征迁移。结果 利用两个遥感场景识别数据集进行实验,验证特征迁移算法的有效性,同时尝试利用SUN397自然场景数据集与遥感场景间的迁移识别,采用相关性对齐以及均衡分布适应两种迁移学习方法作为对比。两组遥感场景数据集间的实验中,相比于仅利用源域样本训练的网络,经过迁移学习后的网络场景识别精度提升约10%,利用少量目标域标记样本后提升更为明显;与对照实验结果相比,利用少量目标域标记样本时提出方法的识别精度提升均在3%之上,仅利用源域标记样本时提出方法场景识别精度提升了10%~40%;利用自然场景数据集时,方法仍能在一定程度上提升场景识别精度。结论 本文提出的对抗迁移学习网络可以在目标域样本缺乏的条件下,充分利用其他数据集中的样本信息,实现不同场景图像数据集间的特征迁移及场景识别,有效提升遥感图像的场景识别精度。     

基于迁移学习的小样本齿轮箱故障诊断方法

实际工程场景中齿轮箱受工况、环境等因素影响,数据难以满足特征分布相同、训练数据充足等条件,如何在变工况情况下对齿轮故障进行诊断是故障诊断领域一大难点。为此,提出了一种结合Logistic混沌麻雀搜索优化算法(LSSA)与深度置信网络(DBN)的智能故障诊断方法,即LSSADBN。首先,将时域振动信号进行快速傅里叶变换(FFT)转换为频域信号作为训练数据集,运用Logistic混沌映射对SSA种群进行初始化,采用LSSA方法对训练数据集进行DBN结构寻优;使用最优结构DBN对源域训练集进行预训练,并加入少量目标域样本用于反向权重调优,最终实现在小样本情况下对目标域齿轮箱健康状况的准确识别。实验对比结果证明,LSSADBN方法在模型调优阶段具有更快的收敛速度,且针对不同的目标域进行迁移时都具备较高的准确率,LSSADBN方法的研究对小样本情况下的齿轮箱故障诊断具有一定的应用价值。     

面向乳腺超声计算机辅助诊断的两阶段深度迁移学习

目的 为了提升基于单模态B型超声（B超）的乳腺癌计算机辅助诊断（computer-aided diagnosis,CAD）模型性能,提出一种基于两阶段深度迁移学习（two-stage deep transfer learning,TSDTL）的乳腺超声CAD算法,将超声弹性图像中的有效信息迁移至基于B超的乳腺癌CAD模型之中,进一步提升该CAD模型的性能。方法 在第1阶段的深度迁移学习中,提出将双模态超声图像重建任务作为一种自监督学习任务,训练一个关联多模态深度卷积神经网络模型,实现B超图像和超声弹性图像之间的信息交互迁移;在第2阶段的深度迁移学习中,基于隐式的特权信息学习（learning using privilaged information,LUPI）范式,进行基于双模态超声图像的乳腺肿瘤分类任务,通过标签信息引导下的分类进一步加强两个模态之间的特征融合与信息交互;采用单模态B超数据对所对应通道的分类网络进行微调,实现最终的乳腺癌B超图像分类模型。结果 实验在一个乳腺肿瘤双模超声数据集上进行算法性能验证。实验结果表明,通过迁移超声弹性图像的信息,TSDTL在基于B超的乳腺癌诊断任务中取得的平均分类准确率为87.84±2.08%、平均敏感度为88.89±3.70%、平均特异度为86.71±2.21%、平均约登指数为75.60±4.07%,优于直接基于单模态B超训练的分类模型以及多种典型迁移学习算法。结论 提出的TSDTL算法通过两阶段的深度迁移学习,将超声弹性图像的信息有效迁移至基于B超的乳腺癌CAD模型,提升了模型的诊断性能,具备潜在的应用可行性。     

面向旋转机械故障诊断的深度流形迁移学习

深度学习因强大的特征提取能力已逐渐成为旋转机械故障诊断的主要方法。但深层模型缺乏领域适应能力,工况变化时性能衰退严重。迁移学习为解决变工况诊断问题提供新的途径。然而现有深度迁移学习方法大多仅对齐不同领域分布的均值中心,未考虑特征分布的流形结构,其适配性能仍难以应对不同工况复杂的机械故障信号。针对该问题,提出一种深度流形迁移学习方法,以堆叠自编码器为框架,在无监督预训练阶段同时利用源域和目标域样本训练,充分挖掘数据本质特征;针对模型微调,提出流行迁移框架,在适配分布差异同时还保持领域间特征分布结构的一致性。将新方法与现有迁移学习方法在旋转机械故障诊断案例进行充分的比较实验,结果表明,新方法优于现有方法,能显著提高变工况故障诊断精度。通过有效性分析在机理上进一步证明了融合目标域数据的无监督预训练策略和流形迁移微调策略对提高变工况故障诊断的有效性。