基于深度迁移自编码器的变工况下滚动轴承故障诊断方法

在实际工业场景下的轴承故障诊断,存在轴承故障样本不足,训练样本与实际信号样本存在分布差异的问题;文章提出一种新的基于深度迁移自编码器的故障诊断方法FS-DTAE,应用于不同工况下的轴承故障诊断;该方法首先采用小波包变换进行信号处理与特征提取;其次,采用提出的基于朴素贝叶斯与域间差异的特征选取(FSBD)方法对统计特征进行评估,选取更有利于跨域故障诊断和迁移学习的特征;然后,利用源域特征数据训练深度自编码器,将训练得到的模型参数迁移至目标域,再利用目标域正常状态样本对深度迁移自编码器模型进行微调,微调后的模型用于目标域无标签特征数据的故障分类;最后,基于CWRU轴承故障数据开展不同工况下故障诊断实验,结果表明,所提出的FS-DTAE方法能够有效提高不同工况下的故障诊断准确率。     

面向旋转机械故障诊断的深度流形迁移学习

深度学习因强大的特征提取能力已逐渐成为旋转机械故障诊断的主要方法。但深层模型缺乏领域适应能力,工况变化时性能衰退严重。迁移学习为解决变工况诊断问题提供新的途径。然而现有深度迁移学习方法大多仅对齐不同领域分布的均值中心,未考虑特征分布的流形结构,其适配性能仍难以应对不同工况复杂的机械故障信号。针对该问题,提出一种深度流形迁移学习方法,以堆叠自编码器为框架,在无监督预训练阶段同时利用源域和目标域样本训练,充分挖掘数据本质特征;针对模型微调,提出流行迁移框架,在适配分布差异同时还保持领域间特征分布结构的一致性。将新方法与现有迁移学习方法在旋转机械故障诊断案例进行充分的比较实验,结果表明,新方法优于现有方法,能显著提高变工况故障诊断精度。通过有效性分析在机理上进一步证明了融合目标域数据的无监督预训练策略和流形迁移微调策略对提高变工况故障诊断的有效性。     

深度学习在故障诊断领域中的研究现状与挑战

现代工业系统已呈现出向大型化、复杂化的方向发展,使得针对工业系统的故障诊断方法遇到一系列的技术难题.近年来,深度学习(deep learning)在特征提取与模式识别方面显示出独特的优势与潜力,将深度学习应用于解决复杂工业系统故障诊断的研究已初现端倪.为此,首先介绍几种典型的基于深度学习方法实现工业系统故障诊断方法;然后对基于深度学习实现故障诊断的主要思想和建模方法进行描述;最后总结和讨论了复杂工业系统故障的特点,并探讨了深度学习在实现复杂工业系统故障诊断方面所面临的挑战,展望了未来值得继续研究的方向.     

基于序列对抗域适应的智能裁剪算法

智能裁剪任务一直受到缺乏训练数据的困扰,目前还局限于公开数据集中.因为实际应用场景与训练场景之间存在域迁移,文中提出基于序列对抗域适应的智能裁剪算法.首先,通过实验证实裁剪数据集GAICD和CPC之间存在域迁移问题.然后,构造由美学评分模块和对抗域适应模块组成的算法.美学评分模块用于预测图像的美学评分,并辅助提取面向裁剪任务的不变特征.对抗域适应模块实现基于对抗的域适应学习.不同裁剪数据集之间的域迁移实验及室内/室外场景之间的域迁移实验均验证文中算法的有效性.     

非平衡数据下基于自适应迁移与宽度学习的多工况故障诊断

针对高维不平衡数据的多工况故障诊断难题,提出一种非平衡数据条件下基于动态自适应迁移的宽度学习方法 (TL-BLS),并应用于污水处理过程的多工况故障诊断.首先,针对工业过程中不同工况下存在数据分布差异过大的问题,采用迁移学习流形变换方法拉近源域数据和目标域数据的距离;其次,针对后续自适应迁移中需要伪标签的条件,提出考虑数据不平衡的两阶段目标域伪标签预测方法,第一阶段使用基于类间关系的伪标签方法得到可靠度高的伪标签,第二阶段使用考虑子集差异的集成方法来获得可靠度更高且兼顾数据不平衡问题的伪标签;最终,建立带流形正则化项和具有动态平衡因子的自适应迁移与宽度学习方法,并在宽度学习系统和自适应迁移中引入权重矩阵来解决数据非平衡的问题,实现多工况过程下的故障诊断.污水处理过程数据实验及其比较分析表明所提方法具有更优的故障识别效果和更好的实用性.     

一种基于伪标签的深度迁移学习算法

深度学习的成功依赖于海量的训练数据，然而获取大规模有标注的数据并不容易，成本昂贵且耗时；同时由于数据在不同场景下的分布有所不同，利用某一特定场景的数据集所训练出的模型往往在其他场景表现不佳。迁移学习作为一种将知识从一个领域转移到另一个领域的方法，可以解决上述问题。深度迁移学习则是在深度学习框架下实现迁移学习的方法。提出一种基于伪标签的深度迁移学习算法，该算法以ResNet-50为骨干，通过一种兼顾置信度和类别平衡的样本筛选机制为目标域样本提供伪标签，然后进行自训练，最终实现对目标域样本准确分类，在Office-31数据集上的三组迁移学习任务中，平均准确率较传统算法提升5.0%。该算法没有引入任何额外网络参数，且注重源域数据隐私，可移植性强，具有一定的实用价值。     

多源域分布下优化权重的无监督迁移学习Boosting方法

深度决策树迁移学习Boosting方法（DTrBoost）可以有效地实现单源域有监督情况下向一个目标域迁移学习,但无法实现多个源域情况下的无监督迁移场景。针对这一问题,提出了多源域分布下优化权重的无监督迁移学习Boosting方法,主要思想是根据不同源域与目标域分布情况计算出对应的KL值,通过比较选择合适数量的不同源域样本训练分类器并对目标域样本打上伪标签。最后,依照各个不同源域的KL距离分配不同的学习权重,将带标签的各个源域样本与带伪标签的目标域进行集成训练得到最终结果。对比实验表明,提出的算法实现了更好的分类精度并对不同的数据集实现了自适应效果,分类错误率平均下降2.4%,在效果最好的marketing数据集上下降6%以上。     

基于深度学习的表面缺陷检测方法综述

近年来,基于深度学习的表面缺陷检测技术广泛应用在各种工业场景中.本文对近年来基于深度学习的表面缺陷检测方法进行了梳理,根据数据标签的不同将其分为全监督学习模型方法、无监督学习模型方法和其他方法三大类,并对各种典型方法进一步细分归类和对比分析,总结了每种方法的优缺点和应用场景.本文探讨了表面缺陷检测中三个关键问题,介绍了...     

基于深度迁移学习的网络入侵检测

为解决网络入侵检测问题,提高检测准确率和降低误报率,提出一种基于深度迁移学习的网络入侵检测方法,该方法使用非监督学习的深度自编码器来进行迁移学习,实现网络的入侵检测。首先对深度迁移学习问题进行建模,然后对深度模型进行迁移学习。迁移学习框架由嵌入层和标签层实现编/解码,编码和解码权重由源域和目标域共享,用于知识的迁移。嵌入层中,通过最小化域之间的嵌入实例的KL散度来强制源域和目标域数据的分布相似;在标签编码层中,使用softmax回归模型对源域的标签信息进行编码分类。实验结果表明,该方法能够实现网络入侵检测,且性能优于其他入侵检测方法。     

局部一致性主动学习的源域无关开集域自适应

无监督域自适应在解决训练集(源域)和测试集(目标域)分布不一致的问题上已经取得了一定的成功.在面向低能耗场景和开放动态任务环境时,在资源约束和开放类别出现的情况下,现有的无监督域自适应方法面临着严峻的挑战.源域无关开集域自适应(SF-ODA)旨在将源域模型中的知识迁移到开放类出现的无标签目标域,从而在无源域数据资源的限制下辨别公共类和检测开放类.现有的源域无关开集域自适应的方法聚焦于设计准确检测开放类别的源域模型或增改模型的结构.但是,这些方法不仅需要额外的存储空间和训练开销,而且在严格的隐私保护场景下难以实现.提出了一个更加实际的场景:主动学习的源域无关开集域自适应(ASF-ODA),目标是基于一个普通训练的源域模型和少量专家标注的有价值的目标域样本来实现鲁棒的迁移.为了达成此目标,提出了局部一致性主动学习(LCAL)算法.首先,利用目标域中局部特征标签一致的特点,LCAL设计了一种新的主动选择方法:局部多样性选择,来挑选更有价值的阈值模糊样本来促进开放类和公共类分离.接着,LCAL基于信息熵初步筛选出潜在的公共类集合和开放类集合,并利用第一步得到的主动标注样本对这两个集合进行匹配纠...     

基于深度学习的单目深度估计方法综述

深度估计是一种从单张或者多张图像预测场景深度信息的技术,是计算机视觉领域非常热门的研究方向,在三维重建、场景理解、环境感知等任务中起到了关键作用.当前深度估计技术可以分为多目深度估计和单目深度估计.因为单目摄像头具有成本低、设备较普及、图像获取方便等优点,与多目深度估计技术相比,从单目图像估计深度信息是当前更为热门和更具挑战的技术.近年来,随着深度学习的迅速发展,基于深度学习的单目深度估计方法被广泛研究.本文对基于深度估计的单目深度估计方法进行综述,首先给出单目深度估计问题的定义、介绍常用于训练的数据集与模型评价指标,然后根据不同的训练方式对国内外相关技术进行分析总结,将现有方法分为基于监督学习、无监督学习和半监督学习三大类,对每种类型方法的产生思路、优缺点进行详细分析,最后梳理、总结该技术的发展趋势与关键技术.     

基于深度学习的单目深度估计技术综述

场景的深度估计问题是计算机视觉领域中的经典问题之一,也是3维重建和图像合成等应用中的一个重要环节。基于深度学习的单目深度估计技术高速发展,各种网络结构相继提出。本文对基于深度学习的单目深度估计技术最新进展进行了综述,回顾了基于监督学习和基于无监督学习方法的发展历程。重点关注单目深度估计的优化思路及其在深度学习网络结构中的表现,将监督学习方法分为多尺度特征融合的方法、结合条件随机场(conditional random field,CRF)的方法、基于序数关系的方法、结合多元图像信息的方法和其他方法等5类;将无监督学习方法分为基于立体视觉的方法、基于运动恢复结构(structure from motion,SfM)的方法、结合对抗性网络的方法、基于序数关系的方法和结合不确定性的方法等5类。此外,还介绍了单目深度估计任务中常用的数据集和评价指标,并对目前基于深度学习的单目深度估计技术在精确度、泛化性、应用场景和无监督网络中不确定性研究等方面的现状和面临的挑战进行了讨论,为相关领域的研究人员提供一个比较全面的参考。     

一种基于损失预测的双主动域适应算法研究

近年来深度学习在图像分类任务上取得了显著效果,但通常要求大量人工标记数据,模型训练成本很高.因此,领域自适应等小样本学习方法成为当前研究热点.通常,域适应方法利用源域的经验知识也仅能一定程度降低对目标域标记数据的依赖,因此可以引入主动学习方法对样本价值进行评估并做筛选,从而进一步降低标记成本.本文将典型样本价值估计模型引入域适应学习,结合特征迁移思路,提出了双主动域适应学习算法D＿Ac T(Dual active domain adaptation).该算法同时对源域与目标域数据进行价值度量,并挑选最具训练价值的样本,在保证模型精度的前提下,大幅度减少了模型对标签数据的需求.具体而言,首先利用极大极小熵和核心集采样方法,用主动学习价值评估模型挑选目标域样本,得到单主动域适应算法S＿Ac T (Single active domain adaptation).随后利用损失预测策略,将价值评估策略适配至源域,进一步提升迁移学习知识复用有效性,降低模型训练成本.本文在常用的四个图像迁移数据集进行了测试,将所提两个算法和传统主动迁移学习及半监督迁移学习算法进行了实验对比.结果表明双主动域适应方...     

基于深度动态联合自适应网络的图像识别方法

相比传统的图像识别方法,利用深度网络可以提取到表征能力更好的特征,从而获得更好的识别效果.现实中任务提供的数据多为无标签数据或部分有标签数据,其为深度网络的学习带来了困难.而迁移学习的方法可以将从源域数据中学习到的知识迁移到目标任务的学习中,以解决有标签数据不足的问题.为了在迁移过程中减小源域和目标域间的图像数据差异,文中提出基于深度动态联合自适应网络的图像识别方法.对网络进行训练时,首先在多层网络结构中利用域间动态联合自适应方法完成针对性的数据分布自适应,然后利用熵最小化原则使学习的目标分类器穿过目标域的低密度区域,从而提高对目标域图像的识别精度.在2018年AI challenge比赛提供的24种植物病害数据集的3种迁移任务(g1->g2,s1->g2和s2->g2)中,所提方法的准确率分别达到了97.27％,94.25％和93.66％,均优于其他算法.实验结果证明,文中提出的基于深度网络并使用动态联合自适应和熵最小化原则的学习框架能够准确识别图像.     

基于图卷积网络的迁移学习轴承服役故障诊断

深度学习方法被广泛应用于轴承故障诊断,但在实际工程应用中,轴承服役期间的真实服役故障数据不易收集,缺乏数据标签,难以进行充分的训练。针对轴承服役故障诊断困难的问题,提出了一种基于图卷积网络（GCN）的迁移学习轴承服役故障诊断模型。该模型从数据充足的人工模拟损伤故障数据中学习故障知识,并迁移到真实的服役故障上,以提高服役故障的诊断准确率。具体来说,通过将人工模拟损伤故障数据和服役故障数据的原始振动信号由小波变换转换为同时具有时间和频率信息的时频图,并将得到的时频图输入到图卷积层中进行学习,从而有效地提取源域和目标域的故障特征表示;然后计算源域和目标域的数据分布之间的Wasserstein距离来度量两个数据分布之间的差异,通过最小化数据分布差异,构建了一个能诊断轴承服役故障的故障诊断模型。在不同的轴承故障数据集和不同工作条件下设计了多种不同的任务进行实验,实验结果表明,该模型具有诊断轴承服役故障的能力,同时也能从一个工作条件迁移到另一工作条件,在不同组件类型和不同工作条件之间进行故障诊断。     

大数据驱动的钢铁工业智能故障诊断技术综述

钢铁工业智能故障诊断系统在当前大数据时代背景下面临着新的机遇与挑战。针对工业大数据的特征,分别从数据的采集与实时监控技术,基于机器学习的故障诊断方法,以及迁移学习在工业故障诊断中的应用三个角度对近年来国内外工业故障诊断方法的研究进展进行了总结与回顾;并在此基础上,结合钢铁企业的实际需求与现存问题,提出了将高炉炼铁过程划分为“系统—模块—功能—属性”四层次结构的面向整体的分层故障诊断新思想及未来可能的研究方向,阐明研究多技术融合的智能故障诊断系统对推进钢铁工业在大数据时代的绿色数字化发展具有十分重要的意义。     

基于分布共识的联邦增量迁移学习

相同生产工艺的工业过程协同建模是解决工业难测参数在线软测量的有效方法,但因生产原料、设备等因素差异,所形成的分布式数据往往呈现非独立同分布特性(Nonindependent Identically Distribution, Non-IID).同时,受生产环境变化影响,数据分布特性会随时间发生变化.因此,工业建模场景对模型的个性化配置和自主调整能力提出了更高的要求.为此,本文提出一种结构与参数并行优化的联邦增量迁移学习方法(Federated Incremental Transfer Learning, FITL).所提方法在增量式联邦学习框架下,建立了基于模型输出信息的联邦共识组织,并利用横向联邦进行组内增强;进而,面向联邦共识组织,通过最小化组间共识差异增量迁移不同共识组织信息;最后,结合组内横向增强和跨组织迁移学习,构造增量迁移下的联邦学习模型.在工业数据集和基准数据集上的实验结果表明,与现有方法相比,所提模型能更好地实现不同工况Non-IID情况下的协同建模.在过程工业回归任务和公开数据集的分类任务中,FITL能在多工况环境下相较基线方法提升9%和16%的模型预测精度.     

多源域混淆的双流深度迁移学习

目的 针对深度学习严重依赖大样本的问题,提出多源域混淆的双流深度迁移学习方法,提升了传统深度迁移学习中迁移特征的适用性。方法 采用多源域的迁移策略,增大源域对目标域迁移特征的覆盖率。提出两阶段适配学习的方法,获得域不变的深层特征表示和域间分类器相似的识别结果,将自然光图像2维特征和深度图像3维特征进行融合,提高小样本数据特征维度的同时抑制了复杂背景对目标识别的干扰。此外,为改善小样本机器学习中分类器的识别性能,在传统的softmax损失中引入中心损失,增强分类损失函数的惩罚监督能力。结果 在公开的少量手势样本数据集上进行对比实验,结果表明,相对于传统的识别模型和迁移模型,基于本文模型进行识别准确率更高,在以DenseNet-169为预训练网络的模型中,识别率达到了97.17%。结论 利用多源域数据集、两阶段适配学习、双流卷积融合以及复合损失函数,构建了多源域混淆的双流深度迁移学习模型。所提模型可增大源域和目标域的数据分布匹配率、丰富目标样本特征维度、提升损失函数的监督性能,改进任意小样本场景迁移特征的适用性。     

结合源域差异性与目标域不确定性的深度迁移主动学习方法

针对训练深度模型时样本标注成本较大的问题,文中提出结合源域差异性与目标域不确定性的深度迁移主动学习方法.以源任务网络模型作为目标任务初始模型,在主动学习迭代中结合源域差异性和目标域不确定性挑选对模型最具有贡献的目标域样本进行标注,根据学习阶段动态调整两种评价指标的权重.定义信息榨取比概念,提出基于信息榨取比的主动学习批次训练策略及T&N训练策略.两个跨数据集迁移实验表明,文中方法在取得良好性能的同时可有效降低标注成本,提出的主动学习训练策略可优化计算资源在主动学习过程中的分配,即让方法在初始学习阶段对样本学习更多次数,在终末学习阶段对样本学习较少次数.     

深度学习在故障诊断与预测中的应用

近年来,深度学习以其在特征提取与模式识别方面独特优势与潜力被广泛应用于众多领域,已取得显著进展,其在复杂工业系统故障诊断与预测中的研究属于新兴领域。对近年来深度学习及其在各领域发展的优秀综述文献以及主流的开源仿真工具平台进行了整理,同时介绍了五种典型的深度学习模型,包括自动编码器（Auto-Encoder,AE）、 深度置信网络（Deep Belief Networks,DBN）、 卷积神经网络（Convolutional Neural Networks,CNN）、 循环神经网络（Recurrent Neural Network,RNN）、生成对抗网络（Generative Adversarial Network,GAN）;从研究背景、实现流程及研究动态等三个方面就深度学习在故障诊断与预测中的应用研究进行了归纳总结,对近年来这一领域发表的相关论文进行了系统的综述;从研究实际出发探讨了深度学习在故障诊断与预测领域应用中存在的问题、挑战及解决方法,并对未来值得继续研究的方向进行了展望。