基于迁移BN-CNN框架的小样本工业过程故障诊断

针对工业故障诊断过程中训练样本不足导致的诊断性能低下问题，文中以迁移学习和深度学习方法为基础，提出一种迁移BN-CNN(Batch Normalization-Convolutional Neural Network)框架。为了减少网络对初始化方法的依赖，在卷积神经网络中引入批归一化层，对网络的隐藏层进行归一化处理。针对目标域标签数据不充足问题，通过基于样本的迁移学习方法扩充目标域的标记数据量，引入基于模型的迁移学习方法，通过充足的源域数据预训练BN-CNN网络，并利用数据量扩充后的目标域微调该网络部分参数，降低了少量样本训练深度神经网络的难度，得到了更适合目标域的故障诊断模型。采用TE工业数据集对该方法进行对比验证，实验结果表明，文中所提方法对于小样本工业过程故障具有较好的诊断性能，其平均精度值为0.804。     

迁移学习用于电磁目标识别

迁移学习技术可以利用经验信息辅助当前任务,已在计算机视觉和语音识别领域得到广泛应用,但在电磁领域还没有取得明显的成就。电磁环境变化速度快,源数据或分类器模型在新环境中性能会显著下降,重新训练不仅需要大量的数据且费时费力。迁移学习技术与电磁目标识别任务十分相关,本文采用实测电磁目标数据集,探索迁移学习在解决电磁目标小样本问题中的几种应用,包括同类目标迁移和异类目标迁移。实验结果表明,通过将预训练模型迁移到目标域小样本识别任务,当目标域为同类源且标记样本只有20个情况下,相较于非迁移模型,验证准确率提高25%,并且大大缩短了目标域训练时间;当目标域为异类源时,也能够在保证识别准确率的同时使训练时间少于源域的1/5。     

基于双级对齐部分迁移网络的旋转设备故障诊断

随着智能制造和工业大数据的快速发展,迁移学习在旋转设备故障诊断领域得到了广泛研究.在工业现场,存在大量目标域标签空间为源域标签空间子集的场景,现有迁移学习方法在处理此类场景时,无法消除源域离群类别对目标域分类产生的负迁移影响.部分迁移学习通过限制源域不同类别数据在特征对齐过程的贡献度,实现源域和目标域共享类别特征对齐.然而,现有部分迁移学习方法仅考虑源域和目标域共享类别边缘分布对齐,未考虑源域和目标域共享类别各子类间的状态分布对齐,诊断正确率仍有待提高.为此,本文以Vision Transformer网络为基础网络架构,提出基于双级对齐部分迁移网络的故障诊断方法：一方面构造加权平衡机制促进源域和目标域共享类别间的边缘分布对齐,另一方面利用度量学习实现源域和目标域共享类别各子类间的状态分布对齐.利用滚动轴承故障数据对所提方法进行验证,结果表明：所提方法在所有诊断案例中的准确率均在95%以上,相比其他对比方法表现出更优的诊断效果.     

一种基于伪标签的半监督少样本学习模型

如何将带有大量标记数据的源域知识模型迁移至带有少量标记数据的目标域是少样本学习研究领域的热点问题.针对现有的少样本学习算法在源域数据与目标域数据的特征分布差异较大时存在的泛化能力较弱的问题,提出一种基于伪标签的半监督少样本学习模型FSLSS（Few-Shot Learning based on Semi-Supervised）.首先,利用pytorch深度学习框架建立一个关系型深度学习网络,并使用源域数据对网络进行预训练;然后,使用此网络对目标域数据进行分类预测,将分类概率最大的类标签作为数据的伪标签;最后,利用目标域的伪标签数据和源域的真实标签数据对网络进行混合训练,并重复伪标签标记与混合训练过程.实验结果表明,相对于现有主流少样本学习算法,FSLSS模型有更好的泛化能力及知识迁移效果.     

基于迁移集成学习的无人机图像识别算法

针对当前小型无人机目标图像识别方法准确率较低的问题,提出了一种基于迁移集成学习的无人机图像识别算法。首先,基于AlexNet、VGGNet-19、Inception-V3以及ResNet-50四种结构具有差异的卷积神经网络对源数据集进行预训练,获取图像的深层次特征;然后,对目标数据集进行迁移学习,得到目标的分类特征,构建分类模型;之后,采用相对多数投票法和加权平均法的集成学习方法,对分类模型进行集成得到迁移集成模型。构建了一个包含小型无人机图像、飞鸟图像以及直升机图像的图像数据集UavNet,在对数据集进行数据增强的基础上开展了图像识别算法性能实验,结果表明,算法对多类目标的识别准确率为99.42%,无人机类目标识别的F1-score指标为99.12%,优于主流的卷积神经网络方法和传统的支持向量机方法,具有一定的理论意义和应用价值。     

基于重建分类网络特征增强的盲域自适应分类器

领域自适应算法能解决源域样本与目标域样本分布不同的问题,提高分类性能。但是通常的领域自适应算法都需要预先获取部分目标域样本用于模型训练。而在现实场景中,来自目标域的测试样本在模型训练时是未知的甚至是不可获取的,该问题称为盲领域问题。文章采用重建分类网络(Reconstruction-Classification Network,RCN)运用于盲领域自适应。仅使用源域样本训练源域RCN模型,并利用源域RCN模型重建管道增强目标样本的信息,缩小目标域与源域分布差异。增强后的目标样本通过源域RCN模型的分类管道进行分类。在基准数据集上进行的实验证明,该文的方法在跨域视觉识别方面优于其他最新方法。     

基于CBAM-EfficientNet的垃圾图像分类算法研究

针对垃圾分类数据集,本文采用基于Imagenet数据集的迁移参数初始化Efficient-net模型,与经典的VGG和Res-Net50模型对比,得到了较高的泛化性能和准确率.为了降低源领域数据集的特征参数对于目标领域数据集特征参数产生负迁移的影响,本文加入了 CBAM注意力机制增强重要特征并忽视无效特征,同时使用批归一化和随机失活模块加速网络的训练并减轻过拟合程度,从而得到高性能、高效率的CBAM-EfficientNet垃圾分类模型.实验结果表明,基于Efficient-net模型的垃圾分类的准确率高于经典的VGG和ResNet50模型5％以上,而本文所提出的CBAM-EfficientNet进一步提高了 2.5％.     

基于分块CNN的多尺度SAR图像目标分类算法

针对合成孔径雷达（Synthetic Aperture Radar, SAR）图像目标分辨率差异大,多尺度SAR图像目标分类准确率不高的问题,提出了一种基于迁移学习和分块卷积神经网络（Convolutional Neural Network, CNN）的SAR图像目标分类算法。首先通过大量与目标域相近的源域数据对分块CNN的参数进行训练,得到不同尺度下的CNN特征提取网络;其次将CNN的卷积和池化层迁移到新的网络结构中,实现目标特征的提取;最后用超限学习机（Extreme Learning Machine, ELM）网络对提取的特征进行分类。实验数据采用美国MSTAR数据库以及多尺度SAR图像舰船目标数据集,实验结果表明,该方法对多尺度SAR图像的分类效果优于传统CNN。     

基于分类误差一致性准则的自适应知识迁移

目前大多数迁移学习方法在利用源域数据辅助目标域数据建模时,通常假设源域中的数据均与目标域数据相关。然而在实际应用中,源域中的数据并非都与目标域数据的相关程度一致,若基于上述假设往往会导致负迁移效应。为此,该文首先提出分类误差一致性准则(CCR),对源域与目标域分类误差的概率分布积分平方误差进行最小化度量。此外,该文提出一种基于CCR的自适应知识迁移学习方法(CATL),该方法可以快速地从源域中自动确定出与目标域相关的数据及其权重,以辅助目标域模型的构建,使其能在提高知识迁移效率的同时缓解负迁移学习效应。在真实图像以及文本数据集上的实验结果验证了CATL方法的优势。     

基于双阶段元学习的小样本中医舌色域自适应分类方法

舌色是中医(TCM)望诊最关注的诊察特征之一。在实际应用中,通过一台设备采集到的舌象数据训练得到的舌色分类模型应用于另一台设备时,由于舌象数据分布特性不一致,分类性能往往急剧下降。为此,该文提出一种基于双阶段元学习的小样本中医舌色域自适应分类方法。首先,设计了一种双阶段元学习训练策略,从源域有标注样本中提取域不变特征,并利用目标域的少量有标注数据对网络模型进行微调,使得模型可以快速适应目标域的新样本特性,提高舌色分类模型的泛化能力并克服过拟合。接下来,提出了一种渐进高质量伪标签生成方法,利用训练好的模型对目标域的未标注样本进行预测,从中挑选出置信度高的预测结果作为伪标签,逐步生成高质量的伪标签。最后,利用这些高质量的伪标签,结合目标域的有标注数据对模型进行训练,得到舌色分类模型。考虑到伪标签中含有噪声问题,采用了对比正则化函数,可以有效抑制噪声样本在训练过程中产生的负面影响,提升目标域舌色分类准确率。在两个自建中医舌色分类数据集上的实验结果表明,在目标域仅提供20张有标注样本的情况下,舌色分类准确率达到了91.3%,与目标域有监督的分类性能仅差2.05%。     

Research on ECG classification based on transfer learning

Concerning current deep learning-based electrocardiograph(ECG) classification methods, there exists domain discrepancy between the data distributions of the training set and the test set in the inter-patient paradigm. To reduce the negative effect of domain discrepancy on the classification accuracy of ECG signals, this paper incorporates transfer learning into the ECG classification, which aims at applying the knowledge learned from the training set to the test set. Specifically, this paper fir...     

Adaptive transfer learning framework for dense prediction of human activity recognition

Human activity recognition (HAR) for dense prediction is proven to be of good performance, but it relies on labeling every point in time series with the high cost. In addition, the performance of HAR model will show significant degradation when tested on the sensor data with different distribution from the training data, where the training data and the test data are usually collected from different sensor locations or sensor users. Therefore, the adaptive transfer learning framework for dense prediction of HAR is introduced to implement cross-domain transfer, where the proposed multi-level unsupervised domain adaptation (MLUDA) approach combines the global domain adaptation and the specific task adaptation to adapt the source and target domain in multiple levels. The multi-connected global domain adaptation architecture is proposed for the first time, which can adapt the output layer of the encoder and the decoder in dense prediction model. After this, the specific task adaptation is proposed to ensure alignment of each class centroid in source domain and target domain by introducing the cosine distance loss and the moving average method. Experiments on three public human activity recognition datasets demonstrate that the proposed MLUDA improves the prediction accuracy of target data by 20% compared to the source domain pre-trained model and it is more effective than the other three deep transfer learning methods with an improvement of 10% to 18% in accuracy.     

基于生成对抗网络的无监督域适应分类模型

生成适应模型利用生成对抗网络实现模型结构,并在领域适应学习上取得了突破.但其部分网络结构缺少信息交互,且仅使用对抗学习不足以完全减小域间距离,从而使分类精度受到影响.为此,提出一种基于生成对抗网络的无监督域适应分类模型（Unsupervised Domain Adaptation classification model based on GAN,UDAG）.该模型通过联合使用生成对抗网络和多核最大均值差异度量准则优化域间差异,并充分利用无监督对抗训练及监督分类训练之间的信息传递以学习源域分布和目标域分布之间的共享特征.通过在四种域适应情况下的实验结果表明,UDAG模型学习到更优的共享特征嵌入并实现了域适应图像分类,且分类精度有明显提高.     

基于多维神经网络深度特征融合的鸟鸣识别算法

为了进一步提高夜间迁徙鸟鸣监测的准确率,提出一种基于多维神经网络深度特征融合的鸟鸣识别算法。首先,提取鸟鸣对数尺度的梅尔谱图作为VGG Style模型的训练特征,增强时频谱图的能量分布,通过Mix up数据混合生成虚拟数据以减少模型的过拟合。之后,将预训练的VGG Style作为特征提取器对每一段鸟鸣提取深度特征。鉴于不同维度模型的互补性,该文提出分别使用1维CNN-LSTM、2维VGG Style与3维DenseNet121模型作为特征提取器生成高级特征。对于1维CNN-LSTM,使用小波分解作为池化方法,分别对鸟鸣时、频域进行9层小波分解,生成多层LBP特征以获取更丰富的时频信息。最后,对CNN-LSTM与DenseNet121的全连接层进行优化,减少模型参数,提高实时性。实验结果表明,通过融合多维神经网络的深度特征,使用浅层分类器在含有43种鸟类的CLO-43SD数据集中,获得了93.89%的平衡准确率,相较于最新的Mel-VGG与Subnet-CNN融合模型,平衡准确率提高了7.58%。      

基于CNN的SAR图像目标和场景分类算法

随着合成孔径雷达（Synthetic Aperture Radar, SAR）成像技术的发展和SAR图像数据的急剧增加,SAR图像解译技术成为了当前的研究热点。针对SAR图像的目标和场景分类问题,提出了一种改进的基于卷积神经网络的图像分类算法。为克服卷积神经网络训练过程中因数据量不足而出现的过拟合问题,采用数据增强人工增加训练样本的大小;针对高层卷积层参数过多的问题,采用一种多尺度卷积模块替代高层的卷积层;在输出层采用卷积和全局均值池化的组合替代传统的全连接层,大幅度减少了网络参数。网络训练阶段,通过误差反向传播来更新网络参数。针对MSTAR数据集和高分辨率的机载SAR图像分别进行目标及场景分类,实验结果表明该算法实现了较好的分类性能。     

Deep neural networks-based rolling bearing fault diagnosis

Rolling bearing is one of the most commonly used components in rotating machinery. It's so easy to be damaged that it can cause mechanical fault. Thus, it is significant to study fault diagnosis technology on rolling bearing. In this paper, three deep neural network models (Deep Boltzmann Machines, Deep Belief Networks and Stacked Auto-Encoders) are employed to identify the fault condition of rolling bearing. Four preprocessing schemes including feature of time domain, frequency domain and time-frequency domain are discussed. One data set with seven fault patterns is collected to evaluate the performance of deep learning models for rolling bearing fault diagnosis, which is based on the health condition of a rotating mechanical system. The results proved that the accuracy achieved by Deep Boltzmann Machines, Deep Belief Networks and Stacked Auto-Encoders are highly reliable and applicable in fault diagnosis of rolling bearing.     

结合WGAN GP与CNN SVM的滚动轴承故障红外诊断

针对实际工程应用中由于滚动轴承故障状态出现的时间很短而导致数据集不平衡难以采用深度学习算法进行故障诊断的问题,提出了一种基于Wasserstein距离的梯度惩罚生成对抗网络(WGAN GP)和基于支持向量机分类的卷积神经网络(CNN SVM)相结合的滚动轴承故障红外诊断方法。从红外热像图中构建不平衡数据集,通过采用WGAN GP对不平衡数据扩充以达到数据集均衡,之后将CNN SVM模型应用于数据集,提取样本深度特征完成故障分类。实验表明,WGAN GP与CNN SVM相结合的模型在不平衡数据集下表现良好,相较于其他模型有更好的故障诊断能力,并且在故障分类阶段的用时可减少1689以上。     

基于VGGNet卷积神经网络的蓝印花布纹样分类

为了数字化传承与创新传统的蓝印花布纹样,需 要将蓝印花布纹样进行分类。为此,提出一种改进的VGGNet卷 积神经网络模型的纹样分类方法。首先,采集原始的蓝印花布图案,通过图像增强技术扩充 样本,形成训练数据集。其次, 改进经典的VGGNet 16卷积神经网络结构,增加卷积组及调整网络参 数,增加丢弃层。同时,分析、验证训练优化策略对 蓝印花布纹样分类的影响。最后,利用训练集及验证集中的图像样本,通过自动学习获取网 络模型参数,得到纹样分类的最 佳网络模型并获得较为理想的分类结果。实验结果显示,改进的卷积神经网络模型针对5类 蓝印花布纹样进行分类训练,其 平均分类准确率达89.73%,为蓝印花布纹样的继承和创新研究提供了 新思路。     

子域自适应网络跨被试情绪识别算法

为解决由于脑电信号（EEG）的非平稳性及个体差异性造成的情绪识别模型在不同时间、不同被试间泛化性能低的问题,提出全局域适应与相关子域自适应串联系统（SS＿GDAN＿RSAN）模型来实现跨被试的情感识别。将整个情感识别模型分为特征提取器、全局域分类器和子域域分类器。首先在浅层神经网络中由特征提取器和全局域分类器产生域不变表达,通过最小化源域数据分类损失及源域与目标域数据的分布差异损失进行全局域自适应;其次在深层神经网络中,基于局部最大平均差异度量源域和目标域中相关子域数据的分布差异,通过最小化源域数据分类损失和子域自适应损失训练子域域分类器,进而捕获每个类别的细粒度信息实现子域自适应。实验结果表明SS＿GDAN＿RSAN算法简单有效,在多对一的跨被试迁移实验中识别率达到84.05%±5.91%,在单被试跨时间迁移实验中识别率达到91.66%±7.32%。与传统分类器模型相比,SS＿GDAN＿RSAN对跨被试、跨时间情绪分类任务泛化能力的提高取得显著效果。