基于双阶段元学习的小样本中医舌色域自适应分类方法

舌色是中医(TCM)望诊最关注的诊察特征之一。在实际应用中,通过一台设备采集到的舌象数据训练得到的舌色分类模型应用于另一台设备时,由于舌象数据分布特性不一致,分类性能往往急剧下降。为此,该文提出一种基于双阶段元学习的小样本中医舌色域自适应分类方法。首先,设计了一种双阶段元学习训练策略,从源域有标注样本中提取域不变特征,并利用目标域的少量有标注数据对网络模型进行微调,使得模型可以快速适应目标域的新样本特性,提高舌色分类模型的泛化能力并克服过拟合。接下来,提出了一种渐进高质量伪标签生成方法,利用训练好的模型对目标域的未标注样本进行预测,从中挑选出置信度高的预测结果作为伪标签,逐步生成高质量的伪标签。最后,利用这些高质量的伪标签,结合目标域的有标注数据对模型进行训练,得到舌色分类模型。考虑到伪标签中含有噪声问题,采用了对比正则化函数,可以有效抑制噪声样本在训练过程中产生的负面影响,提升目标域舌色分类准确率。在两个自建中医舌色分类数据集上的实验结果表明,在目标域仅提供20张有标注样本的情况下,舌色分类准确率达到了91.3%,与目标域有监督的分类性能仅差2.05%。     

基于迁移BN-CNN框架的小样本工业过程故障诊断

针对工业故障诊断过程中训练样本不足导致的诊断性能低下问题，文中以迁移学习和深度学习方法为基础，提出一种迁移BN-CNN(Batch Normalization-Convolutional Neural Network)框架。为了减少网络对初始化方法的依赖，在卷积神经网络中引入批归一化层，对网络的隐藏层进行归一化处理。针对目标域标签数据不充足问题，通过基于样本的迁移学习方法扩充目标域的标记数据量，引入基于模型的迁移学习方法，通过充足的源域数据预训练BN-CNN网络，并利用数据量扩充后的目标域微调该网络部分参数，降低了少量样本训练深度神经网络的难度，得到了更适合目标域的故障诊断模型。采用TE工业数据集对该方法进行对比验证，实验结果表明，文中所提方法对于小样本工业过程故障具有较好的诊断性能，其平均精度值为0.804。     

红外目标检测网络改进半监督迁移学习方法

针对红外数据集规模小,标记样本少的特点,提出了一种红外目标检测网络的半监督迁移学习方法,主要用于提高目标检测网络在小样本红外数据集上的训练效率和泛化能力,提高深度学习模型在训练样本较少的红外目标检测等场景当中的适应性。文中首先阐述了在标注样本较少时无标注样本对提高模型泛化能力、抑制过拟合方面的作用。然后提出了红外目标检测网络的半监督迁移学习流程:在大量的RGB图像数据集中训练预训练模型,后使用少量的有标注红外图像和无标注红外图像对网络进行半监督学习调优。另外,文中提出了一种特征相似度加权的伪监督损失函数,使用同一批次样本的预测结果相互作为标注,以充分利用无标注图像内相似目标的特征分布信息;为降低半监督训练的计算量,在伪监督损失函数的计算中,各目标仅将其特征向量邻域范围内的预测目标作为伪标注。实验结果表明,文中方法所训练的目标检测网络的测试准确率高于监督迁移学习所获得的网络,其在Faster R-CNN上实现了1.1%的提升,而在YOLO-v3上实现了4.8%的显著提升,验证了所提出方法的有效性。     

基于改进宽度模型迁移学习的不同负载下滚动轴承状态快速分类方法

针对深度学习网络训练耗时以及不同负载下滚动轴承的源域数据和目标域数据分布差异较大的问题,该文提出一种基于改进宽度模型迁移学习的滚动轴承状态快速分类方法。该方法首先对不同负载下滚动轴承振动信号进行快速傅里叶变换,构建频域幅值序列数据集,并选取某种或某些负载数据集作为源域,其他负载数据集作为目标域;其次以循环扩展的方式建立宽度学习系统(BLS)的增强节点窗口,并在增强层引入Maxout激活函数构建改进的BLS网络,同时引入遗传算法优化网络节点结构,建立基于源域数据的预训练模型;最后将预训练模型的网络参数、特征层和增强层的权重参数迁移至目标域网络,并利用少量目标域样本微调网络建立状态分类模型。实验结果表明,所提方法平均训练时间为32.6 s,平均测试准确率为98.9%。对比其他方法,所提方法可以在更短的时间内建立分类模型并获得良好的分类准确率。     

迁移学习用于电磁目标识别

迁移学习技术可以利用经验信息辅助当前任务,已在计算机视觉和语音识别领域得到广泛应用,但在电磁领域还没有取得明显的成就。电磁环境变化速度快,源数据或分类器模型在新环境中性能会显著下降,重新训练不仅需要大量的数据且费时费力。迁移学习技术与电磁目标识别任务十分相关,本文采用实测电磁目标数据集,探索迁移学习在解决电磁目标小样本问题中的几种应用,包括同类目标迁移和异类目标迁移。实验结果表明,通过将预训练模型迁移到目标域小样本识别任务,当目标域为同类源且标记样本只有20个情况下,相较于非迁移模型,验证准确率提高25%,并且大大缩短了目标域训练时间;当目标域为异类源时,也能够在保证识别准确率的同时使训练时间少于源域的1/5。     

基于双级对齐部分迁移网络的旋转设备故障诊断

随着智能制造和工业大数据的快速发展,迁移学习在旋转设备故障诊断领域得到了广泛研究.在工业现场,存在大量目标域标签空间为源域标签空间子集的场景,现有迁移学习方法在处理此类场景时,无法消除源域离群类别对目标域分类产生的负迁移影响.部分迁移学习通过限制源域不同类别数据在特征对齐过程的贡献度,实现源域和目标域共享类别特征对齐.然而,现有部分迁移学习方法仅考虑源域和目标域共享类别边缘分布对齐,未考虑源域和目标域共享类别各子类间的状态分布对齐,诊断正确率仍有待提高.为此,本文以Vision Transformer网络为基础网络架构,提出基于双级对齐部分迁移网络的故障诊断方法：一方面构造加权平衡机制促进源域和目标域共享类别间的边缘分布对齐,另一方面利用度量学习实现源域和目标域共享类别各子类间的状态分布对齐.利用滚动轴承故障数据对所提方法进行验证,结果表明：所提方法在所有诊断案例中的准确率均在95%以上,相比其他对比方法表现出更优的诊断效果.     

基于深层-浅层双流学习图模型的无监督少样本红外空中目标识别网络

在军事空中目标识别领域,由于样本数量缺失,现有人工智能算法无法完成准确识别。文章利用已有足量辅助域图像辅助少样本应用域进行跨域目标识别,解决因标签缺失与样本稀疏导致的识别模型泛化能力不强及性能不佳问题。文章提出一种基于深层-浅层双流学习图模型（D-SLGM）的跨域目标识别算法。首先,提出一种深层-浅层双流特征提取算法,解决无监督少样本条件下特征表示困难的问题;同时,提出一种基于图模型的特征融合算法,实现特征间高精度融合;基于融合后的特征训练识别模型,提升算法的泛化能力。使用自建空中目标数据集,设计三种应用场景。实验结果表明,D-SLGM平均识别准确率均值达到78.2%,优于对比方法,在实际空中目标识别应用中具有较大潜力。     

基于渐进式双重对齐的无源无监督领域自适应方法

无源领域自适应的核心任务是利用无标签的目标域数据,将预训练好的源模型迁移到目标领域。基于深度聚类的方法需要在自监督学习过程中挖掘辅助信息来正则化特征分布对齐,而辅助信息中噪声常常误导该对齐过程;基于伪源域的对抗学习方法进行概率分布对齐,对所构建伪源域质量十分敏感。针对现有方法存在的不足,本文提出了一种基于渐进式双重对齐的无源无监督领域自适应方法,在进行深度聚类的同时,进行域对齐,缓解深度聚类中伪标签的噪声。首先,通过超近邻增强样本生成高质量伪源域,以克服源域不可见的问题;其次,利用对抗学习,实现两个域的概率分布初对齐;最后,引入深度特征相似,进一步强化对齐效果。在两个公开数据集上的实验结果表明了其有效性。     

Tr-SLDA:一种面向交叉领域的迁移主题模型

当目标领域缺少足够多的标注数据时,迁移学习利用相关源领域的标注数据,辅助提升目标域的学习性能,但是目标域与源域的数据通常不满足独立同分布,容易导致"负迁移"问题.本文在有监督主题模型(Supervised LDA,SLDA)的基础上,融合迁移学习方法提出一种共享主题知识的迁移主题模型(Transfer SLDA,Tr-SLDA),提出Tr-SLDA-Gibbs主题采样新方法,在类别标签的约束下对不同领域文档中的词采取不同的采样策略,且无需指定主题个数.辅助源域与目标域共享潜在主题空间,Tr-SLDA通过发现潜在共享主题与不同领域类别之间的语义关联从源域迁移知识,可以有效解决"负迁移"问题.基于Tr-SLDA迁移主题模型提出Tr-SLDA-TC(Tr-SLDA Text Categorization)文本分类方法.对比实验表明,该方法可有效利用源域知识来提高目标领域的分类性能.     

基于重建分类网络特征增强的盲域自适应分类器

领域自适应算法能解决源域样本与目标域样本分布不同的问题,提高分类性能。但是通常的领域自适应算法都需要预先获取部分目标域样本用于模型训练。而在现实场景中,来自目标域的测试样本在模型训练时是未知的甚至是不可获取的,该问题称为盲领域问题。文章采用重建分类网络(Reconstruction-Classification Network,RCN)运用于盲领域自适应。仅使用源域样本训练源域RCN模型,并利用源域RCN模型重建管道增强目标样本的信息,缩小目标域与源域分布差异。增强后的目标样本通过源域RCN模型的分类管道进行分类。在基准数据集上进行的实验证明,该文的方法在跨域视觉识别方面优于其他最新方法。     

自监督双流融合的小样本雷达辐射源识别方法

针对实际场景中辐射源数据稀缺造成的小样本问题，提出了一种基于自监督和双流融合的小样本雷达辐射源识别方法。首先利用高斯分布噪声、莱斯多径衰落、设计时钟偏移信号等减损方法，基于有限数量的真实样本构建类均衡辐射源信号样本集。基于增强数据集，提出一种信号时间序列与时频图的双流特征融合模型。采用对比学习方法构建双流特征融合模型的自监督上游任务，以提升在有限标签数据情况下信号多域特征的表征能力与泛化能力。实验结果证明，该方法在小样本条件下能够有效地实现较好的辐射源类型识别能力，在目标域每个类别100个样本限制下，识别精度达到97.1%,与传统一维特征方法和基于长短期记忆(Long Short Term Memory, LSTM)的方法相比均有较大提升。     

基于深度学习的少样本研究综述

基于大数据的深度学习算法越来越完善,然而如何解决训练样本数非常少的情况,是目前神经网络研究领域中一个非常重要且极具挑战的问题.首先,介绍了少样本问题的定义;接着将现有的少样本学习方法分为数据增强、度量学习和元学习三类,分别从方法所用模型、数据集以及相应的实验结果进行分析;最后,总结了现有方法的不足,探讨了未来少样本研究的方向.     

Image quality assessment based on self-supervised learning and knowledge distillation

Deep neural networks have achieved great success in a wide range of machine learning tasks due to their excellent ability to learn rich semantic features from high-dimensional data. Deeper networks have been successful in the field of image quality assessment to improve the performance of image quality assessment models. The success of deep neural networks majorly comes along with both big models with hundreds of millions of parameters and the availability of numerous annotated datasets. However, the lack of large-scale labeled data leads to the problems of over-fitting and poor generalization of deep learning models. Besides, these models are huge in size, demanding heavy computation power and failing to be deployed on edge devices. To deal with the challenge, we propose an image quality assessment based on self-supervised learning and knowledge distillation. First, the self-supervised learning of soft target prediction given by the teacher network is carried out, and then the student network is jointly trained to use soft target and label on knowledge distillation. Experiments on five benchmark databases show that the proposed method is superior to the teacher network and even outperform the state-of-the-art strategies. Furthermore, the scale of our model is much smaller than the teacher model and can be deployed in edge devices for smooth inference.     

Application of meta-learning in cyberspace security: a survey

In recent years, machine learning has made great progress in intrusion detection, network protection, anomaly detection, and other issues in cyberspace. However, these traditional machine learning algorithms usually require a lot of data to learn and have a low recognition rate for unknown attacks. Among them, “one-shot learning”, “few-shot learning”, and “zero-shot learning” are challenges that cannot be ignored for traditional machine learning. The more intractable problem in cyberspace security is the changeable attack mode. When a new attack mode appears, there are few or even zero samples that can be learned. Meta-learning comes from imitating human problem-solving methods as humans can quickly learn unknown things based on their existing knowledge when learning. Its purpose is to quickly obtain a model with high accuracy and strong generalization through less data training. This article first divides the meta-learning model into five research directions based on different principles of use. They are model-based, metric-based, optimization-based, online-learning-based, or stacked ensemble-based. Then, the current problems in the field of cyberspace security are categorized into three branches: cyber security, information security, and artificial intelligence security according to different perspectives. Then, the application research results of various meta-learning models on these three branches are reviewed. At the same time, based on the characteristics of strong generalization, evolution, and scalability of meta-learning, we contrast and summarize its advantages in solving problems. Finally, the prospect of future deep application of meta-learning in the field of cyberspace security is summarized.     

基于图网络优化及标签传播的小样本图像分类算法

近年来,虽然深度学习技术在图像分类任务中取得了有竞争力的表现,但实际应用中,往往存在缺乏大量训练样本的情况,易于产生过拟合现象.小样本学习技术为此提供了解决方案.由于图神经网络在表示类内和类间样本关系上的优势,已被用于小样本图像分类任务.现有算法是通过几个卷积块获取图像特征作为节点特征输入图网络,为了更好的表示图节点之...     

穿墙雷达多维参数人体姿态识别方法

现有的人体姿态识别方案大多数是从单一的角度来考察人体的姿态特征,但是仅采用距离像很难体现人体关节的位置信息,仅提取微多普勒特征有时会覆盖掉径向速度不明显的特征。为此,本文首先利用慢时间-距离像和慢时间-微多普勒谱图构建出人体姿态的三维张量数据集,扩展了人体姿态的特征维度,然后采用改进型瓶颈残差模块构成的神经网络提高了人体姿态的识别率。实验结果表明,通过对4名受试者的8种姿态进行训练和测试,该网络对人体姿态的三维张量数据集的识别率可达97.78%,相比于单一特征数据集的识别率提高了4%~7%。     

基于混合核深度适配网络的HRRP目标识别

为了改善基于卷积神经网络（CNN）的雷达目标识别模型的泛化能力,本文将深度适配网络（DAN）方法引入到高分辨一维距离像（HRRP）目标识别中。为了进一步提高DAN方法的性能,创新性地提出了混合核函数MMD代替传统DAN中的多核MMD,设计了基于混合核函数的MMD损失函数。本文使用服从瑞利分布的海杂波来干扰目标域数据。网络模型中使用一维CNN提取特征,使用混合核函数DAN来减少源域和目标域间特征分布的差异。实验表明,相对常规迁移学习方法和DAN方法, 在海杂波影响下该方法可将目标域数据识别率提高15%左右,显著提高了模型的泛化性能和鲁棒性。     

改进自训练模型在业务质差用户识别中的应用

质差用户识别是降低用户投诉率、提升用户满意度的重要环节。针对当前电信网络系统中业务感知相关的大量结构化及非结构化数据难以有效标注、质差用户标签不完备、现有监督学习模型训练样本不均衡而导致质差识别率低的问题,采用改进自训练半监督学习模型,利用少量满意度低分和投诉用户作为质差用户标签对网络数据进行标注,并通过标签迁移对大量未标注数据进行训练识别质差用户。实验表明,相比于识别准确率高但是训练成本高的全监督学习和识别准确率低的无监督学习,半监督学习可以充分利用无标签样本数据进行有效训练,保证较低训练成本的同时显著提升质差用户识别准确率。     

基于单分类支持向量机和主动学习的网络异常检测研究

对基于支持向量机和主动学习的异常检测方法进行了研究,首先利用原始数据采用无监督方式建立单分类支持向量机模型,然后结合主动学习找出对提高异常检测性能最有价值的样本进行人工标记,利用标记数据和无标记数据以半监督方式对基于单分类支持向量机的异常检测模型进行扩展。实验结果表明,所提方法能够利用少量标记数据获取性能提升,并能够通过主动学习减小人工标记代价,更适用于实际网络环境。     

基于生成对抗网络的无监督域适应分类模型

生成适应模型利用生成对抗网络实现模型结构,并在领域适应学习上取得了突破.但其部分网络结构缺少信息交互,且仅使用对抗学习不足以完全减小域间距离,从而使分类精度受到影响.为此,提出一种基于生成对抗网络的无监督域适应分类模型（Unsupervised Domain Adaptation classification model based on GAN,UDAG）.该模型通过联合使用生成对抗网络和多核最大均值差异度量准则优化域间差异,并充分利用无监督对抗训练及监督分类训练之间的信息传递以学习源域分布和目标域分布之间的共享特征.通过在四种域适应情况下的实验结果表明,UDAG模型学习到更优的共享特征嵌入并实现了域适应图像分类,且分类精度有明显提高.